бывает при объединении файлов, пишет сразу же что конечный файл создан и выполнено(что невозможно), а по факту продолжает работать. Вопрос насчет удаления емаил, удаляет только с первого файла из указанных, так и задумано?
в программе произошли существенные изменения, обо всем этом при релизе, будет как только сам протестирую основное
*** Обновление 0.8 *** Spoiler 1. Ускорение работы программы для всех функций примерно на 30 % 2. Уменьшение количества временных файлов во время работы. 3. Осуществлена запись в выходной файл ,на случай, до момента сбоя при работе с файлом. 4. Правка кода при назначении переменной До. 5. Переделка функции Удаление пробелов в конце строки. 6. Установка диапазона от 1 до 2000мб для Файлы - Разбить на части. 7. Добавление сохранения русских символов (кирилицы) в авто-обработку для файлов кодировки ANSI. 8. Добавление в авто-обработку поля ввода для указания длины строки при удалении, по умолч. 8. 9. Соблюдение, там где это необходимо, для одинаковых кодировок файла на входе и выходе. 10. Добавление функции Удалить между двумя (на выбор) переменными От и До. 11. Добавление функции Разбить строку по нескольким разделителям, а именно: В отличии от Разбить по указанным символам, является то, что разделителями могут быть слова, различные наборы нужных символов или даже целые предложения. Разделители указываются через запятую Например: Code: @mail.ru, @gmail.com, : 12. Правка функций Разбить по разделителю, иногда связанная с некорректным переносом на новую строку. 13. Добавление подсказок для некоторых функций. 14. К архиву с файлом теперь идут в наборе word-овский файл с подсказками-справкой-описанием работы программы(начало положено, желающие могут дополнить и прислать), а так-же файл extd.exe, который теперь не извлекается автоматически из ресурсов(чтобы не ругались АВ). 15. Коррекция запуска процесса при сортировке или сравнении. Пока так... думаю, что производительность не дается просто так, возможно , что внесенные изменения могут сказаться на работе некоторых функций, но при тестировании не обнаружил, если что пишите в теме. upd 0.8.1 исправлен недочет с подсчетом совпадений для нек файлов. Шапка темы обновлена.
Спасибо за обнову .Тестирую. Есть еще вопрос . Например Есть база [email protected]:1234:!@ ,то как сделать чтобы выдало так : [email protected] 1234:!@ Просто раздетель встречается в пароле.
Для того чтобы узнать какая кодировка файла то юзаем linux Code: file -i /путь к файлу/mypoem_draft.txt file -i /media/bezzumnuy/38413AA14D5979AE/Passwords/С\ Торрентов/12billion\ special\ for\ xss.is/rez_out.txt /media/bezzumnuy/38413AA14D5979AE/Passwords/С Торрентов/12billion special for xss.is/rez_out.txt: text/plain; charset=us-ascii Кстати можно добавить такую опцию в прогу.+ если кодировка отличается то можно еще запилить конвертер в ascii ,если конечно не будет добавлена обработка в других кодировках-UTF
Без понятния но опять где-то проблема .ЧТо Русскими что без русских . Тестовый файл https://mega.nz/file/SQ1FjLiR#GjPD_ZEj0amRlseO973CCUC-jNL5AGlDX378LXllZOU Насчет большого то тоже проработало 1.5 часа и потом завис на временных файлаъ, общий объем которых 65 гб из 90гб
Еще небольшой отчет . Решил перевести в другу кодировку с UTF в ANSI (хотя думал что у меня небольшой файл был и так в ANSI) Перекодировал. Вот результат с уже разбивкой по разделителю. Буду сейчас тестить на большом файле с перекодировкой.
И так, что я имею по обработке большого файла . Входной файл -https://mega.co.nz/#!tVVFjQSA!095XR_Q-Bd3UhWNlaEImvjNWReCT4u2hSCPC85ujnV8 Первый скрин разбивка по разделителю без конвертации в ANSI .Время запуска видно. Второй скрин конвертация в ANSi . Результат один и что-то мешает обработке. Буду разбивать на части и смотреть что мешает .
Продолжаю эксперименты . Паралельно запущено 2 экземпляра программы 1 экземпляр большой файл разбил на равные части по 2 гб(указан предел в программе) Думал так быстрее процесс пойдет 2 экземпляр разбит по 1 гб . И так . 1)При обработке 1-ом экземпляре программа вылетает(сообщение по завершении программы) после окончания обработки, сразу после записи файлов и после конвертации в ANSI(думал сначала из-за кодировки) 2)программа не на что не гугается и не вылетает,уже обработало 2.7гб (27файл)
Важно. Убрал из доступных для скачивания версию 081 для устранения найденной неполадки. Файлы в неск гиг мной не тестировались и обнаружились нестыковки для вкладки Функции, а именно, после увелич производительности и прочего, недоглядел важный момент и теперь выходные файлы ограничены в размере... после исправления будет еще дополнительно увеличение по скорости в след обновлениях.
Небольшой отчетик Разбил файл 95 гб по 2 гб . Сейчас только добил последние файлы . Конвертация не потребовалась. Разбивка по разделителю прошла без ошибок. Только вылет проги .
версия 7.2 и ниже (8 не имею), вылетает на сортировке ошибка - "произошла одна или несколько ошибок" в темпе при работе плодятся 0 файлы все длиннее и длиннее названием файлик с которым проблема прикладываю(он конечно идиотский но тем не менее), с файлом в 2 раза меньше строк сортировка проходит, именно с этим и большим нет, насколько я понимаю проблема из-за длины имен файлов в темпе, доходят до лимита ос, как то видимо неправильно обрабатывается строка, что вызывает такое размножение файлов. файл 1.95mb(134mb распакованный) https://yadi.sk/d/6F6XHvqq1OxtQQ
В скором времени появится обновление программы. Из-за экспериментов и тестов на скорость, в котором участвовали для сравнения- новая версия 082, cygwin и последняя 072, пришлось задержаться с выпуском.
*** Обновление 0.8.2 *** -реализован отказ от временных при сборке выходного файла, что в свою очередь немного нагрузило память, но увеличило скорость обработки, тем самым исключило лишние записи на диск, что сократило общее время. Помимо прочих изменений, а так-же указанных этом посте добавлена экспериментальная функция, которая участвовала в тестах с cygwin на разных PC. Результаты последних переделок при работе всех функций программы, сравнение с cygwin x64(виндоус версия) и посл рабочей версией ExTDv072 ниже. Для примера была взята функция Разбить по разделителю. -Размер тестируемого файла 5,04 Гб. Прочитанных строк: 168133744 Разделителей найдено: 168155725 Время обработки: ExTDv072 - 14 мин 43 сек. ExTDv082 - 08 мин 37 сек. ExTDv082 экспериментальная - 02 мин 46 сек. Cygwin x64 3.3.0 build 14393 - 04 мин 50 сек. команда Code: sed 's/:/\n/g' input.txt > out.txt Шапка темы обновлена для скачивания посл версии
