поделюсь немного своим опытом работы с программой . первое что хочу сказать , для того чтобы программа не выдавала ошибок и работала корректно первое что нужно сделать это применить пункт функции=удалить=текст=анг=все кроме английского. если не применить этот пункт то есть большая вероятность что программа отработает с ошибками . ещё, если не сделать то возникнут ошибки и при сортировке словаря. пример , я собрал несколько словарей и решил обеденить их в один . соединение прошло нормально был основной словарь 40Гб(сортировкнный) и я добавил к нему несколько словарей . итого получилось 79 гб . после чего решил отсортировать большой словарь. в итоге получился словарь в 34 гб. что впринципе не может быть потому что основной был 40Гб меньше получится не могло. я начал разбираться и оказалось что в одном из словрей оказался "мусор" различные строки и текст в разной кодировке. что привело к ошибке в сортировке хотя программа отработала без ошибок . но скорее всего на каком-то этапе сортировки просто остановилась и не стала дальше сортировать и записала файл который обработала до определённого места. когда я это понял я пошёл по другому пути . собрал все файл кроме основного файла в один применил пункт о котором писал выше . удалил мусор , отсортировал и только потом склеил с основным словарем . надеюсь смысл понятен, прежде чем делать что либо со словарем применить этот пункт )
сколько после гб вышло? боюсь поздно прочитал бо мои словари по количеству символов например словарь 80 гб сортировало в 7гб что удивляет, ведь не может быть столько повторов да и есть один момент, у меня не все словари хочет сортировать не знаю с чем это связано, решил тестом разных ревизий, если последняя не бьет то софт под именем релиз срабатывает, папка темп появляется и понеслось, будет кому-то думаю полезно
ExTDv0692 Словари 2 x 20ГБ Методы-> Сравнение Программа работает на ноуте с Intel и вываливается на настольных с AMD- (Шаг 1 из 5. Деление на части с подготовкой к сортировке). Почитал комменты выше, при сравнении стояла галочка "Удалить нечитаемый текст", теперь вот думаю - Не удалила ли прога лишнего?) Кто проверял результат отпишитесь плз. PS ИМХО в функции "Сравнение" как то расширить меню, чтоб можно было без лишних сравнений получить только уникальные строки содержащиеся в файле 2.txt относительно файла 1.txt.
если бы на 1 день позже вы это упомянили, может было сделал функции=удалить=текст=анг=все кроме английского после сортировку запустил папка temp тоже не появилась, запуск версии релиз норм скушал
Кому нужно фильтр удаление непечатных символов, через меню "разбить по указанным символам" вот готовое оптимальное решение конечно можете дополнить или удалить Code: •^±†¦’ЄєЃґЃѓҐґЉљЂЋћђЊњЁёЇїЏџЎўЌќЪъµ®©¬€?§·¶°;:”‘`™¤“‡‰'"‚ |гГ
есть какие-то новости, поздние версии кушают txt через раз, но с 160 гб тольок 3гб ыфхлоп как-то подозрительно
*** обновление 0.7 *** -устранены некоторые найденные неполадки при сортировке и сравнении -увеличение скорости во время сортировки( только в случае если стоит по умолчанию) или сравнения(при удалить менее 8ми) примерно на 10-15% за тесты спс пользователю CRACK211
Отпишусь по-поводу кодировок. Есть текстовый файл строки рода login@***.com : pass, Сам файл https://mega.nz/file/7Ft3UZ5S#GjPD_ZEj0amRlseO973CCUC-jNL5AGlDX378LXllZOU Программа на отрез отказалась его обрабатывать ,выбивает ошибку value 1 -******* . Честно скачать не могу понять в каких строчках проблема. В последних сообщения советовали изменить кодировки . Изменил с ANSI -> UTF8 . На удивление ошибок не произошло . Решил удостоверится что ничего не удалилось, и вижу : Code: входящий файл Lines Words Characters Property ----- ----- ---------- -------- 50000000 50000000 -1887984240 Исходящий файл Lines Words Characters Property ----- ----- ---------- -------- 46476995 46476996 1452478144 Короче очень так нехило подрезало данные. Автообработка входящих файлов и исходящих выключена. PS грешил на непечатные символы( табуляция и крякозябры ) Получил такую ще ошибку что и в остальных случаях обработки такого документа.
Изначальный фаил в нормальной кодировке думал баг при разбивке а нет именно в обработке что то не так, ждем исправлений, не забывайте что не стоит обрабатывать свои словари сразу, вы нуждаитесь здесь в тестировании чтобы в дальнейшем пользоваться без багов, а пожертвования ет так кто захочет, господа тестируйте и сообщайте о багах очень нужна ваша помощь так как нюансов очень много
у меня когда-то было такое. кака я понял это было из за пустых сторон в начале либо когда в строке табулатуры. вроде я делала удалить пробелы и таб. или вручную удалил первые строки а потом обрабатывал
вкл авто-обработку для вх файлов или тогда если что, то разберемся в след обнове... если кому интересно, быстрая сортировка по количеству символов с указанием от и до для теста по нулям, значит выкл если указать к примеру от 4 до 6 то выберет и отсортирует из вх файла все строки от 4-6 симв upd аттач удалил из-за обновы
Да с автообработкой все нормально ,делал разбить по разделителю . Вышло Code: Lines Words Characters Property ----- ----- ---------- -------- 99999999 99999999 1462547712 Но хочу предложить небольшое изменение в автообработке файлов . Разделить рус отдельным пунктом ибо делаю словарь не только из английских букв . Удаление не приемлимо. Спасибо
понятное дело что в самом файле ибо вылетает и в других программах на обработке. Вот хотелось бы знать в чем трабл ?
