блин вашей прогой не нарадуюсь за что большое спасибо) вопрос сколько может гб скушать макс ваша прога?
Без проблем все слепилось Памяти не хватало что бы это все почистить вот сегодня все с харда переместил диск переразбил 80 ГБ под винду 935 гб под линукс осталось только ждать когда почистится от повторов и строк менее 8 более 64 потом распилить по 1Гб 3,5 часа и в архив закатать 3,5 часа для очистки этого словаря надо (253+80)х2 ГБ ЗАВТРА послезавтра постараюсь выложить как время будет
cat 1.dic | sort | uniq | pw-inspector -m 8 -M 64 > Full.dic Выход думаю 150-170 Гб будет еще не известно скоро все узнаем))
Cверх Быстрое удаление дублей LC_ALL=C sort input.txt -u > rezalt.txt 13 гиг словарь з 2 гигами озу время 1:20 13 гиг словарь з 8 гигами озу -- 51мин 13 гиг словарь з 16гигами озу(2x8gb) -- 27мин. использую cygwin64
Обновились до версии 1.03. Спасибо 4pips за идею (<3). Качать там же. Очень много, весь винт может "скушать"... Необходимо иметь свободного места на винте минимум в два раза больше, чем словарь для обработки. Это вы мне скажИте, насколько большие словари скормили...
Словарик паролей для точек доступа с именами: RTK-401428 RTK-308643 и т.д https://yadi.sk/d/uto2nxtB32xkxG Сжат: 15,4 мб Распакован: 3,1 ГБ типы паролей: ELTX1C0%%%%% ELTX1A0%%%%% ELTX5C0%%%%% ELTX5A0%%%%% % - A..Z 0..9 выход: ELTX5C050354 ELTX1A010BD3 ELTX1A023A2C
да ну EmEditor посмотри после сортировки там куча повторов куча строк с русскими буквами куча строк ссылок куча строк аля почтой ящик а еще там присутствуют строки с китайскими ероглифами и естественно строки ошибок форматирования после 249 вообще практически мусорные файлы 251 - вообще нет в раздаче (ну там мусор поэтому я из за него не парюсь)
"китайскими иероглифами" самые распространеные китайские слова входят в словарь, думаеш пароли рус немогут быть? мусор есть не спорю но дублей не дожно быть,хотя че спорить давай ждем пока выложи словарь