Можно разбить на 3(или 4, 5) файлов, отсортировать и сравнить. При сравнении дубликаты из второго словаря удаляются. Геморрой, конечно.
В принципе гонять буду через Кота, так что думаю для него не важно сколько файлов я ему скормлю, главное чтобы по максимуму мусор и дубли вычистить и привести к рабочему виду для Hashcat. Спасибо за совет, сам не додумался ибо голова не варит уже наверное) Ну а насчет гемороя, раз других вариантов нет, то будет иметь то что имеется))
Мда, вот что получаем при сортировке порезанных словарей весом по 434 - 450 метров, отсортированных по возрастанию и почищенных до этого: http://imgur.com/iNlgFYy Народ ну неужели нет софта который справляется с этой задачей?
ULM вас спасёт.... Объединял три словаря по 1.3 гига и удалял дубликаты. Минут 10 заняло. PasswordsPro уже давно морально устарел, на смену ему юзаю ULM и пару функций беру из WIFIPR
Средствами AirSlax 5.9 Base можно справиться с моей задачей? Дело в том что в Юниксах ну почти полный ноль, да и не хочется ради словарей осваивать всю необъемлимую документацию юниксов, тем более заморачиваться с установкой, скачиванием дистрибутивов и прочего. http://unifiedlm.com/FAQ пустой(( Есть документация по CLI? С удовольствием покурю. Все с ULM разобрался, большое спасибо. Пойду курить че там остальные утилиты делают.
всё очень плохо (с) ULM ->Cross reference -> Source list -> DIC1 ULM ->Cross reference -> Reference list -> DIC2 На выходе будет DIC1-DIC2 http://unifiedlm.com/Download
Ушел качать Kali Linux, правда думаю сейчас будет сотня подводных камней, ставить буду на VirtualBox (дабы не заморачиваться с 10-ой на UEFI), потому как немного погуглив понял что да, действительно в линух все делается одной строкой в терминале и намного быстрее чем ULM и прочие и как я понимаю с большими файлами тоже проще работает.
Спасибо, буду учить чтож поделаешь. Уж всяко лучше чем каждый раз буду писать о том что у меня косяк с passwordspro очередной и помогите спасите мне со словарем весом в 100500Гб.
Я не пойму, ты пытаешься меня деморализовать что ли? Блин чувак еще пару месяцев тому назад я ходил безработный, а сейчас уже спокойно сайты клепаю на WP, Битрикс ModX. Вообще ничего не сображал в верстке сайтов, HTML PHP CSS3 JavaScript. Так что не думаю что остановлюсь перед кучей документации, тем более всегда можно задать вопрос знающим если сам чего-то не знаешь. Или гугл все найдет.
Вот для начала, всем пригодится): ======================================================== 2)..........Сортировать и удалить повторы) sort -u 1.dic > sorted.dic )........................Удалить возврат каретки) tr -d '\r' < 1.dic > bezCR.dic )........................Удалить возврат каретки) sed $'s/\r//' 1.dic > bezCR.dic 3).....Удалить пробелы в начале и конце) sed 's/^[ \t]*//;s/[ \t]*$//' 1.dic > bezprobelov-nachale-konce.dic 3).....Удалить пробелы в начале и конце) sed -r 's/^\s*//;s/\s*$//' 1.dic > bezprobelov-nachale-konce.dic 3).....Удалить пробелы в начале и конце) egrep -oi "\S*|\S.*\S" 1.dic > bezprobelov-nachale-konce.dic 4)...................Удалить короче 8 символов) sed -r '/.{8,}/!d' 1.dic > dlinee7.dic 4)...................Удалить короче 8 символов) sed '/......../!d' 1.dic > dlinee7.dic 4)...................Удалить короче 8 символов) grep ........ 1.dic > dlinee7.dic 4)...................Удалить короче 8 символов) egrep ".{8,}" 1.dic > dlinee7.dic e)............Удалить слова с ASCII выше 127) sed '/^[\d9\d10\d13\d32-\d126]*$/!d' 1.dic > ASCII.dic e)............Удалить слова с ASCII выше 127) sed '/^[\t\n\r -~]*$/!d' 1.dic > ASCII.dic )...........Удалить ASCII-символы выше 127) sed 's/[^\d9\d10\d13\d32-\d126]//g' 1.dic > ochishen.dic )...........Удалить ASCII-символы выше 127) tr -dc '\11\12\15\40-\176' < 1.dic > ochishen.dic )..........Оставить только с ASCII выше 127) sed '/[^\t\n\r -~]/!d' 1.dic > musor.dic 5)...................Разбить по количеству слов) split -l 10000000 1.dic f)...............................Сравнить два словаря) comm -13 proverochniy.dic 1.dic > sravnenniy.dic f)...............................Сравнить два словаря) join -v2 proverochniy.dic 1.dic > sravnenniy.dic - только первое слово )..................Подсчитать количество строк) wc -l 1.dic )....................Подсчитать количество слов) wc -w 1.dic )............Подсчитать количество символов) wc -c 1.dic
Сортирован, "отдублен", приведён к стандарту WPA/WPA2(8-64, удалены строки с непечатемыми символами). https://yadi.sk/d/G4TBgxYWuiihK