Перезалил http://forum.antichat.ru/threads/281655/page-45#post-3888555 Теперь все операции по умолчанию отключены, включать ключами. -del удалить не печатаемые символы -t удалить по размеру -d удалить дубликаты -s сортировка Примеры: wordlistcleaner_win_x64.exe -a -del -t -d -s wordlistcleaner_win_x64.exe -a -min 10 -t -s wordlistcleaner_win_x64.exe -src dict.dic -new dict_new.dic -min 8 -max 8 -t ну и так далее ... теперь буду думать над алгоритмами, что бы ело меньше ресурсов
Попробовал. Небольшие словари чистит нормально, не портит сортировкой. На больших словарях не работает. Spoiler Code: Microsoft Windows XP [Версия 5.1.2600] (С) Корпорация Майкрософт, 1985-2001. C:\TEMP\wordlistcleaner>wordlistcleaner.exe -min 8 -max 63 -d -src l.txt -new Ne w.dic Reading l.txt Rows in the source file: 2315185 Search duplicate ####################### Non-duplicate rows: 2312144 Saving New.dic New.dic saved. Elapsed time: 6.90625s C:\TEMP\wordlistcleaner>wordlistcleaner.exe -d -src m.txt -new mNew.dic Reading m.txt Rows in the source file: 5949935 Search duplicate ########################################################### Non-duplicate rows: 5927336 Saving mNew.dic mNew.dic saved. Elapsed time: 13.71875s C:\TEMP\wordlistcleaner>
хорошо хоть в алгоритмах нет проблем ))))) а вообще как я уже говорил, 32 бит ОС плохо работают с большими объемами данных в ОЗУ, у меня есть идеи как порядком сократить поедание памяти, но рано или поздно ее все равно не хватит. интересно, если вы попробуете прогнать свой файл 257 МБ (269 617 663 байт) на 64 бит ОС с теми же 4 Гб ОЗУ, думаю должно пройти..
закончится работа над функционалом и алгоритмами, подумаю и над ГУИ "большой" словарь понятие растяжимое, в итоге все упирается в мощность ПК и разрядность ОС, сократить потребление ресурсов можно, но их все равно когда то не хватит. ГУИ хорошо на десктопе, но десктопы чаще всего слабые или устаревшие, другое дело сервера или кластеры, где ресурсов куда больше, но на серверах 99.9% консоль, тут консольная утилита в самый раз
Без обид, но я лично пользуюсь этим http://forum.insidepro.com/viewtopic.php?t=27283 небольшой словарик имя:фио:email http://rghost.ru/84XDtysf5
Это какой же комп нужен чтобы почистить и отсортировать 100 гигабайтный вордлист? Наверное мэйнфрейм с терабайтом оперативки?
http://rghost.ru/7mrQQpH5B Собрал WPA-совместимый словарь из базы 3WiFi, наверняка пригодится. Пароль - название форума.
Собрал словарь из паролей wifimap(Вся Россия и СНГ), wimaps(весь мир), 3wifi, InsidePro micro, найденные пароли и никнеймы с ветки по подбору паролей(так же и хвосты от ссылок типа 7JN7j2Clm, hgvKrQZFr) с 1 по 84 страницу и небольшой словарь mailpass. http://rghost.ru/8LvfHKk9H
Такой вопрос .. Есть словар1, словарь2 и словарь3, если пароль например 123456 есть во всех 3 словарях , то он попадает в словарь 4 . Таким образом можно создать самый поп. словарь .. Вот чем бы это отсортировать словарь4 ?
Вот любите вы под каждую мелкую задачу целую программу писать Все это придумано уже лет дцать назад Ну например: tr -dc "[:alnum:][:space:][unct:]" gawk 'length($1) > 7 {print $1} ' sort sort -u Все вместе: cat musor.txt | tr -dc "[:alnum:][:space:][unct:]" | gawk 'length($1) > 7 {print $1} ' | sort -u > slovar.txt и т.д. Причем все то же самое можно и на sed сделать, но боюсь при набирании примеров у меня сломаются пальцы, а у некоторых - моск P.S. Под виндовз все эти утилиты тоже есть, достаточно поставить CYGWIN
Короткий ман по sed: sed -i 1,36767607d вырезать строки с 0 по 1 sed -i s/$/\1960\/g подставить символы в конец каждой строки sed -i s/^/\+7\/g подставить символы в начало каждой строки sed -i 's/^-//' удалить первый конкретный символ в каждой строке sed -i 's/^\(.*\).$/\1/' удалить последний символ в каждой строке sed -i '/121/d' удалить строки содержащие +7 sed 's/^[ \t]*//' удалить пробелы и символы в начале каждой строки sed 's/[ \t]*$//' удалить пробелы и символы в конце каждой строки sed 's/^[ \t]*//;s/[ \t]*$//' удалить все пробелы и символы в начале и конце каждой строки sed '/^$/d' удалить все пустрые строки из файла sed -n '/^.\{8\}/p' удалить все строки имеющие меньше X символов sed -n '/^.\{20\}/!p' удалить все строки имеющие больше X символов sed 's/ \{1,\}/ /g' удалить двойные пробелы внутри строки sed 's/^\(..\)/\1./' вставить символ в третью позицию каждой строки sed '1~2d' удалить каждую вторую строку sed 's#^\(..\)#\1/#' вставить слэш в третью позицию каждой строки sed 's/^\(..\)/\1\\/' вставить обратный слэш в третью позицию каждой строки sed '/\n/!G;s/\(.\)\(.*\n\)/&\2\1/;//D;s/.//' перевернуть каждую строку задом наперед
небольшой словарь русских слов набраных на английской раскладке http://rghost.ru/private/7Wgnr4ssL/856175bd43ef09cbe7de190d887dab41
Почитал вышесказанное, и частично даже согласен, но частично. Можно скачать 4 десятка утилит с insidepro, можно прочесть "Библию Linux" и .т.п. можно и Cygwin поставить и мозг сломать и пальцы. Всегда на задачу есть множество решений, но я человек ленивый и хочу самое простое И так утилиту переписал почти полностью, разделил операции, получилось так: 1. чистка от не печатаемых символов и резка по длине, операции (remove и trim). Можно запускать в паре через пробел. 2. поиск дубликатов (duplicate), отдельная операция. 3. Сортировка (sort), отдельная операция. 4. Подсчет слов в словаре (calculate), отдельная операция, в автоматическом режиме удобно печатать отчет. Очистка работает напрямую и не ест память, теоретически можно словари любого размера чистить, но на практике нужно тестировать. Поиск дубликатов и сортировка держит в памяти только полезные данные, т.е. дубликаты отбрасываются во время чтения из словаря. Пример: wordlistcleaner -a trim remove wordlistcleaner -a trim wordlistcleaner -src Dict.dic -new Dict_new.dic remove wordlistcleaner -a calculate -ext txt wordlistcleaner -src Dict.dic -new Dict_new.dic duplicate и т.д. Качать тут wordlistcleaner2
Пчелка на своих смартбоксах ставит по умолчанию пароль = логин деалем кранчем 10 10 -t 089******** > beegai.txt ssid = smart-box*, beeline* - еще ни одной не встретил которую не вскрыло
а написать программу можете. что бы она из нескольких слолварей копировала встречающиеся пароли во всех словарях в один? или удаляла дубли сразу в нескольких словарях? сравнивая их.?есть пять словарей нужно очистить их от слов которые повторяются в них и создать отдельный словарь с частоповторяющмися паролями)