Пытался почистить 3 гиговый словарь на ubuntu 64 и вот,что вышло: Spoiler: Spoiler leha@leha-System-Product-Name:/media/leha/LocalHDD/CUDAHashcat/dic$ ./wordlistcleaner -src 1 -new 2 duplicate 1 processing: %..58%fatal error: runtime: out of memory runtime stack: runtime.throw(0x539e20, 0x16) D:/Go/src/runtime/panic.go:527 +0x90 runtime.sysMap(0xc9a6ad0000, 0x130000000, 0x5ca000, 0x5e7c18) D:/Go/src/runtime/mem_linux.go:143 +0x9b runtime.mHeap_SysAlloc(0x5ca020, 0x130000000, 0xc8204aca80) D:/Go/src/runtime/malloc.go:423 +0x160 runtime.mHeap_Grow(0x5ca020, 0x98000, 0x0) D:/Go/src/runtime/mheap.go:628 +0x63 runtime.mHeap_AllocSpanLocked(0x5ca020, 0x98000, 0x100) D:/Go/src/runtime/mheap.go:532 +0x5f1 runtime.mHeap_Alloc_m(0x5ca020, 0x98000, 0xffffff0100000000, 0xc820075ec8) D:/Go/src/runtime/mheap.go:425 +0x1ac runtime.mHeap_Alloc.func1() D:/Go/src/runtime/mheap.go:484 +0x41 runtime.systemstack(0xc820075ee0) D:/Go/src/runtime/asm_amd64.s:278 +0xab runtime.mHeap_Alloc(0x5ca020, 0x98000, 0x10100000000, 0x41376f) D:/Go/src/runtime/mheap.go:485 +0x63 runtime.largeAlloc(0x130000000, 0x7f2300000000, 0x2) D:/Go/src/runtime/malloc.go:745 +0xb3 runtime.mallocgc.func3() D:/Go/src/runtime/malloc.go:634 +0x33 runtime.systemstack(0xc8204acac0) D:/Go/src/runtime/asm_amd64.s:262 +0x79 runtime.mstart() D:/Go/src/runtime/proc1.go:674 goroutine 1 [running]: runtime.systemstack_switch() D:/Go/src/runtime/asm_amd64.s:216 fp=0xc9a6a07610 sp=0xc9a6a07608 runtime.mallocgc(0x130000000, 0x500560, 0xc800000000, 0x4b734f) D:/Go/src/runtime/malloc.go:635 +0x9c4 fp=0xc9a6a076e0 sp=0xc9a6a07610 runtime.newarray(0x500560, 0x2000000, 0x1ba20b1a) D:/Go/src/runtime/malloc.go:777 +0xc9 fp=0xc9a6a07720 sp=0xc9a6a076e0 runtime.hashGrow(0x4d59a0, 0xc820012360) D:/Go/src/runtime/hashmap.go:761 +0x82 fp=0xc9a6a07750 sp=0xc9a6a07720 runtime.mapassign1(0x4d59a0, 0xc820012360, 0xc9a6a079c0, 0xc9a6a0783f) D:/Go/src/runtime/hashmap.go:481 +0x55b fp=0xc9a6a077f8 sp=0xc9a6a07750 _/D_/Projects/Go/go_wordlist_cleaner2/operations.DoDuplicate(0x7fff58f74359, 0x1, 0x7fff58f74360, 0x1, 0x0, 0x0) D:/Projects/Go/go_wordlist_cleaner2/operations/duplicate_search.go:45 +0x730 fp=0xc9a6a07ae0 sp=0xc9a6a077f8 main.DoJob(0x10000, 0x8, 0x3f, 0x7fff58f74359, 0x1, 0x7fff58f74360, 0x1, 0x0, 0x0) D:/Projects/Go/go_wordlist_cleaner2/main.go:33 +0x1b3 fp=0xc9a6a07b78 sp=0xc9a6a07ae0 main.main() D:/Projects/Go/go_wordlist_cleaner2/main.go:146 +0x954 fp=0xc9a6a07f10 sp=0xc9a6a07b78 runtime.main() D:/Go/src/runtime/proc.go:111 +0x2b0 fp=0xc9a6a07f60 sp=0xc9a6a07f10 runtime.goexit() D:/Go/src/runtime/asm_amd64.s:1696 +0x1 fp=0xc9a6a07f68 sp=0xc9a6a07f60 leha@leha-System-Product-Name:/media/leha/LocalHDD/CUDAHashcat/dic$
могу, только не понял что нужно, "частоповторяющмися паролями", вы хотели сказать, нужен словарь без дублей с уникальными паролями?
А где взялись строки типа: Spoiler: String Code: 010159-Accessdenied 01016172163 010162-Accessdenied 010165538 010166-Invalidlogin 010168010168 010170-Accessdenied 010174-Accessdenied 010174-Invalidlogin 0101744502 010174512862 010176-Accessdenied 010176-Invalidlogin 010176602429 01017663 010177-Accessdenied 010179-Invalidlogin 010179845921 010180-Accessdenied 010180-Invalidlogin 010181-Invalidlogin 010181ay 010182-Invalidlogin 010182PA 01018361 010184-Accessdenied 010185-Accessdenied 010185-Invalidlogin 01018585 0101858983841 010186-Accessdenied 010186-Invalidlogin 01018780 010188-Accessdenied 01018813 0101888485 010189-Accessdenied 010189-Invalidlogin Spoiler: String ? Code: (????)??_(__?/???/_ (??????) (??????? (???????!)" (???????) (???????? (?????????) (?????????? (??????????) (??????????? (????????????) (??????????????) (????????????????? (??????????????????) Очень их много.
Да. И еще была мысыль сравнивая допустим 5 словарей, если одно и тоже слово повтаряется хотябы в трех из них то копировать в отдельный словарь. Мне кажется не плохой соловарь получится. Надо у старейшин спросить) будет смысол в таком словаре)
Я думаю что толку мало. Вот менять какие-либо данные в маленьком словаре (пример: ALEXEY2012- заменить дату с 1930 по 2020), здесь да, это Вы можете видеть в тренировочной комнате.
duplicate и sort критичны к оперативной памяти, если памяти 4 гига то 3 гига могли и не влезть.... во время поиска дубликатов уникальные слова хранятся в памяти, что бы можно было сравнивать их с вновь считанными, т.е. в память помещается очищенный словарь, дубликаты же отбрасываются... другого алгоритма я пока не придумал... remove и trim работают "на сквозь", эти операции должны проходить без падений...попробуйте.
Сделал. Алгоритм поиска дубликатов тот же, что и у прошлой программы, т.е. память потребляет в зависимости от размера чистого словаря. Очистил словари GDict и Languages (Summary) а затем объединил этой программой с поиском дубликатов, результат: |Readed | 6356913| |Removed | 2027170| |Result | 4329743| Как пользоваться: duplicate_seacher.exe -ext txt -new dict_new.dic - программа найдет все словари с расширением txt и создан новый словарь dict_new.dic без дубликатов... В общем нужно тестировать ... Качать тут duplicate_seacher
Кое-что из своего) )............................только цифры - остальное) sed -r '/^[0-9]{1,}$/!d' 1.dic > cifri.dic|sed -r '/^[0-9]{1,}$/d' 1.dic > ostalnoe.dic )...............буквы и буквы+цифры - остальное) sed -r '/^([a-z]{1,}|[a-z]{3,}[0-9]{1,})$/I!d' 1.dic > bukvi-bukvocifri.dic|sed -r '/^([a-z]{1,}|[a-z]{3,}[0-9]{1,})$/Id' 1.dic > ostalnoe.dic ).Разделить - короче 11, длинее 10 символов) sed '/.........../!d' 1.dic > dlinee10.dic|sed '/.........../d' 1.dic > koroche11.dic
То-то и оно,что памяти 12Gb DDR3 1333 и занято было на момент запуска прцедуры 2.5Gb. Т.е свободной памяти должно хватить. У меня система установлена на SSD и я не создаю раздел подкачки (в целях экономии места да и памяти достаточно) Может в этом проблема?Хотя врядли.....
пробовал разные варианты и как раз сейчас пробую вариант с хранением данных в БД, скорее всего будет SQLite3 ... однако какой будет скорость ... ну а пока переписал немного функцию поиска дубликатов, теперь потребляет памяти в два раза меньше чем в прошлом варианте. качать там же: wordlistcleaner2 duplicate_seacher
Анализ данных 3wifi позволил скорректировать и дополнить словарь паролей, предлагаемых некоторыми устройствами Netgear. http://rghost.ru/7rjv4snSb
http://rghost.ru/6xmrhQGgc Модифицировал свою утилиту. теперь в поле KOL считается количество дублей. При экспорте нужно задать минимальное количество дублей, чтобы пароль считался "частословарным".
чёта в duplicate_seacher_win_x32 пишет - Error: No files found. http://s011.radikal.ru/i316/1509/48/7a7a260c965f.jpg
CygWin перкрасно работает на Winx64, на данный момент объеденил 2 словаря один 35 Г второй 40Гигов итого 75 гигов. Отсортировал, сейчас чистит дубли....не виснет....классно..отработал словарь Super-WPA (11Ги) (мелькал тут на сайте) - после сортировки и чистки стал весить 6 гиг. так что CygWin - понравился. Спасибо gpuhash ))))
Здоров Мужики!!! Нужна помощь. Есть приложение -"Операторы России" для Android. Пользуюсь уже 3 года. Определяет оператора сотовой связи и принадлежность к региону на 100%. Можно ли выдернуть данные из этого приложения и составить словари по регионам? Я ошибочно полагал, что определить принадлежность номера сотового оператора к региону можно по первым 3 цифрам... Оказалось,что это не так.!!! При определении принадлежности номера к региону используются все 10 цифр.