Имея 3 словаря, допустим, по 10 Гб в txt формате, хочу объединить их в один словарьout.txt(30Гб) и в далее хочу убрать повторяющиеся строки(пароли) из этого файла, как это реализовать у себя на пк? Может есть команды для объединения и очистки дублей(+ сортировки) или специализированный софт? Имею две OC Kali и W10.
объединить: cat 1.txt 2.txt 3.txt > out.txt сортировать и удалить повторы: sort -u out.dic > sorted.dic
А изменить количество строк в файле out.txt можно с помощью команды uniq -s 3-8? Получается конечный команды: 1.cat 1.txt 2.txt 3.txt > out.txt 2.sort -u out.txt > sorted.txt 3.uniq -s 3-7 sorted.txt sorted3-7.txt И получим словарь без повторов с кол-во символов от 3 до 7, верно?
если нужно оставить слова только с от 3 до 7 символами, то: sed -r '/^.{3,7}$/!d' sorted.txt > ot3do7.txt
Доброе время суток Antichat, вопрос такой - у меня есть 10 словарей для брута, нужно убрать из них дубликаты(почистить) не объединяя их в один, как такое провернуть? Интересно есть софт на подобии duplicut-master? Помогите пожалуйста
