Создание словарей, Exclusive Tool dictionaries

Discussion in 'Беспроводные технологии/Wi-Fi/Wardriving' started by s9va, 13 Jul 2017.

  1. recfrf

    recfrf Member

    Joined:
    22 Aug 2008
    Messages:
    21
    Likes Received:
    6
    Reputations:
    0
    бывает при объединении файлов, пишет сразу же что конечный файл создан и выполнено(что невозможно), а по факту продолжает работать.
    Вопрос насчет удаления емаил, удаляет только с первого файла из указанных, так и задумано?
     
  2. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    168
    Likes Received:
    430
    Reputations:
    3
    да, по одному файлу
     
  3. V777

    V777 Elder - Старейшина

    Joined:
    12 May 2015
    Messages:
    1,326
    Likes Received:
    3,181
    Reputations:
    24
    Отправил в ЛС часть файла
     
    s9va likes this.
  4. ZloyHaKeR

    ZloyHaKeR Member

    Joined:
    1 Mar 2017
    Messages:
    186
    Likes Received:
    63
    Reputations:
    0
    Когда будет новая обнова?
     
  5. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    168
    Likes Received:
    430
    Reputations:
    3
    в программе произошли существенные изменения, обо всем этом при релизе, будет как только сам протестирую основное
     
    scooter, CRACK211, V777 and 2 others like this.
  6. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    168
    Likes Received:
    430
    Reputations:
    3
    *** Обновление 0.8 ***
    Screenshot_13.jpg
    1. Ускорение работы программы для всех функций примерно на 30 %
    2. Уменьшение количества временных файлов во время работы.
    3. Осуществлена запись в выходной файл ,на случай, до момента сбоя при работе с файлом.
    4. Правка кода при назначении переменной До.
    5. Переделка функции Удаление пробелов в конце строки.
    6. Установка диапазона от 1 до 2000мб для Файлы - Разбить на части.
    7. Добавление сохранения русских символов (кирилицы) в авто-обработку для файлов кодировки ANSI.
    8. Добавление в авто-обработку поля ввода для указания длины строки при удалении, по умолч. 8.
    9. Соблюдение, там где это необходимо, для одинаковых кодировок файла на входе и выходе.
    10. Добавление функции Удалить между двумя (на выбор) переменными От и До.
    11. Добавление функции Разбить строку по нескольким разделителям, а именно:
    В отличии от Разбить по указанным символам, является то, что разделителями могут быть слова, различные наборы нужных символов или даже целые предложения.

    Разделители указываются через запятую
    Например:
    Code:
    @mail.ru, @gmail.com, :
    12. Правка функций Разбить по разделителю, иногда связанная с некорректным переносом на новую строку.
    13. Добавление подсказок для некоторых функций.
    14. К архиву с файлом теперь идут в наборе word-овский файл с подсказками-справкой-описанием работы программы(начало положено, желающие могут дополнить и прислать), а так-же файл extd.exe, который теперь не извлекается автоматически из ресурсов(чтобы не ругались АВ).
    15. Коррекция запуска процесса при сортировке или сравнении.
    Пока так... думаю, что производительность не дается просто так, возможно , что внесенные изменения могут сказаться на работе некоторых функций, но при тестировании не обнаружил, если что пишите в теме.
    upd
    0.8.1 исправлен недочет с подсчетом совпадений для нек файлов.
    Шапка темы обновлена.
     
    #466 s9va, 27 Aug 2020
    Last edited: 27 Aug 2020
    hydra, scooter, ZloyHaKeR and 3 others like this.
  7. ZloyHaKeR

    ZloyHaKeR Member

    Joined:
    1 Mar 2017
    Messages:
    186
    Likes Received:
    63
    Reputations:
    0
    Спасибо за обнову .Тестирую.
    Есть еще вопрос .
    Например Есть база [email protected]:1234:!@ ,то как сделать чтобы выдало так :
    [email protected]
    1234:!@
    Просто раздетель встречается в пароле.
     
    #467 ZloyHaKeR, 27 Aug 2020
    Last edited: 27 Aug 2020
  8. ZloyHaKeR

    ZloyHaKeR Member

    Joined:
    1 Mar 2017
    Messages:
    186
    Likes Received:
    63
    Reputations:
    0
    Для того чтобы узнать какая кодировка файла то юзаем linux

    Code:
    file -i /путь к файлу/mypoem_draft.txt
    
    file -i /media/bezzumnuy/38413AA14D5979AE/Passwords/С\ Торрентов/12billion\ special\ for\ xss.is/rez_out.txt
    /media/bezzumnuy/38413AA14D5979AE/Passwords/С Торрентов/12billion special for xss.is/rez_out.txt: text/plain; charset=us-ascii
    
    Кстати можно добавить такую опцию в прогу.+ если кодировка отличается то можно еще запилить конвертер в ascii ,если конечно не будет добавлена обработка в других кодировках-UTF
     
  9. V777

    V777 Elder - Старейшина

    Joined:
    12 May 2015
    Messages:
    1,326
    Likes Received:
    3,181
    Reputations:
    24
    Сначала удалить все что до , а потом все что после .. Слепить .
    как вариант
     
  10. ZloyHaKeR

    ZloyHaKeR Member

    Joined:
    1 Mar 2017
    Messages:
    186
    Likes Received:
    63
    Reputations:
    0
    Без понятния но опять где-то проблема .ЧТо Русскими что без русских .
    Тестовый файл https://mega.nz/file/SQ1FjLiR#GjPD_ZEj0amRlseO973CCUC-jNL5AGlDX378LXllZOU
    Насчет большого то тоже проработало 1.5 часа и потом завис на временных файлаъ, общий объем которых 65 гб из 90гб
    [​IMG]
     
    #470 ZloyHaKeR, 27 Aug 2020
    Last edited: 27 Aug 2020
  11. ZloyHaKeR

    ZloyHaKeR Member

    Joined:
    1 Mar 2017
    Messages:
    186
    Likes Received:
    63
    Reputations:
    0
    Добавлю .
    Вернулся на 7.2 версию
    Поставил мелкий файл .
    Наблюдаю за временными файлами.
    [​IMG] [​IMG]
     
  12. ZloyHaKeR

    ZloyHaKeR Member

    Joined:
    1 Mar 2017
    Messages:
    186
    Likes Received:
    63
    Reputations:
    0
    Еще небольшой отчет .
    Решил перевести в другу кодировку с UTF в ANSI (хотя думал что у меня небольшой файл был и так в ANSI)
    Перекодировал.
    Вот результат с уже разбивкой по разделителю.
    [​IMG] [​IMG]
    Буду сейчас тестить на большом файле с перекодировкой.
     
  13. ZloyHaKeR

    ZloyHaKeR Member

    Joined:
    1 Mar 2017
    Messages:
    186
    Likes Received:
    63
    Reputations:
    0
    И так, что я имею по обработке большого файла .
    Входной файл -https://mega.co.nz/#!tVVFjQSA!095XR_Q-Bd3UhWNlaEImvjNWReCT4u2hSCPC85ujnV8
    Первый скрин разбивка по разделителю без конвертации в ANSI .Время запуска видно. Второй скрин конвертация в ANSi .
    Результат один и что-то мешает обработке.
    Буду разбивать на части и смотреть что мешает .
    [​IMG][​IMG]
     
    s9va likes this.
  14. ZloyHaKeR

    ZloyHaKeR Member

    Joined:
    1 Mar 2017
    Messages:
    186
    Likes Received:
    63
    Reputations:
    0
    Продолжаю эксперименты .
    Паралельно запущено 2 экземпляра программы
    1 экземпляр большой файл разбил на равные части по 2 гб(указан предел в программе) Думал так быстрее процесс пойдет:)
    2 экземпляр разбит по 1 гб .
    И так .
    1)При обработке 1-ом экземпляре программа вылетает(сообщение по завершении программы) после окончания обработки, сразу после записи файлов и после конвертации в ANSI(думал сначала из-за кодировки)
    [​IMG]

    2)программа не на что не гугается и не вылетает,уже обработало 2.7гб (27файл)
    [​IMG] [​IMG]
     
  15. fire-dance

    fire-dance Elder - Старейшина

    Joined:
    12 May 2015
    Messages:
    1,000
    Likes Received:
    665
    Reputations:
    12
    брал фаил 3 гига все тоже самое вылетает , а 1 гиг брал норм автор уже в курсе, отписал
     
  16. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    168
    Likes Received:
    430
    Reputations:
    3
    Важно. Убрал из доступных для скачивания версию 081 для устранения найденной неполадки.
    Файлы в неск гиг мной не тестировались и обнаружились нестыковки для вкладки Функции, а именно, после увелич производительности и прочего, недоглядел важный момент и теперь выходные файлы ограничены в размере...
    после исправления будет еще дополнительно увеличение по скорости в след обновлениях.
     
  17. ZloyHaKeR

    ZloyHaKeR Member

    Joined:
    1 Mar 2017
    Messages:
    186
    Likes Received:
    63
    Reputations:
    0
    Небольшой отчетик:D
    Разбил файл 95 гб по 2 гб . Сейчас только добил последние файлы .
    Конвертация не потребовалась.
    Разбивка по разделителю прошла без ошибок. Только вылет проги .

    [​IMG]
     
    s9va likes this.
  18. recfrf

    recfrf Member

    Joined:
    22 Aug 2008
    Messages:
    21
    Likes Received:
    6
    Reputations:
    0
    версия 7.2 и ниже (8 не имею), вылетает на сортировке ошибка - "произошла одна или несколько ошибок"
    в темпе при работе плодятся 0 файлы все длиннее и длиннее названием
    файлик с которым проблема прикладываю(он конечно идиотский но тем не менее), с файлом в 2 раза меньше строк сортировка проходит, именно с этим и большим нет, насколько я понимаю проблема из-за длины имен файлов в темпе, доходят до лимита ос, как то видимо неправильно обрабатывается строка, что вызывает такое размножение файлов.
    файл 1.95mb(134mb распакованный) https://yadi.sk/d/6F6XHvqq1OxtQQ
    1.png 2.png
    3.png
     
    #478 recfrf, 2 Sep 2020
    Last edited: 2 Sep 2020
    s9va likes this.
  19. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    168
    Likes Received:
    430
    Reputations:
    3
    В скором времени появится обновление программы.
    Из-за экспериментов и тестов на скорость, в котором участвовали для сравнения- новая версия 082, cygwin и последняя 072, пришлось задержаться с выпуском.
     
  20. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    168
    Likes Received:
    430
    Reputations:
    3
    *** Обновление 0.8.2 ***
    -реализован отказ от временных при сборке выходного файла, что в свою очередь немного нагрузило память, но увеличило скорость обработки, тем самым исключило лишние записи на диск, что сократило общее время.

    Помимо прочих изменений, а так-же указанных этом посте добавлена экспериментальная функция, которая участвовала в тестах с cygwin на разных PC.
    Результаты последних переделок при работе всех функций программы, сравнение с cygwin x64(виндоус версия) и посл рабочей версией ExTDv072 ниже.
    Для примера была взята функция Разбить по разделителю.
    -Размер тестируемого файла 5,04 Гб.
    Прочитанных строк: 168133744
    Разделителей найдено: 168155725
    Время обработки:
    ExTDv072 - 14 мин 43 сек.
    ExTDv082 - 08 мин 37 сек.
    ExTDv082 экспериментальная - 02 мин 46 сек.
    Cygwin x64 3.3.0 build 14393 - 04 мин 50 сек. команда
    Code:
    sed 's/:/\n/g' input.txt > out.txt
    Шапка темы обновлена для скачивания посл версии
     
    Petr Sitkin, V777, fire-dance and 4 others like this.