HashBruteStation - не большой релиз для Hashcat

Discussion in 'Безопасность и Анонимность' started by Белый Тигр, 13 Oct 2016.

  1. Белый Тигр

    Joined:
    8 Sep 2010
    Messages:
    38
    Likes Received:
    33
    Reputations:
    15
    Доброго времени суток. Рад представить релиз 0.3b проекта HashBruteStation. В нём есть несколько существенных нововведений и правок.

    1) Проект теперь в стадии beta. Связано это с тем, что закрытые ранее тесты теперь открыты, переписаны с unittest на pytest и разделены на модульные и интеграционные (до этого они были по сути интеграционные). К тому же, на боевом сервере проект работает уже больше года и можно говорить о том что он вполне стабилен.

    2) Добавлена интеграция с сервисом http://finder.insidepro.com/, за что большое спасибо его авторам. Ребята сделали простой и понятный API и помогли с интеграцией. Работа с ним происходит без какого-либо участия пользователя. Достаточно лишь указать в конфиге приобретённый ключ и HBS сам раз в неделю будет отправлять все не вскрытые хеши на сервер finder-а. Подробнее в документации.

    3) До конца отточен механизм работы с общими хеш-листами. К сожалению багов в нём, в версии 0.2а, оказалось огромное множество и так сложилось что выплывать они стали не сразу, а только когда счёт хешей пошёл на миллионы.

    4) Добавлен механизм логирования в БД всего что выводится в stdout. Со стороны web-части добавлен просмотр этих логов.

    5) Сделана обработка исключительных ситуаций в потоках. Теперь если в процессе работы потока возникает ИС, то информация о ней логируется, поток прекращает свою работу, а основной скрипт запускает его заново через несколько секунд. Таким образом, HBS будет пытаться оставаться в рабочем состоянии максимально долго без участия пользователя.

    6) В случае возникновения deadlock-а в БД, теперь через config.ini можно установить количество повторов запроса и время ожидания между ними. Ранее это было 10 попыток с ожиданием в 60 секунд. Такое решение оказалось действенным до 1кк хешей. В иных случаях при активной работе запрос так и не успевал выполнится.

    Кроме того, внесено ещё несколько менее значительных фиксов. Полный список можно найти в CHANGELOG`е.

    Взять данный релиз можно на гитхабе:
    https://github.com/hack4sec/hbs-cli (cli-часть)
    https://github.com/hack4sec/hbs-web (web-часть)

    Топик на форуме команды: http://hack4sec.pro/forum/viewtopic.php?f=10&t=104

    =====

    Рад представить новую версию HBS — 0.2a. Основная работа в ней была направлена на повышение эффективности брута.

    Добавлен поиск дублей найденных хешей по хеш-листам с совпадающим алгоритмом. Этот процесс запускается как при окончании рабочей задачи, так и при загрузке нового хеш-листа.

    Добавлено автоматическое формирование общих хеш-листов содержащих все не найденные хеши в БД, с разбиением по алгоритмам. Пользователь не может редактировать или удалять их, только запускать по ним перебор. Это может помочь если вы, например, имеете несколько крупных листов одного алгоритма по которым хотите запустить одну и ту же группу задач. Чтоб не создавать их для каждого листа можно создать один набор рабочих задач для всех хешей этого алгоритма в целом. По окончанию работы найденные хеши будут отмечены в листах, а общий лист будет пересобран (будут удалены все найденные).

    Вся выполняемая HBS работа распараллелена. Независимо друг от друга происходят: обработка и помещение в БД хешлистов, обработка результатов Hashcat с поиском найденных хешей в других листах, сам запуск Hashcat, формирование общих листов с разбиением по алгоритмам. В итоге запуск рабочих задачь теперь ничего не тормозит, они выполняются беспрерывно.

    Хеш-листы теперь загружаются в БД через «LOAD DATA LOCAL INFILE», что позволяет быстро загружать большие списки в сотни тысяч хешей и более.

    Остальные не большие новшества:
    • У хешлистов появилось поле статуса. Рабочую задачу по ним можно создавать только когда хешлист обработан и имеет статус «Готов»
    • При создании рабочей задачи можно выбрать её статус (а не только «остановлена» как раньше)
    • Возможность сокрытия завершённых рабочих задач в веб-интерфейсе
    • Возможность установки отрицательного приоритета рабочей задаче
    • Скприт cron.py переименован в hbs.py
    • Out-файлы не удаляются из БД и HDD после обработки
    Внесены следующие исправления:
    • Исправлен баг с UTF8 в процедуре поиска ранее найденных хешей
    • Запрещено удаление хешлиста который сейчас находится в работе
    • Исправлен баг удаления словарей (файл словаря не удалялся)
    • Исправлен баг обнуления приоритета задачи при отмене диалога установки приоритета
    • Исправлен баг с \r в хешлистах
    Взять данный релиз можно на гитхабе:
    https://github.com/hack4sec/hbs-cli (cli-часть)
    https://github.com/hack4sec/hbs-web (web-часть)

    Топик на форуме команды: http://hack4sec.pro/forum/viewtopic.php?f=10&t=17

    =====
    Самый первый пост (0.1а):

    Всем привет. Сегодня под флагом hack4sec состоялся релиз одной моей разработки - Hash Brute Station. Это своеобразная web-панель управления для хешкрекинг-сервером "домашней" сборки.

    Необходимость в ней появилась когда стало понятно что держать дальше дома сервер с GPU не целесообразно. С одной стороны работы для него слишком много даже при рядовых пентестах, и включать брут только на какое-то время дня не очень эффективно. С другой, этой же работы не так много чтоб конструировать полноценную ферму с массой GPU.

    В процессе проб и тестов оказалось что с моими нуждами в приемлемое время справляется простенький десктоп с почти топовым (на момент приобретения) одним GPU работающим 24/7. Он был собран и отправлен на colocation в местный датацентр принимающий Tower-корпуса (если интересно, вскоре об этом будет отдельная статья). И для упрощения управления был создан HBS который я потом решил сделать opensource-проектом. Итак.

    Документация на русском: http://hack4sec.pro/wiki/index.php/Hash_Brute_Station
    Дистрибутив cli-части: https://github.com/hack4sec/hbs-cli
    Дистрибутив web-части: https://github.com/hack4sec/hbs-web

    Видео-обзор:

    Форум проекта: http://hack4sec.pro/forum/viewforum.php?f=5
    Мой блог: http://anton-kuzmin.ru

    Буду рад если разработка окажется кому-нибудь полезна.
     
    #1 Белый Тигр, 13 Oct 2016
    Last edited: 20 Mar 2017
  2. Белый Тигр

    Joined:
    8 Sep 2010
    Messages:
    38
    Likes Received:
    33
    Reputations:
    15
    Добавлено в шапку первого поста

    Доброго времени суток. Рад представить релиз 0.3b проекта HashBruteStation. В нём есть несколько существенных нововведений и правок.

    1) Проект теперь в стадии beta. Связано это с тем, что закрытые ранее тесты теперь открыты, переписаны с unittest на pytest и разделены на модульные и интеграционные (до этого они были по сути интеграционные). К тому же, на боевом сервере проект работает уже больше года и можно говорить о том что он вполне стабилен.

    2) Добавлена интеграция с сервисом http://finder.insidepro.com/, за что большое спасибо его авторам. Ребята сделали простой и понятный API и помогли с интеграцией. Работа с ним происходит без какого-либо участия пользователя. Достаточно лишь указать в конфиге приобретённый ключ и HBS сам раз в неделю будет отправлять все не вскрытые хеши на сервер finder-а. Подробнее в документации.

    3) До конца отточен механизм работы с общими хеш-листами. К сожалению багов в нём, в версии 0.2а, оказалось огромное множество и так сложилось что выплывать они стали не сразу, а только когда счёт хешей пошёл на миллионы.

    4) Добавлен механизм логирования в БД всего что выводится в stdout. Со стороны web-части добавлен просмотр этих логов.

    5) Сделана обработка исключительных ситуаций в потоках. Теперь если в процессе работы потока возникает ИС, то информация о ней логируется, поток прекращает свою работу, а основной скрипт запускает его заново через несколько секунд. Таким образом, HBS будет пытаться оставаться в рабочем состоянии максимально долго без участия пользователя.

    6) В случае возникновения deadlock-а в БД, теперь через config.ini можно установить количество повторов запроса и время ожидания между ними. Ранее это было 10 попыток с ожиданием в 60 секунд. Такое решение оказалось действенным до 1кк хешей. В иных случаях при активной работе запрос так и не успевал выполнится.

    Кроме того, внесено ещё несколько менее значительных фиксов. Полный список можно найти в CHANGELOG`е.

    Взять данный релиз можно на гитхабе:
    https://github.com/hack4sec/hbs-cli (cli-часть)
    https://github.com/hack4sec/hbs-web (web-часть)

    Топик на форуме команды: http://hack4sec.pro/forum/viewtopic.php?f=10&t=104
     
    #2 Белый Тигр, 18 Mar 2017
    Last edited: 20 Mar 2017
    DDA likes this.
  3. DDA

    DDA Elder - Старейшина

    Joined:
    2 Jan 2007
    Messages:
    428
    Likes Received:
    375
    Reputations:
    13