Цепочки – метод поиска коллизии.

Дано:​

Некая хеш функция Ф()
Диапазон ее хешей от 00 до 99
Диапазон входных данных (паролей) - бесконечно (любая строка, файл)

(Функция взята искуственно для удобства пояснения)

Задача:​

Найти пароль от ЛЮБОГО известного хеша этой функции Ф().

Решение (алгоритм)​

Сгенерируем цепочку хешей где сами хеши будут паролями т.е.:
(Цепочка 1)

Code:

Ф(00)=01
Ф(01)=02
Ф(02)=03
Ф(03)=04
Ф(04)=05
...
Ф(98)=99
Ф(99)=00

Круг замкнулся. Мы перебрали все возможные хеши. Хеш от 00 даст 01 (начало цепочки).
В цепочке имеем что каждый элемент (хеш) это пароль от следующего за ним хеша.
Т.е. пароль от хеша „03” это строка „02”, от „56” – строка „55”.
Если мы найдем хеш от пароля „пассворд” то получим (например) значение 32
Ф(пассворд)=32
Но в то же время мы знаем что пароль от хеша 32 это строка „31” (смотрим цепочку)
Значит:

Code:

Ф(пассворд)=32
Ф(31)=32

Перед нами случай колизии когда два разных пароля дают один хеш.
Если бы эта функция применялась для хеширования паролей допустим форума и мы получили хеш 32 то авторизоваться можно как паролем „пассворд” так и паролем „31”

(ну думаю это ясно )​

Получается имея полную цепочку хешей для функции Ф() мы можем найти пароль для ЛЮБОГО хеша. Для этого нужно найти наш хеш в цепочке и предыдущий хеш в ней будет паролем.
Для нашей функции диапазон хешей невелик и полная цепочка не займет много места, но если мы возьмем реально существующую функцию например oldmysql() то вся цепочка будет иметь 2^64 хешей (т.е. количество всех возможных хешей функции oldmysql())
Значит нельзя хранить всю цепочку.
Рассмотрим на примере нашей функции Ф() способ поиска пароля от нужного нам хеша при помощи цепочки которая хранит ПРОМЕЖУТОЧНЫЕ значения полной цепочки.

Идея​

Итак полная цепочка для нашей фукнции будет занимать 100*2 = 200 знаков (100 – общее количество хешей, 2 – количество символов в хеше).
Генерировать будем так же как и описано выше:
(Цепочка 1)

Code:

Ф(00)=01
Ф(01)=02
Ф(02)=03
Ф(03)=04
Ф(04)=05
...
Ф(98)=99
Ф(99)=00

Но сохраняем каждый десятый хеш, в результате получим такую цепочку
00 – первый хеш.
09 – хеш от 08
19 – хеш от 18
...
99 – хеш от 98

Запишу полностью для удобства понимания дальнейшего
(Цепочка 2)

Code:

00
09
19
29
39
49
59
69
79
89
99

Итого 11 записей. Что по объему равно 11*2=22 знака (Существенно меньше)
Остается вопрос КАК искать по этой цепочке пароль допустим от хеша 45. (пусть у пользователя форума был пароль „ВАСЯ” хеш от которого 45 )
Для того что бы найти пароль по нашей полученой цепочке с промежуточным сохранением (внимание сама суть!!!) берем наш хеш 45 и начинаем генерировать хеши от него по цепи и искать полученое значение в нашей неполной цепочке (Цепочка 2) Т.е.
Ф(45)=46 – ненайдено.
Ф(46)=47 – ненайдено.
Ф(47)=48 – ненайдено.
Ф(48)=49 – НАЙДЕНО!!!! В нашей неполной цепочке есть хеш 49.
Идем дальше. Смотрим предыдущий от найденого (49) хеш в нашей цепочке (Цепочка 2) там стоит значение хеш 39. Имеем НАЧАЛО диапазона где будет найден наш искомый хеш (45).
Начинаем снова генерить хеши от начала диапазона (39) и сравнивать его с нашим искомым хешем (45):
Ф(39)=40 - нет
Ф(40)=41 - нет
Ф(41)=42 - нет
Ф(42)=43 - нет
Ф(43)=44 - нет
Ф(44)=45 – НАШЛИ!!!!!!!! Значит паролем к нашему хешу будет строка „44”.
Все колизия найдена
Ф(ВАСЯ)=45
Ф(44)=45
(можем авторизоваться на форуме паролем 45 )
Теперь о том что это дает и как это все будет по времени.
Пусть полная цепочка генерится 100 часов. Т.е. один хеш в час. Это долго и неудобно НО сгенерить ее нужно лишь один (!) раз, сохранив при этом только каждый десятый хеш.
Дальше при самом неудачном варианте нам нужно будет генерить максимум 10 хешей, что займет всего 10 часов (пока без учета поиска)
Что касается места на полную цепочку (Цепочка 1) уходит 200 знаков, на неполную (Цепочка 2) – 22 знака.

Дальше о реальности ​

Все это дело было придумано основываясь на двух вещах:
1. Скорость генерирования хешей на CUDA сморим тут https://forum.antichat.ru/thread62728.html
В конце видим

И второе условие необходимое для работы этой темы, нужно что бы
2. Среди всего диапазона хешей если их взять как пароли небыло коллизий
Т.е.
ХЕШ1=OLDPASSWORD(хеш01)
ХЕШ2= OLDPASSWORD(хеш02)
ХЕШ1<>ХЕШ2 для ЛЮБЫХ пар хеш01-хеш02
Или другими словами OLDPASSWORD(хеш1)<>OLDPASSWORD(хеш2)
Нужно это для того что бы полная цепочка замкнулась в кольцо.


Теперь в цифрах. Для генерации полной цепочки (без сохранения) нужно
2^64/8 000 000 000 000 = 2305843 секунд = 640,5 часов = 26 дней. Что вообщем-то очень недолго.
Теперь определимся с шагом сохранения.
Тут важными будут два параметра:
1. Время восстановления одного участка цепочки.
2. Место которое мы готовы выделить на диске для хранения промежуточных результатов
Есть определенные ограничения и тонкости, но это уже можно узнать после ряда тестов.
Для примера если мы сделаем шаг размером 2^44 штук, то количество шагов(цепочек) и стало быть количество сохраненных промежуточных хешей будет 2^64 / 2^44 = 2^20 хешей. Это 1048576 хешей. По объему будет занимать 1048576*16 байт (длинна хеша)= 16777216 байт = 16 МБ. Всего 16 Мб на хранение цепочки промежуточных хешей.
Но при генерации цепочки из нашего искомого хеша мы вынуждены результат сравнивать со всеми 1 048 576 хранимых хешей, что сильно замедлит сокрост. Вот тут как раз нужно подобрать оптимальную длину шага что бы хранимых хешей было как можно меньше но один промежуток (шаг) перебирался за короткое время.
Можно например сделать так, не сравнивать каждый полученый хеш с хранимой цепочкой , а сгенерить весь промежуток длинной в шаг (2^44) и найти общий хеш среди нагенереного массива хешей и цепочкой промежутков. Вообщем придумать можно.

Вот такая вот идейка по поиску коллизий. Почему она вообще пришла мне в голову. Дело в том что у хеша диапазон входных значений бесконечность, но выходных конечное множество. А что если сами хеши использовать как пароли, на выходе тоже будут хеши. Значит если перебрать все хеши как входные данные, то мы получим ВСЕ хеши на выходе. Т.е. мы сузим диапазон входных значений с бесконечности до вполне конечного числа в случае с oldmysql хешами это будет 2^64, что не так уж и много во времена CUDA.
Хотелось бы обсудить идею вообще ну и алгоритмы реализации. Т.е. слушаю ваши мнения на этот весь тред

 

Эмм.. А почему ты думаешь что при A<B, F(A)<F(B) ?? Или я чтото не понял? Да и распределение может быть неравномерным, т.е. при A<C<B может быть и F(C)<F(A)<F(B). Тогда и диапазона никакого не будет.

 

Ты не понял. Мы вычисляем хеш от хеша, на примере реальной функции олдмускул
берем строку 606717496665bcba вычисляем от нее хеш
oldpassword(606717496665bcba)=6a0d3dfd1c4308f4
дальше от результата
oldpassword(6a0d3dfd1c4308f4)=774cb1d32ece3273 и т.д
oldpassword(774cb1d32ece3273)=278117eb39e5d68c
oldpassword(278117eb39e5d68c)=7c52766a01a03c28
oldpassword(7c52766a01a03c28)=34de6b1d0a7eab07
Выход подаем на вход. И делаем так пока не переберем ВСЕ. Сохраняя при этом каждый ну допустим каждый тысячный хеш (это в реале мало, шаг нужне больше... ну я описывал)
____________________
Гм, я кажется понял что смутило. То что я хеши брал 01 02 03 ...
Вообщем это для удобства пояснения... сама нумерация не важна... это просто строки и все. Ну или считайте как индексы хешей... Т.е. Первый хеш, второй хеш, третий хеш... и т.д.

 

то есть для того чтобы найти значение от мд5 хеша, мы тупо сначала хешируем все значения от 00000000000000000000000000000000 до 99999999999999999999999999999999 и состаляем цепочки.
Причем проанализиовав я думаю мы мы можем некоторые значения не брать (кстати например хеш какого то значения может быть равен допустим 555555.....555? то есть если проанализировать мы часть значение можем не принимать и тогда наша база сузиться.)
я думаю на малых длинах хешей это прокатит.

 

Тоже думал про это... но ответа незнаю... нужно анализировать хеш функцию на областьь значений.
Про МД5 говорить пока рано так как 2^128 это все же ОЧЕНЬ много даже для КУДА.
Но это ПОКА рано Да и кстати может кто то внесет что то свое и тогда МД5 тоже будет взят...

Тут не совсем верно сказано. Цепочка одна, просто храним не все значения а только каждый N-ный.
И не от 000000... до 9999999....
а допустим от 000000..... ДО некого хеша - ХЕШ от которого даст 000000... и круг замкнется. Тут кстати опять вылазит вопрос будет ли этот хеш, т.е. в области значений функции МД5 есть хеш 000000...
Может действительно "красивые хеши НЕ могут существовать" и ВСЕХ реальных хешей не от 000000... до 9999999.... (2^128) а ГОРАЗДО меньше?
Думаем....

 

Почитал на вики про алгоритм мд5

то есть если я правильно дальше понял, хеш обьязательно у нас получается составленным из букв и цифр вместе. То есть нету такого входного значения, хеш которого будет составлен или только из цифр или только из букв, что сужает намного нашу область

или я неправильно понял?
--
а вот еще дальше прочитал

ну итам дальше описано
ps: криво вошло =( короч http://ru.wikipedia.org/wiki/MD5

 

нет, хэш не обязательно должен состоять из букв и цифр вместе.

 

Если не сложно, можно пример тогда?

----
судя по лекциям предатора ) я думаю у него адекватный преподаватель
чистый md5 имеет область значений хэшей от 00000000000000000000000000000000 до FFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF (хотя это только область значений, нету точного задавания значений)
а вот в md5(md5()) - область значений может выраждаеться. То есть мд5(мд5) с большой вероятностью может быть составленным только из цифр и букв одновременно. Но я думаю это надо уточнять у тех кот увлекается криптографией, у меня спецкурс по криптографий уже закончился и я успешно спал на нем, и препода увижу только в след семестре чтобы посоветоваться )

 

предатор подумал и короче мы тут тупим, при одном проходе мд5 у нас просто строка из 32 символа, так что никакого вырождения нету )

 

впадлу переписывать

 

короче мы сузили кол-во хешей всего лишь до 1208925819614629174706176 примерно ) и еще пришла мысль что при бесконечном хеширование функция наши хеши будут циклически повторяться ))).
-----
Получается таким методом мы сможем найти только первый хеш от мд5.
То есть например
$l=md5(pass);
$k=md5($l);

пробрутив и занеся в базу 16^32 значений хешей от 0000...000 до FFF...FFF и сравнивая с $k мы сможем найти $l а потом уже брутить ее по словарю или обычными методами. Както все так получается )

 

кстати, кому интересно, попробуйте такое.
возьмите например слово pass
его хеш будет 1a1dc91c907325c69271ddf0c944bc72
Пишем простенький скрипт. Делаем цикл хеширования слова pass. То есть

$l=pass;
while i<бесконечность do
$l=md5($l);
if $l=1a1dc91c907325c69271ddf0c944bc72 на каком то шаге, то мы нашли порядок l . то есть число которое обозначает через сколько проходов хегирования наше слово будет иметь одинаквый хеш. правда я не думаю что компьютер сделает это ближайший год, надо узнать скорость за которую скрипт этот будет срабатывать. Порядок по идее должен быть меньше 16^32
---
вот такой вот ночной бред ))

 

год? я думаю не меньше века...
хотя... не факт что вообще найдется, потому что с каждым вложением область значений уменьшается, ты можешь вообще его миновать.


лебедя бы сюда....

 

протсенкий скрипт

PHP:

<? 
$mtime = microtime(); 
$mtime = explode(" ",$mtime); 
$mtime = $mtime[1] + $mtime[0]; 
$tstart = $mtime;
$l="pass";
while($a <1000000) {
        $a++;
        $l=md5($l);
      }
$mtime = microtime(); 
$mtime = explode(" ",$mtime); 
$mtime = $mtime[1] + $mtime[0]; 
$tend = $mtime; 
$totaltime = ($tend - $tstart); 
printf ("Страница сгенерирована за %f секунд !", $totaltime);
      ?>


дает ответ на денвере на ноуте
Страница сгенерирована за 3.601426 секунд !.
Если на куда то намного быстрее будет )

это да, но по идее должен быть какойто цикл все таки. то есть на каком то шаге у нас будет повторный хеш

 

Страница сгенерирована за 21.915162 секунд - для 1000000
Всего-то 7.14592971 × 10^33 секунд...

 

А теперь представь, что коллизия произошла на N'том (< 100) шаге... Что ты будешь делать?

 

вот еще мысль. по самому верхнему посту если я правильно все сказал, мы можем с очень большим трудом хрен знает как найти первый хеш от мд5(мд5).
А так как уже ясно что если допустим у нас md5(pass)=1a1dc91c907325c69271ddf0c944bc72 , то найдется еще одна строка, хеш который тоже будет равным 1a1dc91c907325c69271ddf0c944bc72.
то есть тогда мы можем допустим занести в базу 16^32 степени хешей и проверять взламываемый хеш с этой базе. Тогда при совпадений мы сможем найти значение. которое также подойдет под пароль.
Для примера можно хешировать числа от 1 до 16^32 проверяя, чтобы хеши не совпадали. И тогда например хеш строки "pass" может совпадать например с числом "33173" что и должно подойти при авторизаций на сайте, если там идет проверка по хешу.
это все теория конечно, хрен создашь такую базу с таким кол-вом значений. Но думаю данный метод подойдет под хеши малых размеров

 

тут был тупой ночной пост

 

не стоит этого делать

= ~10^31 Гб

 

короче пока это бред =) техники такой нету и лучше использовать методы нахождения коллизий как предложили ученые (в вики можно почитать).
----
хотя может и не бред ) к нам в мгу новый суперкомпьютер поставили,вроде самый сильный в европе, я как раз хожу на спецкурс в котором будут скорее всего обучать работе на нем. хотябы процент его мощности заюзать бы

так что думаю в будущем все будет легко ломаться )