Дайте наводку text to sha256

echo -n "123" | shasum -a 256
a665a45920422f9d417e4867efdc4fb8a04a1f3fff1fa07e998e86f7f7a27ae3

пашет на ура но это для 1 (слова текста) а мне нужно обработать лист txt весит 20 гигов

нужно шустро пройти на Linux/Win - Есть идеи?
какой то hashrat или хрен знает что что бы шустро проходило большие тхт файлы сохраняя результат

 

В тексте спецсимволов нет? do read while, но из-за управляющего символа на баше может вылететь.

 

нет, A-z 0-9

 

Code:

while read LINE
   do echo -n "$LINE" | shasum -a 256
done < /home/my.txt

Примерно вот такой bash скрипт должен сработать.

 

скрипт работает, но закинул для начала 1 гиг строк, запись в тхт очень медленная около суток будет обрабатывать

Проц i7-8086k 4.00GHZ

 

shasum, на сколько помню, в однопоточном режиме работает.
Проверить в процессах, если так, запустить несколько копий с разными файлами, после cat склеить.

 

не вариант, спасибо большое за помощь в любом случаи!

Может кто ещё знает как? может какой то hashgui быстрый

 

Без вариантов?

 

сейчас бы погенерить побыстрому sha1

 

Собственно нашел вариант для win - Quickhash-Windows-Notsigned-v3.0.4
больше 500мб не обрабатывает тупо клинит и вырубается
400мб 20 миллионов строк делает за минут 7 в hash256 но в любом случаи это медленно. По сути раз есть на win то и на Linux по идее должно быть что то шустрее в разы но где это?


насчет sha1

собственно этот же софт делает и с sha1 возможно такая же скорость обработки.

 

Встречал онлайн сервисы по типу text to hash , но ограничение в 50 мб на файл.
Если только не лень заморочиться с нарезкой файла и многопотоком , то можно и так.

 

есть большая вероятность что ляжет как только подключить многопоток( даже в 20 потоков ) ну или будет отдавать пустой ответ.