Ты наверно не понял о каких таблицах речь, в несколько сот млн. строк и пыхтеть мускул будет сутками над запросом (кстати куда он его выведет)? ввод/вывод из файла в базу это на самом деле файловые операции, работая с базой ты увеличишь их как минимум вдвое.
ок, я тут вспомнил, у Ruby есть такой гем KirbyBase, это типа БД но не в традиционном понимании. Она представляет из себя файл обычный текстовый, но структуированный типа CSV только по другому. Так вот привести твой список к виду под kirbybase можно через любой редактор, способный работать с регулярками => в зависимости от редактора, использование оперативки на полную. А при выводе будет использоваться тоже оперативка, хоть по словам Фултона, данные не загружаются целиком в память. Вообщем что-либо подробнее о использовании оперативки KirbyBase я не нашел, но как вариант протестировать эту штуку можно попробовать, вдруг прокатит. P.S. Насчет MySQL, я не пробовал работать с несколькими сотнями миллионов, но вот с с несколькими десятками миллионов пробовал. На данный момент в БД моей aivk.net cообщений: 1 955 097, около 100к диалогов и столько же жертв + ~20-30 млн записей лога работы роботов. Так вот к примеру, экспорт БД в YML занимает около 5-7 часов, импорт из YML в БД занимает около 16-18 часов. Запрос на статистику по сообщениям, со всевозможнымы сортировками, в среднем выполнялся ~20-30 минут (запрос без вывода в файл). Статистику я обычно подвожу на своем ноутбуке (i5, RAM 4Gb)
Этот кадр умудрился кинуть на деньги, за якобы ифреймер. Чет я не могу найти на античате раздел где блэк оставить? Или его убрали?
Он и не существовал. ТС, пиши ИИ для поиска людей с различных камер в городе. Потом продай готовую реализацию властям/заинтересованным личностям/etc