Вопрос: Как можно за достаточно короткое время собрать базу данных имён сайтов? Мне видится несколько вариантов: 1. Тупой перебор и парсинг msn.com c параметром ip:. 2. Более интеллектуальный поиск сайтов через google с разными запросами. Сложность в том, что google возвращает только 1000 результатов. 3. Сбор имён сайтов с регистраторов. У кого-нибудь есть наработки по этой теме? Всего хотелось бы иметь около 20М имён. Я думаю, это вполне реально. Все имена сайтов в российском сегменте есть в свободном доступе. Как с остальными?
Нужно для начала максимальное большое количество реально существующих доменных имён. Я знаю что существует domaindb (сейчас не работает), msn.com c возможностью поиска по тэгу ip: и некоторые другие сервисы. У них есть несколько недостатков, главный из которых: необходимость отправлять большое количество запросов и в результате с низкой скорость получать ответы. Поэтому интересуюсь, нет ли у кого весьма внушительного (хотя бы на несколько миллионов) списка доменных имён.
