Как просканировать все домены с определенным NS?

Подскажите кто знает как это делается, интересует не ру сегмента а .com .net etc. Какой софот это делает или сервис? Знаю что есть бесплатный способ нахождения, но не могу найти его пока, может у кого есть мысли по этому поводу.

 

http://domains.ihead.ru/domains/new/ru.html

А нет, это только .ру

 

А так шо-то всё за бабло

https://whoisdatacenter.com
https://domains-index.com

Апд. Не бесплатно ли?
https://zonefiles.io
https://whoisds.com/newly-registered-domains

Короче читал, что у типов выходило по 10 ТБ данных. Представь, сколько ты их будешь сканировать

 

зачем сканировать? исследовательские проекты/открытые данные уже не заходят?)

без смс и регистраций бесплатный update на 1 число месяца
https://opendata.rapid7.com/sonar.fdns_v2/



***fdns_cname.json.gz - распакованный 10+ гб пример данных выше
110к+ domain/cname записей актуальных



Пошуршишь поглубже, можно найти и полненький архив


2 055 822 900 записей уже по лучше да?

Также куча вариантов из подобных отчетов, по типу ssl/cert scan.

з.ы. элементарно по торрентам валяется dnscensus2013 + InternetCensus2012 (правд уже 6-7 лет ему но около половины актуальны имхо)

------
Ну может и этого не достаточно будет, то захардкорь парсер common crawl датасет.

250 TiB веб архива, также прекрасно можно распарить не только на домены, но и URL links + сорсы страниц

Spoiler: example api

http://index.commoncrawl.org/CC-MAIN-2017-47-index?url=*.antichat.ru&output=json

------------------
ну а по конкретно вопросу, какие то регистраторы выкладывают списки, какие-то zone transfer поддерживают (на гите есть чекалка последних tld парсер и прогон ns на zone transfer) но это маловато.. Стандартно остается либо покупать либо парсить-парсить-парсить-парсить и еще раз парсить..

 

InternetCensus2012

Благодарю за названия торрент файлов!
Первый ели нашел, качаю архив на 14 гиг.

А вот что лежит во втором архиве? Скажи пожалуйста.
Под него надо винт покупать отдельный, там почти 600 гиг инфы))))

Скажи пожалуйста еще, ту ссылку которую ты дал на json архивы, то в этих архивах полностью все домены из разных стран я так понял:?
А есть ли по отдельным странам или хотя бы по зонам?

Спасибо

 

ну держи раз очень нужно...

Spoiler: domainsproject

https://dataset.domainsproject.org/
Total domains in dataset: 445,443,103
TLD kinds: 1520 сTLDs: 244 gTLDs: 1276

Spoiler: crt.sh

~80gb postgres
host: crt.sh:5432
user: guest
pass: <empty>
database: certwatch
postgres access to full db crt.sh

Spoiler: mapthe

https://mapthe.net/tlds/ 76794492 .\MapTheNet-AllDomains-2019.txt

Spoiler: crawler.ninja

https://crawler.ninja/ 1934291 total
Count of all TLDs: .com 490,515 .org 63,353 .net 40,410...

Spoiler: надоело кароч..

http://www.crimeflare.org:82/cgi-bin/cfsearch.cgi
https://dnsjson.com/yandex.ru/A.json
https://github.com/maravento/blackweb
https://github.com/phpSoftware/search-engine-seed-urls.git
https://github.com/internetwache/CT_subdomains.git
https://github.com/hrbrmstr/domain-collections.git
https://github.com/tb0hdan/domains.git

 

@lifescoreElder
Спасибо добрый человек.
Скажи пожалуйста, а если сформировать базу например по какой-то CMS - Wordpress.
То это как можно сделать? Скрейпбоксов по футпринтам искать?