алгоритм работы myipneighbors.com

Discussion in 'С/С++, C#, Rust, Swift, Go, Java, Perl, Ruby' started by zEr0r, 30 Nov 2009.

  1. zEr0r

    zEr0r Elder - Старейшина

    Joined:
    17 Feb 2008
    Messages:
    67
    Likes Received:
    28
    Reputations:
    14
    собственно сабж. реально ли написать программу, работающую как этот сайт?
     
  2. s0l_ir0n

    s0l_ir0n Active Member

    Joined:
    14 Mar 2009
    Messages:
    399
    Likes Received:
    144
    Reputations:
    18
    посылай постгет запрос да и все.
     
  3. zEr0r

    zEr0r Elder - Старейшина

    Joined:
    17 Feb 2008
    Messages:
    67
    Likes Received:
    28
    Reputations:
    14
    Функция этого сайта такова: он получает доменное имя, например yandex.ru и возвращает все доменные имена, которые хранятся на серваке с айпи yandex.ru (87.250.251.11). Реализовать это не сложно, самое главное - алгоритм. А гетсом получить не получится, т.к. сайт накрылся.
     
  4. s0l_ir0n

    s0l_ir0n Active Member

    Joined:
    14 Mar 2009
    Messages:
    399
    Likes Received:
    144
    Reputations:
    18
    да тот же whois.domaintools.com умеет делать reverse-ip и вообще, достаточно в гугле вбить фразу и вылезет куча разных сайтов
     
  5. zEr0r

    zEr0r Elder - Старейшина

    Joined:
    17 Feb 2008
    Messages:
    67
    Likes Received:
    28
    Reputations:
    14
    проверил whois.domaintools.com не работает. я знаю несколько сайтов, которые все держатся на одном айпи, так вбил и они не показываются. Тем более меня интересует алгоритм =)
     
  6. zEr0r

    zEr0r Elder - Старейшина

    Joined:
    17 Feb 2008
    Messages:
    67
    Likes Received:
    28
    Reputations:
    14
    Да и кст в myipneighbors.com он не только выводил домены но и субдомены.
     
  7. slesh

    slesh Elder - Старейшина

    Joined:
    5 Mar 2007
    Messages:
    2,702
    Likes Received:
    1,224
    Reputations:
    455
    ппц народ вы жжете. вся эта мего чудо система работает на одном единственном сайт - поисковик от майкрософта. В данное время это bing.com

    Алгоритм таков:
    1) получаем по доменному имени его IP адрес
    slesh.name -> 216.108.235.131
    2) грузим http://www.bing.com/search?q=ip:216.108.235.131
    и так все страници которые выдал он
    3) парсим линки. вот и получаем реверс IP и почти все сайты так и пашут.
     
    1 person likes this.
  8. zEr0r

    zEr0r Elder - Старейшина

    Joined:
    17 Feb 2008
    Messages:
    67
    Likes Received:
    28
    Reputations:
    14
    А если без бинга, есть известный алгоритм?
     
  9. slesh

    slesh Elder - Старейшина

    Joined:
    5 Mar 2007
    Messages:
    2,702
    Likes Received:
    1,224
    Reputations:
    455
    2 zEr0r а без бинга нельзя.
    Сам подумай:
    1) DNS прямой возможности не дает определить по IP -> DNS
    2) DNS дает возможность по IP получить PTR запись, но эта запись есть не у всех и она привязана только к IP но не как не доменам.
    3) Один и тотже домен может быть настрое на несколько IP по этому точно не определить
    4) Домен крепится часто не на IP а на NS сервак. И чтобы узнать какие домены есть, нужно спросить у этого NS сервака.
    Но у хостеров может быть несколько NS серваков и темболее что NS сервак не скажет какие у него домены есть.

    А вот поисковики это знают, потому что когда они анализируют сайт, то запоминают его IP и доменное имя. И таким образом можно сделать выборку по IP. Но это предоставляет только bing
     
  10. zEr0r

    zEr0r Elder - Старейшина

    Joined:
    17 Feb 2008
    Messages:
    67
    Likes Received:
    28
    Reputations:
    14
    Спасибо!!!
     
  11. mr.The

    mr.The Elder - Старейшина

    Joined:
    30 Apr 2007
    Messages:
    1,080
    Likes Received:
    456
    Reputations:
    38
    myipneighbors работал ещё задолго до бинга. кагбэ.
     
  12. 0ldbi4

    0ldbi4 Elder - Старейшина

    Joined:
    14 Apr 2008
    Messages:
    264
    Likes Received:
    51
    Reputations:
    10
    До бинга был другой поиск..
     
  13. slesh

    slesh Elder - Старейшина

    Joined:
    5 Mar 2007
    Messages:
    2,702
    Likes Received:
    1,224
    Reputations:
    455
    2 mr.The bing - это обновленный Live Search который в свою очередь являлся продолжением MSN Search. И по этому эта система досталось ему наследство от MSN
     
    1 person likes this.
  14. t04

    t04 Elder - Старейшина

    Joined:
    10 Jan 2007
    Messages:
    137
    Likes Received:
    40
    Reputations:
    8
    готовая реализация на delphi
    http://uasc.org.ua/2009/06/revip-pr-тиц-check/
     
  15. zEr0r

    zEr0r Elder - Старейшина

    Joined:
    17 Feb 2008
    Messages:
    67
    Likes Received:
    28
    Reputations:
    14
  16. x[0]x

    x[0]x Banned

    Joined:
    2 Dec 2008
    Messages:
    31
    Likes Received:
    5
    Reputations:
    -4
    http://packetstormsecurity.org/filedesc/bing-ip2hosts-0.1.tar-gz.html
    PHP:
    #!/bin/bash
    # bing-ip2hosts - Enumerate hostnames from Bing.com for an IP address.
    # Bing.com is Microsoft's search engine which has an IP: search parameter.
    #
    # By Andrew Horton aka urbanadventurer, MorningStar Security
    # www.morningstarsecurity.com
    #
    # Released at Kiwicon III (kiwicon.org), November 2009
    # License: GPLv3
    VERSION=0.1
    ANIMATION
    =1

    if [ -"$1" ] || [ "$1" == "-h" ] || [ "$1" == "--help" ]; then
    echo -"Usage: $0 [--noanimation] <IP>
    bing-ip2hosts (
    $VERSION)- Enumerate hostnames from Bing.com for an IP address.
    Bing.com is Microsoft's search engine which has an IP: search parameter.

    By Andrew Horton aka urbanadventurer, MorningStarSecurity
    www.morningstarsecurity.com
    "
    exit 1
    fi

    if [ "$1" == "--noanimation" ]; then
     ANIMATION
    =0
     shift
     ARGV
    =$*
    fi

    animation
    ="/-\|"
    IP="$1"
    num_vhosts=10
    page
    =0

    all_hosts
    =`mktemp -p . -t ip2hosts.tmp.XXXXXX`

    while [ 
    "$num_vhosts== 10 ]; do
     if [ 
    $ANIMATION == ]; then
      
    echo -en "${animation: $(( $page )) :1}"
     
    fi
     url
    ="http://m.bing.com/search/search.aspx?A=webresults&Q=ip%3a$IP&D=Web&SI=$page""0"
     
    out=`mktemp -p . -t ip2hosts.tmp.XXXXXX`
     
    wget --"$out" "$url"
     
    vhosts=`cat "$out"| egrep -o  "(<span class=\"c2\">)[^<]+(<\/)" | sed -e 's/<span class="c2">\|<\///g'`
     
    num_vhosts=`echo "$vhosts" | wc -l`
     echo -
    "$vhosts>> "$all_hosts"
     
    rm -"$out"
     
    let page=$page+
     
    if [ $ANIMATION == ]; then
      
    echo -ne "\b"
     
    fi
    done

    cat 
    "$all_hostscut -'/' -f 1 tr '[:upper:]' '[:lower:]' sort uniq
    rm 
    -"$all_hosts"
     
    #16 x[0]x, 7 Dec 2009
    Last edited: 7 Dec 2009