удаление дублей урлов

Discussion in 'Болталка' started by yarbabin, 7 Feb 2012.

  1. yarbabin

    yarbabin HACKIN YO KUT

    Joined:
    21 Nov 2007
    Messages:
    1,663
    Likes Received:
    916
    Reputations:
    363
    не нашел я что-то, удалять должно дубли, даже если разные ссылки
    то есть
    Code:
    http://site.ru/about.php
    http://site.ru/index.php
    оставляет только одну из этих ссылок.
     
    _________________________
  2. ЕгоАкк

    ЕгоАкк Banned

    Joined:
    21 Sep 2009
    Messages:
    84
    Likes Received:
    18
    Reputations:
    0
    Хрумер это может.
     
  3. _Def

    _Def New Member

    Joined:
    14 Jan 2012
    Messages:
    0
    Likes Received:
    0
    Reputations:
    0
    Нельзя получше сформулировать первый пост.
    Попробуй ReDoubler, можно отчищать по совпадающим строкам, можно по доменам.
     
  4. HeaVeNSeR

    HeaVeNSeR Member

    Joined:
    3 Dec 2008
    Messages:
    176
    Likes Received:
    11
    Reputations:
    1
    Redoubler - вещь)
     
  5. getsuga

    getsuga New Member

    Joined:
    30 Jan 2012
    Messages:
    2
    Likes Received:
    0
    Reputations:
    0
    Не будет же он из-за этого Хрумер покупать. Но базы от дублей чистить им хорошо)
     
  6. od1n0chka

    od1n0chka Member

    Joined:
    13 Dec 2010
    Messages:
    297
    Likes Received:
    47
    Reputations:
    1
  7. daniel777

    daniel777 Elder - Старейшина

    Joined:
    8 Jul 2010
    Messages:
    517
    Likes Received:
    90
    Reputations:
    37
    PHP:
    <?php
        $domains 
    = array();
        
    $results = array();
        
        
    $write fopen('./otobranno.txt''w+');
        
        foreach (
    file('./baza.txt') as $line)
        {
            list(
    $protocol$rest) = explode('://'trim($line), 2);
            list(
    $domain$query) = explode('/'$rest2);
            
            if (!
    in_array($domain$domains))
            {
                
    $domains[] = $domain;
                
    fputs($writetrim($line)."\r\n");
            }
        }
        
    fclose($write);
    ?>
     
  8. notkeo

    notkeo New Member

    Joined:
    24 Dec 2011
    Messages:
    17
    Likes Received:
    0
    Reputations:
    0
    прям петросян. слышал о Exсel ? Хотя да , забыл , это же мего превад софт который есть только у илиты очада..
     
  9. daniel777

    daniel777 Elder - Старейшина

    Joined:
    8 Jul 2010
    Messages:
    517
    Likes Received:
    90
    Reputations:
    37
    А чего ты не упомянул остальной софт которым это можно сделать?Наверно только экселем пользуешся, и ни на что другое ума не хватает?
     
  10. notkeo

    notkeo New Member

    Joined:
    24 Dec 2011
    Messages:
    17
    Likes Received:
    0
    Reputations:
    0
    про пеечпи савсем забыл бро , еще посоны советовали 2 тома наборов инструкций под тьюринга и подвал эмигрантов для их выполнения :(
     
    #10 notkeo, 8 Feb 2012
    Last edited: 8 Feb 2012
  11. daniel777

    daniel777 Elder - Старейшина

    Joined:
    8 Jul 2010
    Messages:
    517
    Likes Received:
    90
    Reputations:
    37
    Чем же тебе не угодил этот ЯП?
    Какоето решение лучше чем никакого.
    Комуто удобнее эксель, а комуто РНР. Мне и тебе не известно что выгоднее ТСу, вот каждый и предложил свое решение, в зависимости от своих возможностей.
     
  12. alextrust

    alextrust Member

    Joined:
    29 Mar 2010
    Messages:
    134
    Likes Received:
    27
    Reputations:
    11
    http://upwap.ru/2010765
    вот не си