Удаление дублей

Discussion in 'Болталка' started by DrDastan, 30 Mar 2012.

Thread Status:
Not open for further replies.
  1. DrDastan

    DrDastan New Member

    Joined:
    13 Mar 2011
    Messages:
    7
    Likes Received:
    0
    Reputations:
    0
    Посоветуйте софт для удаления дублей из файлов с больше 50кк строк
     
  2. sanya13579

    sanya13579 Member

    Joined:
    14 Dec 2010
    Messages:
    9
    Likes Received:
    6
    Reputations:
    0
    что за такой страшный файл, может лучше на несколько разбить :D
     
  3. because

    because Elder - Старейшина

    Joined:
    21 Dec 2009
    Messages:
    148
    Likes Received:
    30
    Reputations:
    20
    notepad+
     
  4. Kaimi

    Kaimi Well-Known Member

    Joined:
    23 Aug 2007
    Messages:
    1,732
    Likes Received:
    811
    Reputations:
    231
    ТС, тебя в гугле забанили или поиском пользоваться не умеешь?
     
    _________________________
  5. mironich

    mironich Elder - Старейшина

    Joined:
    27 Feb 2011
    Messages:
    733
    Likes Received:
    73
    Reputations:
    19
    bvsDuplet
     
  6. DrDastan

    DrDastan New Member

    Joined:
    13 Mar 2011
    Messages:
    7
    Likes Received:
    0
    Reputations:
    0
    Не справляется. Вылетает. Разбить файл на несколько нельзя.

    Каими, если нечего сказать по делу, лучше промолчать.
     
  7. OxoTnik

    OxoTnik На мышей

    Joined:
    10 Jun 2011
    Messages:
    943
    Likes Received:
    525
    Reputations:
    173
    50КК строк это херня, вот мне бы прогу чтобы по 28 гиговому словарю, удалить дубли, вот это было бы супер!


    а да для тебя подоидёт Fast_Duplicates_Remover
     
  8. od1n0chka

    od1n0chka Member

    Joined:
    13 Dec 2010
    Messages:
    297
    Likes Received:
    47
    Reputations:
    1
    убирание дубликатов, в input.txt кидаем что хотим сортировать

    ссылка
     
  9. Kaimi

    Kaimi Well-Known Member

    Joined:
    23 Aug 2007
    Messages:
    1,732
    Likes Received:
    811
    Reputations:
    231
    Мне помогает sort.exe и uniq.exe
    Прикинь да, нормально сортируют за вменяемое время, а ещё это, внезапно, стандартные утилиты никсовые. Но ты ведь под виндой сидишь, да и cygwin тебе впадлу поставить, не то что погуглить. Хотя, допустим ты поставил cygwin, но тут, о боже, это же консольные утилиты, а тебе нужна непременно программа с интерфейсом. Это провал.
     
    _________________________
  10. nanosoldier

    nanosoldier New Member

    Joined:
    21 Jul 2011
    Messages:
    0
    Likes Received:
    1
    Reputations:
    0

    Get yourself a real life, man.
     
  11. DrDastan

    DrDastan New Member

    Joined:
    13 Mar 2011
    Messages:
    7
    Likes Received:
    0
    Reputations:
    0
    Вышеобозначенные программы не подходят(вылетают), спасибо, нужно что-то другое.

    Каими, у меня нет времени обучаться работе на nix системах, т.к. это моя не основная работа. Свой сарказм можешь засунуть себе поглубже, он не уместен и глуп.
     
  12. mironich

    mironich Elder - Старейшина

    Joined:
    27 Feb 2011
    Messages:
    733
    Likes Received:
    73
    Reputations:
    19
    С каким сообщением?
    Софт от торбелла оч надежный мб виснет?
     
  13. Kaimi

    Kaimi Well-Known Member

    Joined:
    23 Aug 2007
    Messages:
    1,732
    Likes Received:
    811
    Reputations:
    231
    Тогда делегируй задачи, если сам не в состоянии их решать.
    Я вот серьезно не понимаю как можно заниматься типа "ололо околохаком" (сужу по твоим темам), но с умным видом рассказывать, как и по каким причинам ты не в состоянии освоить ввод команды
    sort file.txt | uniq > result.txt
    в консоль. Это явно требует долгих лет обучения и прочтения целого ряда книг. Если причисляешь себя к IT (хотя бы даже активным общением более менее по тематике на данном форуме), то будь добр изучить азы, а то я чувствую ты и с задачей переустановки винды сам не в состоянии справиться, хотя нет, XP поставишь, а вот семерку и на ноутбук вероятно нет. Зато ты гордый "хэкер", торгующий емейлами, которые набрал купив/скачав брут от дяди васи priv8 0day edition. Малаца, так держать.
     
    _________________________
  14. DrDastan

    DrDastan New Member

    Joined:
    13 Mar 2011
    Messages:
    7
    Likes Received:
    0
    Reputations:
    0
    Без сообщения, просто вылетает.


    Каими, почему тебя так сильно волнует, чем я занимаюсь? Ты кран в доме в состоянии починить? Я сомневаюсь. С такой же долей сарказма я могу сказать тебе, что страшно поражаюсь тебе, т.к. ты живя в доме\ квартире ничего не знаешь о его устройстве. Каждый является специалистом в своей сфере, и не надо здесь понты гнуть.
     
  15. DrDastan

    DrDastan New Member

    Joined:
    13 Mar 2011
    Messages:
    7
    Likes Received:
    0
    Reputations:
    0
    Да и чем отличается постановки семёрки на ноут, от постановки хр на комп?) Вроде бы на неделе ставил, разницы не заметил
     
  16. Kaimi

    Kaimi Well-Known Member

    Joined:
    23 Aug 2007
    Messages:
    1,732
    Likes Received:
    811
    Reputations:
    231
    А чем твоя тема отличается от кучи подобных тем, которые уже были на форуме? Ни в одной нет решения, которое тебе подходит?

    http://forum.antichat.ru/showthread.php?t=317685
    http://forum.antichat.ru/showthread.php?t=297520
    http://forum.antichat.ru/showthread.php?t=308668
    http://forum.antichat.ru/showthread.php?t=308461
    http://forum.antichat.ru/showthread.php?t=174326
    http://forum.antichat.ru/showthread.php?t=124427
    http://forum.antichat.ru/showthread.php?t=176169

    И повторюсь: в гугле забанили?
     
    _________________________
  17. GRAF89

    GRAF89 Elder - Старейшина

    Joined:
    11 Mar 2007
    Messages:
    175
    Likes Received:
    42
    Reputations:
    6
    +1
    таких тем по пять на день
     
  18. Spyder

    Spyder Elder - Старейшина

    Joined:
    9 Oct 2006
    Messages:
    1,388
    Likes Received:
    1,209
    Reputations:
    475
    по-моему вполне уместен, че
     
Thread Status:
Not open for further replies.