обзор программ удаляющиx дубликаты строк

Discussion in 'Skype, IRC, ICQ, Jabber и другие IM' started by Vanterlog, 11 Jul 2009.

  1. madhatter

    madhatter Member

    Joined:
    7 Aug 2013
    Messages:
    562
    Likes Received:
    50
    Reputations:
    54
    В принципе, строк десять кода. Если дубликатов - значительное большинство - и того меньше. А можно не париться и тупо воткнуть своп на 50гб, лол.
     
  2. Freesty1er

    Freesty1er New Member

    Joined:
    18 Mar 2010
    Messages:
    7
    Likes Received:
    0
    Reputations:
    0
    Шаман

    Хит, решил следующим бабайским способом:
    Всего было 30к строк. Сгенерировал 30к уникальных слов ЫЯЫ{num}ЩЫЫЩ и поместил в первый столбец. Потом во второй вогнал мои строки. Скопировал все в Sublime Text и разделитель ячеек [TAB] заменил переходом на новую строку. Итого вышло:
    Потом удалил дубликаты строк, и назад заменил переходы на новую строку на ТАБы. Снова в таблицу, берем только второй столбец - ГОТОВО! :D
     
  3. vladb95z-sof

    vladb95z-sof New Member

    Joined:
    26 May 2013
    Messages:
    0
    Likes Received:
    0
    Reputations:
    0
    это ведь не все программы? есть еще чтото подобное?
     
  4. madhatter

    madhatter Member

    Joined:
    7 Aug 2013
    Messages:
    562
    Likes Received:
    50
    Reputations:
    54
    >> Ах, сколько бы восхитительного и первоклассного софта мир не увидел бы, знай люди про grep, sed и регулярки. В частности, практически любой вопрос\софт, упомянутый в топике реализуется одной строкой.

    I love seflquoting!
     
  5. ШматоК

    ШматоК Banned

    Joined:
    1 Dec 2010
    Messages:
    16
    Likes Received:
    1
    Reputations:
    0
    Неплохая подборка!
     
  6. kelvin

    kelvin New Member

    Joined:
    10 Sep 2013
    Messages:
    0
    Likes Received:
    0
    Reputations:
    0
    Спасибо очень нужны были такие проги.
     
  7. infobisgod

    infobisgod New Member

    Joined:
    17 Feb 2013
    Messages:
    2
    Likes Received:
    0
    Reputations:
    0
    вот без программ, онлайн штуко
    правда для 50 гигов не подойдет :)
     
  8. WPx

    WPx Banned

    Joined:
    21 Jan 2014
    Messages:
    37
    Likes Received:
    10
    Reputations:
    16
    Посоветуйте Актуальный софт для задач:
    1. 258 словарей имею - без объединения убрать Дубликаты, пробелы а так же символы которые не бугут быть в реалпассе.
    2. желательно с Настройками пример привести.
     
  9. xoorb1

    xoorb1 New Member

    Joined:
    20 Mar 2011
    Messages:
    0
    Likes Received:
    1
    Reputations:
    1
    Хоть сообщение и старое, отвечу) т.к. сам искал. Нашел вот это http://solutionfix.org/soft/doublers/
     
    alkos likes this.
  10. dmz117

    dmz117 New Member

    Joined:
    14 Jan 2016
    Messages:
    2
    Likes Received:
    0
    Reputations:
    0
    а разве notepad++ такого не делает?
     
  11. GSLLL

    GSLLL New Member

    Joined:
    9 Dec 2015
    Messages:
    43
    Likes Received:
    2
    Reputations:
    0
    Может кто подскажет, как вычесть один текстовый документ из другого, т.е. чтобы в двух текстовиках не было одинаковых строк (чтоб из двух одинаковых слов, в одном документе слово удалялось , а в другом оставалось) ?
     
  12. Bamond

    Bamond New Member

    Joined:
    9 Sep 2012
    Messages:
    6
    Likes Received:
    0
    Reputations:
    0
    ePochta List Manager
     
  13. grimnir

    grimnir Members of Antichat

    Joined:
    23 Apr 2012
    Messages:
    1,114
    Likes Received:
    830
    Reputations:
    231
    textpipe ,есть в разделе софт
     
    _________________________
    alkos and Veil like this.
  14. sachkat

    sachkat New Member

    Joined:
    15 Jul 2015
    Messages:
    16
    Likes Received:
    0
    Reputations:
    0
    ^(.*)(\r?\n\1)+$ and replacing with \1
     
  15. F1shka

    F1shka Elder - Старейшина

    Joined:
    10 Apr 2008
    Messages:
    173
    Likes Received:
    305
    Reputations:
    3
    Коллеги ищу софтину Mcheker и другие (Код ответа сервера) c сайта solutionfix[.]org ибо сам домен открыт для реги, совт с харда слетел, у кого есть - выложите пожалуйста на ЯндексДиск, спасибо!