обзор программ удаляющиx дубликаты строк

Discussion in 'Skype, IRC, ICQ, Jabber и другие IM' started by Vanterlog, 11 Jul 2009.

  1. Vanterlog

    Vanterlog Active Member

    Joined:
    28 Mar 2007
    Messages:
    146
    Likes Received:
    127
    Reputations:
    10
    Решил сделать обзор программ удаляющиx дубликаты строк. Также желающие могут продолжить даный список.

    bvsDupDelet
    v. 0.2.4.24
    автор: TorBel

    [​IMG]

    Описание:
    Программа создаёт файл на основе исходного путём сортировки строк исходного файла и удаления дубликатов строк с учётом регистра, лидирующих и замыкающих пробелов и/или символов табуляции.
    При нажатии кнопки Stay on top - программа всегда будет отображаться поверх всех окон.

    Скачать

    Duplicat Remover by Teso
    v. 1.3.0.0
    автор: Teso

    [​IMG]

    Описание:
    • Удаление дублей
    • Разбивка
    • Сортировка
    • Единовременная обработка более чем одного файла
    • Поддержка Drag and Drop - "перетаскивание"
    • Поддерживает параметры командной строки (можно указать список файлов которые при запуске будут обработаны или выделить пачку файлов и перетащить на иконку с приложением)
    • С кириллицей не работает
    Скачать

    Fast Duplicates Remover
    v0.1
    автор: M0nty

    [​IMG]

    Описание:

    Консольная программа.
    1-ый способ: перетаскиваем файл в консольное окно и удаляем кавычки из пути к файлу. Жмём Enter.
    2-ой способ: закидываем файл в папку с программой и пишем название файла (обязательно вместе с форматом файла) в консольном окне. Жмём Enter.
    На выходе получаем файл Out.txt

    Скачать

    naRedup
    автор: .avolver

    [​IMG]

    Описание:
    Плюсы:
    • быстрая работа
    • удобное GUI
    • сортировка выходного файла по алфавиту
    • добавление файлов Drag&Drop'ом - "перетаскивание"
    Минусы:
    • сортировку не отключить
    • добавленный файл не убрать из списка на обработку
    • вылет при попытке выйти из программы, во время работы
    • программа не работает с бинарными файлами
    Virustotal: click
    Скачать

    DupKill
    v. 0.2.4.24
    автор: SPYDER

    [​IMG]

    Описание:
    Удаляет повторы строк в текстовом файле, в то же время сортирует список по алфавиту. Также есть функция удалить повторы и оригиналом.

    Скачать

    DicTool
    v. 1.1
    автор: astako

    [​IMG]

    Описание:
    Основные функции программы - это работа со словарями, но она также удаляет дубликаты.

    • Обрезать слова до указанной длины
    • Слово в нижний регистр (abcd)
    • Слово в верхний регистр (ABCD)
    • Первая буква слова в верхний регистр (A***)
    • Первая буква слова в нижний регистр (a***)
    • Чередовать регистры (AbCd, aBcD)
    • Удаление дубликатов без сортировки.

    Скачать

    Для удаление дубликатов прокси можно также использовать FP4m от NemeZz

    [​IMG]

    ПРОДОЛЖЕНИЕ В 10 ПОСТЕ.

    ТАКЖЕ ПРОЗЬБА МОДЕРАТОРАМ ОБЪЕДИНИТЬ 1 И 10 ПОСТ
     
    #1 Vanterlog, 11 Jul 2009
    Last edited: 12 Jul 2009
    pionerchik, vinosh, stan_q and 3 others like this.
  2. Alexandr II

    Alexandr II -=ImperatoR=-

    Joined:
    28 Dec 2007
    Messages:
    1,067
    Likes Received:
    670
    Reputations:
    87
    вроде норма)) лови +
     
  3. KATYA

    KATYA Active Member

    Joined:
    9 Feb 2009
    Messages:
    236
    Likes Received:
    121
    Reputations:
    9
    Спасибо! Как раз это я и искала!
     
  4. B1ack$un

    B1ack$un Member

    Joined:
    10 Jul 2009
    Messages:
    30
    Likes Received:
    52
    Reputations:
    5
    1 person likes this.
  5. Scripter

    Scripter Member

    Joined:
    3 Sep 2008
    Messages:
    141
    Likes Received:
    95
    Reputations:
    6
    http://slil.ru/27830130

    GeneratoR Pro
    [​IMG]

    Возможности:
    Генерирование по диапазону с одним или несколькими паролями.
    Генерирование из файла с одним или несколькими паролями.

    Имеются такие функции:
    - Cортировка
    - Clonekiller (удаление повторов)
    - Spacekiller (удаление пробелов)
    [​IMG]
    [​IMG]
    - Удаление Y из X;Y при любом разделителе
    - Обмен местами X;Y на Y;X
    - Быстрая замена

    ! Работа как в окне программы, так и с .txt файлом
     
  6. hide_

    hide_ New Member

    Joined:
    27 Jun 2009
    Messages:
    0
    Likes Received:
    2
    Reputations:
    0
    красава
     
  7. Scripter

    Scripter Member

    Joined:
    3 Sep 2008
    Messages:
    141
    Likes Received:
    95
    Reputations:
    6
    Решил скопировать обзор программ удаляющих дубликаты строк
     
  8. B1ack$un

    B1ack$un Member

    Joined:
    10 Jul 2009
    Messages:
    30
    Likes Received:
    52
    Reputations:
    5
    мда...дело пахнет плагиатом
     
  9. .Varius

    .Varius Elder - Старейшина

    Joined:
    5 May 2009
    Messages:
    558
    Likes Received:
    289
    Reputations:
    42
    "Чужие статьи"
     
  10. Vanterlog

    Vanterlog Active Member

    Joined:
    28 Mar 2007
    Messages:
    146
    Likes Received:
    127
    Reputations:
    10
    Text Duplicate Killer

    [​IMG]

    Описание:
    Text Duplicate Killer - программа, предназначенная для удаления из текста повторяющихся строк (не обязательно смежных). В результате создается новый текстовый файл, в котором каждая строка встречается только один раз.

    Как найти дубликаты

    • У Вас должен быть готов файл формата ASCII, содержащий текст, в котором Вы хотите удалить дублирующиеся строки. Если Вам нужно обработать текст из файлов DOC или RTF, то экспортируйте его в ASCII.
    • После запуска утилиты tdk.exe выберите пункт меню Файл|Открыть исходный файл и укажите файл, в котором необходимо удалить дубликаты.
    • Затем с помощью пункта меню Файл|Задать целевой файл укажите имя нового файла. В этот файл утилита поместит обработанный текст, который уже не будет содержать дубликатов. Вы можете автоматически создать новое имя. Для этого нажмите кнопку с “волшебной палочкой”.
    • Для запуска процесса поиска и удаления дубликатов выберите пункт меню Операции|Убрать дубликаты!. В любой момент Вы можете прервать работу, нажав на кнопку Стоп, находящуюся в правом нижнем углу. При большом объеме текста обработка может занять некоторое время.

    Скачать
     
  11. Fata1ex

    Fata1ex Elder - Старейшина

    Joined:
    12 Dec 2006
    Messages:
    703
    Likes Received:
    300
    Reputations:
    38
    Где копирайты? Не стыдно писать "решил сделать обзор" когда обзор не твой? Да и зачем этот обзор, когда программы в основном отличаются друг от друга лишь дизайном. Обзоры пишутся, чтобы указать различия, преимущества, недостатки программ, сходных по выполняемым функциям...
     
  12. Freesty1er

    Freesty1er New Member

    Joined:
    18 Mar 2010
    Messages:
    7
    Likes Received:
    0
    Reputations:
    0
    Целый день ищу, не могу найти :(

    Нужна программа, для удаления дубликатов, но что бы пустые строки оставались (на месте дубликатов). Никто не подскажет такую?

    Заранее благодарен.
     
  13. POS_troi

    POS_troi Elder - Старейшина

    Joined:
    1 Dec 2006
    Messages:
    1,569
    Likes Received:
    466
    Reputations:
    108
    notepad++
     
  14. !TNK!

    !TNK! Member

    Joined:
    13 Dec 2008
    Messages:
    50
    Likes Received:
    56
    Reputations:
    0
    Автоформат

    Вот норм Программка пользуюсь сам

    [​IMG]

    Автоформат – программа для автоматического форматирования текста и подсчёта статистики
    Меню Сервис:
    Обрезать пробелы – обрезать пробелы и табуляцию в началах и концах строк
    Удалить двойные пробелы – удалить двойные, тройные и т.д. пробелы по всему тексту
    Удалить пустые строки – пустые строки удаляются по всему тексту
    Удалить дубли – удаляются полные дубликаты строк. Проверьте, если в началах и концах строк лишние пробелы
    Удалить уникальные – удаляются только уникальные строки, дубли остаются. Каждого дубликата остаётся на один меньше. Чтобы оставить их по одному, выберите Удалить дубли
    Сортировать – текст сортируется по возрастанию
    Сортировать зеркальные – сортируется по возрастанию текст зеркальных строк
    Перемешать – текст перемешивается - каждая строка меняется со случайной местами

    ---------------------
    Сайт Автора
    скачать L1
    L 2
     
  15. Freesty1er

    Freesty1er New Member

    Joined:
    18 Mar 2010
    Messages:
    7
    Likes Received:
    0
    Reputations:
    0
    !TNK!, спасибо! То что доктор прописал ;)
     
  16. Арес

    Арес Banned

    Joined:
    24 Aug 2010
    Messages:
    54
    Likes Received:
    0
    Reputations:
    0
    Продолжайте в том же духе
    Я поддерживаю автора
     
  17. olegparhim

    olegparhim New Member

    Joined:
    6 Jun 2011
    Messages:
    0
    Likes Received:
    0
    Reputations:
    0
    Спасибо за прогу Duplicat Remover by Teso
    очень нужная прога , при удалении дублей не перемешивает строки
     
  18. MMM1

    MMM1 New Member

    Joined:
    13 Sep 2011
    Messages:
    23
    Likes Received:
    3
    Reputations:
    4
    Подскажите, какая из этих прог работает без зависания с большими словарями в 3-4 гига? Спасибо.
     
  19. Alexandr II

    Alexandr II -=ImperatoR=-

    Joined:
    28 Dec 2007
    Messages:
    1,067
    Likes Received:
    670
    Reputations:
    87
    скачай - проюзай - отпиши :)
     
  20. Kontik

    Kontik Banned

    Joined:
    25 Nov 2010
    Messages:
    190
    Likes Received:
    28
    Reputations:
    -10
    Text Duplicate Killer

    Dup Kill

    Dik Tool