http://www.proxy-base.org/f50/programmy_udalyayuschie_dublikaty_strok-646.html вот откуда он сплагиатил ; )
Недавно начал учить язык программирования Delphi и вот практиковался, и написал вот такую вот программку)) DupDel v0.1 Программа для поиска и удаления дубликатов(повторений) в списке. Скачать
Мне реально помогла очистить от дублей, файл больше 2гб, только Fast Duplicates Remover. Остальные проги либо вообще не открывают файл, либо вылетают
подскажите прогу которая будет вычитать одну базу из другой. есть проспамленная база, есть новая. надо из новой отнять проспамленную. тобеш из: 1 2 3 отнять : 2 3 4 получится в итоге должно: 1 есть такая прога. 100к отнимает от 100к буквально за пол дня. надо быстрее минут за 20 хотя бы
bvsDupDelet Копируешь в первый список второй два раза. В настойках удаления дублей выбираешь "Unique". Готово.
TextDup by CyberKrot Программа для удаления дубликатов в файлах. Особенности программ: 1) Не создаёт лишних файлов. 2) Не сортирует. 3) Позволяет выбрать существующий файл для сохранения, удаляет дубликаты с проверкой всех строк в этом файле. 4) Отсутствует графический интерфейс позволяющий наблюдать за процессом удаления дубликатов, в конце своей работы выводит сообщение с результатом и предложением открыть новый файл. Скачать
Sublime Text Sublime Text Edit -> Permute Lines -> Unique Работает достаточно быстро с большими файлами (проверял текстовик на 1.5 млн строк). Скачать: http://ge.tt/5IpzJlg/v/0 (Sublime Text 3 build 3021)
Добрый день. Подскажите пожалуйста программу, которая могла бы с текстового файла убрать слова менее 8 символов. 8 и больше оставлять остальные удалить. Текстовые файлы очень большие. Спасибо Каждое слово идет в новой строчке
Парни! Столкнулся с такой проблемой. Есть файл с текстом (TXT) Размером 50gb. Есть ли такой софт который сможет проверить на дубликаты. Каждое слово написано одну строку. Заранее ОГРОМНОЕ СПАСИБО
Замена дублирующих строк на пробелы Подскажите, пожалуйста, не знаете ли вы такую программу, которая не удаляла бы дубликаты строк, а заменяла их, скажем на 0 или пробел или просто оставляла строку пустую. Никак не могу решить одну проблему
Ах, сколько бы восхитительного и первоклассного софта мир не увидел бы, знай люди про grep, sed и регулярки. В частности, практически любой вопрос\софт, упомянутый в топике реализуется одной строкой.
Есть большая вероятность, что программы будут глючить с таким размером, лучше разделить возможно ЭТО вам поможет, если нет, можно написать скрипт замены
