Помню была у меня прога для удаления дублей, которая сохраняла дублы отдельно в текстовый файл. Но так как прошло лет 6 я уже забыл. Подскажите пожалуйста! По факту нужна программулька которая чекает емейлы на дублы и дублы сохраняте в отдельный файл, а не просто удаляет!!
Ну ребята ткните носом, да я уверен что у многих она есть и в инете где то валяеться. Просто не могу вспомнить название, а на винте за 6 и больше лет не сохранилась.
Батника у меня нет, хожу в футболке пока, а нотпад++ пару ГБ не откроет. Спасибо что апаешь мне тему!!
Пока попробую TEXT DUPLICATE KILLER, ну чет с поиска она пропала). Жду и надесь что мне кто то из вас годноту предложит.
Примерно так: [email protected] [email protected] [email protected] [email protected] [email protected] [email protected] [email protected] [email protected] Мне надо парсинг(проверка на дублы, те мне нужны дублы(повторы)) чтобы: [email protected] и [email protected] сохранились в файле. Тока файл пару ГБ.
в sql создаем таблицу, присваиваем ей ключ unique и инсертим туда построчно твой файл, всё что дубликат то не заинсертилось и достаем обратно бездубликатные данные... profit!
1. Ну можно, действительно, мускулом пробовать, типа: CREATE TABLE tmpid SELECT MIN(ID) ID FROM table1 GROUP BY post_title; DELETE FROM table1 WHERE ID NOT IN (SELECT ID FROM tmpid); 2. MS Excel (если файл не сильно большой), там выполнить удаление дубликатов 3. Батником, типа http://rghost.ru/72zmHjV6c 4. специализированный софт, типа а) GAFP V2.0 б) сортировщики баз https://yadi.sk/d/BPPfcJ5Q3KsMsD Короче, вариантов миллион, просто нужно все пробовать.
По факту нужна программулька которая чекает емейлы на дублы и дублы сохраняте в отдельный файл, а не просто удаляет, емейлов больше 5 гб!! Читаем внимательно!!