Удаление дубликатов.

Всем привяу.Нужен скрипт для удаления повторяющихся строк вида string1:string2 из тхт файла.Спасибо.

 

Text Duplicate Killer

 

Если файл небольшой, то:

PHP:

<?php
$filename='файл.txt';

$a=file($filename);
$f=fopen($filename,'w');
fputs($f,implode('',array_unique($a)));
fclose($f);
?>


 

Если по unix в консоле

cat filename.txt | sort -u

 

bvsDupDelet

 

delete_del.pl <имя файла>
на выходе получим: out_<имя файла>

PHP:

#!/usr/bin/perl  -w
#use: .pl input.txt

$inputF = shift;
$ouputF = 'out_'.$inputF;

open (F , "<$inputF");
@input = <F>;
chomp (@input);
close F;
%out = ();
@input = grep(!$out{$_}++, @input);

open (F , ">>$ouputF");
print F join("\n",@input);
close F;

 

или sort -u file.txt >>sorted.txt

 

И для Windows докучи:
get-content text.txt | sort-object -unique | Out-File result.txt

 

а если файл большой? метров 300 наприимер или 700, и надо удалить все дубликаты?

 

То это уже задание для РОА И еще случайная строка в файле неопределенной длины.

 

это какая такая винда так умеет? наверное та что с PowerShell ?
зы xp pro - sp2 не таких команд.

 

Win7 из повершелла умеет