Muchas veces nos hemos encontrado con un fichero de texto plano en el que hay palabras repetidas y queremos borrarlas. esta es la solución
sort -n texto.txt | uniq > textofinal.txt
Esto es bueno para optimizar diccionarios de crakeo
Nota: No se como se comporta con ficheros grandes
Un saludo