Rimuovi righe duplicate

Pulisci un elenco incollato

1. Incolla o digita l’elenco nelle righe originali. Il testo vuoto è valido. L’esempio inserisce pear, apple, un altro pear e una riga vuota; avvia poi l’azione.
2. Seleziona Rimuovi duplicati. Prima della rimozione si controllano 100.000 unità UTF-16 nel testo originale e canonico e 10.000 righe in ingresso; il limite canonico include il LF finale.
3. Controlla righe mantenute, in ingresso e rimosse e il risultato. Copia il testo o scarica unique-lines.txt in UTF-8. Se la copia fallisce, il risultato viene selezionato per la copia manuale.

Confronto esatto e formato

Dopo la conversione di CRLF e CR isolato in LF si confronta il contenuto completo della riga. Si conservano prima occorrenza e ordine; non si tagliano spazi, cambia la maiuscola, normalizza Unicode, ordina o interpreta CSV.

La riga vuota partecipa come ogni altra e si conserva una volta. Una riga vuota, una con uno spazio e una con una tabulazione sono diverse.

Ogni riga mantenuta riceve un LF. Così si conserva una riga vuota finale e un secondo passaggio produce lo stesso testo senza rimozioni. Anche senza duplicati possono cambiare i fine riga o il LF finale.

Le rimozioni contano le occorrenze eccedenti, non i gruppi: tre copie comportano due rimozioni. Le righe in ingresso sono la somma di quelle mantenute e rimosse.

Esempi di ordine e spazi

pear, apple, pear e una riga vuota producono pear, apple e la riga vuota: quattro in ingresso, tre mantenute, una rimossa.

a, una riga vuota e un’altra a producono a seguita da due LF: uno termina a e l’altro conserva la riga vuota.

A e a sono diversi, come a con uno spazio prima o dopo. Il testo vuoto ha zero righe; un LF rappresenta una riga vuota.

Limiti e testo esatto

Il testo originale e quello canonico con LF finale sono limitati a 100.000 unità UTF-16; sono ammesse 10.000 righe prima della rimozione. Un testo di 100.000 unità senza LF finale è rifiutato, non troncato.

I surrogati UTF-16 senza coppia sono rifiutati, non riparati. I caratteri supplementari validi e U+FFFD effettivo restano invariati. Il campo del browser normalizza già i fine riga: i byte originali non sono recuperabili.

Non si importano file e non ci sono opzioni di taglio, confronto senza maiuscole, ordinamento, selezione colonne o rimozione di righe vuote. Il TXT usa UTF-8 e LF senza BOM aggiunto; i fine riga degli appunti possono variare.

Elaborazione locale

Lo strumento elabora il testo localmente senza caricarlo, salvarlo o inserirlo negli URL o nell’analisi. Le normali richieste del sito continuano. Il testo non viene eseguito come HTML o codice.