Remover linhas duplicadas

Limpar uma lista colada

1. Cole ou digite a lista em Linhas originais. A entrada vazia é válida. O exemplo preenche pear, apple, outro pear e uma linha vazia; a ação é separada.
2. Selecione Remover duplicatas. Antes da remoção são verificados 100.000 unidades UTF-16 no texto original e no canônico e 10.000 linhas de entrada; o limite canônico inclui o LF final.
3. Confira linhas mantidas, de entrada e removidas e examine o resultado. Copie o texto ou baixe unique-lines.txt em UTF-8. Se a cópia falhar, o resultado será selecionado para cópia manual.

Correspondência exata e formato

Após converter CRLF e CR isolado em LF, o conteúdo inteiro da linha é comparado. A primeira ocorrência e a ordem são mantidas; não há corte de espaços, conversão de caixa, normalização Unicode, ordenação ou análise CSV.

A linha vazia participa como qualquer outra e é mantida uma vez. Uma linha vazia, uma com espaço e uma com tabulação são distintas.

Cada registro mantido recebe um LF. Isso preserva uma linha vazia final e faz uma nova passagem produzir o mesmo texto sem remoções. Mesmo com zero remoções, quebras ou o LF final podem mudar.

O número removido conta ocorrências excedentes, não grupos: três cópias geram duas remoções. A entrada é igual à soma das linhas mantidas e removidas.

Exemplos de ordem e espaços

pear, apple, pear e uma linha vazia produzem pear, apple e a linha vazia: quatro entradas, três mantidas, uma removida.

a, uma linha vazia e outro a produzem a seguido de dois LFs: um termina a linha a e o outro preserva a vazia.

A e a são diferentes, assim como a com espaço antes ou depois. Texto vazio tem zero linhas; um LF tem uma linha vazia.

Limites e texto exato

O texto original e o canônico com LF final têm limite de 100.000 unidades UTF-16; são permitidas 10.000 linhas antes da remoção. Uma entrada de 100.000 unidades sem LF final é recusada, não truncada.

Surrogates UTF-16 sem par são recusados, não corrigidos. Caracteres suplementares válidos e U+FFFD real são preservados. O campo do navegador já normaliza as quebras, portanto não recupera os bytes originais.

Não há importação de arquivo, corte de espaços, modo sem distinção de caixa, ordenação, seleção de coluna ou remoção de linhas vazias. O TXT usa UTF-8 e LF sem BOM adicional; quebras da área de transferência podem variar.

Processamento local

O processamento é local: a ferramenta não envia, salva nem inclui o texto em URLs ou dados de análise. As solicitações comuns do site continuam. O texto não é executado como HTML ou código.