Remover linhas duplicadas

Limpando listas

Listas tiradas de planilhas, logs, exportações e copia-e-cola muitas vezes repetem itens: o mesmo e-mail em dois formulários, a mesma URL em duas varreduras, a mesma palavra-chave em vários arquivos de pesquisa. Esta ferramenta mantém a primeira ocorrência de cada linha e remove as cópias seguintes, sem reordenar nada, então a lista fica na ordem em que você colou.

Ignorar maiúsculas trata Maria e maria como a mesma linha. Remover espaços nas pontas ignora espaços no começo e no fim das linhas, uma diferença invisível comum depois de copiar de planilhas. Remover linhas vazias também apaga as linhas em branco.

Exemplo resolvido

ana@exemplo.com.br
bruno@exemplo.com.br
Ana@exemplo.com.br
bruno@exemplo.com.br

Com ignorar maiúsculas ligado, o resultado é ana@exemplo.com.br e bruno@exemplo.com.br: 4 linhas na entrada, 2 na saída, 2 removidas. Sem a opção, Ana@exemplo.com.br ficaria como linha diferente.

Saída ordenada

Para ordenar também, passe o resultado pela ferramenta de ordenar linhas.

A página lê o texto linha por linha (quebras de linha do Windows e do Unix do mesmo jeito), monta uma chave de comparação para cada linha tirando espaços das pontas e/ou passando para minúsculas, conforme as opções, e mantém a linha só na primeira vez que a chave aparece. As linhas mantidas saem na ordem original, e a tabela mostra quantas linhas entraram, saíram e foram removidas. Tudo roda no navegador.