删除重复行
按原顺序保留每个完全相同的行内容首次出现的位置,不排序也不去除空格。空格、大小写和空行均有意义;每个保留行(包括最后一行)都以 LF 结尾。
清理粘贴的列表
- 将列表粘贴或输入到原始行中。空输入有效。示例填入 pear、apple、重复的 pear 和一个空行,之后需自行点击操作按钮。
- 选择“删除重复行”。去重之前会检查原文和规范化文本各不超过 100,000 个 UTF-16 代码单元、输入不超过 10,000 行;规范化上限包含末尾 LF。
- 查看保留、输入和删除行数以及结果。复制当前文本,或下载 UTF-8 的 unique-lines.txt;复制失败时结果会被选中以便手动复制。
了解精确匹配与输出格式
CRLF 和单独的 CR 转为 LF 后,比较整行内容。保留首次出现和顺序;不去空格、不忽略大小写、不规范化 Unicode、不排序,也不解析 CSV。
空内容像其他行一样参与比较,只保留一次。空行、含一个空格的行和含一个制表符的行互不相同。
每个保留行后输出一个 LF,因此末尾保留的空行不会丢失,再次处理输出不变且删除数为零。即使没有重复,换行符或末尾 LF 仍可能变化。
删除数是首次出现之后多余的行数,而非重复组数。例如三个相同的行会删除两个。输入行数等于保留数加删除数。
顺序、空行与文本示例
pear、apple、pear 和空行得到 pear、apple 和空行:输入四行、保留三行、删除一行。
a、空行和另一个 a 得到 a 后接两个 LF:第一个结束 a,第二个保留空行。
A 与 a 不同,前后有空格的 a 也不同。空文本有零行;一个 LF 表示一个空行。
输入限制与精确文本
原文及含末尾 LF 的规范化文本各限 100,000 个 UTF-16 代码单元;去重前最多 10,000 行。已满 100,000 单元且没有末尾 LF 的输入会被拒绝,不会截断。
未配对的 UTF-16 代理项会被拒绝而非修复;有效的辅助字符和实际的 U+FFFD 会保留。浏览器文本框已规范化换行,无法恢复原始文件字节。
此版本不上传文件,也没有去空格、忽略大小写、排序、选列或删除空行选项。下载使用 UTF-8 和 LF,不额外添加 BOM;剪贴板换行可能因平台而异。
本地处理
此工具在本地处理文本,不上传、不保存,也不把文本放入网址或分析数据。网站常规请求仍会发生。文本按文本显示,不执行 HTML 或代码。
