您最喜欢的城市的最爱地点
首页
添加为 Google 首选来源

删除重复行

按原顺序保留每个完全相同的行内容首次出现的位置,不排序也不去除空格。空格、大小写和空行均有意义;每个保留行(包括最后一行)都以 LF 结尾。

按原顺序保留每一行完全相同内容的首次出现。空格、大小写和空行均有意义;每个保留行都以 LF 结尾。

原始行

原文及规范化文本(含末尾 LF)各最多 100,000 个 UTF-16 代码单元;输入最多 10,000 行。

结果

尚无结果

文本和结果在本地处理;此工具不会上传或保存它们。网站的常规请求仍会发生。

清理粘贴的列表

  1. 将列表粘贴或输入到原始行中。空输入有效。示例填入 pear、apple、重复的 pear 和一个空行,之后需自行点击操作按钮。
  2. 选择“删除重复行”。去重之前会检查原文和规范化文本各不超过 100,000 个 UTF-16 代码单元、输入不超过 10,000 行;规范化上限包含末尾 LF。
  3. 查看保留、输入和删除行数以及结果。复制当前文本,或下载 UTF-8 的 unique-lines.txt;复制失败时结果会被选中以便手动复制。

了解精确匹配与输出格式

CRLF 和单独的 CR 转为 LF 后,比较整行内容。保留首次出现和顺序;不去空格、不忽略大小写、不规范化 Unicode、不排序,也不解析 CSV。

空内容像其他行一样参与比较,只保留一次。空行、含一个空格的行和含一个制表符的行互不相同。

每个保留行后输出一个 LF,因此末尾保留的空行不会丢失,再次处理输出不变且删除数为零。即使没有重复,换行符或末尾 LF 仍可能变化。

删除数是首次出现之后多余的行数,而非重复组数。例如三个相同的行会删除两个。输入行数等于保留数加删除数。

顺序、空行与文本示例

pear、apple、pear 和空行得到 pear、apple 和空行:输入四行、保留三行、删除一行。

a、空行和另一个 a 得到 a 后接两个 LF:第一个结束 a,第二个保留空行。

A 与 a 不同,前后有空格的 a 也不同。空文本有零行;一个 LF 表示一个空行。

输入限制与精确文本

原文及含末尾 LF 的规范化文本各限 100,000 个 UTF-16 代码单元;去重前最多 10,000 行。已满 100,000 单元且没有末尾 LF 的输入会被拒绝,不会截断。

未配对的 UTF-16 代理项会被拒绝而非修复;有效的辅助字符和实际的 U+FFFD 会保留。浏览器文本框已规范化换行,无法恢复原始文件字节。

此版本不上传文件,也没有去空格、忽略大小写、排序、选列或删除空行选项。下载使用 UTF-8 和 LF,不额外添加 BOM;剪贴板换行可能因平台而异。

本地处理

此工具在本地处理文本,不上传、不保存,也不把文本放入网址或分析数据。网站常规请求仍会发生。文本按文本显示,不执行 HTML 或代码。

重复行常见问题

保留首次完全匹配的行,删除后续副本并保留顺序;并非只保留出现一次的行。

不会。空格、制表符和大小写有意义;空行彼此重复,但与只含空格的行不同。

输出使用 LF,并可能添加缺少的末尾 LF。

100,000 单元的规范化上限包含必需的末尾 LF,以确保输出可再次处理。

支持,但仍须符合 UTF-16 格式和大小限制。外观相似的不同 Unicode 序列仍可能不同。

复制使用当前逻辑文本,平台可能改变换行;下载使用精确 UTF-8 字节和 LF,不额外添加 BOM,并保留原有 U+FEFF。

参考资料

有关精确匹配及浏览器文本和导出行为的资料。

2026 年 11 月 5 日查阅;这不构成专业或安全认证。

JSON 转 YAML

在本地将 JSON 转换为 YAML,保留数字原文和带引号的字符串;复制或下载完整结果。

打开工具 — JSON 转 YAML

YAML 转 JSON

在本地将一个 YAML 文档转换为 JSON,保留精确数字文本,然后复制或下载结果。

打开工具 — YAML 转 JSON

HTML 转 Markdown

将粘贴的内容或本地 HTML 转换为 Markdown,查看转换说明,然后复制或下载结果。

打开工具 — HTML 转 Markdown

JavaScript 正则表达式测试器

在本地测试 JavaScript 表达式,查看匹配、捕获组和 UTF-16 位置。

打开工具 — JavaScript 正则表达式测试器

Markdown 转 HTML

将 Markdown 草稿转换为 HTML 片段,查看源码和惰性预览,然后复制或下载。

打开工具 — Markdown 转 HTML

文本排序

按所选语言的字母顺序或 Unicode 码位排序,保留重复项、空行和完整的行内容。

打开工具 — 文本排序

文本差异对比

在本地比较两个文本版本,查看完整行的变化、空白和末尾换行。

打开工具 — 文本差异对比

字母大小写转换

按所选字母规则转换文本大小写、单词首字母或句首字母。

打开工具 — 字母大小写转换

HTML 字符引用编码与解码

编码或解码文本中的 HTML 字符引用,选择上下文和 Unicode 格式,以 LF 换行输出;不解析或渲染标记。

打开工具 — HTML 字符引用编码与解码

Markdown 表格生成器

编辑纯文本表格、设置对齐方式、复制 GFM Markdown 或导入制表符分隔的文本。

打开工具 — Markdown 表格生成器

查询字符串解析与构建

解析和编辑查询参数,保留重复名称和顺序,并复制规范化的查询字符串或 HTTP(S) 网址。

打开工具 — 查询字符串解析与构建

URL 编码与解码

按照明确的空格与加号规则转换 UTF-8 URL 组件或表单值,然后复制或下载结果。

打开工具 — URL 编码与解码

Base64 编码与解码

将 UTF-8 文本编码为标准或 URL 安全的 Base64,也可解码任一格式并查看完整结果和清晰的错误提示。

打开工具 — Base64 编码与解码

XML 格式化工具

在本地检查 XML 1.0 的良构性和命名空间绑定,格式化或压缩文本,并复制或下载 UTF-8 结果。

打开工具 — XML 格式化工具

JSON 格式化与验证

在本地检查 JSON 语法、格式化或压缩,并在保留原始数据的同时复制或下载结果。

打开工具 — JSON 格式化与验证

SMS 短信字数与分段计算器

了解短信的编码方式、分段位置和预计费用。文本始终保留在您的浏览器中。

打开工具 — SMS 短信字数与分段计算器

社交媒体字符计数器

按平台规则检查长度,无损拆分帖子。

打开工具 — 社交媒体字符计数器

字符计数器

统计字符、词语、句子和段落,并在浏览器中查看词语密度、预计阅读时间和 UTF-8 大小。

打开工具 — 字符计数器

文本大小计算器

在浏览器中比较文本编码和载荷大小。

打开工具 — 文本大小计算器

PDF 文本清理工具

修复从 PDF 复制的文本中的换行和空格。保留原文,逐一检查不确定的连字符,再复制清理结果。

打开工具 — PDF 文本清理工具

花体文字转换器

在浏览器中将支持的 Unicode 花体字母转为普通文字,保留大小写、重音符号、表情和原文。

打开工具 — 花体文字转换器

乱码修复器

在浏览器中修复乱码和损坏的重音字符。逐项检查可能的 UTF-8 逆向转换。

打开工具 — 乱码修复器

Gmail 邮件截断检查

准确计算邮件 HTML 的 UTF-8 字节数,对照 102,000 字节参考值,并在本地查找占空间的源码。

打开工具 — Gmail 邮件截断检查
查看此分类中的所有工具