Удаление повторяющихся строк
Сохраните первое вхождение каждой точной строки без сортировки и удаления пробелов. Регистр, пробелы и пустые строки важны. Каждая сохранённая строка заканчивается LF, включая последнюю.
Как очистить список
- Вставьте или введите список в поле исходных строк. Пустой ввод допустим. Пример содержит pear, apple, повтор pear и пустую строку; обработка запускается отдельно.
- Нажмите «Удалить повторы». До удаления проверяются исходные и нормализованные 100 000 единиц UTF-16 и все 10 000 строк; нормализованный предел включает конечный LF.
- Проверьте число сохранённых, исходных и удалённых строк и сам результат. Скопируйте его или скачайте unique-lines.txt в UTF-8. При ошибке копирования текст выделяется для ручного копирования.
Точное сравнение и формат
После замены CRLF и CR на LF сравнивается полное содержимое каждой строки. Сохраняется первое вхождение и порядок; пробелы, регистр и Unicode не изменяются, CSV не разбирается.
Пустая строка сравнивается как обычное содержимое и сохраняется один раз. Пустая строка, строка с пробелом и строка с табуляцией различны.
Каждая сохранённая запись заканчивается LF. Это сохраняет последнюю пустую строку и делает повторную обработку неизменной с нулём удалений. Даже без повторов окончания или конечный LF могут измениться.
Удаления считаются по лишним вхождениям, а не группам: из трёх одинаковых строк две удаляются. Исходное число равно сумме сохранённых и удалённых.
Примеры порядка и пробелов
pear, apple, pear и пустая строка дают pear, apple и пустую строку: четыре исходных, три сохранённых, одна удалённая.
a, пустая строка и ещё одна a дают a и два LF: один завершает a, второй сохраняет пустую строку.
A и a различаются, как и a с пробелом до или после неё. Пустой текст содержит ноль строк, один LF — одну пустую строку.
Ограничения и текст
Исходный и канонический текст ограничены 100 000 единицами UTF-16, до удаления допускается 10 000 строк. Текст из 100 000 единиц без конечного LF не помещается после его добавления и не сокращается.
Непарные суррогаты UTF-16 отклоняются без исправления. Допустимые дополнительные символы и настоящий U+FFFD сохраняются; поле браузера уже нормализует окончания, поэтому исходные байты не восстановить.
Файлы не загружаются. Нет обрезки, сравнения без регистра, сортировки, выбора столбца или удаления пустых строк. TXT использует UTF-8 и LF без добавленного BOM; окончания буфера могут различаться.
Локальная обработка
Инструмент обрабатывает текст локально, не загружает, не сохраняет и не помещает его в URL или аналитику. Обычные запросы сайта остаются. Текст не исполняется как HTML или код.
Вопросы о повторяющихся строках
Источники
Справка о точном сравнении и работе текста и экспорта в браузере.
- tc39.esСтроки ECMAScriptСтроки сохраняют точные последовательности кодовых единиц для сравнения.
- tc39.esECMAScript SetSet сравнивает значения строк без изменений.
- html.spec.whatwg.orgHTML textareaAPI текстового поля нормализует окончания строк.
- encoding.spec.whatwg.orgКодировка UTF-8Определяет кодировку скачиваемого файла.
- w3c.github.ioFile API: BlobОписывает двоичные данные для скачивания.
- w3.orgClipboard APIФорматы и окончания строк буфера могут различаться на разных платформах.
Проверено 5 ноября 2026 г.; это не профессиональное заключение и не гарантия безопасности.
Похожие инструменты
JSON в YAML
Преобразуйте JSON в YAML локально, сохраняя запись чисел и строки в кавычках; скопируйте или скачайте результат целиком.
Открыть инструмент — JSON в YAMLYAML в JSON
Преобразуйте один документ YAML в JSON локально, сохраняя точный числовой текст, и скопируйте или скачайте результат.
Открыть инструмент — YAML в JSONHTML в Markdown
Преобразуйте вставленный или локальный HTML в Markdown, проверьте примечания и скопируйте или скачайте результат.
Открыть инструмент — HTML в MarkdownТестирование регулярных выражений JavaScript
Проверяйте шаблон JavaScript локально и изучайте совпадения, группы и позиции UTF-16.
Открыть инструмент — Тестирование регулярных выражений JavaScriptMarkdown в HTML
Преобразуйте Markdown в HTML-фрагмент, проверьте код и неактивный предпросмотр, затем скопируйте или скачайте результат.
Открыть инструмент — Markdown в HTMLСортировка строк
Сортируйте строки по алфавиту выбранного языка или по кодовым точкам Unicode, сохраняя повторы, пустые строки и содержимое.
Открыть инструмент — Сортировка строкСравнение текстов
Сравните два текста локально: целые строки, пробелы и последний перевод строки.
Открыть инструмент — Сравнение текстовЧтение текста вслух
Прослушивайте текст голосом браузера, настраивайте скорость, высоту и громкость и повторяйте фрагменты. Сетевой голос может передавать текст сервису.
Открыть инструмент — Чтение текста вслухПреобразование регистра
Меняйте регистр текста, начала слов или предложений с явно выбранными правилами букв.
Открыть инструмент — Преобразование регистраКодировщик и декодировщик HTML-сущностей
Кодируйте или декодируйте HTML-ссылки в тексте, выбирайте контекст и формат Unicode и получайте результат с переносами LF без разбора разметки.
Открыть инструмент — Кодировщик и декодировщик HTML-сущностейГенератор таблиц Markdown
Редактируйте таблицу с обычным текстом, задавайте выравнивание и копируйте GFM Markdown или импортируйте TSV.
Открыть инструмент — Генератор таблиц MarkdownГенератор HTML-таблиц
Создайте прямоугольную таблицу с подписью и заголовками и скопируйте HTML и CSS.
Открыть инструмент — Генератор HTML-таблицРазбор и создание строки запроса
Разбирайте и редактируйте параметры запроса, сохраняя повторы и порядок. Копируйте нормализованную строку или HTTP(S)-адрес.
Открыть инструмент — Разбор и создание строки запросаКодирование и декодирование URL
Преобразуйте компонент URL или значение формы UTF-8 с понятными правилами для пробела и плюса, затем скопируйте или скачайте результат.
Открыть инструмент — Кодирование и декодирование URLКодирование и декодирование Base64
Кодируйте текст UTF-8 в стандартный или URL-безопасный Base64 либо декодируйте данные с понятными сообщениями об ошибках.
Открыть инструмент — Кодирование и декодирование Base64Форматирование XML
Локально проверяйте корректность XML 1.0 с учётом пространств имён, форматируйте или сжимайте текст и копируйте или скачивайте результат в UTF-8.
Открыть инструмент — Форматирование XMLФорматирование и проверка JSON
Проверяйте синтаксис JSON, форматируйте или минифицируйте локально, копируйте и скачивайте результат с сохранением исходных данных.
Открыть инструмент — Форматирование и проверка JSONСчётчик символов и сегментов SMS
Узнайте кодировку сообщения, границы сегментов и примерную стоимость. Текст остаётся в вашем браузере.
Открыть инструмент — Счётчик символов и сегментов SMSСчётчик символов для соцсетей
Проверяйте лимиты платформ и разбивайте публикации без потери текста.
Открыть инструмент — Счётчик символов для соцсетейСчётчик символов
Считайте символы, слова, предложения и абзацы. Проверяйте плотность слов, время чтения и размер UTF-8 прямо в браузере.
Открыть инструмент — Счётчик символовКалькулятор размера текста
Сравнивайте кодировки и размеры передаваемого текста прямо в браузере.
Открыть инструмент — Калькулятор размера текстаОчистка текста из PDF
Исправьте переносы строк и пробелы в тексте из PDF. Сохраните исходник и проверьте неоднозначные дефисы перед копированием результата.
Открыть инструмент — Очистка текста из PDFТекст без стилизации
Преобразуйте поддерживаемые буквы Unicode в обычный текст прямо в браузере. Регистр, диакритика, эмодзи и оригинал сохраняются.
Открыть инструмент — Текст без стилизацииИсправить текст
Исправьте искажённый текст и повреждённые акценты в браузере. Проверьте каждый вариант восстановления UTF-8.
Открыть инструмент — Исправить текст