Любимые места любимого города
Главная
Добавить в предпочтительные источники Google

Удаление повторяющихся строк

Сохраните первое вхождение каждой точной строки без сортировки и удаления пробелов. Регистр, пробелы и пустые строки важны. Каждая сохранённая строка заканчивается LF, включая последнюю.

Сохраните первое точное вхождение каждой строки в исходном порядке. Пробелы, регистр и пустые строки важны; каждая сохранённая строка заканчивается LF.

Исходные строки

Не более 100 000 единиц UTF-16 в исходном и нормализованном тексте (с конечным LF); до 10 000 исходных строк.

Результат

Результата пока нет

Текст и результат обрабатываются локально; инструмент не загружает и не сохраняет их. Обычные запросы сайта продолжаются.

Как очистить список

  1. Вставьте или введите список в поле исходных строк. Пустой ввод допустим. Пример содержит pear, apple, повтор pear и пустую строку; обработка запускается отдельно.
  2. Нажмите «Удалить повторы». До удаления проверяются исходные и нормализованные 100 000 единиц UTF-16 и все 10 000 строк; нормализованный предел включает конечный LF.
  3. Проверьте число сохранённых, исходных и удалённых строк и сам результат. Скопируйте его или скачайте unique-lines.txt в UTF-8. При ошибке копирования текст выделяется для ручного копирования.

Точное сравнение и формат

После замены CRLF и CR на LF сравнивается полное содержимое каждой строки. Сохраняется первое вхождение и порядок; пробелы, регистр и Unicode не изменяются, CSV не разбирается.

Пустая строка сравнивается как обычное содержимое и сохраняется один раз. Пустая строка, строка с пробелом и строка с табуляцией различны.

Каждая сохранённая запись заканчивается LF. Это сохраняет последнюю пустую строку и делает повторную обработку неизменной с нулём удалений. Даже без повторов окончания или конечный LF могут измениться.

Удаления считаются по лишним вхождениям, а не группам: из трёх одинаковых строк две удаляются. Исходное число равно сумме сохранённых и удалённых.

Примеры порядка и пробелов

pear, apple, pear и пустая строка дают pear, apple и пустую строку: четыре исходных, три сохранённых, одна удалённая.

a, пустая строка и ещё одна a дают a и два LF: один завершает a, второй сохраняет пустую строку.

A и a различаются, как и a с пробелом до или после неё. Пустой текст содержит ноль строк, один LF — одну пустую строку.

Ограничения и текст

Исходный и канонический текст ограничены 100 000 единицами UTF-16, до удаления допускается 10 000 строк. Текст из 100 000 единиц без конечного LF не помещается после его добавления и не сокращается.

Непарные суррогаты UTF-16 отклоняются без исправления. Допустимые дополнительные символы и настоящий U+FFFD сохраняются; поле браузера уже нормализует окончания, поэтому исходные байты не восстановить.

Файлы не загружаются. Нет обрезки, сравнения без регистра, сортировки, выбора столбца или удаления пустых строк. TXT использует UTF-8 и LF без добавленного BOM; окончания буфера могут различаться.

Локальная обработка

Инструмент обрабатывает текст локально, не загружает, не сохраняет и не помещает его в URL или аналитику. Обычные запросы сайта остаются. Текст не исполняется как HTML или код.

Вопросы о повторяющихся строках

Первое точное вхождение; последующие копии удаляются, порядок сохраняется. Это не режим строк, встретившихся только один раз.

Нет. Пробелы, табуляция и регистр важны; пустые строки совпадают друг с другом, но отличаются от строки с пробелом.

Окончания нормализуются в LF и добавляется недостающий конечный LF.

Конечный LF входит в предел 100 000 канонических единиц; иначе повторная обработка могла бы выйти за предел.

Да, при корректном UTF-16 и соблюдении пределов. Похожие последовательности Unicode могут различаться.

Копирование использует текущий текст, но платформа может менять окончания. TXT содержит точные байты UTF-8 и LF без добавленного BOM; исходный U+FEFF сохраняется.

Источники

Справка о точном сравнении и работе текста и экспорта в браузере.

Проверено 5 ноября 2026 г.; это не профессиональное заключение и не гарантия безопасности.

JSON в YAML

Преобразуйте JSON в YAML локально, сохраняя запись чисел и строки в кавычках; скопируйте или скачайте результат целиком.

Открыть инструмент — JSON в YAML

YAML в JSON

Преобразуйте один документ YAML в JSON локально, сохраняя точный числовой текст, и скопируйте или скачайте результат.

Открыть инструмент — YAML в JSON

HTML в Markdown

Преобразуйте вставленный или локальный HTML в Markdown, проверьте примечания и скопируйте или скачайте результат.

Открыть инструмент — HTML в Markdown

Тестирование регулярных выражений JavaScript

Проверяйте шаблон JavaScript локально и изучайте совпадения, группы и позиции UTF-16.

Открыть инструмент — Тестирование регулярных выражений JavaScript

Markdown в HTML

Преобразуйте Markdown в HTML-фрагмент, проверьте код и неактивный предпросмотр, затем скопируйте или скачайте результат.

Открыть инструмент — Markdown в HTML

Сортировка строк

Сортируйте строки по алфавиту выбранного языка или по кодовым точкам Unicode, сохраняя повторы, пустые строки и содержимое.

Открыть инструмент — Сортировка строк

Сравнение текстов

Сравните два текста локально: целые строки, пробелы и последний перевод строки.

Открыть инструмент — Сравнение текстов

Чтение текста вслух

Прослушивайте текст голосом браузера, настраивайте скорость, высоту и громкость и повторяйте фрагменты. Сетевой голос может передавать текст сервису.

Открыть инструмент — Чтение текста вслух

Преобразование регистра

Меняйте регистр текста, начала слов или предложений с явно выбранными правилами букв.

Открыть инструмент — Преобразование регистра

Кодировщик и декодировщик HTML-сущностей

Кодируйте или декодируйте HTML-ссылки в тексте, выбирайте контекст и формат Unicode и получайте результат с переносами LF без разбора разметки.

Открыть инструмент — Кодировщик и декодировщик HTML-сущностей

Генератор таблиц Markdown

Редактируйте таблицу с обычным текстом, задавайте выравнивание и копируйте GFM Markdown или импортируйте TSV.

Открыть инструмент — Генератор таблиц Markdown

Генератор HTML-таблиц

Создайте прямоугольную таблицу с подписью и заголовками и скопируйте HTML и CSS.

Открыть инструмент — Генератор HTML-таблиц

Разбор и создание строки запроса

Разбирайте и редактируйте параметры запроса, сохраняя повторы и порядок. Копируйте нормализованную строку или HTTP(S)-адрес.

Открыть инструмент — Разбор и создание строки запроса

Кодирование и декодирование URL

Преобразуйте компонент URL или значение формы UTF-8 с понятными правилами для пробела и плюса, затем скопируйте или скачайте результат.

Открыть инструмент — Кодирование и декодирование URL

Кодирование и декодирование Base64

Кодируйте текст UTF-8 в стандартный или URL-безопасный Base64 либо декодируйте данные с понятными сообщениями об ошибках.

Открыть инструмент — Кодирование и декодирование Base64

Форматирование XML

Локально проверяйте корректность XML 1.0 с учётом пространств имён, форматируйте или сжимайте текст и копируйте или скачивайте результат в UTF-8.

Открыть инструмент — Форматирование XML

Форматирование и проверка JSON

Проверяйте синтаксис JSON, форматируйте или минифицируйте локально, копируйте и скачивайте результат с сохранением исходных данных.

Открыть инструмент — Форматирование и проверка JSON

Счётчик символов и сегментов SMS

Узнайте кодировку сообщения, границы сегментов и примерную стоимость. Текст остаётся в вашем браузере.

Открыть инструмент — Счётчик символов и сегментов SMS

Счётчик символов для соцсетей

Проверяйте лимиты платформ и разбивайте публикации без потери текста.

Открыть инструмент — Счётчик символов для соцсетей

Счётчик символов

Считайте символы, слова, предложения и абзацы. Проверяйте плотность слов, время чтения и размер UTF-8 прямо в браузере.

Открыть инструмент — Счётчик символов

Калькулятор размера текста

Сравнивайте кодировки и размеры передаваемого текста прямо в браузере.

Открыть инструмент — Калькулятор размера текста

Очистка текста из PDF

Исправьте переносы строк и пробелы в тексте из PDF. Сохраните исходник и проверьте неоднозначные дефисы перед копированием результата.

Открыть инструмент — Очистка текста из PDF

Текст без стилизации

Преобразуйте поддерживаемые буквы Unicode в обычный текст прямо в браузере. Регистр, диакритика, эмодзи и оригинал сохраняются.

Открыть инструмент — Текст без стилизации

Исправить текст

Исправьте искажённый текст и повреждённые акценты в браузере. Проверьте каждый вариант восстановления UTF-8.

Открыть инструмент — Исправить текст
Все инструменты этой категории