Проверка текста на скрытые символы

Скрытые символы — это специальные знаки, которые не видны глазу, но существуют на уровне кодировки. Это влияет на обработку текстов компьютерными программами, а также считается одним из признаков использования ИИ. В статье GigaChat расскажем о том, какие типы невидимых символов бывают, как их найти и устранить.

Почему ИИ использует скрытые символы

Нейросети не могут читать текстовые данные так, как это делают люди. Вместо этого они работают с токенами — отдельными фрагментами, например, буквами, частями слов или целыми словами. Когда искусственный интеллект генерирует текстовый контент, он создает последовательности токенов, а затем преобразует их в предложения и абзацы. Иногда в момент преобразования нейросети автоматически добавляют невидимые символы, чтобы токены разделялись и соединялись корректно. Дополнительно ИИ-инструменты форматируют результаты — в ходе этого процесса также часто появляются непечатаемые метки.

Обычно после генерации пользователи копируют текст в редакторы, чаты или письма на электронной почте — это может усугубить проблему. Бывает, что непечатаемые знаки появляются при конвертации документа и вновь остаются незамеченными, хотя причина их появления уже не в ИИ.

Так, наличие непечатаемых знаков не гарантирует, что текст сгенерировала нейросеть и тем не менее это индикатор, который часто указывает на применение искусственного интеллекта.

Типы скрытых символов и невидимых маркеров

Разберем главные типы невидимых знаков:

• Управляющие символы — специальные знаки, которые не имеют графического представления, но управляют поведением текста (форматированием, отображением, переводами строк и т. д.). Например, NULL (U+0000), который может появиться при конвертации информации из одного формата в другой.
• Неразрывный пробел и символы нулевой ширины. Эти метки также не отображаются, но присутствуют в тексте, влияя на разбиение слов. Именно этот тип непечатаемых знаков чаще всего встречается в документах, сгенерированных искусственным интеллектом.
• Разделители строк и абзацев. Нейросети используют разные стандарты перевода строк, что может нарушать структуру HTML-документа, а также вызывать проблемы с поиском по странице.

Как найти скрытые символы в тексте с помощью ГигаЧата?

Чтобы найти невидимые знаки с помощью ГигаЧата, перейдите на сайт сервиса. Зайдите в аккаунт — для этого достаточно Сбер ID. Его можно получить, даже если вы не пользуетесь услугами банка. Далее откройте новый чат и введите запрос, например:

Попробуем создать текст с невидимыми метками через ИИ и посмотрим на него в Word через специальный режим отображения непечатаемых символов:

Теперь предоставим этот отрывок ГигаЧату вместе с указанным выше запросом:

Как удалить скрытые символы после обнаружения?

Удалить неявные символы можно несколькими способами:

• Вручную. Большинство редакторов поддерживают функцию отображения непечатаемых символов. Например, включить ее в Word можно сочетанием клавиш Ctrl+Shift+8. Далее скрытые знаки можно стирать по одному или использовать инструмент «Найти и заменить». Этот вариант полезен для небольших текстов, но если документ большой, на удаление меток уйдет слишком много времени.
• Через специальные онлайн-сервисы. Их можно найти в интернете — часть инструментов работает бесплатно или имеет пробный период. Если объем текста большой, этот способ будет актуальнее, но веб-сервисы очистки могут удалять в том числе полезные символы.
• Через нейросети. Пользователю достаточно сформулировать запрос и отправить его ИИ, приложив документ для редактирования. Плюс этого варианта в том, что нейросети работают быстро и требуют минимального участия человека.

Есть и другие способы удаления непечатаемых знаков после обнаружения, например, вставка в «Блокнот» и обратно, однако они менее эффективные, так как могут устранить не все символы и нарушать форматирование документа.

Частые вопросы и ответы