BOM-символы в кодировках: зачем они нужны и как их удалить

• Что такое BOM
• Практические трудности из-за BOM
• Как обнаружить BOM-символы
• Как избавиться от BOM-символов
• Как предотвратить появление BOM
• Заключение

Если вы когда-либо работали с текстовыми файлами при разработке сайтов, написании программ или обработке данных, наверняка сталкивались со странными символами в начале файла или ошибками, которые мешали корректному отображению или работе вашего кода. Чаще всего причина таких проблем — так называемые BOM-символы.

Что такое BOM 

BOM (Byte Order Mark) — это специальный невидимый символ, который используется для указания порядка байтов в текстовых файлах с кодировками Unicode, например, UTF-8, UTF-16 или UTF-32. 

Для UTF-8 он выглядит как набор из трех байтов: EF BB BF (в шестнадцатеричном виде). Именно они иногда отображаются как непонятные символы (например, ) в начале файлов.

Изначально BOM помогал текстовым редакторам и другим программам правильно распознавать кодировку и корректно интерпретировать файл. Однако современные приложения и редакторы могут самостоятельно распознавать кодировку, поэтому необходимость в нем практически отпала. 

Практические трудности из-за BOM

Сегодня BOM чаще становятся источником проблем, чем приносят пользу. И вот почему:

• Браузеры могут неправильно интерпретировать HTML- или PHP-файлы с BOM, выводя нежелательные символы в начало страницы или вызывая ошибки, вроде: «Warning: Cannot modify header information — headers already sent by (output started at …».
• Скрипты и программы, которые ждут стандартный текстовый файл без лишних символов, могут некорректно обрабатывать данные или выдавать ошибки при обнаружении BOM. 
• Даже небольшие изменения, включая появление или удаление BOM, воспринимаются системой как глобальные изменения файла, что затрудняет отслеживание конкретных изменений в коде.

Особенно к наличию BOM чувствительны веб-приложения и API, которым очень важна строго определенная структура и кодировка входящих данных.

Как обнаружить BOM-символы

Обнаружить BOM можно несколькими способами:

1. С помощью текстовых редакторов. Sublime Text, Visual Studio Code, Notepad++ автоматически показывают наличие BOM и предлагают его удаление.
2. С помощью консоли (Linux/MacOS). Для этого достаточно выполнить:

Где file.txt – ваш файл. 

Если в начале вывода вы видите байты ef bb bf, значит файл содержит BOM.

Как избавиться от BOM-символов

Есть два простых и проверенных способа, которые помогут вам удалить BOM-символы:

Способ 1. Через текстовый редактор Notepad++

1. Откройте файл в Notepad++.
    
2. В верхнем меню выберите «Кодировки».
    
3. Нажмите «Кодировка в UTF-8».
   
   
   
   Важно! В старых версиях Notepad++ была опция «Кодировать в UTF-8 (без BOM)». Если у вас она есть, выберите ее.   
    
4. Сохраните файл.
    

Способ 2. С помощью командной строки на сервере 

1. Подключитесь к серверу через SSH.

2. Найдите все файлы с BOM при помощи команды:

3. Удалите лишние символы из файлов:

Как предотвратить появление BOM

Лучший способ — сразу настраивать редакторы и инструменты на работу с кодировкой «UTF-8 без BOM». Так вы сможете избежать проблем на самых ранних этапах работы с файлами.

Заключение

Хотя изначально BOM был полезен, сегодня он может принести больше вреда, чем пользы. Поэтому мы рекомендуем всегда сохранять текстовые файлы в кодировке UTF-8 без BOM. Также стоит регулярно проверять кодировку своих файлов, особенно перед их загрузкой на сервер. Так вы избежите неприятных сюрпризов и сэкономите время на поиске и исправлении ошибок.