Python: UnicodeDecodeError: 'utf-8' codec can't decode byte — файл в другой кодировке
Python читает текст как UTF-8, а файл сохранён в другой кодировке — Windows-1251 или UTF-16: такие файлы получаются из Excel и старых программ для Windows.
Содержание 7
Как выглядит ошибка
Traceback (most recent call last):
…
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xcf in position 0: invalid continuation byteВ кавычках — кодировка, в которой Python пробовал читать, после byte — первый байт, который в неё не вписался, в конце — что с ним не так. На сервере с Ubuntu функция open() без ключа encoding читает файлы в кодировке UTF-8 по умолчанию. Тексты ошибок сверены с исходным кодом Python 3.12.3 — эта версия стоит в Ubuntu 24.04 — и Python 3.14.4 из пакета python3.14 в Ubuntu 26.04.
Какая кодировка у файла
По концу сообщения и байту можно угадать, в чём сохранён файл:
| Что в сообщении | Кодировка файла | Что указать в open() |
|---|---|---|
байт от 0xc0 до 0xff и invalid continuation byte | Windows-1251 — русский текст из программ для Windows и CSV из Excel | encoding='cp1251' |
byte 0xff in position 0: invalid start byte | UTF-16 — так Excel сохраняет «Юникод-текст» | encoding='utf-16' |
unexpected end of data | файл обрезан на середине буквы или читается кусками байтов | проверьте, что файл скачан целиком |
Команды на этой странице вводятся на сервере: подключитесь к нему по SSH (как подключиться) и набирайте их в том же окне. Проверьте догадку — вместо data.csv подставьте свой файл. Команда покажет начало файла, переведённое из Windows-1251 в кодировку UTF-8:
head -c 300 data.csv | iconv -f cp1251 -t utf-8Если видно нормальный русский текст, файл в кодировке Windows-1251, а если буквы перепутаны, файл в другой кодировке — попробуйте -f utf-16.
Как открыть файл в Python
Укажите кодировку при открытии:
with open('data.csv', encoding='cp1251') as f:
text = f.read()В модуле csv кодировку тоже передают в open(). В pandas — ключом encoding:
df = pd.read_csv('data.csv', encoding='cp1251')Если в файле испорчены отдельные байты, а прочитать нужно остальное, добавьте errors='replace': Python заменит такие байты знаком �.
Или переведите файл в UTF-8
Если файл будут читать и другие программы, проще один раз перевести его в UTF-8:
iconv -f cp1251 -t utf-8 data.csv > data-utf8.csvНовый файл data-utf8.csv Python откроет без ключа encoding. Старый оставьте, пока не убедитесь, что всё на месте.
Как проверить
Откройте файл в Python и выведите начало:
python3 -c "print(open('data-utf8.csv').read(200))"Если видно нормальный русский текст и нет ошибки, кодировка подобрана верно.
Источники
- Исходный код Python 3.12.3: Objects/exceptions.c — вид сообщения codec can't decode byte.
- Исходный код Python 3.12.3: Objects/unicodeobject.c — invalid start byte, invalid continuation byte, unexpected end of data.
- Документация Python: open() — ключи encoding и errors.
- Документация Python: стандартные кодировки — cp1251 и utf_16.
- Справка iconv для Ubuntu 24.04 — ключи -f и -t.
Сверено 22 октября 2026 года.
Что почитать дальше
- Как посмотреть файл: cat, less, tail.
- SyntaxError в Pythonв том числе когда в другой кодировке сам файл программы.
- Все ошибки Python и pipтаблица по тексту сообщения.