Python 3 и locale

После вызова какой функции происходит UnicodeEncodeError?

py3 в системных скриптах это боль.

py3 в системных скриптах это боль.

Только если не уметь его готовить.

В первом случае:

with open(filename, 'wb') as file:

msg = email.message_from_file(sys.stdin)

io.TextIOWrapper(sys.stdin.buffer, encoding='utf-8')

У меня пока только грязные хаки на ум приходят: в первом варианте - транслитерировать имена файлов

Ну ведь имя файла [EDIT: имя, не содержимое, хотя и содержимое тоже] может быть произвольной последовательностью байт. Если os.fsencode не работает (что при неправильно выставленной локали может быть), то предварительно сделай filename = bytes(filename, 'UTF-8') (или наоборот, filename = str(filename, 'UTF-8'), или как тебе надо. Если уже есть готовые имена файлов в виде bytes, то их и используй.

во втором варианте - пытаться определить кодировку текста перед загрузкой

Если у тебя данные в чёрт знает какой кодировке, то зачем ты с ними работаешь, как с текстом? Работай с потоками байт. Или невозможно?

Вообще говоря, что именно ты делаешь с этими текстами?

Ну ведь имя файла [EDIT: имя, не содержимое, хотя и содержимое тоже] может быть произвольной последовательностью байт.

Чисто да, но питон хочет str. И в моем случае filename - это str в юникоде. Если ее конвертить в байты, то питон ругается

TypeError: Can't convert 'bytes' object to str implicitly

Отследил кодировку stdin - ANSI_X3.4-1968. Думаю ее можно попробовать указать для io.TextIOWrapper. Но непонятно, насколько это корректно.

А смысл всей затеи в том, что на определенный ящик приходят письма, и в зависимости от наличия определенных слов в теме нужно текст письма загрузить в базу, вложения положить в определенное место.

Скрипт на основе примера: https://docs.python.org/3/library/email-examples.html (Here’s an example of how to unpack a MIME message like the one above, into a directory of files:)

Текст простого письма в KOI8-R c вложением: http://www.fast-files.com/getfile.aspx?file=101178

Чисто да, но питон хочет str.

Странно. У меня open прекрасно работает, когда имя файла имеет тип bytes.

И в моем случае filename - это str в юникоде.

Ну тогда всё и так должно работать, странно.

Текст простого письма в KOI8-R c вложением: http://www.fast-files.com/getfile.aspx?file=101178

Попробуй скормить его как есть пакету email при помощи email.message_from_binary_file(sys.stdin.buffer) Ведь в письме указана его кодировка, пакет email должен это сам обработать.

Хотя стоп, у меня почему-то даже email.message_from_binary_file какие-то ошибки на твоём примере выдаёт.

Странно. У меня open прекрасно работает, когда имя файла имеет тип bytes.

Разобрался, это я дурак. Пытался имя в bytes объединить с путем в str. На самом деле все работает!

Попробуй скормить его как есть пакету email при помощи email.message_from_binary_file(sys.stdin.buffer)

И так тоже все работает!

Спасибо тебе, добрый человек! Всегда приятно поговорить с умными людьми!

Да, действительно, ошибки у меня происходили, потому что я ступил. У меня получилось написать работающий скрипт, не знаю, нужно тебе, или уже нет:

#!/usr/bin/env python3
"""
Прочитать e-mail со стандартного ввода и вывести его тему.

ПРИМЕЧАНИЕ: если тело письма вообще не нужно, можно
использовать email.Parser.BytesParser.parse(headersonly=True)
"""
import email
import email.header
import sys

msg = email.message_from_binary_file(sys.stdin.buffer)
subject = msg['Subject']
if subject is None:
    print('У письма нет темы', file=sys.stderr)
    sys.exit(1)
subject_parts = email.header.decode_header(subject)
subject = []
for decoded_string, charset in subject_parts:
    if charset is None:
        charset = 'ascii'
    subject.append(str(decoded_string, charset, 'replace'))
print(''.join(subject))

Только если не уметь его готовить.

Отличная отговорка PHPшников.