Есть ли в перле проблемы с юникодом?

cp1251 ?

В какой локали запускается скрипт?

в той, что у убунты. Не, юникодные символы печатает, но куда-то деваются пробелы по крайней мере справа. Я хочу определить, это что-то в логике программы или особенности перла.

Кинь код на пейстбин какой-нибудь и ссылку сюда. Или хотя бы строчки с «use» и несколько строк, в которых арт выводится, покажи.

BTW, локаль к дистру не прибита, и их один набор для всех.

Много лет храню все перловые исходники в utf8 и данные процессятся в этой кодировке. Проблем нет. Зато встречал много человеков поленившихся прочесть perldoc perlunicode.

добавил в начало

use utf8;
binmode STDOUT, ":utf8";

вроде заработало.

Мне вот это помогло:

use utf8;

Ну, вот и хорошо. А без binmode не работает разве?

работает, но с предупреждением «Wide character in print»

Без будет ругаться на wide character в выводе.

У меня вот это в одну строчку нормально выглядит:

print "апрöäü|│ads\n";

А есть маленький примерчик, где binmode обязательно нужен?

perl -e 'use utf8; binmode STDOUT, ":utf8"; print "ололо"'

Без binmode будет ругаться. Не будет ругаться без binmode и 'use uft8', но тогда строка не будет юникодной (что, впрочем, в данном примере не имеет значения).

в перле

прочитал иначе

Да, действительно.

А эта строка, разве, не будет юникодной?

perl -e 'print "апрöäüß|│ads"'

no warnings 'utf8';

Есть ли в перле проблемы с юникодом?

Судя по последней новости о Перле, проблемы как раз-таки у всех остальных.

perl -e 'utf8::is_utf8 "щщщ" or die "not unicode"'

not unicode at -e line 1.

perl -e 'utf8::is_utf8 "апрöäüß|│ads" or die "not unicode"'
not unicode at -e line 1.

Ага, т.е. wchar. Почему же оно тогда правильно на utf8-терминале отображается?

Наоборот, char.

perl -e 'print "щщщ"'|od -t x1

0000000 d1 89 d1 89 d1 89

perl -e 'print length "щщщ"'

6

perl -e 'use utf8; print length "щщщ"'

3

А может быть и разница в выводе если не подготовить STDOUT для получения юникода: http://perlmonks.org/?node_id=921538

Там разная кодировка терминала и выводимого текста, насколько я понял.

Терминал там обычный, utf-8. Просто если не сказать perl в какой кодировке нужно выводить данные в STDOUT, то он считает, что нужно выводить в ISO-8859-1. Если во внутреннем представлении данные хранятся не в utf8, то perl не делает над ними никакого преобразования перед выводом:

perl -le 'print "à"'
# output is: à"

perl -Mutf8 -le 'print "à"'
# output is: �

perl -Mutf8 -le 'print "à"' | iconv -f ISO-8859-1
# output is: à

Посмотрим что будет если перевести STDOUT в koi8-r

perl -Mutf8 -M'open=:std,:encoding(koi8-r)' -le 'print "мама"' | iconv -f koi8-r
# output is: мама

perl -CS -Mutf8 -le 'print "à"'
# output is: à