regexp-ы в perl для работы с русскими буквами в юникоде — как?

Программу покажи.

use utf8;

в программе while(<>) { огромная куча регекспов }

че, всю эту труху постить что ли?

use utf8; щас попробую

Просто смотри:

1. perl хранит строки в своем формате

2. если ты используешь в коде программы русские буквы и у тебя локаль utf8, то лучше сообщить об этом перлу: use utf8;

3. при чтении строк из файла хорошо бы указывать кодировку

читаю исключительно stdin, который достается из файла utf8, кодировка самого скрипта тоже utf8, в консоли utf8

Шебанг #/usr/bin/perl -CS попробуйте

Но Perl-то об этом не знает! Для него часть текста - байты, а часть - символы UTF-8.

На примере покажи. Типа

#!/usr/bin/perl -w
use utf8;
my $str = $ARGV[0];
$str ~= s/qwer/фцувы/;
print $str;

./program.pl qwer

В очередной раз пощу эту ссылку, первый ответ, 7 советов сверху.

написал use utf8; — стало еще хуже

#!/usr/bin/perl -W

use utf8;

в целом, не хочется заниматься поиском кривых регекспов — т.е. да, я понимаю, что можно случайно 0xD0 задеть, но вопрос: есть ли ПРОСТОЙ РЕЦЕПТ чтобы такого не случалось (все в ср1251 по-моему простой рецепт, но хочется utf все-таки)

Блин. Ты можешь показать что и как ты делаешь? Пока ты только сказал «У меня проблемы с utf8 в perl». Но как ты их получил — хз. Ты мог криво открыть файл, ты мог начать писать байты напрямую в строку-переменную, считая, что она в utf8, ты мог подать через stdin хрень и т.д.

use open qw( :encoding(UTF-8) :std );

Но как ты их получил — хз.

последний раз говорю — я тебя не спрашиваю, как я их получил

я спрашиваю, что мне сказать перлу, чтобы их не получать (при условии, что дальше я себя веду вменяемо)

Ты мог криво открыть файл

STDIN открывал перл, не я

ты мог начать писать байты напрямую в строку-переменную, считая, что она в utf8

не пишу — только регекспы

ты мог подать через stdin хрень и т.д.

скажи, как чекнуть файл на соответствие утф8

скажи, как чекнуть файл на соответствие утф8

cat file.txt | enca

STDIN открывал перл, не я

а кто скажет в какой кодировке перлу воспринимать stdin ?

binmode( STDIN, ':utf8' );

binmode( STDOUT, ':utf8' );

т.к. не стоит забывать, что вывод тоже должен быть в utf8, может у тебя только вывод неправильно делается.

http://userpage.fu-berlin.de/~ram/pub/pub_jf47ht81Ht/perl_unicode_en

В очередной раз пощу эту ссылку, первый ответ, 7 советов сверху.

примерно такое я хотел увидеть

STDIN открывал перл, не я

binmode STDIN, ":utf8"; # декодировать текст из STDIN из байтов в символы
binmode STDOUT, ":utf8"; # кодировать текст в STDOUT из символов в байты (иначе будет warning: wide character in print)
use utf8; # декодировать программу (=> регекспы) из байтов в символы

А должно быть «Universal transforamtion format 8 bits; UTF-8»

Кстати, а почему у тебя локаль не ru_RU.UTF-8 ?

потому что мне русский в мессагах нахрен не сдался

логично.

в частности, пока что не выяснилось, как чекнуть файл на соответствие utf8

use Encode;
decode (utf8 => do { open my $fh, «<», $file; local $/; <$fh> }, Encode::FB_CROAK|Encode::LEAVE_SRC);

Бросит исключение, если данные не удалось раскодировать как UTF-8. Другие значения последнего аргумента дадут другое поведение.

желательно привести полный скрипт вместе со всеми ключами, use-ами, binmode..., который, скажем, читает STDIN, копирует его на STDOUT вплоть до первого символа, который не удалось распарсить как утф-8, и сообщает на STDERR позицию этого символа (я боюсь, что какой-нить binmode пропущу, и все пойдет наперекосяк)

такой скрипт будет иметь практическую полезность для проверки как входных, так и выходных данных

з.ы. а вообще я все внимательно прочту и возможно задам свой вопрос точнее

еще один момент — версия перла v5.10.1

в ссылке на SO пишут что «use v5.12; # minimal for unicode string feature», я в шоке...

Вероятно там имеется в виду «use feature 'unicode_strings'». perldoc feature.
Поддержка unicode появилась в 5.6.0