UTF-8 и борьба с ним

Postgres умеет сам импортировать CSV, может тебе погуглить в этом направлении?

преобразовать юникодные символы, которые совпадают с латинскими, в нормальную кодировку

Это просто заглавные греческие буквы. Напишите сами небольшую табличку для перекодировки.

Потому что это не латиница, а греческие буквы. \u039d это заглавная ню.

http://www.tamasoft.co.jp/en/general-info/unicode.html

Вот вам ссылка на таблицу символов. Греческий начинается на строчке 0380, там не больше двадцати букв, совпадающих с латинскими.

say @$VAR1;
print Dumper [ map { charnames::viacode(ord $_) } @$VAR1 ];
say map { encode 'latin1',$_ } @$VAR1;
say map { encode 'iso-8859-7',$_ } @$VAR1;
__END__
ΝΙΚΟLΟPΟΥLΟS Ν. ΙΟAΝΝIS
$VAR1 = [
          'GREEK CAPITAL LETTER NU',
          'GREEK CAPITAL LETTER IOTA',
          'GREEK CAPITAL LETTER KAPPA',
          'GREEK CAPITAL LETTER OMICRON',
          'LATIN CAPITAL LETTER L',
          'GREEK CAPITAL LETTER OMICRON',
          'LATIN CAPITAL LETTER P',
          'GREEK CAPITAL LETTER OMICRON',
          'GREEK CAPITAL LETTER UPSILON',
          'LATIN CAPITAL LETTER L',
          'GREEK CAPITAL LETTER OMICRON',
          'LATIN CAPITAL LETTER S',
          'SPACE',
          'GREEK CAPITAL LETTER NU',
          'FULL STOP',
          'SPACE',
          'GREEK CAPITAL LETTER IOTA',
          'GREEK CAPITAL LETTER OMICRON',
          'LATIN CAPITAL LETTER A',
          'GREEK CAPITAL LETTER NU',
          'GREEK CAPITAL LETTER NU',
          'LATIN CAPITAL LETTER I',
          'LATIN CAPITAL LETTER S'
        ];
????L?P??L?S ?. ??A??IS
ÍÉÊÏLÏPÏÕLÏS Í. ÉÏAÍÍIS

Боюсь, такое только руками при помощи tr///.

Правда интересно, почему некоторые буквы взяты из латиницы, L например.

Наверное, набирали в двух раскладках одновременно.

Но тогда поиск по такой базе будет невозможен. Символы с виду латинские, а на самом деле совсем нет.

Любопытно. У некоторых элементов массива поднят юникодный флаг и строка в формате UTF-X, а часть строк видимо в латинице (с виду и на самом деле).

Спасибо за совет, но эти данные перед запихиванием в БД надо некоторым образом обработать.

Самое ИМХО правильное решение - считать что мы всегда работаем с UTF, если явно не сказано обратное.

use utf8; # все внутренние строки будут по умолчанию в utf
use Encode;
use open ':utf8';

####################### UTF8 ######################################
my $utf_locale=0;
my $nonutf_locale;

# utf 2 local; используется для подготовки строки к печати на экран
sub utf2lcl($) {
    my $tmp = $_[0];
    #print "utf test: $tmp\n";
    if ( ! $utf_locale) {
        $tmp = encode($nonutf_locale,$tmp);
    }
    return $tmp;
}

# local 2 utf; используется для перевода строки, полученной из
# консоли, в utf
sub lcl2utf($) {
    my $tmp=$_[0];
    if ( ! $utf_locale ) {
        $tmp = decode( $nonutf_locale, $tmp );
    }
    Encode::_utf8_on($tmp);
    return $tmp;
}
#если локаль системы UTF-8, установить соответсвующих binmode для STDOUT, STDERR
if ( $ENV{LANG}=~ /UTF/i ) {
    $utf_locale=1;
    binmode STDOUT, ":utf8";
    binmode STDERR , ":utf8";
} else {
    $nonutf_locale=$ENV{LANG};
}

############# END OF UTF8 ######################################

Для удобства использования

sub print_error($) {
    print STDERR utf2lcl($_[0]),"\n";
}

sub print_log($) {
    print STDOUT utf2lcl($_[0]),"\n";
}

это должно помочь:

http://search.cpan.org/dist/Text-Unidecode/lib/Text/Unidecode.pm