Unicode: различно ли одинаковое?

In [3]: bytes("i", "utf-8")
Out[3]: b'i'

In [4]: bytes("і", "utf-8")
Out[4]: b'\xd1\x96'

[3] - английская, [4] - украинская.

Хреново. А есть ли какой-то инструмент, который будет приводить текст в порядок, заменяя литеры на соотвествующие основному языку?

Т.е., например, в украинском тексте менять латинские i на украинские?

Upd. попробовал немецкий, турецки и испанский. В этих случаях вышло как в примере [3]. Думаю разница в базе - латинская/кириллица.

Точно помню что в турецкой локали есть неожиданные особенности с изменением регистра буквы i.

Добро пожаловать в реальный юникод, Нео.

турецки

В турецком вроде как есть 2 буквы i - ı и i Ну и их большие собратья I и İ .

https://unicode-table.com/en/alphabets/turkish/ коды для других алфавитов тоже могЁшь глянуть.

Турецкая ı, кажется, ї раньше была. Не знаю зачем они точки оторвали.

Про это ничего не знаю, если и было такое, то давно. Знаю, что ı по звуку это что-то ы-образное. И соответственно I это большая Ы.

буквы i

Скоро будут признанные Россией форки «украинской i»: «донецкая i» и «луганская i».

P.S. maxcom, это не 4.3 и 4.1, а исключительно лингвистический троллинг прогноз, ибо каждая страна имеет право на свою букву i :)

А ещё буква ё может быть как одной буквой, там и буквой е с двумя точками, то бишь двумя буквами.

Ну то, что русская о и английская o отличаются, думаю, и так очевидно.

Есть https://codebox.net/pages/homoglyph-detection и всякие https://www.npmjs.com/package/unhomoglyph но они про «привести текст с потенциально кривыми буквами к пригодному для поиска виду». Внутреннее представление — нечитабельное и в латиннице, а не в основном языке.

і беларускае

Вот, например, есть ли какая-то разница между английской, немецкой, украинской и турецкой литерами «i»?

Конечно. Ведь это разные буквы. Вы путаете глиф, который может быть тождественен для разных букв и относится к шрифту и буквы конкретного алфавита, описываемые юникодом.

Собственно ещё до него они различались в старых однобайтных кодировках. Русская «А» и английская «A» - всегда были разными буквами.

Т.е., например, в украинском тексте менять латинские i на украинские?

Что значит «в украинском тексте менять латинские i»? Откуда они там взялись?

Обнаружил, что в Уникоде нет любимых венгерских букв cs, ny и dzs. Мне думается, это неправильно.

Ймовiрно, перекладач не мав української клавiатури.

Дякуємо Google Translate за переклад попереднього коментаря.

Дякуємо Google Translate за переклад попереднього коментаря.

там и буквой е с двумя точками, то бишь двумя буквами

Не может. Буква Ё считается единой и неделимой. Это не диакритика.

Вот что любят на ЛОРе, так это нести херню с безапеляционным видом.

UnicodeData.txt (выделена «каноническая декомпозиция»):

...
0401;CYRILLIC CAPITAL LETTER IO;Lu;0;L;0415 0308;;;;N;;;;0451;
...                                    ^^^^^^^^^
0451;CYRILLIC SMALL LETTER IO;Ll;0;L;0435 0308;;;;N;;;0401;;0401
...                                  ^^^^^^^^^

Это ваши буржуйские Юникоды не уважают суверенный русский алфавит.

man гомографы/гомоглифы, man dual canonicalization

Занятно, что в Latex в математическом режиме в принципе изначально нет комманд для греческих букв, совпадающих с латиницей, например, \Alpha. Типа никто по формулам искать не будет. При этом, по крайней мере в pdflatex, часть символов (например, δ, Π) преобразуется в тестовый слой нормально, и по ним можно искать, в т.ч. case insensitive, а вот ∆ почему-то нет.

Есть вроде unicode-math, но он с pdftex не дружит.

А белорусское i в юникоде не совпадает с украинским?

А белорусское i в юникоде не совпадает с украинским?

Это белорусам лучше знать, но у них тоже «разброд и шатание»: Минск одни называют Мiнск, а другие Менск ©.

Так и «i» можно скомпоновать на основе «dotlessi» при желании.

Я так не пробовал (ё пробовал), но скорей всего ты прав. Я вообще хотел сказать, что задача топикстартера по-нормальному особо и не решается, слишком намудрили юдишки со своими языками и потом с юникодом. Надо просто принимать текст, в некоторых случаях прогонять нормализацию, а чаще всего просто пользовать как есть и всё тут.

Собственно ещё до него они различались в старых однобайтных кодировках. Русская «А» и английская «A» - всегда были разными буквами.

Которые в «коях» различались только битом :)

Кроме i и і, есть ещё ı̇ :)