История изменений

Глядя на все эти символы переменной длины и составные символы в юникоде, которые надо нормализовывать, я вспоминаю старую идею, иметь номер кодировки перед группой символов. Типа сначала идёт номер кодировки «русский», а потом символы в этой кодировке. Реализовать это достаточно просто, а главное места в памяти будет меньше занимать. Длину этого кода сделать переменной длины. Если зарезервировать под это последние, допустим 16 значений из 255 (можно от 1 до 127, сколько именно надо исследовать), то можно даже сохранить совместимость с ascii8.

Глядя на все эти символы переменной длины и составные символы в юникоде, которые надо нормализовывать, я вспоминаю старую идею, иметь номер кодировки перед группой символов. Типа сначала идёт номер кодировки «русский», а потом символы в этой кодировке. Реализовать это достаточно просто, а главное места в памяти будет меньше занимать. Длину этого кода сделать переменной длины. Если зарезервировать под это последние, допустим 16 значений из 255 (можно от 1 до 128, сколько именно надо исследовать), то можно даже сохранить совместимость с ascii8.

Глядя на все эти символы переменной длины и составные символы в юникоде, которые надо нормализовывать, я вспоминаю старую идею, иметь номер кодировки перед группой символов. Типа сначала идёт номер кодировки «русский», а потом символы в этой кодировке. Реализовать это достаточно просто, а главное места в памяти будет меньше занимать. Длину этого кода сделать переменной длины. Если зарезервировать под это последние, допустим 16 значений из 255 (можно от 16 до 128, сколько именно надо исследовать), то можно даже сохранить совместимость с ascii8.

Глядя на все эти символы переменной длины и составные символы в юникоде, которые надо нормализовывать, я вспоминаю старую идею, иметь номер кодировки перед группой символов. Типа сначала идёт номер кодировки «koi8-r», а потом символы в этой кодировке. Реализовать это достаточно просто, а главное места в памяти будет меньше занимать. Длину этого кода сделать переменной длины. Если зарезервировать под это последние, допустим 16 значений из 255 (можно от 16 до 128, сколько именно надо исследовать), то можно даже сохранить совместимость с ascii8.