Добавляет ли тормоза UTF8?

Используй КОИ8-Р!

Ооо, cast Eddy_Em

еще есть utf16, он быстрее чем utf8. для поиска и сортировки — utf8 самый медленный. в сишечке можно хорошо оптимизнуть. в js нельзя.

Но cp1251 все равно быстрей, чем utf16, насколько я понял?

да

на сколько (в процентах, в среднем) способна затормозить кодировка?

Тормозит не кодировка, а её обработчик. Почитай, как работает тот что ты используешь.

а почему так? потому что фиксированно 2 байта?
мне правда интересно :)

если символы вне cp1251 не нужны вообще — я бы использовал cp1251. сортировка и поиск в utf8 — это ад. и тормоза.

архитектура, с двойным словом быстрее всего

не всегда фиксированно 2 байта, но в большинстве случаев будет 2 байта на символ, поэтому алгоритмическая сложность такая же, как у того же cp1251 или koi8-r, минус накладные расходы на двойной размер.

когда символ в 2 байта не влазит — будет еще хуже чем с utf8.

если нужен уникод с фиксированным размером код-пойнтов — то только utf32.

а почему так? потому что фиксированно 2 байта? мне правда интересно :)

Это, кстати, распространенное заблуждение. В utf16 не фиксированное колчество байт на символ.

Тормозит не кодировка, а её обработчик. Почитай, как работает тот что ты используешь.

а сложность обработчика, и его тормознутость, напрямую вытекает из кодировки. man fixed vs variable-length encodings.

архитектура, с двойным словом быстрее всего

1-байтовый fixed-length encoding быстрее.

теперь этот тред принадлежит Eddy_Em

ага, ждем повелителя koi8 :)

Кыш!

Если тебе нужна сортировка, то все-таки не КОИ8-Р, а 1251 или 866. В КОИ символы идут не по алфавиту, поэтому сортировка выполняется таблично, т.е. медленнее, чем тупо сравнением кодов.

говно

Тогда в чём преимущество КОИ8 перед CP866?

В наше время — ни в чем. Семибитных линий связи уже давно нет. Просто привычка.

Добавляет ли тормоза UTF8?

да, конечно

1-байтовая будет быстрее, чем многобайтовая. Инфа 143%

Да. Но насколько заметна разница — зависит от обработчика.

который производит поиск по массиву строк, по регекспам, и заметил тормоза на слабом железе.

https://ru.wikipedia.org/wiki/Алгоритм_Ахо_—_Корасик

Движки JS оптимизированы под работу с UTF-строками, так что если юзать регулярки, то отказываться не надо. Может, в алгоритме что-то не так? Вообще, какой движок JS используется?

Потому что меньше особых случаев, которые надо обрабатывать.

В UTF-16 такой случай только один — непарные суррогаты. Все остальные пары байтов технически корректны. В UTF-8 случаев шесть семь: преждевременный обрыв последовательности; использование пяти- и шестибайтовых последовательностей; использование четырёхбайтовых последовательностей, кодирующих значения больше 10FFFF; overlong encoding; использование суррогатов; использование байтов FE и FF; некорректное начало последовательности. Каждый из этих случаев необходимо корректно обрабатывать.

Кроме того, меньше вариантов кодирования. В UTF-16 большая часть реально используемых символов влазит в два байта, поэтому некоторые тормоза с суррогатами приемлемы. В UTF-8 популярные символы занимают уже один, два, или три байта.

У UTF-8 есть свои плюсы: самосинхронизируемость и детектирование помех; совместимость с ASCII; меньше места на тексты, состоящие преимущественно из ASCII; независимость от порядка байт в слове. Но, очевидно, это не самая удобная кодировка для обработки строк в памяти. UTF-8 — хорошая кодировка для передачи и хранения строк.

ого :)
спасибище!

Написал небольшой поисковичок на JS

Скажи, а как именно ты задавал JS кодировку символов?

Никак. Я первый раз слышу такое. На серверном js можно задать кодировку при операциях с файловой системой. А в браузерном — я хз. Строчку в НТМL поставил: <meta http-equiv=«content-type» content=«text/html; charset=windows-1251»/>, больше ничего. Я в этом особо не разбираюсь, если честно.

v8. Кстати, тормозило изначально только на нем. Проверял в опере и фф — все нормально. Но мне нужен именно v8.

Браузерный JS, по идее, работает только с UTF-8. Разве нет? Или это только запросов касается?

А откуда такая инфа? Как бы там ни было, после перекодировки, скорость увеличилась.

запросов

А что запросы? там что, спецсимволы чтоли? нахрена там UTF8?

Тогда всё-таки копай алгоритм. V8 тем более оптимизирован для UTF-строк, а при перекодировке, кстати, регулярки могут срабатывать некорректно.

"Поздравляю, Шарик, ты балбес". Метатеги указывают только на кодировку, в которой браузер будет отображать страницу, на строки в JS совершенно не влияют. Проблема однозначно в чём-то другом.

Браузерный JS, по идее, работает только с UTF-8

Ты еще скажи, что сишечка работает только с UTF-32..

Ты хочешь сказать, что существуют какие-то отдельные директивы для браузерного JS-движка, задающие обработку строк в определенной кодировке?

Не существует. Внутреннее представление строк в V8 - UTF-8 всегда.

Я ни хрена не могу понять, о чем ты говоришь. Если с сервера придет документ с 866, например, откуда возьмется это «внутреннее представление»

Если с сервера придет документ в 866, то при попытке, например, вывести его на консоль V8 всё равно будет пытаться распарсить его как UTF-8.

Всё. Я раскопал откуда такая инфа даже. Не обращай внимание это была глупость которую я вычитал в глупом источники и которая была многократно подтверждена практикой, но на самом деле и правда не имеет никакого отношения к действительности.