Нарезать текстовый файл на части по n-символов

man split, если под «символами» понимаются байты.

Как я понял, для split и csplit задаются параметрами количество строк, а не символов. Символы - буквы, знаки препинания, пробелы и т.п.

-b, --bytes=SIZE
put SIZE bytes per output file

man split, если под «символами» понимаются байты.

А если под символами он, как любой нормальный человек, понимает графемы?

Взять язык, к которому есть юникодные батарейки и написать свой маленький split.

1) iconv в UTF-32
2) split по n * 4 байт
3) iconv в исходную кодировку

А если под символами он, как любой нормальный человек, понимает графемы?

Тогда в общем случае это не такая уж и элементарная задача. LATIN SMALL LETTER A + COMBINING ACUTE ACCENT или LATIN SMALL LETTER A WITH ACUTE — это одна графема в обоих случаях, или две и одна соответственно?

each_slice

Очевидно, что одна в обеих случаях. Графемы, \X в регэкспах.

Ага. А iconv в utf32 будет достаточно? Я просто не знаю как iconv нормализует юникод.

Если считать по codepoint — да, но зачастую в одной графеме больше, чем 1 codepoint. Яркий пример. Extended grapheme cluster из предыдущего комментария — оно.

Нормализации в общем случае недостаточно. Те же ударения, например.

Ясно, спасибо. Мне просто самому когда-то надо было что-то похожее — посчитать сколько места займет строка для вывода «таблицей» в curses приложении. В итоге на общий случай я забил.

Есть wcwidth(3) и wcswidth(3), но, как обычно в GNU-сообществе, оно сломано и всем пофиг.

man split

Пример:

cat testfile 
Тестовый файлец
со всякой фигней

split -b 10 testfile 
ls
testfile  xaa  xab  xac  xad
cat xab
айлец
со в

А iconv в utf32 будет достаточно?

Нет. Grapheme cluster может иметь любую длину. L̕͜IK̴͡È͢ Ţ́͟H͡IŞ

Боюсь, что для нормального решения задачи «нарезать текстовый файл на части по n символов» нужна программа, использующая ICU.

Прямо ждал что сейчас тема плавно перетечет в обсуждение KOI8-R ☺.

Я пользовался glib. В случае curses еще проблема в том, что не все терминалы (в частности виртуальный терминал linux) нарисуют один символ встретив, например, букву и за ней акут.

Хотя для вопроса ТС это неважно.

man dd ?? :)

1) iconv в UTF-32
2) split по n * 4 байт
3) iconv в исходную кодировку

Спасибо, воспользовался вашим советом.

split

он, как любой нормальный человек

наркоман?

блеск и нищета coreutils