Очистка текста

Тебе еще не сказали что парсить xml/html/... регекспами это глупо?

З.Ы. утомил уже своим обучением за счет форума.

Да я, собственно, и не паршу его регекспами. rsstail+elinks'ом паршу.

Да, я использую форум для обучения. И очень благодарен людям, идущим мне навстречу в объяснении вещей, которых я не понимаю. Для решения проблем подобного рода форумы и существуют. Подниму левел - может, и сам кому помогу.

Ежели утомился - приляг, отдохни, не насилуй себя.

Не читать документацию, а попрошайничать «сделайте за меня» это современно. Продолжай, не насилуй себя чтением.

Я, мил человек, документацию не всегда понимаю. За спрос денег не берут. Есть такое правило хорошего тона по тактике поведения: есть что сказать по конкретике - скажи, нет - мимо ходи. А ежели я себя неправильно поведу, меня модераторы поправят, они тут вполне бодро модерят.

И ты не понял вопрос. Мне не регулярное выражение для чистки слепить надо, а подсказать софт, который эту чистку делает. Разница между первым и вторым - как между wget с последующим ковырянием тегов руками, и rsstail. Уловил?

всякие смайлики-спецсимволы

каноничного UTF-8

Если ты думаешь, что у каноничном utf одни только буквы, то это ты все напутал и думаешь про аски.

смайлики-спецсимволы

кошерного каноничного UTF-8

Да ты же упоротый.

grep -o -v -P '[\W_]+' например, проверять лень.

Да, напутал. Аски, да.

Очистка текста (комментарий)

ты все напутал и думаешь про аски.

ascii символы с 0 по 0x1f тоже не сильно читаемы и там как раз находится:

виндовсные переводы строк

Как хорошо, что я сказал про смайлы, правда?

grep sed tr perl python

Лол.

Эмм. Зачем тебе чистить неразрывные пробелы, если хороший софт (пример: heirloom toolchest, а из полноценных языков — внезапно, Perl и <что угодно с биндингами к ICU> как «те 2 вещи, в которых юникод реализован полностью») умеет их?

Если так хочется, то неразрывные пробелы можно убирать, матча по юникодному классу символов и заменяя на обычный пробел. Виндовые переводы строк — причина создания dos2unix, решается чем угодно. И вообще, в твоём вопросе 100% ответа.

Да, если нужны только буквы — матчишь по классу собственно букв. Добавляешь знаки препинания по вкусу. Остальное убираешь. На любимом языке, умеющем регэкспы (пример: перл, но не забывать, что по дефолту он не включает utf8)