Плохие UTF-8 данные для тестов

Частью ответа, определённо является кормление программы случайными данными.

Да, но в случайных данных будут случайно появляться utf8 данные, типа их отфильтровывать от мусора? ))))))

Не, это не то. Вернее, да спасибо, надо будет и на мусоре прогнать обязательно и не раз. Вродь нашёл https://www.cl.cam.ac.uk/~mgk25/ucs/examples/UTF-8-test.txt, может кто ещё что подкинет.

в случайных данных будут случайно появляться utf8 данные

Так в том и смысл, что корректно надо отрабатывать любые входные данные. Если уж мы полагаем, что от пользователя может придти какой-то мусор, то отчего бы ему нам и трёхсотмегабайтный выхлоп /dev/urandom не прислать?

Ну, да в принципе. Чёт даже интересно стало сколько широких 4 байтовых символов будет в мусоре.

Это всё можно посчитать и давно уже посчитано → https://en.wikipedia.org/wiki/UTF-8#Invalid_byte_sequences

См. еще https://github.com/minimaxir/big-list-of-naughty-strings

лорчую это, тоже хотел запостить

Уф, спасибо.

Да, но нет версии для ленивых. Когда доделаю всё постараюсь выложить конкретные тестовые файлы. Что бы просто взял скормил и посмотрел что вышло и как должно быть. Я именно вот такое вот искал =)