Некоторое время назад я сделал нейроябеду.
Нейросеть обучалась искать нарушение правил форума на базе из 5 миллионов сообщений, собрать которые мне любезно помог Шома.
Тестирование показало, что сетка не очень-то хорошо находит некорректные посты, что было видно и на кросс-валидации, но не в этом суть. Проблема была в том, что модераторам не хватает времени качественно шерстить форум, соответственно, разметка по удалённым постам была некачественной, ибо много чего осталось незамеченным.
Узнал про private GPT, и подумал, а что если разметить посты большой языковой моделью.
Скачал, поставил, запустил. Результат на ОП-пике.
Доступная модель неплохо замечает всякие там жопы, мат, хейтспич, но вот с политотой явно не справляется.
Видимо завтра попробую detoxify, разметка с ROC AUC 89% всяко лучше, чем человеческая.
