История изменений

Мой совет - напиши/найди что-то что умеет приводить слова русского языка к именительному падежу/начальной форме и попробуй поучить на векторах из слов, предварительно можешь провести статистическое исследование и выкинуть слова, которые встречаются редко относительно размеров выборки из вектора признаков, т.к. от них будут только погрешности лишние. Ну и да, тебя не максимальные ошибки должны пугать, а отклонение средней ошибки, т.е. пусть в 5% случаев оно сильно врёт, но 95% предсказывает точно, чем в 60 % оно предсказывает точно, а в 40% просто врёт.

Я просто похожую штуку сейчас пилю и у меня точность 98%, хотя, данные несколько более логичные, но всё равно написанные людьми. Выложить сорцы пока не могу и не факт, что смогу.

Мой совет - напиши/найди что-то что умеет приводить слова русского языка к именительному падежу/начальной форме и попробуй поучить на векторах из слов, предварительно можешь провести статистическое исследование и выкинуть слова, которые встречаются редко относительно размеров выборки из вектора признаков, т.к. от них будут только погрешности лишние. Ну и да, тебя не максимальные ошибки должны пугать, а отклонение средней ошибки, т.е. пусть в 5% случаев оно сильно врёт, но 95% предсказывает точно, чем в 60 % оно предсказывает точно, а в 40% просто врёт.

Я просто похожую штуку сейчас пилю и у меня точность 98%, хотя, данные несколько более логичные. Выложить сорцы пока не могу и не факт, что смогу.

Мой совет - напиши/найди что-то что умеет приводить слова русского языка к именительному падежу/начальной форме и попробуй поучить на векторах из слов, предварительно можешь провести статистическое исследование и выкинуть слова, которые встречаются редко относительно размеров выборки из вектора признаков, т.к. от них будут только погрешности лишние. Ну и да, тебя не максимальные ошибки должны пугать, а отклонение средней ошибки, т.е. пусть в 5% случаев оно сильно врёт, но 95% предсказывает точно, чем в 60 % оно предсказывает точно, а в 40% просто врёт.