Оценка знаний на основе моды или среднего арифметического. Что лучше?

1. правильно.

2. мода - значение во множестве наблюдений, которое встречается наиболее часто. откуда взяться множеству наблюдений? кому ставится отметка в этом случае? если всей опрашиваемой аудитории, то это противоречит пункту:

ему ставится «отметка»

<--;

«если всей опрашиваемой аудитории»

Минуточку, похоже Вы что-то не так поняли. Речь идет только об одном-единственном пользователе, никакой аудитории нет.

«откуда взяться множеству наблюдений?» Из целой серии вопросов, разве неясно?

Из целой серии вопросов, разве неясно?

простите, не понял сразу. все равно плохо получится. допустим, пользователь на 20 вопросов отвечает. 9 из них 5 баллов получил, 8 раз по 3 балла, 3 раза по 4 балла. в итоге ему ставится 5 баллов, хотя справедливое число - 4 балла.

«хотя справедливое число - 4 балла.»

Извините конечно, но почему Вы думаете, что это будет более справедливой оценкой?

Мне бы очень хотелось услышать аргументы. В общем я для этого и создал этот топик.

Извините конечно, но почему Вы думаете, что это будет более справедливой оценкой?

мне кажется не правильным идея при которой, ответив на 2 вопроса по разному, можно получить в одном случае 3 балла, а в другом 5 баллов. в приведенном выше тесте: 2 ответа на которые были даны 5-ти бальные ответы исправить на 3-х бальные ответы.

Мне бы очень хотелось услышать аргументы. В общем я для этого и создал этот топик.

да я не против, а очень даже за. просто мнение высказал свое.

в этом случае поможет медиана ;)

Почему не медиана?

Найти среднее арифметическое баллов на отдельные вопросы.

Нет. Потому что, как правило, «численное значение» оценки на самом деле не является числом.

в случае с модой пользователю будет достаточно ответить для пятой части вопросов плюс один вопрос на 5 баллов, а остальные распределить равномерно, целенаправленно отвечая не правильно. при этом получить в результате 5 баллов.

Мне кажется, мода - вообще неадекватный вариант. Более вменяемыми средними числами были бы медиана или ср.ар.
Почему? Да просто потому что оценка по моде не дает всей картины происходящего.

«целенаправленно отвечая не правильно»

Блин, а ведь действительно. Об этом я как-то не подумал. Пожалуй это действительно большой минус данного метода.

Хорошо, моду отсеяли. Тогда у нас медиана VS среднее арифметическое. Что лучше и почему?

««численное значение» оценки на самом деле не является числом.»

Что-то я не понял Вашу мысль.

Но только каким должен быть алгоритм итоговой оценки?

Метод максимального правдоподобия.

Если по-простому :
Среднее арифметическое — оптимальная оценка только для нормального распределения.
Медиана — робастная оценка для распределений с тяжёлыми хвостами.
Линейные ранговые статистики — оценки, оптимальные между вышеприведёнными крайностями.

Ибо: Статистика (функция выборки) — это измеримая числовая функция от выборки, не зависящая от неизвестных параметров распределения.

quickquest, спасибо конечно большое, но я в матане не силен, пока это для меня темный лес. Не могли бы перевести на более популярный язык?

для 20-ти вопросов при 9 ответах на 5 балл и 9 ответах на 1 балл результат для:

• медианы будет любым от 1 до 5 баллов в зависимости от оставшихся двух ответов,
• среднего арифметического в районе 3-х баллов.

это пожалуй единственный минус медианы.

для медианы: можно будет выделить элитную группу уверенных в себе пользователей, которая будет отвечать только на первую половину +1 вопрос и уходить с тестирования. если вопросы будут отличаться между собой по сложности, то ответив на первую половину +1 вопрос (легкие вопросы) на отлично, на остальные вопросы можно будет не отвечать.

Почитай по тестологии и методику стандартизации.

Оценка «5» — это на самом деле не число 5. Это не 3+2 и не 4+1. К ней неприменимы арифметические операции.

Не могли бы перевести на более популярный язык?

Не могу, ибо любая из статистических оценок даёт только часть того, что хочет узнать экзаминатор.

пока это для меня темный лес

«Учиться, учиться и учиться» — одна из немногих правильных мыслей уголовника по кличке «Ленин» :)

Но только каким должен быть алгоритм итоговой оценки?

Я лично вижу два пути, которые и хочу обсудить их.

А можно не выдумывать чепухи, и воспользоваться проверенной годами методикой.

«Средняя температура по нашей больнице, с учетом морга и инфекционного отделения, 36.6»(с)

Все зависит от задачи. Можно ответы на разные вопросы учитывать с разными весами (таблица умножения при поступлении на мехмат важнее нотной грамоты). Но самый Ъ метод - построить функцию распределения (гистограмму), и выбрать на ней абс. максимум. Это почти как медиана, но с учетом весовой схемы - уже не медиана.

«Учиться, учиться и учиться» — одна из немногих правильных мыслей уголовника по кличке «Ленин» :)

Вообще то он такого не говорил. Точнее, он обращался к партийным работникам, и речь шла об изучении основ марксизма или что то вроде того. А потом уже фразу выдрали из контекста, как обычно...

тест с вариантами ответов, один из которых всегда правильный, имеет вполне определенную вероятность искаженной оценки с использованием среднего арифметического

мне кажется, модальная система имеет смысл тогда, когда тестируемый должен например написать ответ, которого нет на экране - здесь тоже есть вкероятность попадоса, как говорится, но она гораздо меньше

только взвешенная сумма баллов. веса определяются PCA.

иначе в случае кривого вопроса (на который чем лучше знаешь тем хуже отвечаешь) оценка ничего не имеет с уровнем знаний.

ну и тест придется один раз настроить на группе где представлены люди с разным уровнем знаний.

Ставить возможный минимум, но разрешить, если есть сомнения, устный экзамен-переэкзаминовку.