Войти
ПроектыФорумКонкурсы

Выбор системы оценивания конкурсных работ (5 стр)

Advanced: Тема повышенной сложности или важная.

Страницы: 14 5 6 712 Следующая »
#60
14:14, 22 авг. 2019
Дублирую пост по просьбе romanshuvalov

Насчет оценок, можно сделать оценивание на основе опросника для каждой игры.
Например "Обнаружили ли вы в этой игре сочетание двух и более жанров?", "Комбинация жанров даёт новый жанр или это просто несколько мини-игр в составе одной игры?", "Оцените идею игры", "Получили ли вы удовольствие от игрового процесса?".

Это запросто делается через https://www.google.ru/intl/ru/forms/about, даже отдельный сайт создавать не надо, на выходе получится excel файл с которым легко работать.

#61
(Правка: 11:24) 11:24, 22 янв. 2020

Порядковая система.

Судьями являются все участники конкурса, дошедшие до финала и предоставившие релиз. На этом этапе отсевом работ, удовлетворяющих условиям конкурса, является организатор конкурса.

Судьи расставляют все конкурсные работы по своему мнению от лучшей к худшей, свою работу ставя на последнее место.

Последняя (своя) работа получает от судьи 0 баллов, предпоследняя - 1 балл, первая - N-1 баллов, где N - количество конкурсных релизов.

Оценки от всех судей суммируются, таким образом получаются итоговые оценки каждой работы.

В случае, когда кто-либо из судей не может проголосовать (например, не имеет компьютера, достаточной для тестирования работ конфигурации), он может отказаться от голосования. Но таким образом он повышает относительный балл своей работы - он получает сумму баллов от N-1 судей, а остальные участники от N-2 судей. Это неравенство ликвидируется, если поделить оценку за работу неголосующего участника на N-1, а оценки остальных участников на N-2.

Обобщая, если из N участников конкурса не голосуют M, то сумма оценок неголосующих делится на N-M, а голосующих на N-M-1.

#62
12:42, 22 янв. 2020

Если есть предложения, как исправить нулевой пост, чтобы он был более нейтральным (менее предвзятым) - пишите вариант, исправлю.

#63
13:02, 22 янв. 2020

Оставить только перечисление видов голосования и их краткое описания. (краткость - сестра таланта)
Убрать описания плюсов и минусов, так как они не очевидны (субъективны).
Убрать личные комментарии или сделать их максимально абстрактными.
И будет супер шапка.

#64
13:15, 22 янв. 2020

Tiranas
> Убрать описания плюсов и минусов, так как они не очевидны (субъективны).
Из-за того, что они не очевидны, их как раз и надо писать. А вот как написать, чтобы было нейтрально - это и предлагайте.

Расстановку от 1 до N я не люблю, потому что (см. пункт 2.1 из нулевого поста). Я считаю всё изложенное недостатком, но Mikle, если я правильно помню, эту особенность системы считает как раз достоинством. Надо изложить так, чтобы донести суть до читателя, а как к ней относиться - пусть решает сам. Но если не писать вообще, то читатель (потенциальный организатор) вообще не задумается над проблемой, с которой ему придется столкнуться. А надо бы, чтоб задумался (и решил, играет ли она, по его мнению, на пользу конкурсу или во вред).

#65
13:35, 22 янв. 2020

romanshuvalov
> А вот как написать, чтобы было нейтрально - это и предлагайте.
Никак, это же уже вынесения суждения. (хорошо/плохо, правильно/неправильно...)
Плюсы и минусы можно перенести в следующие посты и предложить их обсуждение, а шапку оставить шапкой.
> Надо изложить так, чтобы донести суть до читателя, а как к ней относиться - пусть решает сам.
Это самое сложное. Тут поможет только опыт.
> Но если не писать вообще, то читатель (потенциальный организатор) вообще не задумается над проблемой, с которой ему придется столкнуться. А надо бы, чтоб задумался (и решил, играет ли она, по его мнению, на пользу конкурсу или во вред).
Наверно не стоит предугадывать реакцию и возможности читателя, а описывать проблему максимально просто, как для школьника начальных классов. ИМХО.

#66
(Правка: 13:48) 13:44, 22 янв. 2020

romanshuvalov
Рассмотрим:

2.1. Расстановка работ по порядку от худшей к лудшей.

Плюсы:
+ (?)
Минусы:
- сложно принять решение при оценивании нескольких схожих по уровню игр
- разница между оценками фиксирована (1 балл), система не позволяет судье указать, насколько разница первой работы от второй отличается от разницы второй работы от третьей.

Заглянувший в тему сразу увидит, что у системы нет плюсов и два минуса - и пропустит не вникая.
> - сложно принять решение при оценивании нескольких схожих по уровню игр
Я, например, считаю, что принять решение, какая из двух игр лучше, при такой системе проще. И эта вещь субъективна, её невозможно доказать, просто "мне проще".
А в плюса я бы внёс отсутствие необходимости вообще каких-либо усложняющих подсчёт поправок, когда голосуют все, и наличие всего одной поправки, когда кто-то из судей не голосует. Но ведь в системе с произвольными оценками такая поправка тоже нужна, а, кроме того, нужно компенсировать средний балл отдаваемых судьёй оценок, а неплохо бы ещё компенсировать разный разброс этих оценок (кто-то оценил работы от 3 до 6, а кто-то от 1 до 9, второй сильнее влияет), нормализовать? Тоже не панацея (могу расписать почему). И эти поправки сложнее, а, главное, менее очевидны, чем поправка на неголосующего, которая есть и тут, и там.

Я ни в коем случае не хочу, чтобы ты принял мою точку зрения и переделал шапку под неё. Лучше в шапке, кроме самого списка способов, держать таблицу ссылок на готовые решения, а в этих решениях сами авторы опишут преимущества, как они их видят.

#67
14:41, 22 янв. 2020

Мне лень думать.

Сейчас:

2.1. Расстановка работ по порядку от худшей к лудшей.

Плюсы:
+ (?)
Минусы:
- сложно принять решение при оценивании нескольких схожих по уровню игр
- разница между оценками фиксирована (1 балл), система не позволяет судье указать, насколько разница первой работы от второй отличается от разницы второй работы от третьей.
Прочие особенности:
- система не дает судье выставить схожим по уровню работам одинаковые оценки. С одной стороны, это заставляет судью более тщательно изучать работы. С другой стороны, заставляет судью искусственно искать изъяны или, в худшем случае, расставлять схожие работы наобум. Фиксированная разница баллов только усугубляет положение.

Напишите, как считаете нужным. Отредактирую пост, вписав вашу версию (или совместив со своей).

#68
(Правка: 14:45) 14:44, 22 янв. 2020

Mikle
> нормализовать? Тоже не панацея (могу расписать почему)
Распиши. Я, как только допёр до корректирующего балла, начал применять его во всех конкурсах и считаю решение отличным, гибким и справедливым. Никаких недостатков не вижу. Если ты видишь - распиши. Добавлю в список недостатков варианта 2.2.

#69
15:26, 22 янв. 2020

romanshuvalov
> Напишите, как считаете нужным. Отредактирую пост, вписав вашу версию (или совместив со своей).
Я же написал:
> Я ни в коем случае не хочу, чтобы ты принял мою точку зрения и переделал шапку
> под неё. Лучше в шапке, кроме самого списка способов, держать таблицу ссылок на
> готовые решения, а в этих решениях сами авторы опишут преимущества, как они их
> видят.
romanshuvalov
> Распиши.
Проблема:

кто-то оценил работы от 3 до 6, а кто-то от 1 до 9, второй сильнее влияет

Казалось бы, из оценок первого вычесть 3 и разделить на 3, а из оценок второго вычесть 1 и разделить на 8 - и мы нормализовали до 0..1, но... кто-то категорично поставил всем либо 1, либо 9, а оценки другого равномерно распределены в этом же диапазоне, оценки первого и после нормализации влияют сильнее. Нормализовать по суммарному среднему отклонению? Тогда можно очень сильно поднять одного, опустив всех остальных. А почему не по квадрату отклонения? Начинаются вопросы и варианты.
#70
9:10, 23 янв. 2020

> Я ни в коем случае не хочу, чтобы ты принял мою точку зрения и переделал шапку под неё.
А я и не собираюсь принимать твою точку зрения. Я её добавлю в описание, чтобы описание стало менее предвзятым.

> А почему не по квадрату отклонения?
А, вот это уже хороший вопрос. Ещё можно по логарифмической шкале. То есть нужно доказать, что именно линейная шкала (и среднее арифметическое) правильное, а остальное - нет. Ок. Чувствую, что правильно, но доказывать лень. Не возражаю, если кто-то докажет это за меня.

> оценки первого и после нормализации влияют сильнее.
Я не предлагаю нормализовывать. Наоборот, я считаю, что если судья ставит оценки от 3 до 6, то он этим заявляет, что работы не сильно отличаются, а тот, кто ставит 1 до 9, окажет большее влияние на результирующий балл. Судья сам выбирает, какой вес будет применен к его оценкам. Вплоть до того, что он может поставить всем одинаковый балл и вес станет равным нулю.

#71
9:37, 23 янв. 2020

romanshuvalov
> А, вот это уже хороший вопрос. Ещё можно по логарифмической шкале. То есть
> нужно доказать, что именно линейная шкала (и среднее арифметическое)
> правильное, а остальное - нет.
Я не о том, что правильно именно так, а о том, что существует много вариантов, и среди них нет очевидного. Даже если кто-то докажет правильность какого-то из них, конкурсанты по большей части не станут вникать, а скажут, что "перемудрили, насчитали невесть что, и я в результате проиграл".
romanshuvalov
> Судья сам выбирает, какой вес будет применен к его оценкам.
Эта мысль принимается. Получается, что выставить всем равные оценки, это то же самое, что отказаться от голосования.

#72
11:11, 23 янв. 2020

Mikle
> Получается, что выставить всем равные оценки, это то же самое, что отказаться от голосования.
Да, именно так. Причем если почти всем работам поставить 5, а одной работе 6, это будет означать "все равны, но вот эта чуть-чуть получше". При попытке нормализовать оценки получится, что всем будет выставлен ноль, а одной работе - единица. Что никак не сочетается с мнением судьи. Поэтому я против нормализации и за корректирующий балл.

> перемудрили, насчитали невесть что, и я в результате проиграл
Можно сказать и наоборот: "система оценки не в полной мере не дала возможность судьям выразить своё мнение численно, надо было ввести корректирующий балл, а вы не ввели, поэтому я проиграл".

Чтобы такого не происходило, нужно просто сразу в правилах писать способ подсчёта. Кто заведомо не согласен - пусть не участвует. (Таких будет мало, т.к. в наших конкурсах люди участвуют не ради баллов.)

#73
11:15, 23 янв. 2020

Моё мнение, о бальной системе, такое:
1. Заставлять судью высасывать (придумывать) оценку из пальца, объективности ноль.
2. Даже если ввести таблицу, графика, соответствие заданной теме и так далее, всё равно судья будет придумывать оценку, один за графику поставит 1 другой 9 и оба будут правы, так как восприятие у всех разное.
Возникает вопрос, какой смысл в бальной системе, если оценка идет на уровне "нравится/не нравится", "Хуже/Лучше" предыдущей просмотренной игры, так как невозможно что-то оценить без сравнения, это же закон.
3. Можно ввести 100-бальную систему, запретить выставлять одинаковые оценки, определить область сходимости оценок, даже разбить оценки на группы. Но что это изменит в объективности?
4. И конечно бальная система не предотвращает махинации, намеренное занижение оценок, восприятие голосования как игры, произвольную расстановку оценок (ленивое голосование) и так далее, точно также как другие системы голосования. Остаются и другие проблемы других систем голосования, непроголосовавшие, к примеру. И зачем тогда усложнять?

Я против бальной системы, на данный момент. Если только докажут, что бальная система лучше.

Всегда ваш Tiranas.

#74
12:07, 23 янв. 2020

Tiranas
> Я против бальной системы
Против балльной, а за какую? Какая хорошая-то? Не обладающая перечисленными тобой недостатками.

Страницы: 14 5 6 712 Следующая »
ПроектыФорумКонкурсы