Войти
ПроектыФорумКонкурсы

Выбор системы оценивания конкурсных работ (3 стр)

Advanced: Тема повышенной сложности или важная.

Страницы: 1 2 3 4 5 Следующая »
#30
10:52, 24 янв. 2018

fornetjob
> Тогда лоббисту придётся указать, что оценка снижена до 1 за отсутствие русской
> локализации и опечатки в меню, к примеру.
Придётся - укажет, на то он и лоббист. Этим мы только узаконим его оценку, плюс разведём бюрократию с раздутыми правилами, пунктами, подпунктами, сносками, пояснениями...

#31
10:54, 24 янв. 2018

Mikle
Можно брать среднее его оценки от топ-5 финалистов и сравнивать с общим средним, если разница большая, значит имела место быть недобросовестная конкуренция.

Mikle
> плюс разведём бюрократию с раздутыми правилами
Это не столько бюрократия, сколько увеличение кпд от конкурса, особенно если он без призового фонда. Так как на основании детальных разборов игры разработчик может в дальнейшем её доработать.

#32
10:57, 24 янв. 2018

Mikle
> Слово "неадекватные" на самом деле нейтральное, это, фактически,
> "несоответствующие", но, да, как и слово "ненормальные" оно имеет негативный
> окрас. Термин можно заменить.

Неважно, как это назвать - осадочек останется в любом случае.

Mikle
> Это элементарный технический вопрос.

Если элементарный - формулируй четкое правило и предлагай. Какие критерии соответствия? Окей, там наверное будет квадратичное отклонение от ожидаемого. Будем убирать тех, у кого максимальное отклонение на одну игру, или тех, у кого суммарное отклонение слишком большое?

#33
10:58, 24 янв. 2018

fornetjob
Почему именно топ-5? Зачем среднее, вдруг, он одному из финалистов занизит, а другому завысит? Среднее останется.
Берётся сумма модулей разности оценки данного судьи и усреднённой оценки всех работ.

#34
10:59, 24 янв. 2018

fornetjob
> если разница большая, значит имела место быть недобросовестная конкуренция

Или свой взгляд на вещи. Для доказательной базы слишком мало фактов.

#35
11:01, 24 янв. 2018

Ogra
> формулируй четкое правило и предлагай
"Сумма модулей разности" либо "квадратичное отклонение" - это обсуждаемо.

#36
11:02, 24 янв. 2018

Ogra
> Или свой взгляд на вещи. Для доказательной базы слишком мало фактов
Совокупно с пунктом 3.4 можем получить маппинг этого взгляда на конкретные вещи в игре, которые понизили оценку фаворитам и повысили её явным аутсайдерам. Вполне возможно, что это "свой взгляд", а может "недобросовестная конкуренция" или "критиканство".

#37
11:41, 24 янв. 2018

122
Да, критерии больше годятся когда нет единого топа. Тогда просто один из критериев будет "геймплей" (или "фан") и все будут понимать что есть топ по усредненным показателям, а есть топ по геймплею.

Ну и да, критерии - скорее повод получить больше обратной связи от судей. Чтоб они и про графон и про звук и про сюжет пару слов написали, а не только про игру в целом. Общий балл, тем более подсчитанный с разными отбрасываниями экстремумов или хитрыми алгоритмами никакой полезной обратной связи не дает. Поэтому чем система баллов проще тем лучше.

#38
12:04, 24 янв. 2018

Зачем придумывать, если давно все придумано?

Вообще, сложные манипуляции с оцениванием порождают больше ср..ча, чем сами оценки.
Достаточно простейшей бальной системы. 0,1 или 2 от каждого судьи, после чего баллы суммируются.

В идеале приглашаются судьи из числа хорошо зарекомендовавших себя жителей гамедьева - из них составляется судейская коллегия.
Так же составляется вторая коллегия - уже из участников конкурса, успевших сдать работу в срок.

Обе коллегии оценивают работы, рассталяя баллы (0 - плохо, 2 - хорошо, 1 - непонятно, ни туда ни сюда).
После чего баллы обеих коллегий суммируются и составляется общий топ.

По-моему - простая и достаточно точная система.

#39
12:08, 24 янв. 2018

Pathetic Mike
> Обе коллегии оценивают работы, рассталяя баллы (0 - плохо, 2 - хорошо, 1 -
> непонятно, ни туда ни сюда).
> После чего баллы обеих коллегий суммируются и составляется общий топ.
> По-моему - простая и достаточно точная система.
Что делать с пятью финалистами на первом месте?

#40
12:11, 24 янв. 2018

fornetjob

То же, что и во всем мире при голосованиях - второй тур голосования.
Проводится быстро среди первой коллегии. (либо берется расстановка среди судей первой коллегии с первого этапа и ранжируется по ней).
В крайнем случае, как в лотерее, приз делится между всеми пятью. В конце концов, если коллегиально работы получились равными  покачеству - значит 5 победителей. Это по крайней мере честно и не пудрит мозги участникам высшей математикой мегасистемы подсчета голосов.

#41
13:51, 24 янв. 2018

fornetjob
> Это называется "правила конкурса". Мы в порядке оценки игр можем указать
> требование детального отзыва и понижать влияние оценки судьи, если он
> отсутствует.
Это называется как отстрелить себе ногу. Требование написать детальный отзыв на каждую работу (коих в хорошем случае может быть довольно много) резко снизит количество желающих этим вообще заниматься. Так как среди нас много людей взрыслых, занятых с семьями у которых нет излишков свободного времени и которые выкроили какое-то время что бы поучаствовать в конкурсе будут должны еще потратить хз сколько времени что бы по каждой работе написать эссе в свободной форме. Столько свободного времени на непродуктивную активность есть только у школьников и студентов которым заняться больше нечем как на форуме сочинения писать

#42
13:55, 24 янв. 2018

Phoenics
> Так как среди нас много людей взрыслых, занятых с семьями у которых нет
> излишков свободного времени
Странная позиция. Игры на конкурс писать - время есть, анализировать игры других участников - времени нет, но в судействе при этом участие приму и снижать оценку за поверхностное ознакомление нельзя.
Написать на каждую игру обзор - минут десять занимает, параллельно её препарированию. Время на создание игры для конкурса, при этом, может занимать десятки или сотни человеко-часов. Так что это вопрос не времени, а уважения к чужому труду.

#43
14:12, 24 янв. 2018

Phoenics
Зато поспорить на тему правил всегда время есть))

#44
16:49, 24 янв. 2018

MagicSpore
Поспорить это святое, ведь "В интернете кто-то неправ!"

Страницы: 1 2 3 4 5 Следующая »
ПроектыФорумКонкурсы