Выбор системы оценивания конкурсных работ (13 стр)

Предлагаю заменить очередную систему, на бальную систему, ибо расставлять в каком-либо 5 одинаковых по качеству работ не найс.

Надо рассчитать средний балл у каждого судьи, потом все его оценки перевести в отклонение от этого балла. Сумма плюсов и минусов после этого равна будет 0. За себя оценка 0(чтобы для тех кто не голосовал было тоже одинаково).

Далее все оценки судьи скалируютя так, чтобы сумма плюсов была равна 1.(и сумма минусов соответственно станет такой-же). Это позволит ставящему оценки 0-10 баллов и ставящему 3-7 внести одинаковый вклад в итоговый результат.

После чего отнормированные оценки суммируются и делятся на количество оценок.

Теперь есть оценки от -X до +Y по каждой игре. Нормируем их в интервал 0..1 и получаем процент качества игры. 0-почти все поставили твою игру на дно и 1-почти все поставили игру в топ.

да пробовали всё уже. херня получается.

мои аргументы насчет балльной системы не изменились. Если моделировать что человек внутри себя с разбросом выставляет баллы, а потом переводит их в оценку, то и без моделирования можно сказать что баллы будут точнее. Но люди оценивают не так. Корректная симуляция - в одном случае симулировать выставление баллов (при этом учесть что больше внимания судья уделит нескольким понравившимся проектам, а остальные оценит со значительным разбросом. Ну и конечно учесть что для одного 10 это игра мечты, а 1 это хеллоу ворлд, а для другого 1 это худший из участников на данном конкурсе,  а 10 - лучший. Для кого-то шкала ~линейная (если затратить вдвое больше усилий, то оценка вырастет с 3 до 6), а у кого-то - скорее логарифмическая, т.е. если затратил вдвое больше усилий на допиливание то из 3 станет 4, для 6 должна быть на порядок лучше игра. Т.е. диапазон у судей принципиально разный и это не описать рандомным разбросом, это именно их стратегия оценок.), а во втором случае симулировать попарное сравнение (тоже с отклонением из-за вкусов и повышенным вниманием к более хорошим проектам, но все же если спросить "сколько баллов вы поставите этим трем отстойным проектам, в одном нет геймплея, другой дико недоделан, в третий невозможно играть т.к. бесит" то в ответе будет что-то типа балл= rand(0..3) из 10, а если надо сравнить их друг с другом, то придется приложить мысленное усилие и сопоставить какой из них лучше).
---
ну и да. Сам я против бальной системы ничего не имею. Что та норм, что эта, главное чтоб тема нормальная была и организатор участников не отпугивал. Но когда какой-то матан пытаются под оценку подвести, то методология должна быть честной и учитывать аргументы противоположной стороны,  без этого и моделировать смысла нет.

kipar
+1
Это всё уже много раз обсуждалось. Суммируя все аргументы, я выбрал порядковую систему, но вполне могу поучаствовать (не организовывать) в конкурсе с балльной системой.
Но вот что точно не для меня, это когда "голосуют все желающие", или когда "кто больше наберёт на Стиме за месяц". Вместо конкурса игр это становится конкурсом пиара, в том числе и чёрного.

Недавно наткнулся на видос по теме.

(Не политика, если что)

kipar
> придется приложить мысленное усилие

Бальная система - да, она требует больше усилий от судящего. Однако этот сайт называется gamedev а не gamer, и это должно
как-то отражаться: оценщики должны подходить с технологических позиций, а не потребительских, т.к. и сами являются разработчиками.

Смысл этих конкурсов я вижу в получении фидбэка на деятельность автора. Покомпонентные баллы делают этот фидбэк более информативным.
Даже (несомненная) субъективность оценивающих пойдет в пользу. Автор увидит мнение об его деятельности. А сколько он потратил
усилий, он и так сам знает.

kipar
> Но когда какой-то матан
Если речь про samrrr, или fantomass - там нет никакого матана. Так, потоки (непоследовательные очень) сознания.
Пока люди неспособны чётко и с примерами объяснить зачем нужна их методика (в сравнении с другими), их не имеет смысла даже рассматривать.

romanshuvalov не совсем понял к чему видео про выборы ?
И опять таки в этом видео есть мухлежные схемы, что говорит о сознательной махинации с результатами голосов. Но это все делается по сговору некоторых сторон.

Мы же говорим о не зависимых судьях.
Которые не имеют и не приводят к победе, заведомо нужного им участника.
Судьи которые честно и объективно оценивают любую игру с нескольких сторон.
Графика,звук, управление и геймплей.

И именно на основе этих оценок и определиться победитель.

Ну а если судья конкурса в сговоре с каким-то участником, то понятно что он будет не объективно судить других.

samrrr какая то заумная и скрытная система подсчета.
И лицо ника какое-то хитрющее :)

Чем проще система, тем понятнее как производилась оценка.

Для любителей бальной системы! Для бальников!

Incvisitor
Что за ерунда пошла ?
А видимо нечего по делу сказать :)

Что-то ты как-то странно топишь за мутную схему голосования участниками,
Не в корысных ли целях ?
Подозрительно все это, ох и подозрительно.

Fedorovich
> А видимо нечего по делу сказать :)
Это поржать:)

> Что-то ты как-то странно топишь за мутную схему голосования участниками,
Лол, где она мутная? С каких пор фраза "мне не нравится" перестало быть весомым аргументом? Например, многим нравится ГТА5 или Маунт&Блейд. А я в это не играл и не собираюсь. Еще полно всяких  гонок, шутеров и так далее. Вкус всегда будет накладывать отпечаток. Я ни за какую систему. Я говорю тебе и другим сторонникам бальной системы, что вы ничего особо не выгадаете, если будете потрошить игру. Или это будет делать судья.

Это неизбежно, априори.

Incvisitor

А значит если бы Панчершрек занял первое место в конкурсе 2д платформеров,
то все должны были бы сказать честная победа !
Все бездари и у всех руки кривые, а Панчершрек крутой мастер своего дела !

Извени но это больше будет все напоминать абсурд, а не адекватную оценку.

Пойми, фраза "мне не нравится" и адекватное оценивание игры это разные понятия.

Так вот вопрос , нам нужна адекватная оценка игр или все отстаньте от меня "мне не нравится" и ничего не буду объяснять ?

Fedorovich
> А значит если бы Панчершрек занял первое место в конкурсе 2д платформеров,
> то все должны были бы сказать честная победа ?!
Если бы так проголосовали бы, значит да. Почему нет то?
Если бы он выиграл, это был бы отличный повод задуматься, а правильно ли мы вообще игры делаем.

Я в этом плане полностью согласен с NeoGuru

Фишка в том, что судьи будут оценивать как им хочется.

Fedorovich
> адекватное оценивание игры
Это еще что такое? Что это такое? Я не понимаю, что ты хочешь этим сказать.

Игра это продукт искусства. Его восприятие напрямую зависит от настроение человека.

Fedorovich
> Все бездари и у всех руки кривые, а Панчершрек крутой мастер своего дела !
> Извени но это больше будет все напоминать абсурд, а не адекватную оценку.
Если так проголосует 90% участников, а ты будешь не согласен с оценкой, ты будешь выглядеть как городской сумасшедший:)

Не совсем.
Есть объективные критерии. Кстати они и показывают честность и адекватность каждого судьи.
Например анимированный спрайт или простой красный треугольник , оценят по разному.
И низкий балл по графике будет у простого треугольника.

А вот участники могут по фану(или намерено слить) или по фразе мне не нравиться, поставить 8 балов треугольному герою и 2 балла анимированным спрайтам.

Участники судят как им вздумается и по настроению или вообще в пьяном угаре.

А вот судья на то и нужны, что бы каждые четыре пункта игры оценить адекватно и добросовестно.
Дав четкую и ясную оценку с объяснениями.