Войти
ПроектыФорумКонкурсы

Выбор системы оценивания конкурсных работ (13 стр)

Страницы: 112 13 14 15 16 Следующая »
#180
22:19, 1 янв 2022

Предлагаю заменить очередную систему, на бальную систему, ибо расставлять в каком-либо 5 одинаковых по качеству работ не найс.

Надо рассчитать средний балл у каждого судьи, потом все его оценки перевести в отклонение от этого балла. Сумма плюсов и минусов после этого равна будет 0. За себя оценка 0(чтобы для тех кто не голосовал было тоже одинаково).

Далее все оценки судьи скалируютя так, чтобы сумма плюсов была равна 1.(и сумма минусов соответственно станет такой-же). Это позволит ставящему оценки 0-10 баллов и ставящему 3-7 внести одинаковый вклад в итоговый результат.

После чего отнормированные оценки суммируются и делятся на количество оценок.

Теперь есть оценки от -X до +Y по каждой игре. Нормируем их в интервал 0..1 и получаем процент качества игры. 0-почти все поставили твою игру на дно и 1-почти все поставили игру в топ.

#181
22:44, 1 янв 2022

да пробовали всё уже. херня получается.

#182
0:06, 2 янв 2022

мои аргументы насчет балльной системы не изменились. Если моделировать что человек внутри себя с разбросом выставляет баллы, а потом переводит их в оценку, то и без моделирования можно сказать что баллы будут точнее. Но люди оценивают не так. Корректная симуляция - в одном случае симулировать выставление баллов (при этом учесть что больше внимания судья уделит нескольким понравившимся проектам, а остальные оценит со значительным разбросом. Ну и конечно учесть что для одного 10 это игра мечты, а 1 это хеллоу ворлд, а для другого 1 это худший из участников на данном конкурсе,  а 10 - лучший. Для кого-то шкала ~линейная (если затратить вдвое больше усилий, то оценка вырастет с 3 до 6), а у кого-то - скорее логарифмическая, т.е. если затратил вдвое больше усилий на допиливание то из 3 станет 4, для 6 должна быть на порядок лучше игра. Т.е. диапазон у судей принципиально разный и это не описать рандомным разбросом, это именно их стратегия оценок.), а во втором случае симулировать попарное сравнение (тоже с отклонением из-за вкусов и повышенным вниманием к более хорошим проектам, но все же если спросить "сколько баллов вы поставите этим трем отстойным проектам, в одном нет геймплея, другой дико недоделан, в третий невозможно играть т.к. бесит" то в ответе будет что-то типа балл= rand(0..3) из 10, а если надо сравнить их друг с другом, то придется приложить мысленное усилие и сопоставить какой из них лучше).
---
ну и да. Сам я против бальной системы ничего не имею. Что та норм, что эта, главное чтоб тема нормальная была и организатор участников не отпугивал. Но когда какой-то матан пытаются под оценку подвести, то методология должна быть честной и учитывать аргументы противоположной стороны,  без этого и моделировать смысла нет.

#183
9:07, 2 янв 2022

kipar
+1
Это всё уже много раз обсуждалось. Суммируя все аргументы, я выбрал порядковую систему, но вполне могу поучаствовать (не организовывать) в конкурсе с балльной системой.
Но вот что точно не для меня, это когда "голосуют все желающие", или когда "кто больше наберёт на Стиме за месяц". Вместо конкурса игр это становится конкурсом пиара, в том числе и чёрного.

#184
10:49, 2 янв 2022

Недавно наткнулся на видос по теме.

(Не политика, если что)

Запустить видео по клику - Как делать игрыЗапустить видео по клику - Как делать игры

#185
11:16, 2 янв 2022

kipar
> придется приложить мысленное усилие

Бальная система - да, она требует больше усилий от судящего. Однако этот сайт называется gamedev а не gamer, и это должно
как-то отражаться: оценщики должны подходить с технологических позиций, а не потребительских, т.к. и сами являются разработчиками.

Смысл этих конкурсов я вижу в получении фидбэка на деятельность автора. Покомпонентные баллы делают этот фидбэк более информативным.
Даже (несомненная) субъективность оценивающих пойдет в пользу. Автор увидит мнение об его деятельности. А сколько он потратил
усилий, он и так сам знает.


kipar
> Но когда какой-то матан
Если речь про samrrr, или fantomass - там нет никакого матана. Так, потоки (непоследовательные очень) сознания.
Пока люди неспособны чётко и с примерами объяснить зачем нужна их методика (в сравнении с другими), их не имеет смысла даже рассматривать.

#186
11:39, 2 янв 2022

romanshuvalov не совсем понял к чему видео про выборы ?
И опять таки в этом видео есть мухлежные схемы, что говорит о сознательной махинации с результатами голосов. Но это все делается по сговору некоторых сторон.

Мы же говорим о не зависимых судьях.
Которые не имеют и не приводят к победе, заведомо нужного им участника.
Судьи которые честно и объективно оценивают любую игру с нескольких сторон.
Графика,звук, управление и геймплей.

И именно на основе этих оценок и определиться победитель.

Ну а если судья конкурса в сговоре с каким-то участником, то понятно что он будет не объективно судить других.

samrrr какая то заумная и скрытная система подсчета.
И лицо ника какое-то хитрющее :)

Чем проще система, тем понятнее как производилась оценка.

#187
11:47, 2 янв 2022

Для любителей бальной системы! Для бальников!

Запустить видео по клику - Как делать игрыЗапустить видео по клику - Как делать игры

#188
11:52, 2 янв 2022

Incvisitor
Что за ерунда пошла ?
А видимо нечего по делу сказать :)

Что-то ты как-то странно топишь за мутную схему голосования участниками,
Не в корысных ли целях ?
Подозрительно все это, ох и подозрительно.

#189
11:58, 2 янв 2022

Fedorovich
> А видимо нечего по делу сказать :)
Это поржать:)

> Что-то ты как-то странно топишь за мутную схему голосования участниками,
Лол, где она мутная? С каких пор фраза "мне не нравится" перестало быть весомым аргументом? Например, многим нравится ГТА5 или Маунт&Блейд. А я в это не играл и не собираюсь. Еще полно всяких  гонок, шутеров и так далее. Вкус всегда будет накладывать отпечаток. Я ни за какую систему. Я говорю тебе и другим сторонникам бальной системы, что вы ничего особо не выгадаете, если будете потрошить игру. Или это будет делать судья.

Это неизбежно, априори.

#190
12:01, 2 янв 2022

Incvisitor

С каких пор фраза "мне не нравится" перестало быть весомым аргументом?

А значит если бы Панчершрек занял первое место в конкурсе 2д платформеров,
то все должны были бы сказать честная победа !
Все бездари и у всех руки кривые, а Панчершрек крутой мастер своего дела !

Извени но это больше будет все напоминать абсурд, а не адекватную оценку.

Пойми, фраза "мне не нравится" и адекватное оценивание игры это разные понятия.

Так вот вопрос , нам нужна адекватная оценка игр или все отстаньте от меня "мне не нравится" и ничего не буду объяснять ?

#191
12:06, 2 янв 2022

Fedorovich
> А значит если бы Панчершрек занял первое место в конкурсе 2д платформеров,
> то все должны были бы сказать честная победа ?!
Если бы так проголосовали бы, значит да. Почему нет то?
Если бы он выиграл, это был бы отличный повод задуматься, а правильно ли мы вообще игры делаем.

Я в этом плане полностью согласен с NeoGuru

моё право оценивать как хочу

Фишка в том, что судьи будут оценивать как им хочется.

#192
12:08, 2 янв 2022

Fedorovich
> адекватное оценивание игры
Это еще что такое? Что это такое? Я не понимаю, что ты хочешь этим сказать.

Игра это продукт искусства. Его восприятие напрямую зависит от настроение человека.

#193
12:09, 2 янв 2022

Fedorovich
> Все бездари и у всех руки кривые, а Панчершрек крутой мастер своего дела !
> Извени но это больше будет все напоминать абсурд, а не адекватную оценку.
Если так проголосует 90% участников, а ты будешь не согласен с оценкой, ты будешь выглядеть как городской сумасшедший:)

#194
12:10, 2 янв 2022

Фишка в том, что судьи будут оценивать как им хочется.

Не совсем.
Есть объективные критерии. Кстати они и показывают честность и адекватность каждого судьи.
Например анимированный спрайт или простой красный треугольник , оценят по разному.
И низкий балл по графике будет у простого треугольника.

А вот участники могут по фану(или намерено слить) или по фразе мне не нравиться, поставить 8 балов треугольному герою и 2 балла анимированным спрайтам.

Участники судят как им вздумается и по настроению или вообще в пьяном угаре.

А вот судья на то и нужны, что бы каждые четыре пункта игры оценить адекватно и добросовестно.
Дав четкую и ясную оценку с объяснениями.

Страницы: 112 13 14 15 16 Следующая »
ПроектыФорумКонкурсы

Тема в архиве.