Войти
ПроектыФорумКонкурсы

Конкурс: Игра на одном экране. Внимание, пересчитаны оценки. Ознакомьтесь. (101 стр)

Advanced: Тема повышенной сложности или важная.

Страницы: 197 98 99 100 101 102 Следующая »
#1500
10:12, 23 янв. 2018

Господа, тут такое дело.

В соседнем конкурсе я указал организатору на незначительную ошибку в подсчетах рейтингов, на что Mikle мне ответил, что и я в этом конкурсе сделал подсчеты не так, как следовало бы. Суть в том, что судьи могут завышать или занижать оценки и это влияет на их позицию относительно других участниов. Самое забавное, что я и сам пару лет назад обнаружил эту проблему и даже проводил тестовые подсчеты с картинками, чтобы что-то кому-то доказать. А теперь сам, взявшись за организацию конкурса, тупо забыл про этот важный момент. В связи с этим считаю своим долгом исправить ситуацию.

Итак. Судья, ставящий всем высокие оценки, поднимает всем средний балл, а сам остается на месте, то есть опускается относительно других. Чтобы поднять себя настолько же, насколько он поднимает остальных, нужно заменить выставленный себе ноль на средний балл своих же оценок - это и есть та величина, на которую в среднем силами этого судьи поднимаются его конкуренты.

Сильно переделывать таблицу не стал, просто добавил столбец с соответствующими величинами. Общее число оценок стало у всех одинаковым.

Теперь результаты конкурса выглядят вот так:

GD Contest 2017 Ratings - v2 | Конкурс: Игра на одном экране. Внимание, пересчитаны оценки. Ознакомьтесь.

Самое значительное изменение: поменялись второе и третье места. ant0n теперь занимает второе место, а Mikle опускается на третье. Я бы просто поздравил Антона со вторым места и поблагодарил Майкла за справедливое перемещение на третье (это ведь с его подачи я занялся пересчетом). Но в конкурсе был призовой фонд, и суммы за второе и третье места отличаются. Однако в связи с тем, что всё тот же Mikle пожертвовал весь свой выигрыш на нужды отечественного Геймдева — половину на развитие GameDev.ru и половину в поддержку канала нашего любимого Дуката — я надеюсь, что ant0n не будет настаивать на возмещении недополученной выгоды и простит мою ошибку, сочтя ее непреднамеренным вложением в вышеуказанные проекты.

Таким образом, призовой подиум теперь выглядит следующим образом:

Из остальных изменений:


Остальные перемещения в таблице несущественные.

Такие дела.

#1501
12:15, 23 янв. 2018

Роман Шувалов
В очередной раз убедился в убогости этой системы оценивания.

#1502
12:19, 23 янв. 2018

Роман Шувалов
Проблема остаётся. Достаточно завышать оценку играм которые не попадут в топ и занижать своим конкурентам.
Морфия предложил использовать конечное количество оценок. Но это во первых гемор, во вторых только для конкурсов с 10 участниками.
У меня какая-то смутная мысль, что можно расширить твою формулу, но использовать среднее не по всем играм, а по первой пятёрке, к примеру. Либо взять два варианта - среднее по первым 5 и среднее по всем. Если есть значительная разница - значит в оценке могли быть злоупотребления.

#1503
12:49, 23 янв. 2018

fornetjob
Если человек занижает оценку лучшим играм и завышает явно плохим то это при любой системе будет повышать его шансы, но при этом в большинстве случаев не вызвано не  злоупотреблениями, а нестандартным вкусом и бороться с этим можно разве что запрещая публиковать оценки пока все не проголосуют (что и было сделано на этом конкурсе).

#1504
12:55, 23 янв. 2018

kipar
Может из оценки среднего убирать экстремумы.

#1505
12:55, 23 янв. 2018

Может всё таки судейство должно быть в руках отдельных независимых судей? Или должна быть объективная метрика какая-то.

#1506
12:56, 23 янв. 2018

GLoom
> Или должна быть объективная метрика какая-то.
Кстати - да, возможно оценку стоит разделить на несколько: графон, атмосфера, геймплей и т.д. + номинации под каждую.

#1507
13:31, 23 янв. 2018

fornetjob
Тут не статистическая задача. Выкидывать мнения судей только потому что они выбиваются из общей массы - несерьёзно. Да и вообще проблема надумана - среди тех кто делает игры на конкурсы желающих читерить с оценками единицы, серьёзного влияния они не оказывают.

GLoom
На некоторых конкурсах были приглашенные судьи. И их мнение обычно было похоже на ушат холодной воды - "вот в этой игре я бы переделал графон и управление, та скучновата, а остальные настолько дно что я даже оценивать не буду". И это мнение конечно полезно (чтобы конкурсы совсем не отрывались от игроков), но таких судей и найти сложно и их намного меньше чем участников. А когда оценивают конкурсанты - ты получаешь кучу отзывов от тех кто занимался примерно тем же самым. В общем, другая дисциплина.

#1508
13:45, 23 янв. 2018

ВОТ ЭТО ПОВОРОТ! Вот так порадовали
Роман Шувалов
> я надеюсь, что ant0n не будет
> настаивать на возмещении недополученной выгоды и простит мою ошибку, сочтя ее
> непреднамеренным вложением в вышеуказанные проекты.
без пробоем, конечно.

#1509
15:42, 23 янв. 2018

Incvisitor
> В очередной раз убедился в убогости этой системы оценивания.
"Этой" это какой? Баллами 1 до 10? Или вообще любой, где голосуют участниками?

fornetjob
> Проблема остаётся. Достаточно завышать оценку играм которые не попадут в топ и занижать своим конкурентам.
Это нерешаемая проблема для системы, где голосуют сами участники. Но, как показывает практика, никто специально не топит лидеров. Короче, не злоупотребляет недостатками системы оценок.

> Может...
> Может всё таки...
Все предложения сюда: https://gamedev.ru/projects/forum/?id=201751

Либо вообще создать отдельную тему с обсуждением системы оценивания. И проголосовать :) Только просьба к fornetjob, если и создавать тему, то пусть ее создаст кто-то другой. А то опять самозабанишься и твоя тема сольется.

#1510
15:46, 23 янв. 2018

Роман Шувалов
Конкретно 1-10 и такой посчет мистических очков.

#1511
15:52, 23 янв. 2018

На мой взгляд, лучшая система была та, где расставляли участников по местам.
Сложнее, чем оценки 1-10 (для судей), но и сама по себе удачнее, с плане итогового результата

#1512
17:04, 23 янв. 2018

Ducat
Плюсую

#1513
17:07, 23 янв. 2018

Роман Шувалов
> Теперь результаты конкурса выглядят вот так:
Это конечно уже не столь важно.
Но ерунда получается. Говоря проще: если не голосуешь - получаешь худшую оценку (+0 к своему баллу). Если голосуешь и ставишь всем десятки - получаешь +10 к своему баллу.

Ну ок, на следующем конкурсе поставлю всем десятки. Даже небу, даже Аллаху! :)

#1514
17:38, 23 янв. 2018

122
Ты получаешь +10, но и все остальные получают по +10. В итоге результат тот же как если бы ты поставил всем 0 (не проголосовал) и получил +0.

Страницы: 197 98 99 100 101 102 Следующая »
ПроектыФорумКонкурсы

Тема в архиве.