Тёмная тема
- romanshuvalov
- Модератор
Господа, тут такое дело.
В соседнем конкурсе я указал организатору на незначительную ошибку в подсчетах рейтингов, на что Mikle мне ответил, что и я в этом конкурсе сделал подсчеты не так, как следовало бы. Суть в том, что судьи могут завышать или занижать оценки и это влияет на их позицию относительно других участниов. Самое забавное, что я и сам пару лет назад обнаружил эту проблему и даже проводил тестовые подсчеты с картинками, чтобы что-то кому-то доказать. А теперь сам, взявшись за организацию конкурса, тупо забыл про этот важный момент. В связи с этим считаю своим долгом исправить ситуацию.
Итак. Судья, ставящий всем высокие оценки, поднимает всем средний балл, а сам остается на месте, то есть опускается относительно других. Чтобы поднять себя настолько же, насколько он поднимает остальных, нужно заменить выставленный себе ноль на средний балл своих же оценок - это и есть та величина, на которую в среднем силами этого судьи поднимаются его конкуренты.
Сильно переделывать таблицу не стал, просто добавил столбец с соответствующими величинами. Общее число оценок стало у всех одинаковым.
Теперь результаты конкурса выглядят вот так:
Самое значительное изменение: поменялись второе и третье места. ant0n теперь занимает второе место, а Mikle опускается на третье. Я бы просто поздравил Антона со вторым места и поблагодарил Майкла за справедливое перемещение на третье (это ведь с его подачи я занялся пересчетом). Но в конкурсе был призовой фонд, и суммы за второе и третье места отличаются. Однако в связи с тем, что всё тот же Mikle пожертвовал весь свой выигрыш на нужды отечественного Геймдева — половину на развитие GameDev.ru и половину в поддержку канала нашего любимого Дуката — я надеюсь, что ant0n не будет настаивать на возмещении недополученной выгоды и простит мою ошибку, сочтя ее непреднамеренным вложением в вышеуказанные проекты.
Таким образом, призовой подиум теперь выглядит следующим образом:
Из остальных изменений:
Такие дела.
Роман Шувалов
В очередной раз убедился в убогости этой системы оценивания.
Роман Шувалов
Проблема остаётся. Достаточно завышать оценку играм которые не попадут в топ и занижать своим конкурентам.
Морфия предложил использовать конечное количество оценок. Но это во первых гемор, во вторых только для конкурсов с 10 участниками.
У меня какая-то смутная мысль, что можно расширить твою формулу, но использовать среднее не по всем играм, а по первой пятёрке, к примеру. Либо взять два варианта - среднее по первым 5 и среднее по всем. Если есть значительная разница - значит в оценке могли быть злоупотребления.
fornetjob
Если человек занижает оценку лучшим играм и завышает явно плохим то это при любой системе будет повышать его шансы, но при этом в большинстве случаев не вызвано не злоупотреблениями, а нестандартным вкусом и бороться с этим можно разве что запрещая публиковать оценки пока все не проголосуют (что и было сделано на этом конкурсе).
kipar
Может из оценки среднего убирать экстремумы.
Может всё таки судейство должно быть в руках отдельных независимых судей? Или должна быть объективная метрика какая-то.
GLoom
> Или должна быть объективная метрика какая-то.
Кстати - да, возможно оценку стоит разделить на несколько: графон, атмосфера, геймплей и т.д. + номинации под каждую.
fornetjob
Тут не статистическая задача. Выкидывать мнения судей только потому что они выбиваются из общей массы - несерьёзно. Да и вообще проблема надумана - среди тех кто делает игры на конкурсы желающих читерить с оценками единицы, серьёзного влияния они не оказывают.
GLoom
На некоторых конкурсах были приглашенные судьи. И их мнение обычно было похоже на ушат холодной воды - "вот в этой игре я бы переделал графон и управление, та скучновата, а остальные настолько дно что я даже оценивать не буду". И это мнение конечно полезно (чтобы конкурсы совсем не отрывались от игроков), но таких судей и найти сложно и их намного меньше чем участников. А когда оценивают конкурсанты - ты получаешь кучу отзывов от тех кто занимался примерно тем же самым. В общем, другая дисциплина.
ВОТ ЭТО ПОВОРОТ! Вот так порадовали
Роман Шувалов
> я надеюсь, что ant0n не будет
> настаивать на возмещении недополученной выгоды и простит мою ошибку, сочтя ее
> непреднамеренным вложением в вышеуказанные проекты.
без пробоем, конечно.
Incvisitor
> В очередной раз убедился в убогости этой системы оценивания.
"Этой" это какой? Баллами 1 до 10? Или вообще любой, где голосуют участниками?
fornetjob
> Проблема остаётся. Достаточно завышать оценку играм которые не попадут в топ и занижать своим конкурентам.
Это нерешаемая проблема для системы, где голосуют сами участники. Но, как показывает практика, никто специально не топит лидеров. Короче, не злоупотребляет недостатками системы оценок.
> Может...
> Может всё таки...
Все предложения сюда: https://gamedev.ru/projects/forum/?id=201751
Либо вообще создать отдельную тему с обсуждением системы оценивания. И проголосовать :) Только просьба к fornetjob, если и создавать тему, то пусть ее создаст кто-то другой. А то опять самозабанишься и твоя тема сольется.
Роман Шувалов
Конкретно 1-10 и такой посчет мистических очков.
На мой взгляд, лучшая система была та, где расставляли участников по местам.
Сложнее, чем оценки 1-10 (для судей), но и сама по себе удачнее, с плане итогового результата
Ducat
Плюсую
Роман Шувалов
> Теперь результаты конкурса выглядят вот так:
Это конечно уже не столь важно.
Но ерунда получается. Говоря проще: если не голосуешь - получаешь худшую оценку (+0 к своему баллу). Если голосуешь и ставишь всем десятки - получаешь +10 к своему баллу.
Ну ок, на следующем конкурсе поставлю всем десятки. Даже небу, даже Аллаху! :)
122
Ты получаешь +10, но и все остальные получают по +10. В итоге результат тот же как если бы ты поставил всем 0 (не проголосовал) и получил +0.
Тема в архиве.