Выбор системы оценивания конкурсных работ (8 стр)

romanshuvalov
> При моей системе подсчета - нет. Обе десятки десятки будут одинаковыми.
смотри, два судьи пять работ. Две явные лидеры, три - откровенно слабые.
Один голосует 9,10,1,1,1. Второй - 10, 9, 2,3,4. В системе с местами у первых двух работ баллов поровну. Хочешь сказать, в твоей системе тоже? Тогда можно ссылку?

> Допустим, я плохо разбираюсь в жанре и не могу по достоинству оценить эти оставшиеся 3 работы. В баллах я им поставлю одинаковые оценки, понадеявшись, что кто-то другой, кто хорошо разбирается в данном жанре, поставит разные оценки. А как мне поступить при расстановке? Искусственно искать мелкие изъяны или расставлять наобум?

Поставить насколько разбираешься (по графике или управлению). Есть и другие судьи, так что сильно оценку ты все равно не испортишь.
Хотя факт когда судья оценивает работы в которых не может разобраться в целом дискредитирует систему - это все-таки редкий случай на конкурсах.

> Тогда надо в правилах указать, что шкала арифметическая, а не отдавать это на
> откуп судейскому подсознанию.
Что вообще означает "арифметическая шкала" в отношении оценок? Та система про которую я знаю со школы работает так: 5 - блестяще, без недостатков, 4 - небольшие недостатки, 3 - есть проблемы но есть и положительные стороны, 2 - плохо, 1 - совсем дно. До 10 баллов расширяется добавлением промежуточных состояний (5 с плюсом, 3 с минусом). Но говорить о какой-то линейности... странно.
Если бы я линейно оценивал скажем геймплей\фан, то работа которая мне "зашла" явно не в два и не в три раза лучше тех которые я закрыл и больше не открывал, так что если я не хочу ставить 10,1,1,1,1 то волей-неволей буду использовать логарифмическую шкалу.

fantomass
- Если Вы так сильно не любите Америку - то почему бы Вам не поехать в коммунистическую Францию!
Так значит все же 22.

Или все же может 42?

fantomass
> Она не МОЖЕТ оказаться точнее, а точна в пределе
Это если считать расстановку баллов судьями несмещенной оценкой их предпочтений.

Если мне дать список из нескольких известных мне игр, я определенно смогу сказать какая из них лучше а какая хуже. А вот если попросить расставить в баллах - я буду в тупике и без понятия насколько объективно оценю.
Как минимум, оценка будет зависеть от других игр в списке. На фоне одних игр я бы дал скайриму 20 баллов, на фоне других - 90.

kipar
> Это если считать расстановку баллов судьями несмещенной оценкой их предпочтений.
Считать тут можно что угодно, но сути это не меняет.

kipar
> Если мне дать список из ... на фоне других - 90.
"Anecdotal evidence". Если ты адекватен, то сформулированную тобой проблему ты должен и воспринимать как собственно проблему, которую надо решить, и решать её соответствующе..

kipar
Он не может понять, что невозможно провести сравнение двух систем, нет критериев для сопоставления оценок обоих систем голосования, не получится конвертировать оценки из одной системы в другую.
Все выдвинутые предположения погрешностей и средних значений, притянуты за уши и базируются на одной системе голосования.
Называется это - кручу верчу, обмануть хочу. Там он видео выложил про альтернативную математику, как раз про себя, он забыл ещё выложить доказательство, что 2х2=5, хех...

Я понял, что пытаются сделать балловики - они считают, что игру можно оценить настолько точно, что ее вес не изменится, если сравнивать с играми других конкурсов. Типа, если в этом набрала 12,67, то и со следующими играми в другом конкурсе можно сравнить по этому значению.

fantomass
> Если ты адекватен, то сформулированную тобой проблему ты должен и воспринимать как собственно проблему, которую надо решить, и решать её соответствующе..
Это демонстрация того что твоя модель не соответствует реальности. Вполне можно придумать и другую модель, когда "идеальной оценки" вообще не существует, а у судей внутри есть только блоки сравнения которые умеют сравнивать игры друг с другом.

Incvisitor
> Я понял
Нет, ты не понял.

kipar
Открой мой скрипт по ссылке и внимательно прочитай первый блок. У меня там как раз про "идеальные оценки". Повторяться не буду.

fantomass
и? Я так понимаю ты генеришь для всех оценки в баллах, и потом из них составляешь оценку списком - естественно она деформируется по сравнению со сгенеренным "мнением".
А можно сделать наоборот - генерить для всех судей их мнение о том какая лучше (по сути список), потом сделать что они заполняют там какие-то баллы и в итоге получить что оценка баллами деформируется по сравнению с мнением судей.
Если не привлекать "реальную оценку", сказать какая из систем правильнее - нельзя.

kipar
Теперь у меня и от тебя голова заболела. Квантование? Не, не слышал? Ппц..

Ага, доказательство от fantomass:
Белое не белое, так как при изменении оно уже серое.
- А в другой системе?
А в другой системе зелёный крокодил...(абсолютно при любых погрешностях)

fantomass
Сочуствую. Но я особенно и не надеялся что ты поймешь, т.к. фанатов одной системы оценивания вряд ли возможно убедить перейти на другую. Так что это обсуждение идет скорее для того чтобы склонить неопределившихся.
Для них поясню - fantomass сделал скрипт который
- генерит "объективную оценку" игр в баллах
- для каждого судьи генерит его личную оценку игр в баллах (случайно распределенную но с матожиданием равным объективной оценке)
- при симуляции, что неудивительно, получается что оценка судей в баллах сходится к объективной оценке лучше чем оценка расстановкой мест.

При этом делается два допущения - что "объективная оценка" существует и что оценка судей в баллах является несмещенной оценкой их предпочтений (которые, в свою очередь, связаны с объективной оценкой).

Если бы скрипт делал фанат системы мест, он бы мог сделать например так
- генерим объективную оценку игр в баллах
- для каждого судьи генерим его личную оценку игр (случайно распределенную но с матожиданием равным объективной оценке)
- исходя из оценки в предыдущем пункте для каждого судьи генерим матрицу сравнения (a[i,j] = {-1 если игра i нравится судье меньше игры j, 0 если одинаково, 1 -1 если игра j нравится судье меньше игры i})
- расставляем оценки используя только информацию из этой матрицы (для баллов используя, скажем сумму по строке, подставляя ее в зависящую от судьи функцию перевода в баллы (кто-то использует арифметическую шкалу а кто-то логарифмическую)).

И тогда он бы получил что расстановка мест дает лучшие результаты и сходится к объективной оценке, а расстановка баллов деформирует ее и может приводить к неправильным местам.

На одной системе можно крутить, как вздумается, добавить вероятностную составляющую, расположение звёзд, количество тромбоцитов в крови.

kipar
> Если мне дать список из нескольких известных мне игр, я определенно смогу
> сказать какая из них лучше а какая хуже. А вот если попросить расставить в
> баллах - я буду в тупике и без понятия насколько объективно оценю.
> Как минимум, оценка будет зависеть от других игр в списке. На фоне одних игр я
> бы дал скайриму 20 баллов, на фоне других - 90.

Ну представь ты берешь "Скайрим" и оцениваешь от 0 до 10:
1) Графику
2) Звук
3) Управление
4) Геймплей
5) Гуй
6) Забагованность

Ты не сможешь оценить?
Например:
1) Графика - 6
2) Звук - 9
3) Управление - 6
4) Геймплей - 6
5) Гуй - 5
6) Забагованность - 3

Формула подсчета:
Графика + Звук + Управление + Геймплей + Гуй - Забагованность = результат
6 + 9 + 6 + 6 + 5 - 3 =29

Когда будет несколько игр, сравнивать будет легче т.к. ты четко можешь отличить где что лучше, и будешь уже ставить что то ниже или выше.
У кого больше баллов тот Win.
А загнать это все в эксель и оставить поля только для цифорок, и вообще гут.

Мне в общем и просто ранжировать нравится, просто система в которой все категорированно - наглядно показывает в каких местах у человека есть проблема. Наглядно дает обратную связь и сразу говорит что не так в игре. Параметров может быть больше или меньше (на вкус организатора). Я вижу в такой системе профит.

Если без заморочек то просто отранжировать игры и все.
И еще лучше если будет оценивать организватор или какой нибудь геймер (или несколько геймеров), т.к. программисты часто оценивают не адекватно, а какими то пространными стереотипами и тараканами в их головах. Обычный игрок скажет все честно как есть - если оно говно то говно, ткнет носом.

563
Я определенно уверен что dwarf fortress мне нравится больше Скайрима (при этом проиграет ему почти всем шкалам типа графики или звука). Ну ок, по управлению возможно выиграет, в скайриме оно как будто для консолей сделано :trf:. Поэтому если по какой-то формуле Скайрим окажется выше - я приду к выводу что формула не работает.
А так - ну да, если уж оценивать баллами то мне тоже нравится по критериям разбивать. Но расстановка мест все равно лучше.