Конкурс Everything is a Remix / завершён (99 стр)

Adler
А можно попроще и по-русски? В чём претензия? Ты считаешь, что с системой оценивания что-то не так?

romanshuvalov
> А можно попроще и по-русски?
не-а

> В чём претензия? Ты считаешь, что с системой оценивания что-то не так?
можешь считать что это не имеет значения пока "Так что всё логично, никакой проблемы нет." :)

Единственное, что я понял из твоих высказываний - ты обратил внимание на то, что из-за разного разброса оценок судьи имеют разный "вес" (влияние/influence/...). Да, это так, но это не баг, а фича, поскольку если судья считает работы почти одинаковыми - система оценок даёт возможность выразить это мнение численно.

romanshuvalov
> если судья считает работы почти одинаковыми - система оценок даёт возможность выразить это мнение численно.
а если судья считает что все проекты очень далеки от идеала и также далеки от совсем уг, то тогда ему нужно всем поставить по 5.00000, а лучшему проекту 5.00001? так?

ну типа если у судьи такое тонкое чувство вкуса и пристрастие к деталям, то надо его оценки на что-то около нуля помножить, за недостаточную грубость, или просто считать что он всем одни пятёрки поставил, да? хорошая "фича"?

а если судьи чуть более разборчивые в том как работает г_система и хотят оказать максимальное доступное влияние на результирующий порядок, то нужно обязательно заставлять каждого их них тратить время на то чтобы они разобрались в том как работает г_система и затем вручную нормировали свои оценки(с потерей важных мелких деятелей) перед тем как отправлять своё мнение в г_систему — это тоже хорошая "фича"? время\мнение разборчивого судьи — ничего не стоит, да? разбираться в "это не баг, а фича" г_системы — "весело и полезно"?

Adler
> а если судья считает что все проекты очень далеки от идеала и также далеки от совсем уг,
> то тогда ему нужно всем поставить по 5.00000, а лучшему проекту 5.00001? так?
Да. (Принимаются только целочисленные оценки, так что 6, но суть та же.)

> считать что он всем одни пятёрки поставил
Поставить всем пятёрки, или всем единицы, или всем десятки в данном случае одно и то же, поскольку задача системы оценивания - выявить разницу в работах. А если судья всех поднимет десятками или опустит единицами - это никак не повлияет на разницу работ, и система подсчёта правильно отразит этот момент. Так что да, это хорошая фича.

> г_система
Что такое г_система?

Adler
> а если судьи <...> хотят оказать максимальное доступное влияние на результирующий порядок
Лучшей работе - десятку, достойным конкурентам - единицу, проигрышным работам - десятку (все равно не победят, зато себе так можно поднять корректирующий балл). Но это будет явное палево и вызовет вопросы к честности судьи, с этим ничего не поделаешь при любой системе подсчета оценок.

romanshuvalov
> Что такое г_система?
вот тут вначале сообщения написано:
https://gamedev.ru/projects/forum/?id=245407&page=96&m=5032210#m1427

romanshuvalov
> поскольку задача системы оценивания - выявить разницу в работах.
хорошо что г_система не пытается скрыть мелкую разницу между проектами всякими правилами типа:
> Принимаются только целочисленные оценки

romanshuvalov
> (все равно не победят, зато себе так можно поднять корректирующий балл)
вроде с точки зрения честных наблюдателей единственное что можно добиться таким шумом — слить доверие к себе\сообществу.

Adler
> вроде с точки зрения честных наблюдателей единственное что можно добиться таким шумом — слить доверие к себе\сообществу.
Да, поэтому так никто не делает. (Даже при крупных призовых фондах.)

Если претензий больше нет, вопрос можно считать закрытым.

romanshuvalov
А ты не задумывался над такой проблемой:
Судья А поставил лучшей на его взгляд работе 6 баллов, а худшей - 3 балла, остальные между.
Судья Б поставил лучшей на его взгляд работе 10 баллов, а худшей - 5 балла.
Оба оценили разницу в два раза, но судья Б повлиял на результат сильнее.
Может правильнее считать не среднее арифметическое, в среднее геометрическое?

Mikle
> Оба оценили разницу в два раза, но судья Б повлиял на результат сильнее.
> Может правильнее считать не среднее арифметическое, в среднее геометрическое?
Да, я задумывался над этим. Сейчас система предполагает, что оценки отличаются на какую-то величину баллов, а не во сколько-то раз. И это вроде как логично, особенно если в твоём примере взять не 2 работы, а несклько, например, 4. Если взять 4 равномерно отличающихся друг от друга работы, какие баллы ты им поставишь, 5-6-7-8 или 1-2-4-8?

romanshuvalov
> 4 равномерно отличающихся друг от друга работы, какие баллы ты им поставишь,
> 5-6-7-8 или 1-2-4-8?
Согласись, второе предпочтительнее, ведь для первого возможны варианты 1-2-3-4 и т. п., дающие разное влияние на общий балл.
Но для второго варианта становится маловато точности всего 10 баллов...
Вообще, все эти системы ущербны, они предполагают одинаковое понятие веса балла у каждого судьи, а этого нет. Вот в старой пятибалльной школьной системе какая разница между оценками 1 и 2? Практически никакая. А почему? Да просто так сложилось, система фактически четырёхбалльная, от 2, а не от 1.
Поэтому я и предпочёл простое упорядочивание.

Mikle
> Согласись, второе предпочтительнее
Не соглашусь. Если вторая работа чуть лучше первой, а третья чуть лучше второй, мне и в голову не придёт ставить работам 2-4-8, я поставлю 5-6-7 или около того.

> для первого возможны варианты 1-2-3-4 и т. п., дающие разное влияние на общий балл.
Неа, не разное. 1-2-3-4 и 7-8-9-10 это одно и то же. Вот 1-4-7-10 это уже другое, но опять же, это не баг, а фича. Судья знает, что диапазон 1-10, и если он пользуется только частью диапазона, значит считает работы не очень сильно отличающимися и намеренно выражает это численно. К слову, если судья сочтёт все работы одинаковыми, он может выставить всем одинаковы балл. Что никак не повлияет ни на что (то есть его вес = 0). Но это его выбор и у него он есть. В простом упорядочивании такого выбора нет, там судья обязан указать максимальную разницу между работами, даже если он считает, что разницы нет, либо она невелика.

Mikle

Выбор системы оценки - не имеет значения. Просто выбрать большинством любую наименее забагованную, понять и использовать. Ни одна из них не даст обьективной картины в принципе. Кучу раз расписывал почему - tl;dr Мнение=>Оценка != Знание=>Измерение. Ну и учитывая смехотворно малую выборку обычно в количестве двух десятков человек участников - это статистически малозначимо. С поправкой на современные маркетинговые реалии, так и подавно. Так что тут вообще напрягаться противопоказано. Иначе в ад..

romanshuvalov
> Не соглашусь.
Вово. Ваше несогласие как раз отлично демонстрирует суть того, что я написал. Выйдете "за пределы коробки" и поглядите на ситуацию в контексте. Вы пытаетесь решить проблему, которой нет. Она надумана, так как выдумана изначально.

romanshuvalov
Я понимаю, что система упорядочивания тоже неидеальна, но она хотя бы однозначна. А в баллах - не так. Или ты действительно считаешь, что "1-2-3-4 и 7-8-9-10 это одно и то же"? Вот какие бы ты поставил оценки для трёх работ, когда вторая вдвое лучше первой, а третья вдвое лучше второй? 1-2-4, верно? Но тогда получается, что 8  вдвое лучше, чем 7, а 10 вдвое лучше, чем 8, ведь "1-2-3-4 и 7-8-9-10 это одно и то же"

Я думаю если есть жюри (не из числа участников) лучше применять 10-ти бальную систему, гибче можно оценить работы, но вот когда сами участники выступают в роли судей, то к концу конкурса все устают, и тут легче составить топ, чем подбирать баллы. Имхо конечно.

Mikle
> Или ты действительно считаешь, что "1-2-3-4 и 7-8-9-10 это одно и то же"?
Да, с поправкой на то, что у нас диапазон от 1 до 10.

Если непосвященному человеку просто сказать "1-2-3-4" и "7-8-9-10", он, конечно же, увидит разницу. Но если добавить, что в диапазоне от 1 до 10, то он нарисует в голове числовую прямую и увидит одинаковые отрезки, просто смещенные в сторону (и это смещение потом уравняет корректирующий балл).

> вторая вдвое лучше первой, а третья вдвое лучше второй
Ну, в реальности не бывает прям строго "вдвое лучше".

> тогда получается, что 8 вдвое лучше, чем 7, а 10 вдвое лучше, чем 8, ведь "1-2-3-4 и 7-8-9-10 это одно и то же"
Нет, потому что, как я говорил выше, система оценивания подразумевает расстановку баллов на основе разницы "на" величину, а не "во" сколько-то раз. И, разумеется, двигая оценки по арифметической числовой прямой, пропорции будут нарушаться.

Ок, можно оценки расставлять по методу "во сколько раз", и тогда уже 1-2-4-8 и 2-4-8-16 будут одним и тем же (та же разница в 8 раз при любом движении по логарифмической шкале), и итоговый балл подводить средним геометрическим. И на это можно будет в возразить, что если кто-то в голове держит арифметическую шкалу, то у него в голове не уложится, как 8-1=7 может быть равным  16-2=14.

Замена оценок (1...10) на (N^1...N^10) вместе с заменой среднего арифметического на среднее геометрическое приведет к точно таким же результатам, но на этапе выставления оценок судьи должны будут отвечать на вопрос "во сколько раз", а не "на сколько баллов". Удобнее ли это делать и захотят ли они это делать - вот этот вопрос уже можно вынести на обсуждение.

Но обычно, повторяюсь, редко бывает когда какая-то игра лучше другой во сколько-то раз. Обычно конкурсные работы более-менее на одинаковом уровне.

Daimos
> тут легче составить топ, чем подбирать баллы. Имхо конечно.
А ты сам пробовал составлять топ? Я вот расставлял в чьём-то конкурсе (Майкловском, наверное). Баллы как раз-таки легче.