Войти
ПроектыФорумКонкурсы

Выбор системы оценивания конкурсных работ (2 стр)

Advanced: Тема повышенной сложности или важная.

Страницы: 1 2 3 4 Следующая »
#15
9:10, 24 янв. 2018

fornetjob
> Заранее для каждой игры голосованием определять набор критериев.
Не взлетит, слишком много голосований, даже простую оценку проблема дождаться от каждого судьи.
fornetjob
> После сбора достаточной статистики голосования, для каждого типа игры
> определить конечный набор критериев
То есть кто-то старается, оценивает по своим критериям, а потом эти критерии игнорируются? Тоже не взлетит.

Вообще, я всегда был противником критериев по вышеописанным причинам. Сначала мысль о неопределённых критериях я понял так: "каждый судья обязан найти и оценить в игре три (допустим три) произвольных критерия, у другого судьи будут свои критерии по этой игре, не страшно". Но как-то это пока не склеивается - один выберет критерий "музыка" и повысит оценку, а другой понизит за отсутствие сюжета. Всё равно каждый будет подгонять под свой вкус.
Критерии возможны при строгом ограничении жанра конкурсных игр. Два самых "рабочих" критерия - "степень готовности" и "соответствие конкурсному заданию".

#16
9:17, 24 янв. 2018

Mikle
> каждый судья обязан найти и оценить в игре три (допустим три) произвольных
> критерия, у другого судьи будут свои критерии по этой игре, не страшно
Изначально мысль была такая - чем больше судей, тем больше критериев и тем полезнее для разработчика фидбек.
Но это наталкивается на то, что судья определит после первых нескольких игр критерии и будет по ним оценивать все остальные игры, что в итоге выродится в пункт 3.3., но в разрезе каждого судьи, а не всего конкурса. В итоге, это может повлиять на объективность оценки, если первыми оценивались игры с крутым графоном и возник критерий "графон", к примеру. А одними из последних - 2d платформеры, к которым тоже начинают прикладывать ту же самую линейку. Это можно попробовать частично решить сортировкой игр организатором, в порядке возрастания сложности.

#17
9:21, 24 янв. 2018

Ogra
> возможность искусственного занижения оценок конкурентам, решается отбрасыванием экстремумов.
Если будет известен лимит экстремума - будут подгонять под него. Само наличие лимита будет провоцировать легально лоббировать некоторые работы.
Есть другой способ - подсчитать оценки обычным способом, проверить соответствие оценок судей этим оценкам, отбросить голосование 10-20% самых "неадекватных" судей и снова подсчитать уже окончательный результат.
Плюс - никакой лишней работы судьям, дополнительную работу делает организатор.

#18
9:24, 24 янв. 2018

Mikle
> отбросить голосование 10-20% самых "неадекватных" судей
Ну я про это и говорил - просто для каждой игры отбрасываем самую высокую и самую низкую оценки. Должно быть достаточно.

#19
9:25, 24 янв. 2018

Ogra
> просто для каждой игры отбрасываем самую высокую и самую низкую оценки
А если высоких или низких оценок несколько? И почему их должны отбрасывать? Имхо, про отбрасывание "неадекватных" судей мне больше понравилось, это согласуется с пунктом 1.4.

#20
9:34, 24 янв. 2018

Ogra
Нет, я имел ввиду полностью игнорировать оценку всех игр от "неадекватных" судей.

#21
9:34, 24 янв. 2018

fornetjob
> А если высоких или низких оценок несколько? И почему их должны отбрасывать?
> Имхо, про отбрасывание "неадекватных" судей мне больше понравилось, это
> согласуется с пунктом 1.4.

Отбрасываются строго две оценки - самая большая и самая маленькая. Если у игры несколько единиц и несколько десяток - отбрасываются по одной, все просто.
Почему их отбрасывать? Для уменьшения дисперсии результатов и, как следствие, повышения объективности.

Mikle
> Нет, я имел ввиду полностью игнорировать оценку всех игр от "неадекватных" судей.
Отбрасывание неадекватных судей - это, знаете ли, перебор. Во-первых, никому не захочется узнать, что его оценки, видите ли, неадекватные, а во-вторых, критерии "адекватности" формализовать достаточно тяжело.

#22
9:36, 24 янв. 2018

kipar
> Да, по критериям было бы вообще классно.
А ведь бывает что графика норм и музыка, а игра отвратительна. Так и пролезут в топ игры с хорошими критериями но сами по себе слабые.

#23
9:42, 24 янв. 2018

Ogra
> Во-первых, никому не захочется узнать, что его оценки, видите ли, неадекватные
Не обязательно так формулировать. Можно применить понижающий коэффициент на основе, к примеру, отсутствия детального отзыва по играм.

Ogra
> во-вторых, критерии "адекватности" формализовать достаточно тяжело
Можно определить халатностью в подходе к оценке, к примеру. Когда каждую игру включил-выключил, остановив свой взгляд только на интересном тебе жанре, его и сделав победителем.

#24
9:44, 24 янв. 2018

Думаю что при наличии такой возможности в конкретном конкурсе лучше склониться к оценке профессиональными судьями.
За неимением судей лучшей из предложенных считаю оценку самим участиниками, т.к. при всей субьективности и потенциальной абьюзности (которая скорее всего не проявит себя на конкурсах маленькими призами) у неё есть очень большой плюс в том что у участников кроме чувства усталости от проделанной работы дополнительно есть чувства сопричастности к судьбе каждой работы, в некотором роде это можно рассматривать как часть нематериальной награды за участие в конкурсе.
Можно сделать какую-то гибридную схему, где например есть сквозной рейтинг участия людей в конкурсах и наиболее активные по рейтингу участники имеют право голоса даже если они не участвовали в конкретном конкурсе. Т.о. получиться некое сквозное социальное поощрение.
Что касается технической стороны вопроса, как баллы расставлять, то наилучшей считаю схему с распределением фиксированной суммы балов по разным работам кроме своей. При этом можно опять же использовать сквозную систему поощрения в которой например наиболее активные участники конкурсов имеют несколько бОльшую сумму балов чем другие участники (всё равно за себя голосовть нельзя). Лучше она оптому что посути оценки каждого проголосоваошего нормированы к некоторой величене и значит имеют одинаковый вес и влияние на голосование с точки зрения соревнования.
Схема где каждой работе незаивисимо проставляются баллы очень дисбалансная с точки зрения влияния участников на результат, т.к. допустим в конкурсе с 10 работами и максимальной оценкой 10 балов 1 участник может проставить всем работам по 10 балов (щедрой души человек), а остальные 9 участников только одной работе поставили 10 балов а остальным ничего (ну так проголосовали). В итоге сумма балов на всех работах будет равно 180, 90 из которых обеспечил 1 человек влияние окторого на результат конкурса составило 50% а всех остальных участников тоже 50%, короче эта схема настолько кривая что ей и абьюзов не надо.
Критерий оценки думаю следует выбирать в зависимости от конкурса, тут может быть много нюансов которые наперед не придумаешь.

Ну и вцелом есть вариант поощряющий меценатов скидываться на призы - "Кто платит тот и заказывать музыку". В этом варианте человек задонативший больше всех в призовой фонд выбирает и способ оценки и критерии подсчёта и т.п. на свой вкус и цвет (либо использует дефолтный если ему лень своё городить)

#25
9:46, 24 янв. 2018

fornetjob
> Можно определить халатностью в подходе к оценке, к примеру.
Это вообще не формальный критерий. Скорее всего организатор так просто запишет в неадеквата человека, который оценивает по-другому. Это, мягко говоря, неправильно. Критерий должен быть сугубо формальным, проверяемым независимо, математически. Иначе это не критерий, а легальный способ подогнать результат под желаемый организатору.

upd. наши организаторы, конечно не будут осознанно подгонять результаты, мы им не просто так доверяем. Я никого из них и не подозреваю в намеренной подтасовке результатов. Но психика штука коварная - когнитивные искажения и субъективизм присущи всем, даже тем, кто о них знает. Потому и топлю за формальные критерии вместо субъективных.

#26
9:51, 24 янв. 2018

Ogra
> Это вообще не формальный критерий
1. Наличие детального отзыва по каждой из игр.
2. Отсутствие явных перепадов, когда есть только две оценки - 1 и 10.
3. Непредвзятость, отсутствие явных "подтасовок" в оценках и т.д.

Phoenics Ого, поправил - спасибо :)
#27
10:12, 24 янв. 2018

fornetjob
Вы не на моё сообщение ответили, а в начале сообщения мой ник указан :)

#28
10:38, 24 янв. 2018

Ogra
> никому не захочется узнать, что его оценки, видите ли, неадекватные
Слово "неадекватные" на самом деле нейтральное, это, фактически, "несоответствующие", но, да, как и слово "ненормальные" оно имеет негативный окрас. Термин можно заменить.
Ogra
> критерии "адекватности" формализовать достаточно тяжело
Я сформулировал сразу когда предлагал:
> подсчитать оценки обычным способом, проверить соответствие оценок судей этим оценкам
Это элементарный технический вопрос.
122
> А ведь бывает что графика норм и музыка, а игра отвратительна. Так и пролезут в
> топ игры с хорошими критериями но сами по себе слабые.
+1
fornetjob
> Можно применить понижающий коэффициент на основе, к примеру, отсутствия
> детального отзыва по играм.
fornetjob
> Можно определить халатностью в подходе к оценке, к примеру.
Это называется "ложь". Человек поставил неадекватные оценки, а мы придумываем ложную причину, за что мы его оценки игнорируем.
fornetjob
> Наличие детального отзыва по каждой из игр.
Лоббист напишет детальнейший отзыв.
fornetjob
> Отсутствие явных перепадов
А если объективно игры сильно отличаются качеством?
fornetjob
> Непредвзятость, отсутствие явных "подтасовок" в оценках и т.д.
Я и дал единственный на мой взгляд метод отсева подтасовок.
Phoenics
Когда судья получает себе усреднённый балл своих же оценок другим, проблем с "щедрыми" или "скупыми" судьями нет.

#29
10:48, 24 янв. 2018

Mikle
> Это называется "ложь". Человек поставил неадекватные оценки, а мы придумываем
> ложную причину, за что мы его оценки игнорируем
Это называется "правила конкурса". Мы в порядке оценки игр можем указать требование детального отзыва и понижать влияние оценки судьи, если он отсутствует.

Mikle
> Лоббист напишет детальнейший отзыв
Можно соединить детальный отзыв + неопределённые критерии из пункта 3.4. Тогда лоббисту придётся указать, что оценка снижена до 1 за отсутствие русской локализации и опечатки в меню, к примеру. Либо на оценку повлиял 2д графон в платформере, а он ждал 3д и т.д.

Mikle
> А если объективно игры сильно отличаются качеством?
Тогда, если это имеет значение для судьи, он может качество указать как один из критериев оценки.
Пункт 3.4 лажает не на хороших судьях, а наоборот.

Страницы: 1 2 3 4 Следующая »
ПроектыФорумКонкурсы