Войти
ПроектыФорумКонкурсы

Выбор системы оценивания конкурсных работ (4 стр)

Advanced: Тема повышенной сложности или важная.

Страницы: 1 2 3 4 5 Следующая »
#45
3:01, 25 янв. 2018

Таких схем нагородили с когнитивными диссонансами, адекватностью сознания...
1. Судьи - это люди, и занижать их оценки, по любым причинам, это унижение человека. Кто потом захочет участвовать в ваших конкурсах?
2. Кто будет вникать во все эти схемы голосования - никто, разве только для поддержания трёпа на форуме.
3. Люди все разные, разное понимание законов мира (мироощущение), разные эмоциональные привязанности, разное образование и т. д., возникает вопрос, что такое адекватность оценок, да ещё в направлении виртуального (не существующего) объекта, характеризующегося зрительным и слуховым восприятием вкупе со своими личными предпочтениями?
4. Оптимальное голосование - расстановка каждой игры на свое место, без всяких оценок, просто, понятно и только с одним подводным камнем, так сказать "молчунами", но и это решаемо.

#46
4:22, 25 янв. 2018

Tiranas
> Оптимальное голосование - расстановка каждой игры на свое место
this

Опережая "а если две одинаковые игры":
Если две игры одинаковы - это явно отобразится по итогам, т.к. при нормальном распределении получат одинаковое количество +1/-1 "от балды".
А если получат не одинаковое количество - значит нифига они не одинаковы.

#47
6:30, 25 янв. 2018

The Player
> Опережая "а если две одинаковые игры"
При оценочной системы от 1 до 10, вероятность дубликатов ещё выше и тем выше, чем меньше голосующих, плюс, куча любителей ставить одинаковые оценки всем, скажем по +10.

#48
9:14, 25 янв. 2018

Tiranas
> Судьи - это люди, и занижать их оценки, по любым причинам, это унижение человека.
Все прям такие ранимые.
И речь не о занижении, а о игнорировании, причём игнорирует не организатор или некий судья, а система, известная заранее, на неё нет смысла обижаться. И это никак не отражается на оценке работы данного участника. Можно даже гордиться тем, что "имеется своё вИдение".
Tiranas
> Оптимальное голосование - расстановка каждой игры на свое место, без всяких оценок
Тут соглашусь. Абсолютно равных игр не бывает, всегда можно найти, какая лучше, просто нужно внимательнее посмотреть, что на пользу. Кроме того, при оценке баллами, скажем, от 0 до 10, один судья, вполне адекватно, даст худшей работе 0, а лучшей 10, остальные распределит между ними, а другой, из соображений, что это всё равно не идеал (тоже справедливо), даст лучшей работе 8, а худшей 3 (ведь что-то сделано, человек старался). В результате оценка первого судьи окажется вдвое более весомой, чем оценка второго.

#49
9:21, 25 янв. 2018

Tiranas
> Оптимальное голосование - расстановка каждой игры на свое место
Расстановка по местам мне тоже кажется адекватнее, чем баллы. Но это возможно если используется одна оценка или совместно с определёнными критериями (у игрока добавляется головная боль по созданию нескольких топов).
При использовании неопределённых критериев такое мне видится невозможным :(

Mikle
> Судьи - это люди, и занижать их оценки, по любым причинам, это унижение
> человека.
> Все прям такие ранимые.
> И речь не о занижении, а о игнорировании, причём игнорирует не организатор или
> некий судья, а система, известная заранее, на неё нет смысла обижаться
Обижаться можно на то, что организатор принял результаты и ничего не сказал, а молча отбросил голосование судьи.
Т.е. либо это перерастёт в "переголосуй", либо в хейт.

#50
9:35, 25 янв. 2018

Tiranas
> При оценочной системы от 1 до 10, вероятность дубликатов ещё выше и тем выше,
Mikle
> . Кроме того, при оценке баллами, скажем, от 0 до 10, один судья, вполне
> адекватно, даст худшей работе 0, а лучшей 10, остальные распределит между ними,
> а другой, из соображений, что это всё равно не идеал (тоже справедливо), даст
> лучшей работе 8, а худшей 3 (ведь что-то сделано, человек старался). В
> результате оценка первого судьи окажется вдвое более весомой, чем оценка
> второго.

Поэтому я и предложил 3х-бальную, от 0 до 2.  Это будет максимально близко к простой расстановке по местам, а во-вторых - эту самую расстановку упростит простым математическим подсчетом. И нет варианта, когда судьи начнут играться с баллами.
Определенно плохие будут оцениваться 0. Определенно хорошие - 2, а ни то ни се получат по единице, хотя бы уже за то, что зарелизились и показали что-то играбельное.
И да, в этом случае одной группой судей не обойтись. Судьи из числа участников тоже нужны - иначе действительно при большом количестве проектов много будет победителей.

Прошло более 1 года
#51
12:10, 12 мар. 2019

В результате проведения конкурса возникло предложение об исключении из голосования тех, кто умышлено занижает оценки.
Какие будут мнения? (Очень прошу высказаться по этому вопросу, желательно с предложениями)

#52
(Правка: 12:38) 12:30, 12 мар. 2019

расставляя по списку умышленно занизить оценки всем невозможно.
Можно только поставить на первые места явно плохие работы, сказав что они тебя зацепили и вообще офигенные. Я сто раз так делал и никто это проконтролировать не сможет.
——
но если уж говорить о предложениях - можно кроме таблицы "кто какое место занял" провести оценку чувстительности - проверить как изменились бы места при исключении одного из судей. И двух судей. И вообще Н судей. Построить красивые диаграммы распределения, решить задачу многомерной кластеризации, узнать как оценки зависят от жанров игр и движков которыми пользовались в своих играх судьи и успешно забыть о том для чего мы все это начали.

#53
(Правка: 12:52) 12:51, 12 мар. 2019

Tiranas
> В результате проведения конкурса возникло предложение об исключении из голосования тех, кто умышлено занижает оценки.
Думаю нужно уточнить систему оценок конкурса и обязательно голосующий добавляет комментарии.

Мои предложения.
Конкурс предполагает N-ое количество победных мест, значит баллов должно быть столько-же.
Конкурсант сам определяет кому какой балл присвоить. ТЕ он сам ставит победителей, плюс обязательно описывает своё мнение. И при этом он сам за себя голосовать не может!

Пример голоса от конкурсанта_4 v1: ( Допустим, что победных мест 3 )
1(Место) - Конкурсант_10 ( 3 балла )
Я думаю, что Конкурсант_10 справился с конкурсом на все 100%
2(Место) - Конкурсант_5 ( 2 балла )
Конкурсант_5 меня не сильно порадовал в плане графики, но в целом с задачей он справился.
3(Место) - Конкурсант_7 ( 1 балл )
Конкурсант_7 очень старался но чуть-чуть не дотянул.

Пример голоса от конкурсанта_8 v2.: ( Допустим, что победных мест 4 )
1(Место) - Конкурсант_23 ( 4 балла )
Конкурсант_23 - Комментарий.
2(Место) - Конкурсант_19 ( 3 балла )
Конкурсант_19 - Комментарий.
3(Место) - Конкурсант_3 ( 2 балла )
Конкурсант_3 - Комментарий.
4(Место) - Конкурсант_9 ( 1 балл )
Конкурсант_9 - Комментарий.

Организаторы сами оценивают и принимают форму голосования от конкурсанта для подсчета баллов.

Думаю при таком подходе будет максимальный порядок и ясность голосования.

#54
13:31, 12 мар. 2019

INED
Отличается от текущей системы тем что голосовать надо только за 3 лучших а не за всех, это убивает интерес у аутсайдеров - не будет соревнования займешь ты последнее место или предпоследнее, все вместо этого все аутсайдеры получат 0.

Вот требовать комментария - да, логично. Не хочешь комментировать - не голосуешь, хочешь голосовать - отправь хотя бы строчку доказывающую что ты запускал игру.

#55
13:42, 12 мар. 2019

Тут правильнее говорить не о злонамеренном занижении с целью повлиять на места, а о намерении ставить оценки "от балды" ("Буду бросать кубик"). Тут вполне можно усмотреть намерение навредить конкурсу (или конкурсам вообще), который, между прочим, с достаточно ощутимым призом.

#56
15:35, 12 мар. 2019

Tiranas
> В результате проведения конкурса возникло предложение об исключении из
> голосования тех, кто умышлено занижает оценки.
> Какие будут мнения? (Очень прошу высказаться по этому вопросу, желательно с
> предложениями)
Ранжирование.
Пункт 2.1. нулевого сообщения.

#57
15:53, 12 мар. 2019

kipar
> это убивает интерес у аутсайдеров
Это конкурс. Так всегда бывает на любом конкурсе.

#58
18:25, 12 мар. 2019

Tiranas
> умышлено занижает оценки.
Критерии у всех свои, оценки субъективные, поэтому определить занижение оценки невозможно. "Я судья, я так вижу". Напомни, когда последний раз кто-то на наших конкурсах умышленно занижал оценки?

Другое дело, что система оценивания должна быть выстроена так, чтобы подсчет оценок - особенно при наличии участников, отказавшихся голосовать, - не завышал итоговый балл ни для кого. В системе оценок, которую использую я, этот вопрос однозначно решён и поэтому во всех своих конкурсах я буду использовать только эту систему. 

#59
9:11, 25 апр. 2019

romanshuvalov
> В системе оценок, которую использую я, этот вопрос однозначно решён и поэтому
> во всех своих конкурсах я буду использовать только эту систему. 
А это система принимает только целые числа 0..10, или может оперировать дробными - 1.1, 2.5, 9.9?

Страницы: 1 2 3 4 5 Следующая »
ПроектыФорумКонкурсы