Войти
ПроектыФорумКонкурсы

Конкурс Everything is a Remix / завершён (100 стр)

Advanced: Тема повышенной сложности или важная.

Страницы: 196 97 98 99 100 101 Следующая »
#1485
(Правка: 23:29) 22:40, 29 авг. 2019

а как вам идея просто собирать от оценивающих участников "инфу\мнения\оценки" сразу в нескольких форматах(причём оценивающий может частично\полностью использовать любую комбинацию из них по своему собственному желанию):
1) набор каких-то числе о каждом из проектов с необязательным отдельным комментарием и весом каждого столбика(по умолчанию веса считаются одинаковыми).

struct t_vote_about_project_x{std::vector<double> arr;t_project_name p;};
using t_parsed_votes=std::vector<t_vote_about_project_x>;

2) тоже самое что и (1) только по одному числу на проект. // почти как в г_системе, но числа не дискретные и в произвольном диапазоне.
struct t_vote_about_project_y{double arr;t_project_name p;};
using t_parsed_votes=std::vector<t_vote_about_project_y>;

3) тоже самое что и (1) или (2), но набор чисел выставляется не о проекте, а о каких-то двух проектах которые оценивающий пытается сравнить.
// это разрешает "строить\формировать\рисовать\зацикливать" граф оценок, но это не страшно, т.к нормальная система голосования все эти конфликты явно разрешит сама.
struct t_vote_about_two_project{std::vector<double> a,b;t_project_name pa,pb;};
using t_parsed_votes=std::vector<t_vote_about_two_project>;

4) просто расставить часть\все проекты по местам.
using t_parsed_votes=std::vector<t_project_name>;

а?

#1486
22:50, 29 авг. 2019

Adler
Для начала надо с целями и задачами определиться. Не абстракция в виде "обьективной оценки", а что-то прям конкретное и желательно измеримое.

Как я понял, Роман зафигачил свою систему, чтоб просто вероятность совпадения оценки, в отличии от топа, была минимальна. Но не дискретность конечно прикол. Даблом от 0 до 1 ))

#1487
22:56, 29 авг. 2019

Пересчитал сейчас оценки, взяв среднее геометрическое вместо среднего арифметического. Первые 6 мест остались на месте (emptiness rain всё так же обходит меня на сотые доли), а далее пошли отличия, но только из-за того, что некоторые ставили работам оценку 1, а в среднем геометрическом уже не нули, а единицы являются нейтральным числом, и смешиваются с реально выставленными кем-то единицами. То есть расстановка мест работам, которым никто не ставил единицы, осталась тем же. Были бы все оценки от 2 до 10 - результат вообще был бы тем же. О как.

Синее - среднее арифметическое, красное - среднее геометрическое. См. EWF и Вия: работе EWF никто не ставил единиц, а Вию ставили.

Среднее геометрическое при подсчете оценок | Конкурс Everything is a Remix / завершён

#1488
22:59, 29 авг. 2019

fantomass
> Как я понял, Роман зафигачил свою систему, чтоб
Я зафигачил её ровно с одной целью: дать судье возможность численно указать, насколько разница между первой и второй работой отличается от разницы между второй и третьей работой.

#1489
23:02, 29 авг. 2019

fantomass
> Для начала надо с целями и задачами определиться.
просто не терять ценную инфу, а так же не насиловать мозг оценивающих всякими выдуманными ограничениями, не? пусть оценивающие высказывают своё мнение как умеют и столько раз сколько посчитают нужным.

#1490
23:04, 29 авг. 2019

Mikle, как я понял из твоих сообщений, ты обращаешь внимание на следующую проблему: некоторые судьи держат в голове арифметическую шкалу, некоторые - геометрическую. А система рассчитана только на одну и из-за оценки некоторых судей теряют вес, а судьи об этом не подозревают. Я правильно понял?

#1491
23:14, 29 авг. 2019

romanshuvalov
> А ты сам пробовал составлять топ?
Пробовал как топ так и баллы, топ дался мне несколько легче.

#1492
(Правка: 30 авг. 2019, 0:02) 23:39, 29 авг. 2019

romanshuvalov
> численно указать
Дк а зачем? И откуда их брать? Почему шкала в 1..10 (или 11 значений, 0..10?)? тд тп

Топ в этом плане более натурален и при этом бескомпромисен. Нужно чётко определять кто лучше, кто хуже. Числом можно всех уровнять и потом чтоб выезжали на десятых и сотых, на больших выборках.

romanshuvalov
> некоторые судьи держат в голове арифметическую шкалу, некоторые - геометрическую
Ну вообще - геометрическая по умолчанию. Хотя там всё гораааздно сложнее. Ещё кучу лет назад (~10) читал исследования по этим вопросам. Там и не арифметическая и не геометрическая, а есть некий скачущий график (эффект аля 9,99 - это не 10). Чаще всего это вообще отражает что-то левое, аля соотношение ожидание/реальность, "эталон"/реальность. Поэтому, если смотреть рейтинги на IMDB или Rotten Tomatoes, неудивительно почему их стебут. Слишком много "парадоксальных" оценок. То есть, обычно говорят, что всегда геометрическая, где у некоторых в принципе степень "снобизма"/"радикализма"/(или близкого по духу качества) стремится к единице + ещё куча всего в отдельных промежутках и точках.

Adler
> просто не терять ценную инфу
Это которую?

Adler
> а так же не насиловать мозг оценивающих всякими выдуманными ограничениями, не?
Ну да. Поэтому система должна быть максимально простая и фановая.

Daimos
> Пробовал как топ так и баллы, топ дался мне несколько легче.
Чёт, ага, не вижу сложностей ни там ни там. Как выдумаешь, так и считаешь. Хотя я не вдавался в тонкости работы этих подходов, поэтому наверное могли и перемудрить.

Топ работает как наращивание веса с конца или как средняя позиция в списке?

Или это даёт одинаковый результат? ))
#1493
(Правка: 30 авг. 2019, 0:10) 23:54, 29 авг. 2019

fantomass
> Это которую?
ну вот например когда некоторые в конкурсах на igdc выставляют оценки, то они во время голосования делают лично для себя табличку где оценивают каждый проект по каким-то своим критериям, затем каждому критерию назначают какой-то весь\значимость, затем что-то там перемножив получают по одному числу на каждый проект, затем сортируют проекты используя эти числа и потом отдают упорядоченный набор названий проектов на сайт в качестве своего голоса. естественна вся эта инфа теряется(а иногда даже результаты голосования и комментарии к ним), т.к она там никому из организаторов не нужна.

fantomass
> Ну да. Поэтому система должна быть максимально простая и фановая.
когда г_система или любая другая система голосования теряет\игнорирует какую-то ценную инфу(которую в процессе просмотра игр сгенерировал оценивающий), то это иногда для кого-то нифига не фаново, а вообще полный отстой.

тоесть с такой привередливой точки зрения система голосования должна быть супер простой и дружелюбной(накладывать минимальные ограничения) снаружи, но супер сложной и честной внутри.

г_система - не очень честная, т.к например привела к занижению влияния оценок от alexxxdev.

#1494
0:01, 30 авг. 2019

Adler
Дк и правильно делают. Этож не релевантная инфа. Но понял, ты об этом:

> собирать от оценивающих участников "инфу\мнения\оценки" сразу в нескольких форматах

Ничего не даёт. Топ + фидбэк - этого достаточно. И главное как раз фидбэк..

#1495
0:20, 30 авг. 2019

fantomass
> Нужно чётко определять кто лучше, кто хуже
Ок, представь себе 9 работ, которые нужно выстроить от лучшей к худшей.

Одна работа отличная, бескомпромисный лидер, её ставишь на первое место (9 баллов).
Одна работа - полный отстой, её ставишь на последнее (1 балл).
А все остальные на твой субъективный взгляд одинаковые. Вот прям совсем одинаковые. Но ты обязан расставить их на места от 2 до 8, при этом работа с 8 баллами получится (якобы по твоему мнению) в 4 раза лучше работы с 2 баллами.

Другие судьи, возможно, будут судить по другим критериям и по их мнению работы будут более существенно отличаться, они смогут в такой системе оценок численно выразить свое мнение таким, какое оно есть.

А ты что будешь делать?

Adler
> г_система - не очень честная, т.к например привела к занижению влияния оценок от alexxxdev.
Она честно привела к занижению влияния оценок от alexxxdev, потому что alexxxdev, имея возможность выставить оценки в диапазоне от 1 до 10, выставил их от 3 до 7, говоря этим, что по его мнению разница работ не такая серьёзная, чтобы ставить им настолько разные оценки. И нет ничего удивительного, что другой судья с большим диапазоном оказал большее влияние на итоговый балл работ.

Это не косяк системы, это выбор конкретного судьи. Он мог всем одинаковый балл (5) поставить и это привело бы к нулевому влиянию. И это тоже был бы его выбор, глупо винить в этом систему.

#1496
(Правка: 1:19) 0:21, 30 авг. 2019

fantomass
> Этож не релевантная инфа.
это не важно какая она(релевантная к чему-то или нет). если организатор не может её как минимуму собрать и организовать так чтобы её можно было удобно получить\обработать, а затем составить триллион разных рейтингов по самым разным параметрам(для того чтобы "наградить\найти" кого-то), а потом получить от этого какую-то свою выгоду, то тогда ему стоит насаждать\использовать 10 бальную шкалу, да?

romanshuvalov
> Она честно привела к занижению влияния оценок
не буду спрашивать что делать с теми кто считает что с каких-то точек зрения такое занижение влияния при дискретной системе голосования — это что-то неявное\искусственное\грубое\неудобное, т.к например оно может быть применено к оценивающему которому было лень отмасштабировать свои оценки и потом натянуть их на дискретную ограниченную шкалу.

если так охота чтобы оценивающий мог явно занизить своё влияние в г_системе, то нужно разрешить ему кроме набора голосов предоставить ещё одно отдельно число — коэффициент занижения влияния, специально для тех кто считает что проекты недостаточно разные и потому разница между ними является незначительной, даже несмотря на то что он совершенно точно нашёл\вычислил её и не может игнорировать.

romanshuvalov
> говоря этим, что по его мнению разница работ не такая серьёзная, чтобы ставить им настолько разные оценки.
спасибо за интересную точку зрения, которую довольно просто не заметить, когда привык "нормализовывать\масштабировать" влияние от одноранговых участников :)

#1497
(Правка: 1:42) 1:39, 30 авг. 2019

romanshuvalov
> бескомпромисный лидер ... полный отстой ... все остальные на твой субъективный взгляд одинаковые
Ага, понял, был не прав. Топ не катит, так как получается бессмысленное квантование, разваливающееся на больших выборках. Катит, только если судья один.

romanshuvalov
> А ты что будешь делать?
Тогда сделал бы простое 0.0..10.0 и всё (и то 10 - это чисто для удобства, что сообщил бы соответствующим дисклеймером, чисто задумались чтоб). Как раз не дискретное. Типа чтоб ещё можно было ставить всякие рофляные оценки типа 6.9, 1.488, 3.666, 7.77, тд тп и превратил это в "элемент шоу".

Я это сказал вроде как что-то плохое:
> Числом можно всех уровнять и потом чтоб выезжали на десятых и сотых, на больших выборках.
: хотя, по факту, рассматривая твой пример - это не глюк, а фича. Чёт я да.. пять утра, а мозг не варит.. чёэто вдруг?! xD

То есть, подытоживая: участники-судья оценивают 0..10, а организатор одновременно/до составляет личный топ. Если совпали баллы, то по этому топу раскладываются все совпадения. Лучшее от двух миров.

romanshuvalov
> Она честно привела к занижению влияния
> Он мог всем одинаковый балл (5) поставить и это привело бы к нулевому влиянию
Антиутопия какая-то. Вдруг человек так и думает? Буддист какой-нибудь. Нашёл в каждой игре что-то позитивное и негативное, оценил и получился баланс. Чем его взгляды и мировоззрение хуже? Почему тут "все равны, но некоторые ровнее"? Не одобряю.

#1498
3:51, 30 авг. 2019

fantomass
> рофляные оценки типа 6.9, 1.488, 3.666, 7.77, тд тп и превратил это в "элемент шоу"
Целочисленные баллы введены для удобства судьи. Чтоб просто ставить цифры как в школе. При желании можно использовать и дробные, только ограничить число десятичных знаков, а то надётся кто-нибудь, чья оценка даже в дабл не влезет.

> а организатор одновременно/до составляет личный топ
Дополнительный судья, который вручную расставляет места, а остальные судьи должны сделать оценки так, чтоб итоговый балл сочетался с заранее определёнными местами... это уже идейно другое и странное и уж точно за рамками вопроса о подсчётах.

fantomass
> Чем его взгляды и мировоззрение хуже? Почему тут "все равны, но некоторые ровнее"? Не одобряю.
Так вот именно для того, чтобы его взгляды можно было численно выразить в баллах, я и призываю пользоваться оценками вместо топа. Если судья решит, что работы одинаковые, топ не даст это мнение выразить в баллах. А оценки дадут. Ну а если судей двое, один выставил всем одинаковые оценки, то разумеется итоговый балл будет полностью зависеть от второго судьи.

А вот если несколько судей выставили работам одинаковые баллы, а другой судья - разные, то итоговый балл зависит только от последнего, но логически можно рассудить так: раз большинство судей решило, что работы одинаковые, значит с этим большинством надо считаться и итоговый балл должен быть одинаковым. И вот это уже очень интересно. Не знаю только, как это изобразить численно.

#1499
8:32, 30 авг. 2019

romanshuvalov
> Mikle, как я понял из твоих сообщений, ты обращаешь внимание на следующую
> проблему: некоторые судьи держат в голове арифметическую шкалу, некоторые -
> геометрическую. А система рассчитана только на одну и из-за оценки некоторых
> судей теряют вес, а судьи об этом не подозревают. Я правильно понял?
Правильно. Причём, если судья - не программист, то объяснять ему, что нужно иметь ввиду линейную (или логарифмическую) шкалу будет сложно, тут действительно выйдет излишнее усложнение.
romanshuvalov
> все остальные на твой субъективный взгляд одинаковые. Вот прям совсем одинаковые.
Так не бывает. Не нужно выбирать лучшую из кучи, сравнивай попарно, так всегда можно найти разницу. Так, пузырьком, расставишь все работы по местам.

Страницы: 196 97 98 99 100 101 Следующая »
ПроектыФорумКонкурсы