Привет?
Дело в том, что не так давно я прочел в блоге Нудник.ру интересный пост о составлении рейтингов. А потом еще прочел к нему комментарии. И если вы нажмете на «читать дальше», то внезапно увидите этот пост, исправленный и дополненный.
—————
Основной (и единственный) постулат первого поста (это — второй, разъяснительный) был:
Так как почти никто не понял этой гениальной гипотезы, был написан сей пост.
Но сначала — в чем смысл голосования вообще. Во-первых, конечно же —- … Но это кто-то должен сказать все равно. Голосование — это выбор. Перед вами поставили пять президентов и под каждым повесили radiobutton. Выбери одного.
Понятно, что проголосовать одновременно за Жирика и за Зюгу нельза. А очень хочется.
Другое дело, когда у тебя есть много материала, и каждой твари можно проставить по паре оценку от 1 до 5. Конечная цель для голосования «на той стороне», то есть для сайта —- всё тот же выбор, верней —- отбор, отсеивание говна и составление более-менее адекватных топов.
Цель голосования для пользователя же совсем другая, ибо выбора нет. Пользователь может всем оцениваемым сущностям поставить 5 баллов. Полный аналог «я хочу, чтобы все были президентами одновременно». Понятно, что ценность этих голосов равна нулю, и в чистом виде такое почти не встречается, но возможность проголосовать так есть.
Ограниченного ресурса («выбери одного») нет, поэтому мотивов расходовать его экономно (или разумно) тоже нет. Но хоть какие-то мотивы нужны, поэтому и включаются эмоциональные механизмы, которые к тому же бинарны: «понравилось/не понравилось».
Разграничивать «понравилось, но не очень», то есть ставить «четверку» вместо «пятерки», смысла тоже нет: «вам что, жалко, что ли?». Нет, не жалко. Мы —- добрые! А вот если нас, таких добрых, разозлить…
С точки зрения голосования, как выбора, дискретность шкалы имеет значение: чем больше шкала, тем выше точность. Наиболее подходящая шкала — стобалльная (при этом надо понимать, что голосование, типа 7.5 —- это тоже стобалльная шкала, которая к тому же понятно для пользователя приводится в десятибалльной).
С точки зрения людей и особенно социально взаимодействия, наиболее удобна бинарная шкала: гавно/конфетка.
И 75–95% людей будут сводить любую шкалу к бинарной.
Отсюда промежуточный вывод: как ты шкалу ни назовешь, ее все равно будут использовать ровно одним способом, как только поймут, что в ней «хорошо», а что –- «плохо».
Дискретная шкала просто имеет чуть больше смысла для 10% адекватных людей, которые будут использовать ее «идеологически верно». Еще один побочный эффект: чем больше делений у шкалы, тем больше шансов, что «щедрый» человек поставит 9.7/10 вместо 5/5: «это не так обидно».
Людей же, которые «голосуют сердцем», не пронять ничем, даже индивидуальной подписью к каждой оценке. У них все равно будет свой взгляд, «они так видят».
—————
Налицо конфликт между авторами сайта и посетителями.
Наглядный пример: на картинке представлен результат разброса голосов на imdb.com по фильму «Крестный отец», который занимает первое место в top-250.
Видно, что 6% людей поставили фильму 1 из 10, то есть считают «Крестного отца» невероятным феерическим говном, после просмотра которого у них выпали глаза, случился самопроизвольный фимоз головного мозга и развилась патологическая боязнь кинематографа.
Очевидно, что это не так, даже чисто математически: далее график проседает аж до «семерки», и куда делись те люди, которые оценили фильм в промежутке от 1 до 7 —- не понятно. Согласно математическим ожиданиям, их должно быть в разы больше.
Средний балл при этом у лучшего фильма всех времен и народов всего 8,7.
Конфликт «разруливается» элементарно: «one man, one vote» — принцип для наивных дураков, которого придерживаться не нужно.
То голосование, которое мы имеем на входе —- это просто некие сырые статистические данные, которые нужно оценивать именно так —- как данные. При этом вычисление среднего балла —- наиболее нелепая вещь, которую можно сделать с этими данными. Средний балл не работает сразу (один проголосовавший), не работает и потом, потому что процент идиотов —- величина постоянная, а бирки на них, увы, не развешены.
На imdb используется weighted vote averages:
Простым языком это значит только одно: «не все голоса одинаково полезны».
Возвращаясь к «Во всех голосованиях, типа +1/-1 должно быть на самом деле +N/-M, где N!=M (N не равно M)» это значит только одно: «есть гипотеза, что люди „опускают“ с большей охотой, чем „поднимают“ (или наоборот), если эта гипотеза верна, то собранные статистические данные полезней считать не как тупую сумму, а с применением веса».
То есть, почти всё то же самое, что написано выше, но применительно к бинарной системе.
Проблема в том, что бинарную систему сложнее нормализировать. Совсем условно говоря, в стобалльной системе мы можем смело считать людей, поставивших «один», откровенными ретардами, в бинарной системе нам для этого просто недостаточно данных.
С другой стороны, «голосование», типа +1/-1 —- практически идеальный инструмент для «опускания», поэтому использовать его нужно именно так: как массовое коллективное опускание. «Мне карму заминусовали». Еще один плюс такого голосования состоит в том, что влияние одного человека является понятной константой, и понятно, «как с этим бороться». В отличие от голосования по N-балльной шкале и подсчете среднего балла.
(Не знаю, почему до сих пор никто не реализовал «спарринговую» систему голосования: пользователю дается три-пять случайных работ, но примерно одинаковых по рейтингу работ, а он должен выбрать одну).
—————
Таким образом, идеальная система голосования:
1. Предлагает не бинарную шкалу, главным образом для себя, но еще и для маленького процента нормальных людей.
(Пользователи говорят, что им «привычна» пятибалльная, но они просто врут, ее просто проще привезти к бинарной. На «серьезных» проектах я бы делал 100 балльную и приводил всё к виду 7.5/10).
2. Не навязывает пользователям трактовку этой шкалы (!).
3. Не обязана и не должна учитывать каждый голос одинаково.
4. Имеет закрытые механизмы подсчета конечного рейтинга.
—————
Здесь пост заканчивается, а я скопирую один комментарий (тоже полезный). Если внизу появятся хорошие комментарии (субъективно, но вы можете посоветовать), то я их тоже сюда засуну. Да, таким образом, выйдет что смысл поста — не тупой копипаст, а собранные в одном удобном месте мнения по этому вопросу:
P.S. А моя мать, преподающая основы драматургии и снимавшая долгое время фильмы, считает, что imdb — рейтинг кино по мнению домохозяек и рабочих металлургического завода.
P.P.S. Я тут внезапно придумал, что делать, если вам понравился топик, но вам не понравилось то, что я скопипастил, а не дал ссылку. Я думаю, что я все правильно сделал, и выше обьяснил, но если вы все равно не признаете мою правоту, то вы можете плюсануть топик и насрать мне в карму ;) Тогда топик не отхабрится, а вы почуствуете себя войном справедливости, добра и света.
Дело в том, что не так давно я прочел в блоге Нудник.ру интересный пост о составлении рейтингов. А потом еще прочел к нему комментарии. И если вы нажмете на «читать дальше», то внезапно увидите этот пост, исправленный и дополненный.
—————
Основной (и единственный) постулат первого поста (это — второй, разъяснительный) был:
Во всех голосованиях, типа +1/-1 должно быть на самом деле +N/-M, где N!=M (N не равно M).
Так как почти никто не понял этой гениальной гипотезы, был написан сей пост.
Но сначала — в чем смысл голосования вообще. Во-первых, конечно же —- … Но это кто-то должен сказать все равно. Голосование — это выбор. Перед вами поставили пять президентов и под каждым повесили radiobutton. Выбери одного.
Понятно, что проголосовать одновременно за Жирика и за Зюгу нельза. А очень хочется.
Другое дело, когда у тебя есть много материала, и каждой твари можно проставить по паре оценку от 1 до 5. Конечная цель для голосования «на той стороне», то есть для сайта —- всё тот же выбор, верней —- отбор, отсеивание говна и составление более-менее адекватных топов.
Цель голосования для пользователя же совсем другая, ибо выбора нет. Пользователь может всем оцениваемым сущностям поставить 5 баллов. Полный аналог «я хочу, чтобы все были президентами одновременно». Понятно, что ценность этих голосов равна нулю, и в чистом виде такое почти не встречается, но возможность проголосовать так есть.
Ограниченного ресурса («выбери одного») нет, поэтому мотивов расходовать его экономно (или разумно) тоже нет. Но хоть какие-то мотивы нужны, поэтому и включаются эмоциональные механизмы, которые к тому же бинарны: «понравилось/не понравилось».
Разграничивать «понравилось, но не очень», то есть ставить «четверку» вместо «пятерки», смысла тоже нет: «вам что, жалко, что ли?». Нет, не жалко. Мы —- добрые! А вот если нас, таких добрых, разозлить…
С точки зрения голосования, как выбора, дискретность шкалы имеет значение: чем больше шкала, тем выше точность. Наиболее подходящая шкала — стобалльная (при этом надо понимать, что голосование, типа 7.5 —- это тоже стобалльная шкала, которая к тому же понятно для пользователя приводится в десятибалльной).
С точки зрения людей и особенно социально взаимодействия, наиболее удобна бинарная шкала: гавно/конфетка.
И 75–95% людей будут сводить любую шкалу к бинарной.
Отсюда промежуточный вывод: как ты шкалу ни назовешь, ее все равно будут использовать ровно одним способом, как только поймут, что в ней «хорошо», а что –- «плохо».
Дискретная шкала просто имеет чуть больше смысла для 10% адекватных людей, которые будут использовать ее «идеологически верно». Еще один побочный эффект: чем больше делений у шкалы, тем больше шансов, что «щедрый» человек поставит 9.7/10 вместо 5/5: «это не так обидно».
Людей же, которые «голосуют сердцем», не пронять ничем, даже индивидуальной подписью к каждой оценке. У них все равно будет свой взгляд, «они так видят».
—————
Налицо конфликт между авторами сайта и посетителями.
Наглядный пример: на картинке представлен результат разброса голосов на imdb.com по фильму «Крестный отец», который занимает первое место в top-250.
Видно, что 6% людей поставили фильму 1 из 10, то есть считают «Крестного отца» невероятным феерическим говном, после просмотра которого у них выпали глаза, случился самопроизвольный фимоз головного мозга и развилась патологическая боязнь кинематографа.
Очевидно, что это не так, даже чисто математически: далее график проседает аж до «семерки», и куда делись те люди, которые оценили фильм в промежутке от 1 до 7 —- не понятно. Согласно математическим ожиданиям, их должно быть в разы больше.
Средний балл при этом у лучшего фильма всех времен и народов всего 8,7.
Конфликт «разруливается» элементарно: «one man, one vote» — принцип для наивных дураков, которого придерживаться не нужно.
То голосование, которое мы имеем на входе —- это просто некие сырые статистические данные, которые нужно оценивать именно так —- как данные. При этом вычисление среднего балла —- наиболее нелепая вещь, которую можно сделать с этими данными. Средний балл не работает сразу (один проголосовавший), не работает и потом, потому что процент идиотов —- величина постоянная, а бирки на них, увы, не развешены.
На imdb используется weighted vote averages:
IMDb publishes weighted vote averages rather than raw data averages. Various filters are applied to the raw data in order to eliminate and reduce attempts at ’vote stuffing’ by individuals more interested in changing the current rating of a movie than giving their true opinion of it.
The exact methods we use will not be disclosed. This should ensure that the policy remains effective. The result is a more accurate vote average.
Простым языком это значит только одно: «не все голоса одинаково полезны».
Возвращаясь к «Во всех голосованиях, типа +1/-1 должно быть на самом деле +N/-M, где N!=M (N не равно M)» это значит только одно: «есть гипотеза, что люди „опускают“ с большей охотой, чем „поднимают“ (или наоборот), если эта гипотеза верна, то собранные статистические данные полезней считать не как тупую сумму, а с применением веса».
То есть, почти всё то же самое, что написано выше, но применительно к бинарной системе.
Проблема в том, что бинарную систему сложнее нормализировать. Совсем условно говоря, в стобалльной системе мы можем смело считать людей, поставивших «один», откровенными ретардами, в бинарной системе нам для этого просто недостаточно данных.
С другой стороны, «голосование», типа +1/-1 —- практически идеальный инструмент для «опускания», поэтому использовать его нужно именно так: как массовое коллективное опускание. «Мне карму заминусовали». Еще один плюс такого голосования состоит в том, что влияние одного человека является понятной константой, и понятно, «как с этим бороться». В отличие от голосования по N-балльной шкале и подсчете среднего балла.
(Не знаю, почему до сих пор никто не реализовал «спарринговую» систему голосования: пользователю дается три-пять случайных работ, но примерно одинаковых по рейтингу работ, а он должен выбрать одну).
—————
Таким образом, идеальная система голосования:
1. Предлагает не бинарную шкалу, главным образом для себя, но еще и для маленького процента нормальных людей.
(Пользователи говорят, что им «привычна» пятибалльная, но они просто врут, ее просто проще привезти к бинарной. На «серьезных» проектах я бы делал 100 балльную и приводил всё к виду 7.5/10).
2. Не навязывает пользователям трактовку этой шкалы (!).
3. Не обязана и не должна учитывать каждый голос одинаково.
4. Имеет закрытые механизмы подсчета конечного рейтинга.
—————
Здесь пост заканчивается, а я скопирую один комментарий (тоже полезный). Если внизу появятся хорошие комментарии (субъективно, но вы можете посоветовать), то я их тоже сюда засуну. Да, таким образом, выйдет что смысл поста — не тупой копипаст, а собранные в одном удобном месте мнения по этому вопросу:
У нас на сайте журнала через два месяца после выхода номера выкладываются статьи. Эти статьи можно оценивать по десятибальной системе. Вот мысли, выросшие на основании наблюдений за процессом.
1. Часть людей всегда ставит «1». Всегда. Всем статьям. Потому что. Как результат, количество единиц для статьи зависит только от того, скольким мудакам она попалась на глаза. В конце концов решили просто не учитывать единицы при подсчете среднего балла. В социологии это называется вопрос-ловушка (точнее, так называл социолог в универе), то есть специальный фильтр для тех, кто хочет просто поприкалываться. Типичный пример —- вариант ответа «у меня нет интернета» в онлайн-опросе о скорости доступа.
1а. О максимальных оценках того же сказать нельзя.
2. Как правило, образуется нормальное распределение оценок. Десятибальная шкала идеальна для оценки чего-либо, стобальная сводится к ней. Подчеркну —- оценки, а не выбора.
3. (Продолжение пункта 2). Выбирать что-то лучшее можно двумя путями: либо предлагать оценивать каждое и сравнивать оценки, либо же предлагать полный список и давать выбор. В общем случае результаты разные, что очень интересно. (jerkyll)
P.S. А моя мать, преподающая основы драматургии и снимавшая долгое время фильмы, считает, что imdb — рейтинг кино по мнению домохозяек и рабочих металлургического завода.
P.P.S. Я тут внезапно придумал, что делать, если вам понравился топик, но вам не понравилось то, что я скопипастил, а не дал ссылку. Я думаю, что я все правильно сделал, и выше обьяснил, но если вы все равно не признаете мою правоту, то вы можете плюсануть топик и насрать мне в карму ;) Тогда топик не отхабрится, а вы почуствуете себя войном справедливости, добра и света.
