Home‎ > ‎Etc‎ > ‎

RatingSystem

080918_08_13

うぉ。かなり書いてたのに、消えやがった。
今日も調子が怪しいぜ  JotSpot

何を書いてたかというと、iPhoneのアプリのレビューを書いていて思ったこと。
この評価、iTunesの評価に直接書いちゃえばいいんじゃね? …… orz

Ratingシステムというのはいたるところにあって便利なのだが、どの程度信憑性があるのだろうか?と考えていた。
同じ5段階評価でも、人によって辛めにつける人もいれば、緩めにつける人もいるだろう。

例えば、ヤフオク。あれって、暗黙の了解で 5が基準になっているんだよね。
4だと、ちょっとなにか不満があった、みたいにとられる。
まぁ、実際問題として、(知らない人にとっては、迷惑な話だが。)そういう暗黙の了解が浸透しているならまだいいのだろうけど。

後、よく言われるのは、アンケートとかで、「どちらでもない」的な中間項目を設けておくと、日本人の場合そればっかりチェックするので、アンケートにならないとか。

まぁ、「辛めの評価」をする人の集団がいて、一方で「緩めの評価」をする人の集団がいるとする。

あるアプリA に対して、「辛めの評価」をする人が好んで使い、評価をしたとする。
もうひとつのアプリBに対しては、「緩めの評価」をする人が好んで使い、評価をしたとする。

これらの評価を集計したら、AとBの評価が 平均3で同じだった。

さて、裏側を知らない第三者からみたら、この評価は同等に見える。
でも実際には、Aの評価は辛くて、Bの評価は緩い。

つまり、Ratingシステムの信頼性に問題が出るだろうと言うこと。

もちろんコレを補正する方法は色々考えられて、
  • 一定数以上評価を行っている評価者だけを対象にする
  • 評価者ごとに平均とばらつきを計算して、補正した値を集計する
でも、これでも多分問題は残る。例えば、よいモノだけを評価する人もいるかもしれないし、
気に入らないモノだけを選んで評価する人もいるかもしれないわけで。

で、思ったのが世の中のレーティングシステムって、どの程度までそういうことを考慮しているのか?
あるいは、結局なにも補正とかしないのが、そこそこ妥当だったりするのだろうか?

ということね。













Comments