お好み焼きランキング、評価方法を見直しました

このたび、お好み焼きランキングの評価方法の見直しを行いました。

今回の見直しは訪問回数の総合評価への影響を少なくするためのものです。

このランキングは、評価の妥当性と信頼性を高めたいとのねらいから、訪問回数、他者評価、web評価を加味して評価するような評価方法を採用しています。
つまり、何度も訪問してもそれでも美味しいと感じる店や、他者から見ても美味しいと評価されている店の、ランクが高くなるようにしています。

しかし、お好み焼きランキングも3年目に入り、ランキング上位のお店はかなり訪問回数が高くなってきています。もちろん、これは、美味しいと思うからこそ何度も行くわけで、訪問回数が増えることでランキングが上がるという評価方式も、それなりに妥当性があるとは思います。ただ、どんなに美味しいと思う店でも、何回か訪問して評価が定まった後でないとランキングに入らないという状態が続いており、私自身が妥当だと思えるランキングとずれが生じるようになってきました。

そこで、今回、訪問回数の影響を少なくするために、評価方法を以下の通り、改定します。

評価方法

お好み焼きランキングの評価方法の、基本的な考え方は、これまでと変わりません。
私が１から５までの５段階で評価し、それを訪問回数と第三者評価を取り入れて修整するという方法です。
http://blogs.yahoo.co.jp/kn_hosoi_hue/34193318.html

ただし、訪問回数の影響が小さくなるよう、評価算式を、以下のように改定します。

総合得点＝自己評価×信頼性係数

旧：信頼性係数＝１＋（訪問回数＋他者評価数＋web評価数）／１０
新：信頼性係数＝１＋（訪問回数／２＋他者評価数＋web評価数）／１０

つまり、今回の改定で、訪問回数の影響を２分の１に減じました。
これで、私の自己評価を基本に近い形になりました。

評価結果の公表方法(変更なし)

２０１０年第４四半期に、以下の通り、評価結果の公表方法を見直しました。
公表方法については、今回変更ありません。
以下の評価方法を、今後も継続していきます。

まず、大原則の、私が美味しいと思う店（自己評価３．５以上）しか公表しないという点は、変わりません。
その上で、以下の２点を変更します。

１．上位５０位以内のみの公表とします
これまでは、自己評価３．５以上のお店を全てランキングに入れてきましたが、今後は上位５０位以内のみの公表とします。
理由は二つあります。
一つ目は、総合得点の計算方法の関係で、初登場のお店に不利なランキングになってしまっていることです。例えば、自己評価が４であっても、私が一度訪問しただけで、第三者評価もなければ、総合得点は４×１．１＝４．４になります。これは、今回のランキングでは、５２位に相当します。自己評価で４としているお店ですからかなりおいしいのですが、５２位という順位が「美味しくない」という誤解を与える可能性があると思うのです。こういうお店も、訪問回数が増えたり、他者評価が聞こえてきたりすれば、後日確実に上位に入りますから、むしろそれを期待したいと思います。
二つ目は、ご紹介するお店が増えて、yahoo！ブログの記事の文字制限内に収まらないことです。特に記事にリンクを貼るとwiki文法のおかげで、文字数制限に引っ掛かるのです。
以上の理由から、今後はベスト５０のみの公表としたいと思います。

２．「殿堂入り」基準の見直し
これまでは、自己評価５以上の店は、殿堂入りとしていました。
しかし、自己評価４．５や４のお店でも、総合得点が自己評価５のお店を上回るケースが出てきました。そこで自己評価５以上という基準を廃止しました。
そこで今回からは「殿堂入り」というランクは原則廃止します。
ただし、今後は、自己評価３．５以上の名店でありながら、残念ながら閉店してしまったお店に限り、「殿堂入り」とすることにします。

３．「参考」ランクの廃止
これまでランキングに入らないお店を、「参考」というランクでランキングしていましたが、今後はこれを廃止します。
もちろん、自己評価３．５未満のお店からでも、学ぶべきものがたくさんあります。
例えば、お好み焼きの歴史を考える上で重要だとか、お好み焼き店の経営を考える上で重要だとか・・・。
だからこそ「参考」というランクを設けて公表してきたのですが、「３．５未満だ」という点が強調されてしまうと、「おいしくない」とレッテルを張っているようなことになります。
私は、広島風お好み焼きを応援したいと思ってこの企画をやっているわけですから、そうなるとこの企画の意図とは違った結果になってしまいます。
そこで、「参考」ランクは、今回から廃止いたします。

４．お店の紹介記事はこれまで同様書いて行きます。
お店の紹介記事は、これまで同様、このランキングと関係なく書いて行きます。
記事を書いて紹介したお店が、このランキングに入るかどうかは、別問題。
あくまでベスト５０のみの紹介ですから。

さて、以上のような方法で、２０１１年第４四半期分から公表をいたします。
また、先日公表した２０１１年第３四半期分についても、新評価方式で再評価し、新旧比較を公表します。

いずれにしても、あくまで私の主観的評価がベースですので、あらゆる人が納得するランキングになるとは限りません。
あくまで趣味程度のものですので、あまり深刻に考えずに、気楽にご覧ください。

広島ブログランキング「クリサポ」です。よろしければぜひクリックしてください！
↓↓↓