信頼できる結果 - いわしログ

hatena:1087127876, hatena:1087658026
投稿するか、するとすればどの質問の「いわし」に投稿するかは未定。とりあえず下書き（途中）。

aki73ixさんとYunyさんのコラボレーション事例（はてなポイント）

アンケート１：hatena:1086055414（５１人）
アンケート２：hatena:1086058800（１０００人）

ポイントの取得についてのアンケート。ただし、選択肢がやや異なる。
アンケート２独自の選択肢一度も購入せず、アンケートくらいなら答えるは、一度も購入せず、質問に答えてばかりに含むと解するのが自然。
アンケート１、２とも「一度も購入せず、質問に答えてばかり」を選んだ人が大半で、アンケート１では５１人中４７人（92.2%)、ちなみにアンケート２の５０人時点では４６人で（92%）、１０００人中では８７３人（87.3%）。
母数が２０倍になっていることを考えると、当然ありうる誤差であると思う。

Stuffit形式の事例

hatena:1086587825
いわしにある投票数から割合を計算（単位は%）

項目	100人	500人	600人
SITを知らない	42.0	52.2	50.5
聞いたことはあるが知らない	8.0	7.8	7.8
知っているが未使用	16.0	13.0	13.5
未対応	1.0	1.6	1.5
困った・使わない	13.0	12.4	12.5
困った・使う	8.0	5.6	6.0
常用	12.0	7.4	8.2

「最初の１００人はコンピューターに、またはMacに馴染んだ人が多く、以降、コンピューター知識が平均化していく」程度のコトしか読み取れないと思う。

go4649さんの事例（プレゼント）

hatena:1084351125
プレゼントの相手の趣味・嗜好を予想するアンケートではなく、回答者の趣味・嗜好を求めているアンケートなので、考えられる範囲の結果。
ただし、本当に懐中時計が欲しかったのか、とりあえずポイントが欲しかったのか（４、５０代の男性が僅か１ポイントを、というのはちょっと考えがたいが）、個々のURLを見るのがメンドくさかったのか（謝礼が１ポイントなのでこれが濃厚？）、理由は分からないが、１つめの選択肢に票が集まっているのはやや偏りすぎな気もする。
「カフスだけ」や「タイピンだけ」と「カフスとタイピン」は違うので、「カフスだけ」「タイピンだけ」をプレゼントしていたら、懐中時計よりも。・゜゜ ’゜(*/□＼*) ’゜゜゜・。ウワァーン!!な反応だったかもしれない。

quesさんの事例１（ファイナルファンタジー）

hatena:1082555233
発売本数とは異なる結果だと思うが、「人力検索」「アンケートはてな」の回答者層に偏りがあることを示しているだけで、この結果だけを見て「信頼できない結果」とは言えないと思う。

nankichiさんの事例１（日ペンの美子ちゃん）

hatena:1086844484
質問者のnankichiさんは、絶対に３人もいません、やったことのある人。６％も出現率あったら、ものすごいことです。とのことだけど、日ペンも美子ちゃんもよく知らない私には判断できない。
ただ、マスメディアの世論調査でも学術的な調査でも、母数５０人というのは偏りが出うる数ではないかなと思う。

nankichiさんの事例２（アンケートはてな）

hatena:1085065551
このアンケートの結果は面白い。
１００人中、少なくても３８人は、（質問の条件にあてはまらないのに）適当に答えたことがあると答えている。「選択肢が長くてメンドくさい時」とか「常に」とかで条件分けするなり、同じアンケートをより多くの対象で取ると、どのようなアンケートではポイント狙いの回答が多いのか、常にポイント狙いの人がどれくらいいるのか、いろいろと分かるかもしれない。

quesさんの事例２（映画）

「nankichiさんの事例」に関連して。
hatena:1087350392
母数が異なるが、７７人中、少なくても１２人（１５．６％）が、「質問の条件にあてはまらない」のに答えている。ただし、正直に答えている。「信頼」という意味では「信頼できる」結果？

poponaさんの事例１

hatena:1085321193
poponaさんのダイアリーぽぽなだいありwithもえたんでも、はてなの各サービスを利用していますか。として考察されている。
poponaさんも書かれているように、１００人中４人（４％）は明らかに不十分な回答。ただ、有効回答率９６％は、一般に十分な値ではないかなと思う。問題は、４％の人の投票を除外できないこと。
一方で、対象：はてなダイアリー市民であるのに、この設問を見る前から、自分がはてなダイアリー市民であることを知っていたが６９人であることについて。「市民権」であるはてなダイアリーでキーワード編集したことがある人が５５人、キーワード編集に興味がない人にしてみると自分が市民であることに興味もなければ、市民権の取得を知らないのかもしれない。
ちなみに私は、回答しようとした「アンケートはてな」で対象が「はてなダイアリー市民」であったために「はてなダイアリー市民」という言葉と、自分が市民でないことを知った。その後、ダイアリーを始めたが、キーワード編集に興味がなく、全ての「アンケートはてな」に回答したいわけでもないので市民権は意識してなく、市民権の取得方も知らなかった。たった今、「はてなダイアリー市民」について調べていて、取得方と権利の内容、そして自分が市民権を得ていることを知った。（ただし、過去の日付のダイアリーを記述したために不正に市民権を取得したもよう）
ともあれ、私自身が「市民」であることを意識していなかったので、この割合が不自然かどうか判断できず。
どちらかと言うと、購入以外で、ポイント増加する行動をしたことがある（人力検索回答、ポイント受信など）が８１人である方が気になる。アンケートに回答する時点でこの選択肢に該当すると思うのだけど、選択肢が過去形ということで、このアンケートで初めて回答する人が１９人もいたということなのかな。

poponaさんの私見

百人未満では大したデータは得られない
千人以上の回答者を集めるのは難しい

には賛成。
『（対象人数の少ないアンケートは）はてなに張り付いてる人を対象にしたいときには活用できるのかなぁ』も賛成。
ちなみに、「対象：全はてなユーザー」で、（充分な期間質問しても）１０００人集められなかったアンケート。

hatena:1077251002（２００４年２月２０日〜、７７４人）
hatena:1077792829（２００４年２月２６日〜、５８４人、期間短かったのかも）
hatena:1086188340（２００４年６月２日〜６日、対象：はてな質問・回答者、５８５人）
hatena:1086575162（２００４年６月７日〜、８６０人）
hatena:1086937502（２００４年６月１１日〜、８５５人）

一方、千人以上回答したアンケート

hatena:1085113303（２００４年５月２１日〜、１０００人）
hatena:1086058800（２００４年６月１日〜、１０００人）

hatena:1088090598（２００４年６月２５日〜、１２１８人）

nankichiさんなどの私見

hatena:1077689724
優れた考察が多いと思う。賛同するものたくさん。

poponaさんの事例２（質問の見つけ方）

hatena:1087469345
いわしにある投票数から割合を計算（単位は%）

項目	１時間	５時間	１１時間	１８時間	最終
トップページ	8.5	5.6	5.6	4.6	4.8
質問一覧（全質問）	38.0	36.7	35.4	34.4	32.8
質問一覧（アンケート）	12.7	28.8	32.3	35.3	38.8
questionモジュール（全質問）	4.2	3.4	3.1	2.7	2.8
questionモジュール（アンケート）	0.0	1.1	1.0	0.9	1.2
他人のダイアリー	1.4	0.6	0.5	0.4	0.4
メール（全ジャンル）	4.2	4.5	4.1	3.6	3.2
メール（一部ジャンル）	14.1	7.9	7.2	7.6	6.8
メール（アンケートのみ）	9.9	6.8	6.2	5.8	5.2
質問履歴	0.0	0.0	0.0	0.0	0.0
予備	5.6	3.4	3.6	3.6	3.2
その他	1.4	1.1	1.0	0.9	0.8
合計（人数）	７１人	１７７人	１９５人	２２４人	２５０人

割合の推移と総投票者の推移を併せてグラフ化した方が分かりやすいんですけど、アップ場所確保するのがメンドくさいのです。
直感的には、ポイント狙いの投票によって信頼が損なわれてるとは思えない。ただし、対象：はてなダイアリー市民。