August 7,2007
笨蛋!問題在不表態與拒訪率!
老實說,樣本代表性檢定...其實沒什麼用處,因為用事後加權調整方式調回趨近母體結構,對調查結果不會有太大影響,頂多就是寥寥可數的百分比增減,趨勢是不變的;反而是拒絕表態和拒訪數影響比較大,因為在加權過程中如果某些加權變數(通常是教育程度或居住地)受訪者沒有回答,該受訪者的意見就會被犧牲,所以可能原始有效樣本是1068,但最後加權後只剩980,所以寫報告時要本加權後數據再放大調回原來的1068,問題來了,那些刪除掉的資料在隨機抽樣過程中是有代表性的,其意見卻不會在報告中被顯現!這還是"小"問題而已,真正的問題是「未表態者」(通常歸類為無意見/不表態/拒答)與一開始或中途接聽電話但不願意接受訪問的「拒訪者」。
去年北高市長選舉是最好的例證,林宗弘、蘇建州老師分別撰文頗析當前媒體可能出現的民調操作疏漏:林文提到訪員偏誤(interviewer-relatederror)、不合作比率(noncooperation rate)以及加權計算方式出現偏誤,指出選前除了自由時報和D黨自己所做的民調之外,其餘各媒體民調結果離選舉結果大約都有14.7%的誤差,並根據自己的經驗法以聯合報民調結果為例,把七成的拒訪者算到陳菊那邊後,其支持比例跟黃俊英是其實相當的(很好奇那七成的判斷是如何出現的...);不過他認為選民不會浪費時間去欺騙調查單位,所以沒有訪員偏誤問題(interviewer-relatederror,他好像把interviewer跟interviewee弄錯了...還是我學藝不精?),他大概沒看過大話新聞吧~眾多阿伯得意的說他們騙過藍營媒體民調...
蘇老師則指出未回應誤差(non-response error)的干擾,是民調品質不穩定的頭號戰犯,但由於受訪者拒訪或不表態的原因很複雜,干擾的程度也會隨著政治氣氛連動,難以估算;再加上要取得他們的回應所需要的時間與成本較高,因此媒體民調經常會方便行事,以替代樣本或加權的方式處理,忽略其潛在的殺傷力。正解!這才是台灣媒體民調不準最可能的答案!動輒3、4成的拒訪率,取樣就出了問題,後續再怎麼加權調整都沒有用!因此機構效應(house effect)在此是以拒訪率的形式出現。
總之,無意見/不表態/拒答的數字如何解讀,原始拒訪樣本如何處理,如合讓機構不成為特定族群的拒絕往來戶,這才能提升民調品質,降低拒訪成本、增進全體民調業者之福利啊~嗚呼哀哉~
延伸閱讀:
《自由時報》林宗弘:媒體民調的系統性失靈
《自由時報》蘇建州:烏龍民調/問題不在樣本數 在「未回應誤差」
*任性推薦:
《民調系列1》誰的御用媒體?誰的謊言?
《民調系列2》《中時民調:謝蘇配略勝馬蕭配》,咁有影?
《民調系列3》北市府民調:搭過貓纜民眾 64%滿意
《民調系列4》淺談:民調中的樣本代表性檢定與加權處理
《民調系列6》停辦童玩節 半數(51%)宜蘭公民不贊成
《民調系列7》虎爛:錢雖比大陸多一倍 台灣新鮮人 起薪大於產值
《民調系列8》台灣蓋洛普,別再虎爛了!
《民調系列9》阿扁貢獻小於臭頭仔?
引用URL
http://cgi.blog.roodo.com/trackback/3872789
回應文章 
林宗弘原文
只有錯誤民調,沒有隱性選民!
只有錯誤民調,沒有隱性選民!
Posted by 無差別
at May 26,2009 17:57