抽樣調查(8)問卷設計(Survey sampling-8.Questionnaire design)

Print Friendly

抽樣調查(8)問卷設計(Survey sampling-8.Questionnaire design)
國立高雄大學應用數學系黃文璋副教授責任編輯

連結:抽樣調查(7)調查誤差

在 2001 年 1 月號中文版讀者文摘,有一篇“民主難道只是數字遊戲?”原作者為Eric Burns。對藉民意調查之名背棄原則的政客,提出若干批評,也撿討民調中提問的措辭方式。一個例子是,美國總統柯林頓,因與白宮見習生莫妮卡.萊溫斯基糾纏不清的關係,在大陪審團要求他前往作證之前,一份民調中有下述一道問題:

你贊成讓總統做完他的任期而不再受到調查,還是讓他受彈劫下台?

有些人兩者都不贊成,他們可能贊成某種形式的懲罰,而不是從不再受到調查及彈劫下台中二選一。但是所給的問題中,卻沒有別的選擇。能有的選項,不外是極力贊成、贊成、不贊成、極不贊成、不知道等。

措辭有時亦能左右受訪者的回答。該文給另一例子。紐約雜誌在 11 月大選即將開始之際,曾調查民眾對新聞工作者的看法,想知道“是什麼激使媒體,如此窮追猛打地採訪報導萊溫斯基事件?”結果有 $$64\%$$ 的受訪者選擇媒體所關心的只是“收視率或銷售量”。如果將“窮追猛打”,改為“尋根究底”,相信調查結果可能有很大的差異。

北銀(後改為台北富邦銀行)樂透彩自民國 91 年 1 月起發行。在屆滿周歲時,中國時報做了一次電訪。調查結果登在 92 年 1 月 5 日該報。報導中指出“本次調查以台灣地區的住宅電話簿為抽樣母體,採系統抽樣法,總共訪問成功 $$855$$ 位成人。在 $$95\%$$ 的信心水準下,抽樣誤差約為正負 $$3.4$$ 個百分點”。報導中亦整理出下述統計結果。

調查主題:樂透電腦彩券週年評估調查
調查時間:92 年 1 月 3 日
調查對象:台灣地區 $$20$$ 歲以上民眾
有效樣本:$$855$$ 人
抽樣誤差:正負百分之三點四(以下數字均為四捨五入到小數點第一位)

一、樂透電腦彩卷發行近一年,請問您有沒有買過的經驗?

  1. 有 $$51.6$$
  2. 沒有(跳答五) $$48.4$$

二、請問您有沒有中獎的經驗(不論大小獎)?

  1. 有 $$50$$
  2. 沒有 $$50$$
  3. 拒答 $$0$$

三、請問您相不相信有樂透明牌?

  1. 相信 $$2.0$$
  2. 還算相信 $$7.9$$
  3. 不太相信 $$32.0$$
  4. 不相信 $$34.5$$
  5. 不知道 $$23.6$$
  6. 拒答 $$0$$

四、樂透電腦彩劵發行發行近一年,請問您認為它開獎公不公平?

  1. 公平 $$16.8$$
  2. 還算公平 $$32.9$$
  3. 不太公平 $$12.9$$
  4. 不公平 $$5.7$$
  5. 不知道 $$31.5$$
  6. 拒答 $$0.2$$

五、樂透電腦彩券的發行近一年來,請問您認為是已造成不好的社會風氣,還是大家只是試試手氣,沒有那麼嚴重?

  1. 已造成社會風氣不好 $$21.2$$
  2. 沒有那麼嚴重 $$42.2$$
  3. 不知道 $$35.4$$
  4. 拒答 $$1.2$$

六、請問您認為樂透電腦彩券的發行有沒有達成照顧弱勢團體的公益目的?

  1. 有達成公益目的 $$19.5$$
  2. 沒有達成公益目的 $$34.2$$
  3. 不知道 $$44.6$$
  4. 拒答 $$1.8$$

七、整體而言,請問您認為樂透電腦彩應繼續辦下去,還是停辦?

  1. 繼續辦 $$40.0$$
  2. 停辦 $$19.2$$
  3. 不知道 $$37.4$$
  4. 拒答 $$3.5$$

我們來討論本調查的設計及其結果。

首先這份調查是以台灣地區的住宅電話簿為抽樣底冊,而調查時間 92 年 1 月 3 日,這天是星期五,又是學期中,因此二十歲以上在外地讀書者,可能不易訪問到。其次我們進一來看問卷中的各題。

題一,本題有若干盲點。沒有買過的經驗,不見得就不了解樂透彩。有 $$48.4\%$$ (將近一半)的受訪者沒有買過,依問卷設計,這些人不用回答題二、三、四,造成這三題(佔問卷中將近一半的題目)的回答者只有

$$855 \cdot 0.516 \doteq 441$$ (位)

驗算一下:

$$440 \div 855 \doteq 51.46\% \doteq 51.5\%$$

$$441 \div 855 \doteq 51.85\% \doteq 51.6\%$$

故回答有買過經驗者,應恰為 $$441$$ 位。由於此三題僅有 $$441$$ 位作答,抽樣誤差將升高至約正負 $$4.7$$ 個百分點,而非所宣稱的為 $$3.4$$ 個百分點。附搭一提,應寫 $$51.6\%$$ 及 $$48.4\%$$ 較恰當(底下各題同),因報導中並未說明這是百分比。

題二,本題題意不清,並沒有明確說是“樂透彩”的中獎經驗。另外,答“有”及“沒有”者各恰為 $$50.0\%=0.5$$,令人存疑。原因如下。在 $$441$$ 位回答本題者中,由於

$$441 \cdot 50\% =220.5$$

若是 $$220$$ 位答“有”,百分比便為

$$220\div 441\doteq 49.89\%\doteq 49.9\%$$

若是 $$221$$ 位答“有”,百分比為

$$221 \div 441 \doteq 50.11\% \doteq 50.1\%$$

不會得到 $$50.0\%$$ (報告中已註明數字均為四捨五入到小數第一位)。

題三,本題題目敘述看起來沒有問題,數字也無不合理處,各選項之回答人數依序應為 $$9$$ 人,$$35$$ 人,$$141$$ 人,$$152$$ 人,$$104$$ 人,$$0$$ 人,合計 $$441$$ 人。

題四,本題題意不是那麼清楚。開獎公不公平,是指中獎號碼之產生過程?還是指各組號碼之出現機率是否等?要知曾有民眾懷疑是否有內神通外鬼,即中獎號碼開出後,仍可簽注。而“開獎公不公平”的問法,似未涵蓋這麼多方面的問題。

題五,本題題目有些誘導性,語句隱含著樂透彩的發行影響良好的社會風氣,只是在問“造成不好”,或“沒有那麼嚴重”之別。對認為“沒有造成不好的社會風氣”的人,便沒有適當選項。

題六,本題題意與選項不符。公益不一定只針對弱勢團體。造橋、發獎學金也都是公益。另一方面,只針對是否照顧弱勢團體來問,由於一般民眾並不清楚樂透彩券盈餘的用途,因此回答“不知道”者佔大的比例(44.6%)。這一題如此問法造成選項1“有達成公益目的”,選的人之比例不高,並不奇怪。

題七,本題選項不夠,與本回一開始給的針對柯林頓總統所做的問卷之缺點類似。有些民眾說不定主張有條件(即做一些改變)的繼續辦,但卻無此選項。另一方面,沒有買過樂透彩者,不讓他們回答信不信有明牌,開獎公不公平(第三、四題)的問題,卻要他們回答有沒有達成公益目的,及要不要蘊續辦等較難的問題,不大合邏輯。又本題數字可能有誤,依所列百分比,各選項選填人數依序應為 $$342$$ 人,$$164$$ 人,$$320$$ 人,$$30$$ 人,合計 $$856$$ 人,多出一位。

多時候媒體關於民調的報導,並未同時公佈問卷。而僅就調查結果加以解釋。對於前述樂透彩調查的報導,由於附上問卷,讓我們可以更了解調查的內容,而不是只看到評論而已。中國時報對問卷中的第四題有下述評論:

樂透彩採取公開方式開獎,公平性至今仍受到國人肯定。調查顯示有四成九的人相信政府做莊發行彩券,應該不會有弊端。不過值得注意的是,覺得樂透彩不公平、有問題者,也佔了一成八。另有三成二的樂透迷,對樂透彩公平性難以判斷。

我們已指出,“開獎公不公平”此一問法,並不等同於問“有沒有弊端”。而且選“還算公平”者,似乎並沒有那麼強烈地支持開獎公平。這群人是否可歸入相信“應該不會有弊端”,值得商確。

由上討論知,欲得一有說服力的調查結果,問卷是要謹慎地且秉持公正的態度去設計。對於下述兩道問題:

A.是否贊成立法禁止同性戀結婚?
B.是否贊成立法允許同性戀結婚?

有些人會同情同性戀者,對於“禁止他們結婚”可能選不同意,但卻不見得會贊成他們可合法地結婚。不同的問法,可能導致結果有大差。對於問卷中的每一道題目,用字遣詞都要小心,避免主觀或誘導性的語句。例如,“你贊成或反對死刑?”這種題目可能比“你是否贊成死刑?”更恰當。以今日民智大開,資訊透明,若問卷設計不佳,所獲得之結果,將只能自欺而無法欺人。問卷的設計是一門大學問,對所擬調查的問題之內有助於設計出較佳的問卷。

最後我們來看,即使題目的順序,對受訪者之回答常也有影響。

受訪者通常會希望他們的回答是符合一致性的,因此題目的順序有時會影響他們的答案。對於下述兩道問題:

A.美國是否該讓共黨國家的新聞記者入境採訪新聞,並將所見的寄回他們的國家報導?
B.共黨國家如俄國,是否該讓美國的新聞記者入境抹訪新聞,並將所見的寄回美國報導?

美國曾在 1980 年做過調查,對上述二問題,若題目順序為 A,B,則 $$54.7\%$$ 贊成題 A,$$63.7\%$$ 贊成題 B;若題目順序為 B,A,則 $$74.6\%$$ 贊成題 A,$$81.9\%$$ 贊成題 B。換句話說,若先問題 B,會使民眾對於讓共黨國家的記者入境採訪會更寬容。那些贊成題 B 者,若按著被問題 A,會試著使他們的答案較一致,因此傾向也贊成題 A。

再看兩個問題:

A.你是否贊成停蓋核四廠,而採用其他能源替代方案?
B.你是否贊成停蓋核四?

題目順序為 B,A,會較順序為 A,B,使題 B 獲得更多贊成者。若先問題 A,則那些支持停蓋核四廠而抹用其他能源替代方案者,會以為題 B 只是主張停蓋核四,而無其他能源替代方案,因此可能不贊成題 B。若先問題 B,那些支持停蓋核四廠而抹用其他能源替代方案者,有可能會贊成題 B,因在回答問題 B 時,他們不知(特別是在電訪時)還有題 A。

連結:抽樣調查(9)結語

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *


7 − 2 =