Monday, April 03, 2006

Quantitative vs Qualitative research methods 質化與量化研究方法的論戰

今天與朋友晚餐最後的話題,就是質化量化方法的論戰,有趣的是,席間二對男女朋友,各自持著不同的意見,將這場質化量化方法的論戰,意外地衍生成為一場男與女的戰爭,當然這一切不是本文的重點。

我個人因為學習的興趣,當然是量化方法的defender,但這並不代表我就覺得質化研究有什麼不好。事實上,我一直有個夢,就是能流浪到東歐或者是拉美小國中,好好的住上一年,觀察民情,進行田野調查,最終產生一篇博士論文with flesh and blood,也就是量化研究者會時時提醒自己的,"be sure to get close to your data"。當然這美麗的憧憬,在求學過程是不切實際地,不過,我假如有幸,我將致力完成它,就如同我完成其他夢想一般。

回歸本文重點,這場論戰有一個困擾其中一對男女朋友五年的例子;或許該這麼形容比較生動,這五年來,二人的各自立場沒有改變(男方是量化代表),這個例子在五年後的今天,仍使他們吵得不可開交,不知的旁人,會以為這二人真得在吵架呢。這個例子是這樣的:

假始你孤身在電梯裡,或走在暗巷,一個黑人的出現,是不是比一個白人的出現各使你具有警覺心。

男:引用紐約警方公布的研究資料,犯罪者多是黑人,所以這是當然的反應,黑人比白人可怕。
女:你充滿岐見(bias) ,你應該想想是不是生活環境使然,數字是可以騙人的。
男:我不否認我岐視(discriminate)黑人,就像假使我是老闆(商界),我寧可雇用白人也不雇用黑人,因為分析顯示,黑人IQ的確比白人笨。
女:又是錯誤的數字呈現,IQ雖然是客觀的測量方法,但是造成黑人白人智力的差別,大環境是很重要的因素,所以我們要更深入的去了解,才能做決定。


究竟誰對誰錯?我的回答是,都對!

首先,我贊同女方的意見,數字是可以騙人的。紐約警方的研究資料,可能是有問題,女方說的環境使然,就是統計上說要有控制covariates,否則其結果是biased。不過我相信紐約警方的報告應該不會粗淺到沒有加入covariates來分析,所以,假設這份報告是在研究上,是decent的,那我們該如何看這個問題?可以分做二點:

第一、其結果仍然不可信,因為我們無法進行counterfactual analysis,也就是說,今天我們必須要有identical unit,然後給予treatement and control,最後實驗、控制二項的差異,其所得的結果,才是valid因果推論,但在observational study,這是不可能的,一個貧窮的黑人,是不可能同時變成貧窮的白人,所以無論如何,這份報告,對於truth都有一定的偏差。我們唯一可以做的,就是使用非參數的方法,亦即是matching conditional on covariates,如此可以產生quasi-experiement,其結果當然就比較可信,當然,我們仍要make some assumptions。

第二、結果雖不可信,但是我仍建議採用!因為你做出錯誤判斷的probability是低的,畢竟現有的data告訴我們就是這樣,better methods more data也許會告訴我們相反的結果,但這就是reality,是研究上的限制,我們的生活又何嘗不是在經驗中,update我們對於事實的認知。所以我就問了男方一個問題:

我:假始你在做了十次一樣選擇,而這十次都證明了雇用的白人實際上產生較不佳的結果,你第十一次會做怎樣的選擇?
男:我會考慮用其他的標準。


當然首先要先攻擊我自己的問題,也就是我們也無法預料假始十次都雇用黑人是否就會得到較佳的結果。

我的問題很bayesian ,男方的回答當然也是bayesian,警方的報告,就像是bayesian中的priori ,而我們自己做的十次選擇則是new data,而男生的回答則是他有了較先前不一樣的posterior,所以在我們完全不知道一下刻會發生什麼的時候,priori往往給我們下決定的依據,即使priori是錯誤的,那也無可厚非,因為我們在往後的生活中,new data給我們不一樣的likelihood時,就會有不一樣的posterior認知,當然,用同樣的例子,假使n次中只有少數幾次結果不佳(20%? 30%?),其posterior仍是接近我們先前的priori的,new data必須給我們極端不同的likelihood,才會反轉我們對於posterior的認知,就像我提問的一樣。

結論,people learn! 量化比之質化是較efficient這是無可置疑的,質化學者往往質疑量化結果的validity,但是so what,we will learn to adjust our posterior through new data! 而這new data的產生,當然,可以是質化研究者的貢獻了!所以二者是相符相成的!

1 comment:

Anonymous said...

偶然經過,插個話
我質化量化研究都做,看到你這討論很有趣.不過我覺得你那朋友的爭論跟質化量化是完全沒有關係的,他們的論爭可以說是誤置焦點.為什麼呢?
量化研究還是要找因果的.比如說種族的問題,早就有汗牛充棟的量化研究去討論.量化研究的學者當然用各種方法去分析不同因素的影響.你男性朋友所引述的不過是敘述性統計,簡單來說是指出一個現象,他的種族主義式的推論(種族是唯一因素)並沒有得到任何檢證.我想你也很清楚,這年頭光用敘述統計是沒有可能被稱為量化研究.
反過來說,你的女性朋友提出的是一個因果的陳述,至於這個陳述既可以用質化也可以用量化的方法去證明.所以也不構成質化或量化的問題.
事實上以我看過的案例,宣稱可以用量化研究證明種族偏見的說法,所用的幾乎都不超過敘述性統計.對任何一個作量化研究的學者來說,這種光用敘述性統計做的分析都極度不可靠.整個統計方法的發展,也是不斷要去挖掘出資料中的nance.