網(wǎng)站調(diào)查的興起與謬誤

【編者按】

2011年，隨著大數(shù)據(jù)的興起和網(wǎng)絡調(diào)查（包括網(wǎng)絡上開展的定量調(diào)查，也包括網(wǎng)絡民族志）的盛行，社會學者潘綏銘、黃盈盈、王東出版了《論方法 : 社會學調(diào)查的本土實踐與升華》第一版，對于定量調(diào)查與定性調(diào)查這兩種主要的社會學調(diào)查研究方法進行有原創(chuàng)性地比較，反思當時流行的結(jié)合使用兩種方法的誤區(qū)與局限，并建設性地探討兩者結(jié)合的可能性與條件，提出可以提高調(diào)查質(zhì)量的一些具體建議。

自20世紀90年代起，潘綏銘團隊就中國人的性行為、性關系、性觀念進行了四次全國范圍內(nèi)的隨機抽樣調(diào)查，并在多點紅燈區(qū)考察的基礎上訪談了1300多位相關人群，積累了大量的定量與定性調(diào)查實地經(jīng)驗。該書第二版由世界圖書出版公司/巴別塔文化于2023年1月再版。本文摘自該書第四章“隨機抽樣的本土應用”。

《論方法：社會學調(diào)查的本土實踐與升華》書封

一、捷徑往往是失誤

在互聯(lián)網(wǎng)上的某個網(wǎng)站發(fā)布、僅僅由上網(wǎng)者主動登錄該網(wǎng)站并且主動回答的問卷調(diào)查就是網(wǎng)站調(diào)查（web survey & web-based survey）。通常所說的“網(wǎng)上調(diào)查”或者“網(wǎng)絡調(diào)查”還有其他內(nèi)容，本文暫不論及。

至晚從2005年開始，網(wǎng)站調(diào)查就在我國呈現(xiàn)為幾何式的增加，其調(diào)查結(jié)果往往被大眾傳媒廣泛地、放大地傳播（董瑞豐、楊桃源，2006），不但已經(jīng)在相當大的程度上影響到公眾的認知與價值判斷傾向（人民論壇“千人問卷”調(diào)查組，2008），而且甚至影響到政府行政與立法（盛宇、劉俊熙，2008；孫云龍，2008）。就連在被認為應該是科學性要求最強的醫(yī)學領域中，居然也有人堂而皇之地使用起這樣的網(wǎng)站調(diào)查的結(jié)果（陳新，2006）。

在“性”方面最典型的例子是，生產(chǎn)避孕套的杜蕾斯公司2004年公布其網(wǎng)站調(diào)查結(jié)果說：中國人的性伴侶人數(shù)達到平均19.3個，是世界上最多的。經(jīng)大眾媒體廣泛傳播之后，引發(fā)了中國公眾的極大困惑與爭論。盡管該公司的網(wǎng)站調(diào)查負責人信誓旦旦地說：“我們就是想盡一些社會責任，了解人們性生活全景，并和社會來分享信息。這個報告和商業(yè)沒有任何關系，也不會為商業(yè)而用?！钡牵瑥钠渖鐣Ч麃砜?，人們?nèi)匀缓苡欣碛烧J為，這個網(wǎng)站調(diào)查其實從一開始就可能僅僅是該公司的一種促銷手段而已（劉吉濤，2004）。

雖然國際上早有對于網(wǎng)站調(diào)查的批評（Bailey，2000），雖然我國的一些學者在泛論式的研究成果中也涉及這方面的問題，但是我國學術(shù)界（包括筆者自己）直到本書第一版面世的2011年為止仍然沒有專門針對這種大行其道的網(wǎng)站調(diào)查的論文。此后直到2021年，在中國知網(wǎng)的檢索結(jié)果顯示，以“網(wǎng)站調(diào)查”為主題的中文文獻中，仍未有針對此種方法進行的專門研究。與研究方法相關的文章只有《基于網(wǎng)上調(diào)查的科研成果可信嗎?》。它以2016年美國總統(tǒng)大選為例，僅僅提出網(wǎng)上調(diào)查用于科學研究需要慎重。

網(wǎng)站調(diào)查既沒有一個調(diào)查總體，也不可能進行隨機抽樣，因此其結(jié)果不具有任何意義上的代表性。這是學術(shù)界一直堅持的共識（徐浪、向蓉美，2006；方國斌、陳年紅，2009），某些網(wǎng)站調(diào)查的主張者也敢于公然承認這一點。

但是，網(wǎng)站調(diào)查的這種非隨機抽樣方法究竟產(chǎn)生了多大程度的樣本偏差，這種偏差又造成了調(diào)查結(jié)果在多大程度上的失誤，我國學術(shù)界目前尚缺乏實證的研究成果。這不利于對網(wǎng)站調(diào)查方法及其結(jié)果進行科學的評價，不利于引導公眾正確看待各種網(wǎng)站調(diào)查的結(jié)果，客觀上可能造成學術(shù)界放棄引導公眾之社會責任。

筆者尤其希望論述的是：網(wǎng)站調(diào)查的這種樣本偏差為什么值得學術(shù)界高度重視？其方法論層面（而不是操作層面）的意義是什么？筆者又主張什么與建議什么？

為此，筆者設計了這樣的一個研究方案。

第一步，以筆者完成于2006年底的“第二次全國調(diào)查”為對照組。

第二步，從2007年8月開始，在保留所有基本提問、刪除細節(jié)追問（題量大約是原來的一半）之后，將同樣的問卷以Web格式掛在一個公共網(wǎng)站上。到2008年12月1日為止，共獲得18歲到60歲的2593人的有效回答。（以下簡稱為“網(wǎng)站調(diào)查”）

第三步，由于具有足夠的可比性，筆者將兩組數(shù)據(jù)進行對比分析，以便發(fā)現(xiàn)其差異。

筆者所設計的這個對照研究，不僅足以檢驗網(wǎng)站調(diào)查樣本偏差的程度及其后果，而且是檢驗的最佳途徑。

二、網(wǎng)站調(diào)查樣本的社會階層分布嚴重偏離實況

與總?cè)丝诘钠?/em>

在現(xiàn)實生活中，網(wǎng)站調(diào)查的實施者經(jīng)常把大規(guī)模的樣本量當作標榜其調(diào)查結(jié)果具有代表性的最重要的指標，有時甚至是唯一標準。

我國社會學的研究成果早已指出了上述說法的荒謬。筆者的實證對比研究也清楚地表明：在筆者所設置的30個社會階層特征指標中，與全國總?cè)丝谡{(diào)查的結(jié)果相比，網(wǎng)站調(diào)查結(jié)果中基本持平的指標僅有7個，而其余的23個指標相差可以達到58個百分點，甚至相差20倍（上過大學或者研究生的比例）。這就使得任何統(tǒng)計技術(shù)層次上的矯正都失去了可能性。

與全國網(wǎng)民總體的偏差

在大眾傳媒中，相當多的人認為，網(wǎng)站調(diào)查雖然不能代表中國的總?cè)丝冢侵辽僭谝欢ǔ潭壬峡梢源碇袊木W(wǎng)民。這成為網(wǎng)站調(diào)查結(jié)果被廣泛傳播的重要理論依據(jù)之一。

但是，筆者把全國總?cè)丝谡{(diào)查中的網(wǎng)民抽出來與網(wǎng)站調(diào)查結(jié)果進行對照卻發(fā)現(xiàn)：即使僅僅針對網(wǎng)民這個群體，網(wǎng)站調(diào)查的對象也系統(tǒng)地偏向于城市的、30歲以下的、大學以上的、中等以上收入的科技人員與知識分子。其間的差異可以達到49個百分點，甚至5倍左右（上過大學或者研究生的比例）。顯然，網(wǎng)站調(diào)查無法代表全國的網(wǎng)民總體。

與城市男性網(wǎng)民總體的偏差

網(wǎng)站調(diào)查樣本就連特定的網(wǎng)民小群體也無法代表。筆者把兩個調(diào)查中的城市男性網(wǎng)民這樣一個總體單獨抽取出來進行對照分析，發(fā)現(xiàn)網(wǎng)站調(diào)查在其他社會階層特征上的差異仍然很大而且具有統(tǒng)計學顯著性。

三、樣本偏差帶來的認知謬誤

表4-1說明：那些在網(wǎng)上回答筆者調(diào)查的人，其實都是那些性活動非?；钴S而且不遵守傳統(tǒng)性道德的人們之中那些表現(xiàn)欲更強一些的人?？墒牵词故莾H僅針對這些特定人，網(wǎng)站調(diào)查的結(jié)果也仍然不具有任何意義上的代表性。

表4-1　網(wǎng)站調(diào)查與總?cè)丝谡{(diào)查的差異（％） 

如果學術(shù)界任由這樣的網(wǎng)站調(diào)查結(jié)果在大眾傳媒中擴散，那么就會夸大“性自由者”的比例，就會扭曲城市男性網(wǎng)民、全體網(wǎng)民乃至全體中國人的性的存在狀況，甚至可能引來社會管理方面的決策失誤。

四、網(wǎng)站調(diào)查興旺及其惡果的社會文化原因

網(wǎng)站調(diào)查得以興旺，最基本的社會推動力來自于中國公眾的“統(tǒng)計數(shù)字饑渴”。

一方面，一是長期以來，中國的統(tǒng)計數(shù)字一是過于官方化（唯有官方機構(gòu)發(fā)布）；二是過于物質(zhì)化（主要是統(tǒng)計客觀存在物）；三是統(tǒng)計普通人所關心的日常生活狀況不夠，造成了供給不足所引發(fā)的需求旺盛。

另一方面，中國公眾中存在著一種“中國人幻象”，也就是一種抽象出來的、絕對整體化的、不需要也不能夠證偽的“中國人”。人們格外關注這種“中國人”究竟是什么樣的，因此總是傾向于把任何一個百分數(shù)都看作“中國人”的發(fā)生率。在這種情況下，網(wǎng)站調(diào)查所得到的非隨機抽樣的各種百分數(shù)，就很容易滿足人們的需求。也就是說，與其說是網(wǎng)站調(diào)查誤導了公眾，不如說是公眾渴求這種誤導。

正是在這種背景下，兩方面的社會力量共同造就了網(wǎng)站調(diào)查興旺的現(xiàn)實。

首先，無知與無良自覺合謀的“統(tǒng)計數(shù)字經(jīng)濟學”是大約21世紀以來中國的獨特產(chǎn)物（周銀香，2002）。它雖然來自“眼球經(jīng)濟”（Thomas and John，2001），但是在當今的中國，這往往是一種高度自覺的合謀行為：一些缺乏社會科學基本訓練的IT從業(yè)者，持續(xù)地、商業(yè)化地（雷弢，2001）、批量化地生產(chǎn)出各式各樣的非隨機抽樣的網(wǎng)站調(diào)查結(jié)果，再由一些力圖吸引眼球的傳媒商人（黃鳴剛，2004）包裝為五花八門的聳人聽聞的“統(tǒng)計數(shù)字”來賺錢。他們還發(fā)出豪言壯語：“網(wǎng)絡調(diào)查必將取代傳統(tǒng)的調(diào)查方式，這是調(diào)查業(yè)發(fā)展的趨勢和方向?！苯Y(jié)果，中國公眾被兩面夾擊：在信息荒漠中忍受信息的商業(yè)化。

其次，網(wǎng)站調(diào)查對于公眾的誤導，在相當大的程度上應該歸罪于社會學家既沒有積極抗爭“傳媒的話語霸權(quán)”（丁和根，2000），也沒有用日常語言把社會學調(diào)查中隨機抽樣的必要性給公眾人們講清楚。結(jié)果，象牙塔中學者的潔身自好在當今中國的消費主義化的情境之中，很有可能蛻變?yōu)槿逯髁x之舉，甚至可能為虎作倀（汪傳雷、羅繪俊、陳宏亞，2008）。 

五、網(wǎng)站調(diào)查的非科學性

表面上看來，網(wǎng)站調(diào)查與總?cè)丝谡{(diào)查之間僅僅是在代表性方面出現(xiàn)巨大差異。因此，許多網(wǎng)站調(diào)查中的有識之士已經(jīng)開始努力接近隨機抽樣，不斷地提出各種解決方法，例如“正確界定目標總體”、運用IP地址限制技術(shù)、Cookie技術(shù)等。一些專業(yè)學者也試圖進行評估與控制（杜婷、龐東，2004；李軍軍、李應榮，2005），或者矯正各種抽樣誤差（黃建，2004；徐浪，2006；杜婷，2006；王東，2007；胡云峰、何有世，2008），或者在統(tǒng)計技術(shù)層面上進行彌補（浦國華、高玲芬、惠琦娜，2004），試圖解決“網(wǎng)絡調(diào)查的回復率呈現(xiàn)逐年下降趨勢”（邵培基等，2008）。還有一些學者則是提倡規(guī)范網(wǎng)站調(diào)查的應用范圍（郭繼志、閻瑞雪、宋棠，2006），或者提倡“網(wǎng)絡調(diào)查與傳統(tǒng)調(diào)查相結(jié)合”（石磊，2008）。

但是，上述努力都是治標而不是治本。其實，網(wǎng)站調(diào)查與總?cè)丝谡{(diào)查這兩者之間的根本區(qū)別（隨機抽樣的決定性）在于，前者是依賴于被調(diào)查者主動地去尋找調(diào)查問卷，而后者則是調(diào)查者去尋找調(diào)查對象。

這是網(wǎng)站調(diào)查無法克服的根本缺陷。這又可以分為三個層次步步深入地來看。

首先，任何網(wǎng)站，即使是僅僅針對網(wǎng)民，也不可能具有起碼程度的涵蓋性，都不可避免地會出現(xiàn)極高比例的無應答誤差（這往往被刻意隱瞞了）。因為絕大多數(shù)網(wǎng)民根本就看不到發(fā)布問卷的該網(wǎng)站，或者看到了而根本不去點擊。哪怕是最大的門戶網(wǎng)站或者搜索引擎也是如此。

其次，網(wǎng)站調(diào)查的抽樣框永遠無法涵蓋人口總體。無論科技與經(jīng)濟如何發(fā)展，只要人類還存在著各種差異，那么網(wǎng)民就永遠也不可能覆蓋任何一個較大規(guī)模的人口總體。所謂“隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)站調(diào)查的代表性會日益提高”的說法其實只是以假設來代替前提的謬誤。

最后，也是最根本的，對主動應答者無法進行任何抽樣。也就是說，只要調(diào)查對象是主動地、任意地參加的（這常常被認為是網(wǎng)站調(diào)查最重要的優(yōu)點），那么任何一種抽樣（哪怕是非隨機的）就不可能實現(xiàn)，任何程度的代表性也就根本無從談起。況且，“在互聯(lián)網(wǎng)上你不知道對方是一條狗”，夫復何言？

這一本質(zhì)區(qū)別標識了網(wǎng)站調(diào)查方法的非科學性。網(wǎng)站調(diào)查的方法論的實質(zhì)是招募式調(diào)查，是守株待兔、愿者上鉤。這違背了任何一種問卷調(diào)查的最基本的原理。

社會學的問卷調(diào)查來源于對于自然科學基本研究方法之一的“受控條件下可重復的試驗”的模仿（陳蓉霞，2004）。后者要求“我”（調(diào)查者）必須主動地去研究被動存在的“它”（調(diào)查對象），才能得到對于“我”的假設的檢驗。

在社會學調(diào)查中，經(jīng)典的實地調(diào)查方法因為是調(diào)查者自己需要進行“試驗”（實地調(diào)查），所以不得不主動地追求“受控條件”（界定總體）與“可重復”（隨機抽樣），結(jié)果客觀上也就達到了模仿自然科學的效果，實現(xiàn)了自己的科學性。

可是，網(wǎng)站調(diào)查卻恰恰相反。因為它一開始就沒打算進行“由調(diào)查者來操作的試驗”（實地調(diào)查），而是依賴于應答者自投羅網(wǎng)，所以根本不需要任何主動尋找調(diào)查對象的設計與實施，結(jié)果也就不需要“受控條件”“可重復”這兩大原則。也就是說，招募調(diào)查對象的網(wǎng)站調(diào)查，絕不是在總體界定與抽樣方法方面做得不夠，而是根本不需要這些東西。這就是它的非科學（不是反科學）的性質(zhì)，任何基于科學性的統(tǒng)計技術(shù)都無法改善之，因為兩者牛頭不對馬嘴。

進一步說，正是由于招募調(diào)查這一實質(zhì)不可改變，網(wǎng)站調(diào)查被認為所擁有的一切優(yōu)越之處（方便、及時、廉價、時空廣泛等），統(tǒng)統(tǒng)都會因其調(diào)查結(jié)果在代表性上的謬誤而變成助紂為虐之舉。

更進一步說，經(jīng)典的實地問卷調(diào)查是客觀測量的方法，是調(diào)查者主動去收集被動存在的數(shù)據(jù)；而網(wǎng)站調(diào)查所使用的招募調(diào)查方法則在很大程度上是“主體建構(gòu)”（潘綏銘、黃盈盈，2007），是應答者們主動創(chuàng)造出調(diào)查結(jié)果。這兩者之間的區(qū)別已經(jīng)超出統(tǒng)計技術(shù)與調(diào)查方法的操作層次，實際上是方法論層次上的“唯科學主義”與“唯人文主義”的沖突焦點（張學廣，2007），甚至需要從認識論層次上來進行分析（秦英君，2007）。本文僅希望強調(diào)雙方的不同質(zhì)，不再展開論述。

六、發(fā)展建議 

由于“招募調(diào)查對象”這一方法論上的本質(zhì)，網(wǎng)站調(diào)查不應該再朝著總體代表性這個無望的方向發(fā)展，而是應該朝著三個不同的方向前進。

第一個方向仍然在問卷調(diào)查的范疇之內(nèi)，把網(wǎng)站調(diào)查作為實地調(diào)查的試調(diào)查，用來修訂問卷。這樣，網(wǎng)站調(diào)查的各種優(yōu)點（方便、及時、廉價、時空廣泛等）才能真正變成正向的長處。

第二個發(fā)展方向是把網(wǎng)站調(diào)查所發(fā)現(xiàn)的小概率的社會現(xiàn)實轉(zhuǎn)化為定性的表述。

招募式調(diào)查不可能實現(xiàn)代表性，卻足以反映社會生活的多樣化存在。它所得到的任何數(shù)字的意義，并不是某種情況在某種群體中占百分之多少，而是在社會生活中確實存在著這種情況。因此，網(wǎng)站調(diào)查應該努力去揭示那些發(fā)生概率很小甚至極小的各種現(xiàn)象，這才是其最大優(yōu)點。

這是因為，一方面，隨機抽樣的實地調(diào)查的最大缺點恰恰是很容易篩選掉這樣的小概率情況；另一方面對于任何一種小概率情況來說，最重要的并不是它有多少、占百分之多少，而首先是它究竟有沒有、存在不存在。

例如，在網(wǎng)站調(diào)查中，有些應答者一生中的性伴侶人數(shù)達到了4位數(shù)。反之，有些年輕夫妻雖然沒有任何相關的障礙，卻可以在上一年中連一次性生活都沒有。因此，網(wǎng)站調(diào)查實施者應該這樣來發(fā)布自己的調(diào)查結(jié)果：盡管發(fā)生概率很小而且出乎大眾的意料，但是這樣的人確實存在于中國社會之中。

這樣的表述是一種定性的認知，不但應該舍棄任何尋求絕對數(shù)與百分比的意圖，而且應該在表述中刻意把具體的數(shù)字模糊化。

這種定性認知其實非常重要。它可以打破社會中廣泛存在的各式各樣的刻板印象，促進公眾首先在思維方式上實現(xiàn)多元化，從而發(fā)揮社會學調(diào)查的積極社會作用。

說到底，即使是隨機抽樣的統(tǒng)計數(shù)字與相關分析的結(jié)果，最后其實也只有被當作定性認知來使用，人類才能夠思考（Lincoln and Guba，1985）。因此在這一點上，網(wǎng)站調(diào)查恰恰可以以其對于小概率現(xiàn)象強大的發(fā)現(xiàn)能力，在定性認知上開辟捷徑。

第三個發(fā)展方向是把網(wǎng)站調(diào)查徹底轉(zhuǎn)變?yōu)槎ㄐ哉{(diào)查的工具。

定性調(diào)查追求的并不是測量社會現(xiàn)象，而是發(fā)現(xiàn)與理解人的行為及其結(jié)果，所以不尋求代表性，而是追求資料的深度。因此，定性調(diào)查不但不排斥而且非常歡迎調(diào)查對象的各種主動呈現(xiàn)（黃盈盈等，2008）。這不僅恰恰符合網(wǎng)站調(diào)查的性質(zhì)，而且其所有優(yōu)點更有用武之地。調(diào)查者完全可以運用各種文化感召與技術(shù)手段，把網(wǎng)站設置為某一主題的磁鐵，去吸納那些日漸增多而且送貨上門的“網(wǎng)上自白”。

尤其是，在實地的定性調(diào)查中，合適的調(diào)查對象常常是可遇而不可求，或者只能是沙里澄金，而網(wǎng)站調(diào)查的招募性質(zhì)及其相對更容易做到的大應招量，卻恰恰可以在更大的程度上解決這一難題。

筆者猜測，恐怕恰恰是由于定性調(diào)查的理論與實踐在目前中國尚不夠普及，眾多的網(wǎng)站調(diào)查才會舍優(yōu)擇劣地去進行問卷調(diào)查。