實(shí)驗(yàn)室行為實(shí)驗(yàn)最容易出問題的地方，往往不是統(tǒng)計(jì)分析，而是實(shí)驗(yàn)開始之前：研究問題沒有被清楚地轉(zhuǎn)化為變量，組間條件并不真正可比，研究者在流程中無意間改變了受試者的體驗(yàn)。結(jié)果即使出現(xiàn)顯著差異，也很難判斷差異究竟來自自變量，還是來自某個(gè)未被控制的細(xì)節(jié)。
對(duì)于論文研究而言，一個(gè)內(nèi)部效度較高的實(shí)驗(yàn)方案，不只是寫出“設(shè)置實(shí)驗(yàn)組和對(duì)照組”，而是要讓每一步都能回答一個(gè)問題：如果觀察到因變量變化，是否有足夠理由把它歸因于自變量？圍繞這個(gè)問題設(shè)計(jì)變量、分組、隨機(jī)化和記錄流程，實(shí)驗(yàn)的可重復(fù)性會(huì)明顯提高。
先把研究問題改寫成可檢驗(yàn)的變量關(guān)系
實(shí)驗(yàn)設(shè)計(jì)的起點(diǎn)不是實(shí)驗(yàn)材料，而是一個(gè)明確的因果判斷。研究者需要先區(qū)分：自己想操縱什么，想觀察什么，以及哪些因素可能同時(shí)影響兩者。
自變量是研究者主動(dòng)設(shè)置或改變的條件。例如，研究者可能關(guān)心不同信息呈現(xiàn)方式是否影響個(gè)體的風(fēng)險(xiǎn)選擇，那么“信息呈現(xiàn)方式”就是自變量。因變量則是受試者在該條件下表現(xiàn)出的結(jié)果，可以是選擇結(jié)果、判斷評(píng)分、反應(yīng)時(shí)間、任務(wù)完成情況或行為次數(shù)等。
變量定義不能只停留在概念層面。“風(fēng)險(xiǎn)偏好”“信任”“合作意愿”這類概念本身無法直接操作，必須進(jìn)一步說明如何操縱、如何測(cè)量。例如，若因變量是合作意愿，需要明確它是通過一次選擇任務(wù)、連續(xù)多輪決策，還是量表評(píng)分來體現(xiàn)。不同測(cè)量方式反映的可能不是完全相同的心理過程，論文中應(yīng)說明這種操作化與研究問題之間的對(duì)應(yīng)關(guān)系。
在動(dòng)手設(shè)計(jì)材料前，可以先用一句完整的話寫出核心假設(shè)：
在其他條件盡量一致的情況下，自變量的不同水平會(huì)導(dǎo)致因變量出現(xiàn)預(yù)期方向的差異。
這句話看似簡(jiǎn)單，卻能幫助研究者及時(shí)發(fā)現(xiàn)設(shè)計(jì)漏洞。若無法說清“其他條件”包含什么，或因變量無法被穩(wěn)定記錄，實(shí)驗(yàn)方案通常還不夠成熟。
用操作化定義減少概念與測(cè)量之間的偏差
自變量至少要包括兩個(gè)可比較的水平。實(shí)驗(yàn)組接受研究者關(guān)注的處理，對(duì)照組則提供一個(gè)合理基線。這里的“合理”并不等于“什么都不做”，而是指對(duì)照條件應(yīng)盡量排除與研究目的無關(guān)的差異。
例如，實(shí)驗(yàn)組閱讀一段帶有某種情緒色彩的材料，而對(duì)照組完全不閱讀材料，這樣得到的差異可能來自情緒內(nèi)容，也可能只是來自閱讀任務(wù)本身、材料長(zhǎng)度或等待時(shí)間。更穩(wěn)妥的做法是讓對(duì)照組也完成形式相近、長(zhǎng)度相當(dāng)?shù)娜蝿?wù)，只是缺少實(shí)驗(yàn)組中的關(guān)鍵操縱。
自變量的操作化應(yīng)盡量滿足三個(gè)要求：
- 操縱具有清晰邊界。 受試者能夠區(qū)分不同條件，研究者也能說明各組到底差在哪里。
- 非關(guān)鍵特征盡量一致。 材料長(zhǎng)度、任務(wù)難度、呈現(xiàn)順序、界面風(fēng)格、指導(dǎo)語和實(shí)驗(yàn)時(shí)長(zhǎng)等，不應(yīng)隨意隨組別變化。
- 操縱與理論構(gòu)念相匹配。 如果理論上研究的是“社會(huì)評(píng)價(jià)壓力”，操縱不應(yīng)同時(shí)大幅改變獎(jiǎng)勵(lì)、時(shí)間限制和任務(wù)難度，否則很難確認(rèn)哪一種變化起了作用。
因變量同樣需要提前界定計(jì)算規(guī)則。若記錄的是選擇行為，要明確如何編碼；若包含多道題目或多輪任務(wù)，要預(yù)先說明采用總分、平均值、比例還是其他匯總方式。不要等數(shù)據(jù)收集完成后，再根據(jù)結(jié)果“挑選”最有利的指標(biāo)。事后調(diào)整指標(biāo)不僅削弱研究的解釋力，也會(huì)讓復(fù)現(xiàn)實(shí)驗(yàn)的人無從判斷原始分析路徑。
必要時(shí)可加入操縱檢驗(yàn)，用于確認(rèn)受試者是否實(shí)際感知到預(yù)設(shè)處理。不過，操縱檢驗(yàn)本身也可能影響后續(xù)行為，尤其是在它直接提醒受試者研究意圖時(shí)。較常見的處理是將其放在核心因變量測(cè)量之后，或采用更間接的檢驗(yàn)方式。
設(shè)置實(shí)驗(yàn)組與對(duì)照組時(shí)，先確保可比性
實(shí)驗(yàn)組與對(duì)照組的價(jià)值不在于名稱，而在于構(gòu)成一個(gè)反事實(shí)比較：同一類受試者在沒有接受目標(biāo)處理時(shí)，可能會(huì)呈現(xiàn)怎樣的行為。現(xiàn)實(shí)中無法讓同一個(gè)人同時(shí)經(jīng)歷兩種條件，因此需要通過分組設(shè)計(jì)盡可能建立可比的樣本。
最基礎(chǔ)的組間設(shè)計(jì)是將不同受試者分別分配到實(shí)驗(yàn)條件和對(duì)照條件。它的優(yōu)點(diǎn)是能避免前一條件對(duì)后一條件產(chǎn)生學(xué)習(xí)、疲勞或猜測(cè)研究目的等影響。但若樣本較小，個(gè)體差異可能使組間不平衡更加明顯。
當(dāng)研究問題允許、且因變量不會(huì)因重復(fù)測(cè)量而被明顯改變時(shí)，也可以采用組內(nèi)設(shè)計(jì)，即同一受試者經(jīng)歷多個(gè)條件。這樣能夠減少穩(wěn)定個(gè)體差異帶來的干擾，但必須謹(jǐn)慎處理順序效應(yīng)。受試者先經(jīng)歷哪個(gè)條件、是否會(huì)因?yàn)槭煜と蝿?wù)而改變表現(xiàn)、是否會(huì)把前一次體驗(yàn)帶入后一次判斷，都是需要在設(shè)計(jì)階段處理的問題。
無論采用哪種設(shè)計(jì)，都應(yīng)避免讓對(duì)照組淪為“低質(zhì)量版本”的實(shí)驗(yàn)組。兩組應(yīng)在任務(wù)說明、實(shí)驗(yàn)環(huán)境、接觸研究人員的方式、完成時(shí)間和獎(jiǎng)勵(lì)規(guī)則上盡量一致。研究者想比較的是關(guān)鍵操縱，而不是兩套完全不同的實(shí)驗(yàn)體驗(yàn)。
識(shí)別并控制干擾因素
干擾因素是指除自變量外，仍可能影響因變量、并且在不同條件之間分布不均的因素。它們會(huì)讓因果解釋變得模糊。實(shí)驗(yàn)控制并不意味著消除所有個(gè)體差異，而是優(yōu)先控制那些可能系統(tǒng)性影響結(jié)果的因素。
常見干擾來源包括受試者的既有特征、實(shí)驗(yàn)材料差異、實(shí)驗(yàn)時(shí)間與環(huán)境差異，以及研究者與受試者互動(dòng)方式的差異。比如，若實(shí)驗(yàn)組集中在某一時(shí)間段完成任務(wù)，而對(duì)照組集中在另一時(shí)間段完成，那么疲勞、趕時(shí)間或環(huán)境變化都可能與組別混在一起。
控制干擾因素通常有幾種思路。第一種是保持恒定：所有組別使用同一環(huán)境、相近的指導(dǎo)語、統(tǒng)一的任務(wù)時(shí)長(zhǎng)和一致的記錄方式。第二種是納入設(shè)計(jì)：若某一特征確實(shí)重要，可在招募、分組或分析時(shí)明確考慮它，而不是假設(shè)它不存在。第三種是平衡安排：當(dāng)實(shí)驗(yàn)必須使用不同材料、不同任務(wù)版本或不同順序時(shí)，應(yīng)讓這些因素在各條件中盡量均衡出現(xiàn)。
需要警惕的是，控制變量并非越多越好。過多限制會(huì)讓實(shí)驗(yàn)任務(wù)失去研究對(duì)象本來的特征，也可能使樣本過于特殊，降低研究結(jié)論的適用范圍。更合理的原則是：圍繞核心因果問題，優(yōu)先控制那些既可能影響因變量、又可能與自變量條件混淆的因素。
隨機(jī)分配不是“隨便分組”
隨機(jī)分配的目的，是使受試者中已知和未知的個(gè)體差異在不同實(shí)驗(yàn)條件中沒有系統(tǒng)性偏向。它不是研究者憑感覺交替安排受試者，也不是先看受試者特征再?zèng)Q定其組別，而是按照預(yù)先設(shè)定的隨機(jī)規(guī)則完成分派。
實(shí)施隨機(jī)分配時(shí)，關(guān)鍵是讓分配規(guī)則在受試者進(jìn)入實(shí)驗(yàn)之前就確定，并盡量減少研究者臨場(chǎng)干預(yù)的空間。對(duì)于組間實(shí)驗(yàn)，可以預(yù)先生成分組序列，并按照受試者進(jìn)入實(shí)驗(yàn)的順序執(zhí)行。若研究對(duì)象存在對(duì)結(jié)果影響較大的關(guān)鍵特征，也可以先按該特征分層，再在各層內(nèi)隨機(jī)分配，以避免某一類受試者意外集中在同一組。
隨機(jī)化還應(yīng)處理樣本規(guī)模不均衡的問題。完全不加約束的隨機(jī)安排，尤其在樣本較少時(shí)，可能導(dǎo)致各組人數(shù)差距較大。研究者可以使用具有平衡目標(biāo)的隨機(jī)方案，使不同條件中的人數(shù)大致接近，但應(yīng)在研究計(jì)劃中寫明采用何種分配邏輯，而不是在收集過程中為了“讓結(jié)果好看”而臨時(shí)調(diào)整。
對(duì)于組內(nèi)設(shè)計(jì)，隨機(jī)化重點(diǎn)轉(zhuǎn)向條件順序。若所有人都先完成條件甲、再完成條件乙，那么兩種條件與先后順序完全重合，無法判斷差異來自條件本身還是練習(xí)、疲勞或適應(yīng)。應(yīng)將不同條件順序在受試者之間進(jìn)行平衡安排，并在實(shí)驗(yàn)記錄中保留每位受試者實(shí)際經(jīng)歷的順序。
讓實(shí)驗(yàn)流程可復(fù)現(xiàn)，而不只是“看起來完整”
一份可執(zhí)行的實(shí)驗(yàn)流程，應(yīng)當(dāng)讓另一位研究者在不依賴口頭說明的情況下，理解受試者從進(jìn)入實(shí)驗(yàn)到結(jié)束的完整經(jīng)歷。流程記錄不是論文寫作末期的補(bǔ)充工作，而是實(shí)驗(yàn)設(shè)計(jì)的一部分。
建議在正式收集數(shù)據(jù)前，形成一份內(nèi)部流程表，至少寫清以下內(nèi)容：
- 受試者的招募條件、排除條件與知情同意安排；
- 進(jìn)入實(shí)驗(yàn)后的各個(gè)環(huán)節(jié)，包括說明、練習(xí)、操縱、核心任務(wù)、問卷與結(jié)束說明；
- 每個(gè)環(huán)節(jié)的材料、呈現(xiàn)順序、預(yù)計(jì)時(shí)長(zhǎng)和負(fù)責(zé)人員；
- 分組或順序分配的執(zhí)行規(guī)則；
- 因變量、操縱檢驗(yàn)和背景變量的記錄方式；
- 異常情況的處理原則，例如中途退出、未完成任務(wù)或明顯不符合任務(wù)要求的情形。
其中最容易被忽略的是排除規(guī)則。研究者當(dāng)然需要處理無效數(shù)據(jù)，但“無效”的判斷標(biāo)準(zhǔn)應(yīng)盡可能提前確定。例如，哪些情況屬于未完成、哪些情況說明受試者沒有理解任務(wù)、哪些記錄因技術(shù)或流程問題無法使用，都應(yīng)在數(shù)據(jù)分析前有明確依據(jù)。否則，排除過程可能不自覺地受到研究結(jié)果影響。
正式實(shí)驗(yàn)前的小規(guī)模試運(yùn)行也很有價(jià)值。它不必追求檢驗(yàn)最終假設(shè)，而是用于發(fā)現(xiàn)設(shè)計(jì)層面的障礙：指導(dǎo)語是否存在歧義、材料是否引發(fā)非預(yù)期理解、任務(wù)是否過于復(fù)雜、記錄是否遺漏關(guān)鍵變量、受試者是否能按預(yù)想完成流程。試運(yùn)行發(fā)現(xiàn)的問題，應(yīng)反映在正式方案的修訂記錄中。
在論文方法部分呈現(xiàn)設(shè)計(jì)邏輯
方法部分不需要把每一次現(xiàn)場(chǎng)操作都寫成流水賬，但讀者應(yīng)能看清實(shí)驗(yàn)設(shè)計(jì)為何能夠支持因果推斷。通常需要交代研究設(shè)計(jì)類型、樣本來源與分配方式、自變量和因變量的操作化、實(shí)驗(yàn)材料與程序、控制措施，以及數(shù)據(jù)處理和排除規(guī)則。
比起籠統(tǒng)寫“受試者被隨機(jī)分為兩組”，更有信息量的表述是說明隨機(jī)分配在何時(shí)發(fā)生、分配針對(duì)哪些條件、研究者如何保證流程一致，以及是否處理了條件順序。比起寫“控制其他變量”，更應(yīng)交代哪些關(guān)鍵因素被保持一致，哪些因素通過平衡或記錄方式納入考慮。
一個(gè)可靠的實(shí)驗(yàn)設(shè)計(jì)，往往不依賴復(fù)雜的技術(shù)安排，而依賴研究者對(duì)比較條件的克制：只改變真正要檢驗(yàn)的因素，盡量讓其他體驗(yàn)保持一致；不把隨機(jī)化當(dāng)作形式要求，而是讓它實(shí)際進(jìn)入招募和執(zhí)行流程；不等到結(jié)果出來后才補(bǔ)寫規(guī)則，而是在實(shí)驗(yàn)前留下可核查的設(shè)計(jì)痕跡。這樣得到的數(shù)據(jù)，即使結(jié)論不符合預(yù)期，也仍然具備清晰的解釋價(jià)值。
