• 「本书讨论的，即是如何从系统观察的结果，探讨无偏误的因果关系。」
• 「本书最大的突破是，将研究设计看作是由设计元素组成，每一种元素对于控制偏误来源有其优缺点，所以在基本设计多加入元素可以改善对不同偏误的控制。」
• 本书承接 Campbell & Stanley（1963）与 Cook & Campbell（1979），「尽量使用文字而几乎没有统计算式」

• 「实验指的是一种有系统的研究，故意将某个可能的因加以变化后，检视其所造成的果。」
• 四要素：(1) 实验对待有大小强弱不一；(2) 施以实验对待后测量结果；(3) 至少观察一个单位；(4) 以某个机制来推论，如果没有实验对待，结果应该会是怎么样——「反事实推论」（counterfactual inference）
• 田野中的研究者「通常只是作客而不能作主，必须磋商而不能下令」

• 森林火灾：火柴、闪电、营火都可以引起——没有哪一个是必要条件；单独一根火柴也不够（还要干燥、氧气……）
• Mackie（1974）inus 条件：「非必要但充分的条件中，不充分但非多余的部分」（an insufficient but non-redundant part of an unnecessary but sufficient condition）
• 「严格来讲，大多数的「因」都是 inus 条件」；本书不取决定论观点，只说因「会增加「果」发生的机率」
• Endostatin：别的实验室用寄来的药复制不出 Folkman 的结果，到原实验室学会制备、保存、施打角度与深度后才成功——「甚至连我们自己都不知道哪些细节是真正重要的」
• 推论：「所有因果关系的是否出现，都会受情境的影响……是否可以把实验结果扩论，一直都是值得讨论的议题」

• 定义：「所谓的「果」（effect），就是实际发生的情况与应该会发生的情况之间的差异」
• 困难：「我们无法实际观察到反事实的情形」
• PKU（苯丙酮尿症）婴儿：同一个婴儿不能同时接受又不接受饮食控制；两种替代——比较不同的病婴，或比较同一病婴控制饮食前后——「两者都不是真正的反事实」
• 「实验设计的两个主要工作就是，创造一些能用以做反事实推论的资料来源（尽管这些来源一定都不够完美），以及了解这些来源与实际的实验对待组之间的差异」
• 鲁宾因果模型（Rubin's Causal Model；Holland 1986）属同一思路；但该模型不谈扩论

• Mill 三条件：(1)「因」发生于「果」之前；(2)「因」与「果」之间是有关连的；(3) 除了「因」之外，找不到其他合理的原因可以解释「果」之发生
• 实验的对应：(1) 先操弄再观察；(2) 检视因的变化与果的变化是否相关；(3) 减少其他因素的影响，并探讨无法排除者的合理性——「本书大部分都是在讨论作这件事的方法」
• 「相关并不能证明因果关系」：教育与收入——方向不明，还可能有第三变项（智能、家庭社经地位）＝混淆变项（confound）
• 「实验研究的一项主要工作，就是找出某个研究领域里常会出现的混淆变项」

• 「实验研究的独特优点，就在于能将结果归因于特意让它有所变化的实验对待，我们称之为因果描述（causal description）。相对的，实验研究比较不能澄清因果关系的机制，也无法明订因果关系会发生的情境条件——我们称之为因果解释（causal explanation）」
• 电灯开关：知道“按开关→灯亮”是描述；知道“闭合绝缘电路→电流→灯丝发光”是解释；灯不亮时，懂解释的人会去查保险丝
• 「因果解释是扩论因果描述的重要道路，因为前者告诉我们，因果关系里的哪些特色是最重要的，必须移转到其他类似的状况去」
• 摩尔式（molar）vs 分子式（molecular）因果：心理治疗是一个“包裹”（口语互动、安慰剂成分、场地、时间限制、费用……）
• 实验仍有助解释：检验中介（mediator）连结、测试调节（moderator）变项

• 随机化实验：「如果这种方法施行正确，那么随机分派所形成的各组之平均值，在机率上会很相似。因此，各组最后在研究结果上的任何差异，就可能是由于不同的实验对待而致」
• 类实验：「根据定义，类实验就是没作随机分派」；分组来自自我选择或行政者选择；研究者仍可控制测量工具、施测时间、比较组种类等
• 「类实验设计的特性所能给予反事实推论的支持，通常比较薄弱」——研究者必须「一条条列出各种可能的解释原因，判断哪些真的很可能发生，再用逻辑、设计及测量工具」逐一评估

• 定义：「我们以「效度」（validity）这个词来指涉一项推论大略的真实性（the approximate truth of an inference）」
• 「效度是推论的性质之一，而非研究设计或方法的性质，因为相同的设计可能在不同的情况下产生程度或多或少的效度推论」
• 随机化实验也可能因流失率不同、检力低、统计方法错误而推论错误——「我们也许有时为了方便会说「随机化的实验有内部效度」，但这句话却是错的」
• 一种选择牵动多种效度：随机化↑内部效度、可能↓外部效度；异质样本↑外部效度、↓统计结论效度；标准化↑建构效度、↓外部效度——「一个问题的任何一种解决方法常会制造出新问题」
• 本书综合三种真理理论：相应（correspondence）、连贯（coherence）、实用（pragmatism）

• 1.
  问题：联邦“女人、婴儿与儿童”（WIC）营养计划能否改善低收入妇女的怀孕结果？
• 2.
  设计：类实验——符合条件而参加者 vs 不符条件的妇女
• 3.
  观察：WIC 组怀孕结果较好
• 4.
  威胁（审查者提出“历史”）：①具体指什么？——同时期的食物券（food stamps）计划；②合理吗？——WIC 与食物券筛选条件相似，参加 WIC 者很可能也领食物券；③方向相同吗？——食物券改善营养，也会改善怀孕结果
• 5.
  原书结论：三问都答“是”，这项威胁可能真实存在；事前预料而无法以设计控制时，可直接测量该威胁

• 两项统计推论：「(1)研究者所认为的「因」与「果」之间是否有共变；及(2)它们之间的共变多强」
• 对虚无假设显著检定（NHST）的两点批评：「(1)科学家一直误解 NHST，以为 p 代表该虚无假设为真的机会，或认为 p 代表实验结果会重复出现的机会……及(2) NHST 不能告诉我们效量的大小」
• 作者偏好：「以 95% 信赖区间报告效量估计值，接著报告 NHST 犯第一类型错误的机率水准」
• 例：「收入每年平均增加 1,000 美元」，再加上「范围从 400 到 1,600 元」
• Abelson（1997）：「世界上没有任何客观的程序能避免由人作判断」

• 1.
  时间的先后次序模糊：不清楚何者为因、何者为果
• 2.
  选择：各组在可能影响果的特质上明显不同
• 3.
  历史：与实验对待同时发生的事件，可能影响果
• 4.
  成熟：随时间自然发生的变化
• 5.
  回归的假象：因得分特别高（或低）而被分派，其他得分通常不会那么高（或低）
• 6.
  样本流失：各组流失程度不同，产生假的效益
• 7.
  测验：经历过一次测验影响下次成绩
• 8.
  测量工具的使用：工具性质随时间或情况而改变
• 9.
  威胁之间的相加效应与交互作用效应
• Mackie：「通常我们借由消除其他可能的因，来从果而推论因」

• 情境：类实验常把处理给特殊才能或特殊需要的人；极端沮丧时才来求治
• 原因：「测量工具之间并非完美相关」——随机测量误差；但高信度也不能完全防止：减重班学员报名前恰因出差大吃大喝与婚姻压力而体重飙升
• 线索：「被选择（或自己选择）的原因都是分数特别高或特别低」
• 对策：先找到许多极端者再随机分派（最佳）；提高选取工具的信度；测三次，以第一次分派、比较第二与第三次
• 心理治疗的「病情自动减轻」、专接突然转坏企业的商业顾问，都可能受益于回归

• 1.
  问题：波士顿、雅典、巴黎的居民对本国人与外国人的“合作”程度是否不同？（Feldman 1968）
• 2.
  设计：以五种测量操作化“合作”——指路、帮寄遗失的信、归还可侵吞的钱、不少找零钱、计程车只收正当费用
• 3.
  观察：前两种测量与“本国人 vs 外国人”的关系，不同于后三种
• 4.
  建构问题：五种测量其实不代表同一个建构
• 5.
  原书结论：重新定义为两种“合作”——低花费的帮忙 vs 必须舍弃自己财利的帮忙；建构在实验后得到修正
• 原书要点：实验前“剪裁”——定义建构、与相关建构区隔、决定指标、用多种操作与方法；实验后“确定”——看实际达到的应用领域；「建构永不定案」

• 定义：在不同的人、情境、处理及结果测量下，某项因果关系是否仍然存在的推论
• 过渡性职业训练示范：18–40 岁智能障碍成人随机分派，就业与收入改善；但智力较高者改善大、智力低于 40 几乎无改善；12 个地点无一在南部；只有 5% 回复愿意参加，其中三分之二因资格不符无法参加
• 扩论目标：从窄而宽（几个城市的收入维持实验 → 美国母群）｜从宽而窄（乳癌重症病人问新疗法“对我”有没有用）｜同一层级（邻州福利改革）｜到类似或不同的种类｜从随机样本到母群成员
• 与 Cronbach 的部分同意：外部效度多关于研究后才出现的、未研究过的情况；但也可在实验内检视亚群、多处理、多情境

• 世界充满交互作用；若要求效量处处相同，很少因果关系能扩论
• 作者主张以「因果方向的稳定不变」（因果关系的正负号在调节变项每一层级都相同）为足够恰当的标准，四个理由：后设分析中效量差异大但正负号常相同；政策须全面推行，最怕正负号改变；实质理论植基于稳定关系；理论本质是简化
• 但不完全放弃效量：抑制血管生成剂使摄护腺癌病人多活六个月、便宜、无副作用——小效量也重要；「因果关系的外部效度不能仅以统计词汇来考量」
• 随机抽样使外部效度推论较单纯（如随机抽取食物券机构）；立意抽取异质样本可检定交互作用

• 第1章：因是 inus 条件，果是与反事实的差异；实验擅长因果描述
• 第2章：效度属于推论；统计结论效度报告效量与信赖区间；内部效度有 9 项威胁，回归的假象最不直观
• 第3章：建构须在实验后修正（Feldman）；外部效度问结果推到哪里还成立；以“因果方向稳定”为扩论标准
• 原书摘要：以下各章「主要焦点是内部效度」
• 留下的问题：没有随机分派时，能用哪些设计元素排除内部效度威胁？ → 模块二

• 类实验：「除了没有做到将研究单位随机分派到不同情境之外，其他无论在研究目的与结构属性上都与随机化实验类似的实验」
• 原则一：「找出对内部效度的可能合理威胁，并加以研究」
• 原则二：「由设计来控制的首要性」——加入多次前测、多个控制组等设计元素；「让统计控制去处理那些作了研究控制之后所剩余的、各组间较小的差异」
• 原则三：「一致模式的配对（coherent pattern matching）……为因果假设作复杂的预测，如此一来，就不容易找到其他可能合理的解释原因」；「要预测的模式愈复杂，其他可能合理的解释原因愈不容易产生相同的模式」

• 符号说明：X＝实验对待，O＝观察，由左至右为时间
• 1.
  问题：对低收入户的教育加环境改善，能否降低住宅铅尘？（Duckart 1998）
• 2.
  设计：一组前测后测＋六个月追踪（O₁ X O₂ O₃）
• 3.
  观察：前后测显著降低；追踪时降低较不明显
• 4.
  原书列出的威胁：成熟（铅尘冬低夏高，追踪多在冬天）；历史（另一机构也提供服务）；测验（告知前测结果使居民主动清扫）；流失（三分之一前测后退出）；统计结论（样本小、执行差异大）；执行者与测量者为同一人
• 5.
  原书的判准：要说服读者，须证明威胁「不仅是可能而已，而是合理可信」，且其效应「像他所推测的因的效应」（方向与大小相同）
• 原书结论：「除非结果的测量非常明显，而且前后测之间的时间差距很短，否则田野情境中的社会科学家很少能以简单的前测后测设计建构出可信的因果知识」

符号：NR＝非随机分派；虚线分隔非随机形成的组

• 密西西比 WIC：领与未领营养补助的妈妈，婴儿出生体重与死亡率无显著差异——但先前营养状况可能不同，处理效应与选择效应难以区分
• 「若因此而不用前测，之后想要检讨选择偏误时所须花费的代价，会比以上列出的方法大许多」
• 前测近似变项（proxy pretest）最好在概念上与结果相关，其功效「通常会比结果变项真正的前测弱」

• 非同等比较组设计「也许是所有类实验中最常见的设计」
• 「类实验研究里的前测即使没有差异，也无法证明没有选择偏误」
• 剩下的主要威胁：选择与其他威胁的结合——选择—成熟、选择—测量工具、选择—回归、选择—历史（当地历史）

• 1.
  问题：商店海报“我们有问你要不要乐透彩券吗？如果没有，一张给你，免钱！”能否提高彩券销量？（Reynolds & West 1987）
• 2.
  设计：自愿参加的商店，配同一连锁、同邮递区号、乐透市占率相近的控制店；前后各四星期的每周销量
• 3.
  观察：宣传后实验店销量上升，控制店不变
• 4.
  逐项排除：前测递减趋势两组几乎相同 → 成熟差异不能解释；实验店在宣传前持续下降 → 回归不可能；三个非同等依变项（汽油、香烟、生鲜食品）销量未增加 → 排除一般性客流增加；部分店中途撤出又加入，销量随之起落
• 5.
  原书评价：结合多种设计元素的「类实验设计的典范」

• 「时间序列指的是在一段时间内对同一个变项连续作一序列的观察」
• 因果假设：「如果实验对待有发生影响，观察结果在实验对待发生后的斜率或程度，会不同于实验对待前的斜率或程度」
• 「要清楚描述一项打断的时间序列的效应，必须同时从三个面向来阐述，也就是，效应的形式（form）（程度、斜率、变异数及周期性）、永久性（permanence）（持续的，还是不持续的）及立即性（immediacy）（立即发生还是延后发生）」
• 分析：时间序列资料是自动相关的（autocorrelated），一般统计法不适用；ARIMA 模型辨识约需一百个观察值——但「即使是截短的时间序列，也比只有几个前测或后测时间点的研究，能排除更多的效度威胁」

• 1.
  问题：1974 年 3 月辛辛那提贝尔电话公司对市内查号收费两毛钱，查号电话是否减少？（McSweeny 1978）
• 2.
  设计：简单打断的时间序列，180 个月观察值
• 3.
  观察：收费开始后查号电话立刻大幅下降
• 4.
  逐一检视：回归（长序列显示多年来量都很大）｜选择（前后几个月人口无特别变化）｜流失（不太可能因此停用电话）｜成熟（没有自然过程会造成如此大减）｜测验｜历史（需要同时发生能产生如此大效应的事件）；另加非同等依变项：长途查号通数不变
• 5.
  原书结论：「当效应像这个例子一样的立即而且戏剧化时，绝大部分内部效度的威胁通常都不合理」

• 巴塞隆纳 1992 年小型摩托车安全帽法：大型摩托车早已强制戴安全帽 → 作为控制序列；小型车重伤与死亡降低、大型车不变
• 爱荷华 1985 年结束烈酒州营专卖：前两年消费量增加 93%；加入全国销售作控制并延长到 1990 年，增加到 1988 年初便回落——「有时必须要很长的时间序列才能检测出一项效应是否能持久」
• 英国 1967 年酒测（Breathalyzer）：周末与酒吧营业时段的严重车祸明显下降，酒吧歇业的通勤时段几乎不变；天气、车辆安全等历史因素应影响所有时段
• 效果后来部分回升——「……只有当法庭在执行酒驾的法律时，检测才会有这项功效」

• 符号：O_A C X O₂ ／ O_A C O₂（O_A＝分派前测得的分派变项；C＝依选取标准分派）
• 「依据某个变项的选取标准（cutoff score）……而不是像在随机化实验里靠丢铜板或抽签决定。所依据的变项就称为「分派变项」（assignment variable）」
• 表7.1 重点：分派变项可以是任何在处理开始前测完的变项（包括前测），不必与结果相关；选取标准在平均值时检力最高；可用不止一个分派变项
• 「就是这种在回归线上的某一特定点发生的位移（或不连续）的情形，使得这种设计被称为回归不连续」
• 适用：专家认为随机分派会让该得奖励者得不到、需要帮助者得不到帮助时；代价：需要更多研究对象

• 1.
  问题：1964 年起实施的 Medicaid 是否增加低收入者看医师的次数？（Lohr 1972；Wilder 1972）
• 2.
  设计：分派变项＝家户收入；选取标准＝三千元以下符合资格；以收入组平均值作图
• 3.
  观察：看医师次数在选取标准处明显上升——「跟辛辛那提查号收费……一样明显而戏剧化」
• 4.
  原书的担心：样本小；处理组只有一个观察值；是否有其他以同一收入为资格的社会计划
• 5.
  原书的处理：Lohr 检视实施前一年的资料，选取标准处没有不连续 → 加入处理前资料排除“本来就有断点”的解释
• 其他原书案例：罗德岛补偿阅读教学；工会年资 20 年为界的暂时解雇与“后见之明偏误”；加州囚犯分级牢房

• 定义：「任何纯粹基于偶然而将研究对象分派到不同组的步骤，而且每一个研究对象被分派到任何一组的机率绝不为零，这样的步骤都是随机分派」
• 与 RD 共有、与其他设计不同的性质：「它可得出实验对待平均效益的无偏估计值」；且比 RD 适用更广、效能更高
• “无偏”指的是「研究中所有单位的平均效益」，「而不是「研究中每一个单位的效益」」
• 「随机分派并非随机抽样……随机分派帮忙了因果的推论，因为它使各样本之间随机地彼此类似，而随机抽样则使一个样本跟母群类似」

• 原书五种说法：确保其他解释不与组别混淆；把效度威胁随机分散到各组；「使得各组在所有变项的前测之期望值相等，不论这些变项是否有实际测量」；研究者知道选择过程并正确纳入模型；可得到与处理无关的正确误差变异数估计——「没有一个能完全说明随机分派的功用」
• 「随机分派能预防的唯一一项内部效度的威胁，是选择偏误」；对成熟、历史、回归等，「只是降低这些威胁跟实验对待相混淆的可能性」
• 洗牌比喻：洗得再干净，有些人的牌还是比较好——「跟随机分派的定义相连结的期望值，并不是单一个研究所得到的某个平均值，而是所有可能平均值的平均值」
• 「无偏并不代表单一研究的结果跟母群的「真实」效益完全相同」
• 「随机化并非唯一能达成这些目的的方法……但随机化是唯一能同时达成所有这些目标的设计特色」

• 三种分配资源的原则：需求、优点、随机化；处理对最需要者最有效时，依需求分派最容易被接受——这正是 RD 的用武之地
• 反方：只有疗效相当、又没有更好治疗时，随机化才符合伦理（Marquis, 1983）；即使「只有千分之一的机会」较好，自主原则也要求告知；「因为愿意随机决定自己脑的一部分是否由手术移除的癫痫症病人数不够多……研究费用被撤消了」
• 正方：β胡萝卜素在观察研究中降低罹癌风险，在临床实验中却提高风险；医学新方法只有约一半优于标准治疗；「只要去看一下那些被遗弃的治疗法的墓园，就知道有多少病人可能因为被随机分派到控制组而受益」（Chalmers, 1968）

• 招募漏斗：老年高收缩压计划实验寄出超过三百四十万封邀请信 → 447,921 人初步筛选 → 11,919 人合格 → 4,736 人随机分派
• 确保找得到目标母群：实验前调查、追踪、预试招募程序、推广专员……；人数不足时：延长时间、加强推广、放宽合格条件（需检验交互作用）、降低处理组比例、中止实验
• 自愿者不同：工作场所戒烟计划 66 位合格者中 44 位同意，是「比较顽强的烟枪」
• 知晓随机化会扭曲合格判断：警察知道下一案件要分到哪种处理，又负责判定是否合格——不想送进逮捕组时，就判为不合格→ 合格判断应与分派分开
• 估计分派前的选择效应：Braver & Smith（1996）的三组设计（随机分派组、邀请加入实验组、邀请加入控制组）

• 1.
  问题：看起来“公开透明”的随机程序，真的随机吗？
• 2.
  设计：写上生日的纸条塞进胶囊，从两英尺深的大碗里抽出
• 3.
  观察：第一批被抽中的人里，生日较早的人比例过高（Fienberg, 1971）
• 4.
  另种解释（程序上的偏误）：胶囊原本依年份次序排在盒子里，盒子可能没有充分搅拌，倒进大碗后也没有再搅拌，因此生日较早者留在上层
• 5.
  原书处理：「这看似随机」，其实不是。同类问题也出现在电脑乱数：磁石学校研究为了让电脑乱数更无偏误，结果偏误反而更严重（Zigulich, 1977）；配偶攻击重复研究计划的电脑当机重开后乱数重复

• 「实验对待的执行并非只是一件事，而是一个多面的过程，包括实验对待的传达（treatment delivery）、实验对待的接收（treatment receipt）与实验对待的固守（treatment adherence）」
• 医学例：传达＝医师开处方；接收＝病人拿到处方并照单买药；固守＝病人按指示吃药
• 导入与测量：处理手册、训练、录影评分（传达）；操弄检核（manipulation check）（接收）；访谈、血液或唾液化验（固守）
• 常被忽略的三个目标：研究对象在实验外得到的额外处理；控制组接受的其他处理——恐慌症双盲实验中，多数医师与病人能正确猜出是有效药物还是安慰剂；执行者做了计划中没有的事
• 计划模型：输入、情境、资金与理赔规则 → 流程模型

• 五个假定：(1) 一个人的结果不因另一个人被分到哪一组而改变（感冒疫苗例）；(2) 可用 ITT 估计分派对接受程度及结果的影响；(3) 分派对接受程度的影响不为零；(4) 随机分派只能经由影响接受处理来影响结果；(5) 没有「专门反抗」的研究对象——前三个「通常也颇合理」，后两个须作敏感度分析

• 「对于内部效度的威胁而言，不同原因的样本流失，比整体的样本流失更重要」
• 纽泽西负所得税实验：流失率 7.9 vs 8.6 很接近，但控制组可能因经济动机低而退出、实验组可能因不愿接受救助而退出——相近的比率可能掩盖不同原因
• 学校单位：实验学区家长留下、控制学区家长搬离——只算学校数看不出来
• 两段式告知后同意（依 Reicken 等人对纽泽西实验的意见）：第一阶段同意接受测量 → 随机分派 → 第二阶段请处理组同意接受处理；拒绝者仍接受测量
• 预防测量时的流失：面访或电话访问、诱因「愈多愈好」、预先通知、“先想办法进门”；利用法院与缴税纪录等外部测量（信效度未知）
• 有缺失的方式——递补中途退出者：只有当流失与取代都随机，或二者潜在特性相同时才不威胁内部效度

• 原书摘要：
• 1.
  跟处理及效果的扩论关系不大
• 2.
  假定从有意义的母群抽样，但伦理、政治与实务限制使抽样只能来自较无意义的母群
• 3.
  假定随机选取与研究目的不互斥，但研究者探索因果普遍性，通常是因为有理由相信研究会支持该关连
• 4.
  预算常把选取限制在小地理区、短时间、少数地方
• 5.
  只适用于抽样计划所定义的母群
• 6.
  对建构效度的贡献不明
• 「虽然我们很赞同，研究者如果作得到，就遵照这种两个步骤的模型；但很明显不能把它当成扩论因果推论的万灵理论」

• 1.
  问题：「二手烟与不吸烟者罹患肺癌」的因果结论，能否推论到工作场所与餐厅，从而支持公共场所禁烟？
• 2.
  设计（证据来源）：Gross（1993）把研究分为三类——配偶抽烟的研究；美国以外地区的研究；美国工作场所的研究
• 3.
  观察：前两类显示有关连；第三类没有统计显著的关连
• 4.
  争议：Gross 认为第三类与政策辩论「最类似」，因此不支持禁烟（表面相似）；Rockette（1993）回应，扩论应根据更广泛的证据——生物机制、动物模型，以及三种情境中都有的剂量反应关系，而流行病学研究因为没有测量剂量而反映不出来
• 5.
  原书处理：作为科学家扩论的范例之一，并在三项原则中反复引用——原则一：公共场所研究与禁烟政策较相似；原则三：结果因美国家庭、美国工作场所或美国以外的情境而不同；原则四：由剂量反应关系算出不致癌的吸入量

• 随机化不会让处理以外的一切在两组相等，也不会自动给出精确的平均处理效果
• 估计值只适用于试验样本；推论到其他群体（包括试验样本所属的母群）都需要理由
• 原因要发挥作用，通常需要“支持因素”（support factors）——即 Mackie 的 INUS 条件；两个母群的平均效果相同，当且仅当支持因素的净效果平均相同
• 没有理论支持的复制只是“简单枚举的归纳”——第一只天鹅是白的、第二只是白的……
• 结论：RCT 只有作为累积研究计划的一部分，结合理论与其他方法，才能从 “what works” 走向 “why things work”

• PSI-Typ：先清楚定义扩论目标的典型特点，再选样本；有多个众数时，每个众数至少一例（如全黑人、全白人、种族融合的学校）；目标是建构时需要质化判断
• PSI-Het：起点相同，但刻意选在这些特征上有异质性的样本——如测量婚姻满意度时，PSI-Typ 用婚姻调适量表，PSI-Het 用各种测量
• PSI-Het 两个好处：(1) 在误差变异大的异质样本中仍存在的因果关系较可扩论——「虽然这样的认定是很脆弱的，但仍然比在同质性高的样本里发现的因果关系来得强」；(2) 更有机会排除不相干、作区辨、作插代外推
• 极端例子的风险：只选“磁石学校”与问题最多的学校，若一端有效一端无效便难下结论——最好再加至少一个众数例子
• 缺点：降低检力；检测不出各层级的效量差异，便误称“各层级都相似”

• 三类方法：质化方法（发现与探索）；统计模型（测量中介而不操弄）；操弄解释变项的实验
• Estroff（1981）人种志：与社区精神病患同住、服相同药物——量化研究显示药物帮助病患留在社区；人种志显示代价：性功能障碍、怪异动作，因此许多人停药
• 新希望计划（New Hope）开放式面谈：解释对男孩影响较大（父母认为男孩较易受帮派影响，把资源用在男孩身上）；发现调节变项——障碍很多与几乎没有障碍的家庭都没受益，中间的家庭受益最多
• Trend（1979）现金住房补助：量化显示有效；质化显示居住环境未改善、存在种族偏见——重新分析量化资料后发现质化正确；「以愈不一样的方法搜集资料，愈常会出现矛盾的情形」

• 1.
  问题：出狱者会再犯罪，是因为难以找到正当工作又领不到救济——提供暂时资助能否降低再犯？（Berk, Lenihan & Rossi, 1980）
• 2.
  设计：出狱者随机分派到控制组或数种金额与期间不同的资助组
• 3.
  观察：「提供金钱与后续的犯罪之间大体上没有因果关系」，且领取的金额反而降低就业机率
• 4.
  解释模型（图12.7）：资助对再犯被捕的直接影响为负；但资助减少工作时间、工作时间减少又增加被捕——负×负＝正的间接效果抵销了直接效果
• 5.
  原书处理：模型模拟的是“实际拿到补助”而非分派——「损害了因果推论的完整性」，用工具变项可能较好；但中介模型告诉我们「未来在哪些明确的情况下，我们可以预期实验对待是否有效果」；Berk 等建议设计让出狱者找到工作后仍可暂时提高补助的诱因

• 起因：1964 年 Kitty Genovese 被人用刀连续刺了半小时而死，「约有四十位邻居眼睁睁看著却没有人去帮她的忙」
• Latané 等以三十几个实验显示：一个解释是责任分散——在场的人愈多，愈假定别人会采取行动
• 表面类似：所有实验都有路过的人、明显而立即的伤害、适合该事件的助人行为
• 排除不相干：情境多样——女士扭到脚踝、烟窜进房间、癫痫发作、店内偷窃、收银台被抢
• 插代与外推：旁观者人数从一人到多人，帮忙的机率逐渐下降
• 作区辨：有专家（如医学生、急诊室护士）在场时，人数的影响消失
• 限制：这类实验短、便宜、容易重复；社会实验很少能这样做

• 历史：十八世纪初 Roger Cotes 以加权平均整合天文测量；Karl Pearson（1904）平均六项伤寒接种研究；Glass（1976）命名 meta-analysis，创新在于以效量作为共同量尺
• 基础步骤（Cooper & Hedges, 1994b）：问题形成、资料搜集、评估、分析与诠释、公开呈现——反复来回
• 找文献：逃亡文献（fugitive literature）与档案抽屉问题（file drawer problem）——未发表的研究效益可能较小
• 纳入标准：「对于研究的篇数宁愿多不愿少，再将各研究的方法依据它是否达到某一标准而过录」
• 过录：码须反映假设；评分者间信度；联络原作者

• 1.
  问题：心理治疗有效吗？不同学派的效果是否不同？
• 2.
  设计：Smith & Glass（1977）整理三百七十五个研究，以标准化均差为共同量尺；后扩充到 475 个研究（Smith 等, 1980）
• 3.
  观察：平均 d＝.85；效果不因行为或非行为取向、治疗师经验、疗程长短而不同
• 4.
  威胁与批评：Eysenck 的「豪傻」（mega-silliness）等早期批评；平均可能隐藏变异、研究并非随机抽自所有可能研究；纳入的多是“研究治疗”而非“临床治疗”（Weisz 等, 1992）；学派与其他研究特质混淆——行为治疗多用行为测量（附录13.1）
• 5.
  原书处理：后续研究以临床代表性量表评分九十个研究，用随机效果回归与反应表面外推到“理想研究”——心理治疗在临床代表性条件下与研究条件下大致一样有效（Shadish 等, 2000）

• 第11章：正式抽样不是万灵丹；科学家以五项原则作扩论
• 第12章：单一研究以立意抽样（典型与异质的例子）作扩论，以质化方法与因果模型（TARP）研究因果解释
• 第13章：整合型实验计划（旁观者介入）与后设分析提供更多样的人、情境、处理与结果；但平均可能隐藏变异，仍须追问“在什么条件下有效”
• 留下的问题：这整套理论本身有哪些假定与批评？→ 第14章

• 实验被（错误地）等同于实证主义；Kuhn、Latour 等的批评：理论无法超越、观察非中立于理论、科学家实际做法与规范不一致
• 回应：许多因果关系在理论、方法、偏误改变后仍持续出现；审慎的多重主义（critical multiplism）——重视独立重复，尤其是批评者的重复
• 共识的形成：「这样的过程不但是社会的过程也是逻辑的过程，甚至前者更甚」；例：Smith & Glass vs Eysenck → Weisz 等 → 共识：心理治疗有效
• 被忽略的问题：哪些因果问题重要？谁的兴趣决定？哪些问题不能用实验回答——种族、阶级、性别、历史事件
• 「虽然我们为了要定义实验，而喜欢这种将因果论与操弄结合在一起的方式，但并不认为所有「因」，都必须把它跟操弄拉在一起，才是有用的形式」

• 「我们承认，在企图排除内部效度威胁时所使用的方法颇为模糊暧昧，也就是因为如此，我们也才因此比较喜欢用随机化实验（及回归不连续设计）」
• 「在最好的类实验研究里，内部效度并不比随机化实验里的内部效度差多少」；但作为“类实验”一词制度化的推手，「我们对自己的角色觉得非常矛盾」
• 以文字而非公式讨论威胁：「与其因为许多重要的威胁都不能准确测量，就完全不注意它们，还不如对这些威胁保持有不很准确的注意」
• 模式比对的难题：理论不够明确（效果延迟多久？）、模式越复杂越难如预期、整体适合度检定未发展完整
• 不作随机化实验的借口：「认真讨论类实验的一个不幸而且不小心产生的副作用，有时候可能是完全忽略随机化实验。非常可惜」

• 原书主张：「在最好的类实验研究里，内部效度并不比随机化实验里的内部效度差多少」
• 论证上的缺口：原书排除威胁靠的是“合理性”判断，作者自承「颇为模糊暧昧」；模式比对「整体适合度检定」尚未发展完整——这项主张在书中主要由案例与推理支持，而非系统性的比较证据
• 后续证据：
• LaLonde（1986）：非实验估计即使通过设定检验，仍无法重现实验结果
• Cook, Shadish & Wong（2008）：12 个组内比较中，只有 RD、以前测作在地完整群体匹配、选择过程已知这三种情况能重现实验估计；比较组取自全国资料、样本小或只有人口学变项时，统计调整较无用

• 原书自述：理论名为“以科学实务为基础”，因为这些原则「跟多年以来各领域的科学家用来作扩论的实际方式是一致的」；立意抽样「并没有一个可用以支持正式扩论的统计逻辑」；「我们设了因果扩论理论的议程，但还不完整」
• 限定：五项原则告诉我们“要提供哪些知识”，但不告诉我们“证据要多到什么程度才足以扩论”；五项原则可能互相冲突（如二手烟例中表面相似 vs 剂量反应）时，原书没有给出裁决规则
• 范例的领域分布：九个范例多来自医学、毒理学与心理学；在机制知识较少的社会科学，原则五最难落实——原书也承认约一百五十项病人教育研究仍不知其为何有效
• Deaton & Cartwright：要把效果移到新情境，需要关于“支持因素”的理论；没有理论支持的复制只是简单枚举的归纳——与原则五方向一致，也说明五项原则需要实质理论来填充