数据的搜集 — 知识点详解一、数据的来源1. 直接来源原始数据/第一手数据定义研究者为解决特定问题而亲自搜集的数据未经他人加工处理。获取方式调查通过问卷、访谈等方式从被调查者处获取数据。实验在控制条件下通过实验操作获取数据。观察在自然状态下对研究对象进行系统观察并记录。特点针对性强、时效性好但搜集成本高、耗时长。2. 间接来源二手数据/次级数据定义由他人搜集、整理并已公开发表或公布的数据。主要来源统计年鉴如《中国统计年鉴》、各省市统计年鉴。政府公报如国民经济和社会发展统计公报。数据库如CNKI、Wind、国泰安CSMAR数据库。国际组织出版物世界银行、IMF、联合国等发布的数据。行业报告各类咨询机构和行业协会发布的报告。企业内部资料财务报表、销售记录、生产记录等。使用注意事项了解数据的定义、口径、计算方法是否与研究需要一致。注意数据的时效性确认数据的搜集时间和覆盖时间段。注意数据的准确性评估原始搜集者的专业性和权威性。弄清数据的来源和出处确保可追溯、可验证。二、调查方法1. 概率抽样调查随机抽样核心原则总体中每个单位被抽中的概率已知且不为零。1简单随机抽样纯随机抽样定义从含有N NN个单位的总体中不带任何主观因素地随机抽取n nn个单位作为样本每个单位被抽中的概率相等。方法抽签法将所有单位编号做成签混合后逐一抽取。随机数表法利用随机数表确定被抽中的单位编号。计算机随机数发生器利用软件生成随机数确定样本。适用场景总体单位数较少且单位间差异不大时。优点简单直观理论上最符合随机原则。缺点当总体很大时编号和抽选工作量大当总体方差较大时代表性可能不足。2分层抽样类型抽样定义先将总体按照某一特征标志划分为若干层类然后在每一层内独立地进行简单随机抽样最后将各层样本合在一起组成总样本。分层原则层内差异小层间差异大。具体方式等比例分层抽样各层样本量按各层在总体中的比例分配。不等比例分层抽样最优分配根据各层方差大小分配样本量方差大的层多抽。公式等比例第i ii层的样本量n i n × N i N n_i n \times \frac{N_i}{N}nin×NNi优点保证样本结构与总体结构一致提高估计精度便于对各层进行独立分析。缺点需要事先了解总体的分层信息。3整群抽样集团抽样定义将总体划分为若干群组以群为抽样单位随机抽取若干群对被抽中的群进行全面调查普查。与分层抽样的区别分层抽样整群抽样划分目的层内同质群内异质调查方式层内抽样群内全查抽样单位个体群优点节省人力物力调查组织实施方便不需要完整的个体名单。缺点同一群内个体往往具有相似性导致抽样误差通常较大。4系统抽样等距抽样定义将总体N NN个单位按某一顺序排列先随机确定一个起始点然后按照固定的间隔k N / n k N/nkN/n依次抽取样本单位。步骤将总体N NN个单位按一定顺序排列计算抽样间隔k N / n k N / nkN/n在1 ∼ k 1 \sim k1∼k之间随机抽取一个起始编号r rr依次抽取编号为r , r k , r 2 k , … , r ( n − 1 ) k r, rk, r2k, \ldots, r(n-1)kr,rk,r2k,…,r(n−1)k的单位。优点操作简便样本在总体中分布均匀。缺点当总体存在周期性变化且抽样间隔与周期吻合时会产生严重偏差。5多阶段抽样多级抽样定义将抽样过程分为两个或多个阶段进行。例如先抽省一阶段再抽市二阶段再抽户三阶段最后对被抽中的户进行调查。优点适用于大规模调查灵活方便降低搜集成本。缺点每一阶段都会产生抽样误差总误差是各阶段误差的叠加。2. 非概率抽样调查特点不依据随机原则样本的选取带有主观性或便利性。1方便抽样偶遇抽样定义调查者根据方便性原则选取最容易接触到的单位作为样本。例子街头拦访、商场门口问卷调查。优点省时省力成本低。缺点样本代表性差结果偏差可能很大。2判断抽样目的抽样定义调查者根据自己的专业知识和经验主观判断选取有代表性的单位。适用场景探索性研究、总体单位数极少的情况。优点可充分利用已有信息。缺点受主观判断影响缺乏客观性。3配额抽样定义先按照一定标准如性别、年龄、职业等对总体分类规定各类别的样本配额然后在每个类别内由调查员按方便原则选取样本。与分层抽样的区别配额抽样在各层内是非随机选取的。4滚雪球抽样定义先找到少数被调查者然后通过他们推荐找到更多符合条件的被调查者逐步扩大样本量。适用场景难以直接识别总体成员的情况如罕见疾病患者、特殊职业群体。3. 问卷设计要点问题措辞清晰、简明、无歧义避免引导性提问。问题类型封闭式问题选择题与开放式问题填空题/简答题相结合。问题排列先易后难、先一般后特殊、先封闭后开放。问卷结构标题 → 说明信 → 填表说明 → 正文问题与答案→ 结束语。预调查试调查正式调查前进行小范围测试发现并修正问题。4. 调查的组织方式方式说明优点缺点面访调查调查员与被调查者面对面交流回收率高、可追问成本高、可能有调查员偏差电话调查通过电话进行访问速度快、成本较低无法展示图片、难以进行复杂问卷邮寄调查将问卷邮寄给被调查者覆盖面广、匿名性好回收率低、无法追问网络调查通过网络平台发放问卷成本极低、速度快、样本量大样本偏差、无法控制填写质量三、实验方法1. 实验的基本概念实验在控制其他条件不变的情况下有意识地改变某一因素自变量观察其对研究对象因变量的影响。实验组与对照组实验组处理组接受实验处理自变量变化的组。对照组控制组不接受实验处理的组用于比较。变量自变量实验因素/处理因素研究者主动操纵的变量。因变量响应变量受自变量影响而变化的结果变量。控制变量额外变量可能影响结果但不是研究者关心的变量需要加以控制。2. 实验设计的基本原则1对照原则设置对照组为实验结果的比较提供基准。空白对照对照组不施加任何处理。标准对照对照组采用已有的标准处理方式。2随机化原则实验对象的分组和实验顺序的安排均应随机进行。目的是消除系统性偏差使各组在实验前条件基本一致。3重复原则每种处理条件下应有足够的实验次数重复数以降低随机误差的影响。重复次数越多结果越可靠。3. 常见实验设计类型1完全随机设计将实验对象随机分配到各个处理组中。最简单的实验设计。适用实验对象间差异较小的情况。2随机区组设计配对设计先按某一特征如年龄、性别、体质等将实验对象分成若干区组block然后在每个区组内随机分配不同的处理。目的将已知的变异来源区组间差异从误差中分离出来提高实验精度。配对设计是随机区组设计的特例区组大小为2。3因子设计析因设计同时研究两个或多个因素的效应及其交互作用。例如2 × 3 2 \times 32×3因子设计表示因素A有2个水平因素B有3个水平共2 × 3 6 2 \times 3 62×36个处理组合。4. 实验中的偏差控制偏差类型说明控制方法选择偏差实验组与对照组在实验前就存在系统性差异随机分组霍桑效应被试因知道自己被观察而改变行为使用安慰剂、单盲实验安慰剂效应被试因心理预期而产生非真实的改善安慰剂对照、双盲实验顺序效应先后接受不同处理时前面处理影响后面结果随机化实验顺序、平衡设计5. 盲法实验单盲实验被试不知道自己属于实验组还是对照组。双盲实验被试和实验执行者都不知道分组情况消除主观偏差。三盲实验在双盲基础上数据分析者也不知道分组信息。四、数据的误差1. 误差的基本分类误差 ╱ ╲ 抽样误差 非抽样误差 ╱ ╲ 登记误差 代表性误差系统误差2. 抽样误差Sampling Error定义由于只抽取了总体中的一部分单位作为样本用样本统计量估计总体参数时所产生的误差。本质原因样本只是总体的一部分样本结构不可能与总体完全一致。特点是随机性误差不是错误。不可避免但可以控制和度量。可以通过增大样本量来减小。影响因素样本量n nnn nn越大抽样误差越小。总体方差σ 2 \sigma^2σ2总体差异越大抽样误差越大。抽样方法分层抽样通常比简单随机抽样的抽样误差小。抽样组织方式重复抽样的误差通常大于不重复抽样。3. 非抽样误差Non-sampling Error1登记误差调查误差/数据收集误差定义在数据搜集、记录、整理过程中产生的误差。来源被调查者误差记忆错误、理解错误、故意虚报或瞒报。调查员误差记录错误、遗漏、诱导性提问。编码和录入误差数据整理过程中的人为错误。特点普查和抽样调查中都可能存在。2系统误差代表性误差/偏差定义由于抽样方法或调查方式存在系统性缺陷导致样本不能很好地代表总体。来源抽样框不完整或过时抽样框误差。无回答无响应偏差。自选偏差如网络调查中愿意参与的人不具有代表性。非概率抽样导致的偏差。特点具有方向性总是偏高或偏低增大样本量不能减小系统误差。4. 误差的控制策略误差类型控制方法抽样误差增大样本量选择更优的抽样方法如分层抽样优化抽样设计登记误差加强调查员培训完善问卷设计严格数据审核和复核系统误差完善抽样框采用概率抽样提高问卷回收率控制无回答偏差数据处理误差双重录入校验逻辑检查计算机辅助数据审核5. 抽样误差与非抽样误差的关系在实际调查中总误差 抽样误差 非抽样误差。不能只关注抽样误差而忽略非抽样误差——当非抽样误差很大时即使样本量很大调查结果也可能严重偏离真值。过度增大样本量可能反而增加非抽样误差如调查员更难管理、数据质量下降等。五、思考与练习核心考点总结关键概念辨析对比项概念A概念B数据来源原始数据第一手二手数据第二手抽样方法概率抽样非概率抽样分层抽样 vs 整群抽样层内抽样层间同质要求相反群内全查群内异质抽样误差 vs 系统误差随机的可度量可减小有方向性的不可通过增大样本量消除单盲 vs 双盲被试不知分组被试和执行者均不知分组常见判断要点“增大样本量可以消除所有误差”—错误。只能减小抽样误差不能消除非抽样误差。“非概率抽样一定不可用”—不完全正确。在探索性研究、总体难以界定等特殊情况下有其价值。“分层抽样要求层间差异小”—错误。要求层内差异小、层间差异大。“普查没有抽样误差”—正确。普查调查全部个体不存在抽样误差但可能存在登记误差。“系统抽样不存在任何风险”—错误。当总体存在周期性规律时可能产生严重偏差。典型计算相关等距抽样间隔k N / n k N / nkN/n等比例分层抽样各层样本量n i n ⋅ N i N n_i n \cdot \dfrac{N_i}{N}nin⋅NNi
统计学学习教程，从入门到精通，数据的搜集 — 知识点详解(2）
发布时间：2026/7/15 15:19:20
数据的搜集 — 知识点详解一、数据的来源1. 直接来源原始数据/第一手数据定义研究者为解决特定问题而亲自搜集的数据未经他人加工处理。获取方式调查通过问卷、访谈等方式从被调查者处获取数据。实验在控制条件下通过实验操作获取数据。观察在自然状态下对研究对象进行系统观察并记录。特点针对性强、时效性好但搜集成本高、耗时长。2. 间接来源二手数据/次级数据定义由他人搜集、整理并已公开发表或公布的数据。主要来源统计年鉴如《中国统计年鉴》、各省市统计年鉴。政府公报如国民经济和社会发展统计公报。数据库如CNKI、Wind、国泰安CSMAR数据库。国际组织出版物世界银行、IMF、联合国等发布的数据。行业报告各类咨询机构和行业协会发布的报告。企业内部资料财务报表、销售记录、生产记录等。使用注意事项了解数据的定义、口径、计算方法是否与研究需要一致。注意数据的时效性确认数据的搜集时间和覆盖时间段。注意数据的准确性评估原始搜集者的专业性和权威性。弄清数据的来源和出处确保可追溯、可验证。二、调查方法1. 概率抽样调查随机抽样核心原则总体中每个单位被抽中的概率已知且不为零。1简单随机抽样纯随机抽样定义从含有N NN个单位的总体中不带任何主观因素地随机抽取n nn个单位作为样本每个单位被抽中的概率相等。方法抽签法将所有单位编号做成签混合后逐一抽取。随机数表法利用随机数表确定被抽中的单位编号。计算机随机数发生器利用软件生成随机数确定样本。适用场景总体单位数较少且单位间差异不大时。优点简单直观理论上最符合随机原则。缺点当总体很大时编号和抽选工作量大当总体方差较大时代表性可能不足。2分层抽样类型抽样定义先将总体按照某一特征标志划分为若干层类然后在每一层内独立地进行简单随机抽样最后将各层样本合在一起组成总样本。分层原则层内差异小层间差异大。具体方式等比例分层抽样各层样本量按各层在总体中的比例分配。不等比例分层抽样最优分配根据各层方差大小分配样本量方差大的层多抽。公式等比例第i ii层的样本量n i n × N i N n_i n \times \frac{N_i}{N}nin×NNi优点保证样本结构与总体结构一致提高估计精度便于对各层进行独立分析。缺点需要事先了解总体的分层信息。3整群抽样集团抽样定义将总体划分为若干群组以群为抽样单位随机抽取若干群对被抽中的群进行全面调查普查。与分层抽样的区别分层抽样整群抽样划分目的层内同质群内异质调查方式层内抽样群内全查抽样单位个体群优点节省人力物力调查组织实施方便不需要完整的个体名单。缺点同一群内个体往往具有相似性导致抽样误差通常较大。4系统抽样等距抽样定义将总体N NN个单位按某一顺序排列先随机确定一个起始点然后按照固定的间隔k N / n k N/nkN/n依次抽取样本单位。步骤将总体N NN个单位按一定顺序排列计算抽样间隔k N / n k N / nkN/n在1 ∼ k 1 \sim k1∼k之间随机抽取一个起始编号r rr依次抽取编号为r , r k , r 2 k , … , r ( n − 1 ) k r, rk, r2k, \ldots, r(n-1)kr,rk,r2k,…,r(n−1)k的单位。优点操作简便样本在总体中分布均匀。缺点当总体存在周期性变化且抽样间隔与周期吻合时会产生严重偏差。5多阶段抽样多级抽样定义将抽样过程分为两个或多个阶段进行。例如先抽省一阶段再抽市二阶段再抽户三阶段最后对被抽中的户进行调查。优点适用于大规模调查灵活方便降低搜集成本。缺点每一阶段都会产生抽样误差总误差是各阶段误差的叠加。2. 非概率抽样调查特点不依据随机原则样本的选取带有主观性或便利性。1方便抽样偶遇抽样定义调查者根据方便性原则选取最容易接触到的单位作为样本。例子街头拦访、商场门口问卷调查。优点省时省力成本低。缺点样本代表性差结果偏差可能很大。2判断抽样目的抽样定义调查者根据自己的专业知识和经验主观判断选取有代表性的单位。适用场景探索性研究、总体单位数极少的情况。优点可充分利用已有信息。缺点受主观判断影响缺乏客观性。3配额抽样定义先按照一定标准如性别、年龄、职业等对总体分类规定各类别的样本配额然后在每个类别内由调查员按方便原则选取样本。与分层抽样的区别配额抽样在各层内是非随机选取的。4滚雪球抽样定义先找到少数被调查者然后通过他们推荐找到更多符合条件的被调查者逐步扩大样本量。适用场景难以直接识别总体成员的情况如罕见疾病患者、特殊职业群体。3. 问卷设计要点问题措辞清晰、简明、无歧义避免引导性提问。问题类型封闭式问题选择题与开放式问题填空题/简答题相结合。问题排列先易后难、先一般后特殊、先封闭后开放。问卷结构标题 → 说明信 → 填表说明 → 正文问题与答案→ 结束语。预调查试调查正式调查前进行小范围测试发现并修正问题。4. 调查的组织方式方式说明优点缺点面访调查调查员与被调查者面对面交流回收率高、可追问成本高、可能有调查员偏差电话调查通过电话进行访问速度快、成本较低无法展示图片、难以进行复杂问卷邮寄调查将问卷邮寄给被调查者覆盖面广、匿名性好回收率低、无法追问网络调查通过网络平台发放问卷成本极低、速度快、样本量大样本偏差、无法控制填写质量三、实验方法1. 实验的基本概念实验在控制其他条件不变的情况下有意识地改变某一因素自变量观察其对研究对象因变量的影响。实验组与对照组实验组处理组接受实验处理自变量变化的组。对照组控制组不接受实验处理的组用于比较。变量自变量实验因素/处理因素研究者主动操纵的变量。因变量响应变量受自变量影响而变化的结果变量。控制变量额外变量可能影响结果但不是研究者关心的变量需要加以控制。2. 实验设计的基本原则1对照原则设置对照组为实验结果的比较提供基准。空白对照对照组不施加任何处理。标准对照对照组采用已有的标准处理方式。2随机化原则实验对象的分组和实验顺序的安排均应随机进行。目的是消除系统性偏差使各组在实验前条件基本一致。3重复原则每种处理条件下应有足够的实验次数重复数以降低随机误差的影响。重复次数越多结果越可靠。3. 常见实验设计类型1完全随机设计将实验对象随机分配到各个处理组中。最简单的实验设计。适用实验对象间差异较小的情况。2随机区组设计配对设计先按某一特征如年龄、性别、体质等将实验对象分成若干区组block然后在每个区组内随机分配不同的处理。目的将已知的变异来源区组间差异从误差中分离出来提高实验精度。配对设计是随机区组设计的特例区组大小为2。3因子设计析因设计同时研究两个或多个因素的效应及其交互作用。例如2 × 3 2 \times 32×3因子设计表示因素A有2个水平因素B有3个水平共2 × 3 6 2 \times 3 62×36个处理组合。4. 实验中的偏差控制偏差类型说明控制方法选择偏差实验组与对照组在实验前就存在系统性差异随机分组霍桑效应被试因知道自己被观察而改变行为使用安慰剂、单盲实验安慰剂效应被试因心理预期而产生非真实的改善安慰剂对照、双盲实验顺序效应先后接受不同处理时前面处理影响后面结果随机化实验顺序、平衡设计5. 盲法实验单盲实验被试不知道自己属于实验组还是对照组。双盲实验被试和实验执行者都不知道分组情况消除主观偏差。三盲实验在双盲基础上数据分析者也不知道分组信息。四、数据的误差1. 误差的基本分类误差 ╱ ╲ 抽样误差 非抽样误差 ╱ ╲ 登记误差 代表性误差系统误差2. 抽样误差Sampling Error定义由于只抽取了总体中的一部分单位作为样本用样本统计量估计总体参数时所产生的误差。本质原因样本只是总体的一部分样本结构不可能与总体完全一致。特点是随机性误差不是错误。不可避免但可以控制和度量。可以通过增大样本量来减小。影响因素样本量n nnn nn越大抽样误差越小。总体方差σ 2 \sigma^2σ2总体差异越大抽样误差越大。抽样方法分层抽样通常比简单随机抽样的抽样误差小。抽样组织方式重复抽样的误差通常大于不重复抽样。3. 非抽样误差Non-sampling Error1登记误差调查误差/数据收集误差定义在数据搜集、记录、整理过程中产生的误差。来源被调查者误差记忆错误、理解错误、故意虚报或瞒报。调查员误差记录错误、遗漏、诱导性提问。编码和录入误差数据整理过程中的人为错误。特点普查和抽样调查中都可能存在。2系统误差代表性误差/偏差定义由于抽样方法或调查方式存在系统性缺陷导致样本不能很好地代表总体。来源抽样框不完整或过时抽样框误差。无回答无响应偏差。自选偏差如网络调查中愿意参与的人不具有代表性。非概率抽样导致的偏差。特点具有方向性总是偏高或偏低增大样本量不能减小系统误差。4. 误差的控制策略误差类型控制方法抽样误差增大样本量选择更优的抽样方法如分层抽样优化抽样设计登记误差加强调查员培训完善问卷设计严格数据审核和复核系统误差完善抽样框采用概率抽样提高问卷回收率控制无回答偏差数据处理误差双重录入校验逻辑检查计算机辅助数据审核5. 抽样误差与非抽样误差的关系在实际调查中总误差 抽样误差 非抽样误差。不能只关注抽样误差而忽略非抽样误差——当非抽样误差很大时即使样本量很大调查结果也可能严重偏离真值。过度增大样本量可能反而增加非抽样误差如调查员更难管理、数据质量下降等。五、思考与练习核心考点总结关键概念辨析对比项概念A概念B数据来源原始数据第一手二手数据第二手抽样方法概率抽样非概率抽样分层抽样 vs 整群抽样层内抽样层间同质要求相反群内全查群内异质抽样误差 vs 系统误差随机的可度量可减小有方向性的不可通过增大样本量消除单盲 vs 双盲被试不知分组被试和执行者均不知分组常见判断要点“增大样本量可以消除所有误差”—错误。只能减小抽样误差不能消除非抽样误差。“非概率抽样一定不可用”—不完全正确。在探索性研究、总体难以界定等特殊情况下有其价值。“分层抽样要求层间差异小”—错误。要求层内差异小、层间差异大。“普查没有抽样误差”—正确。普查调查全部个体不存在抽样误差但可能存在登记误差。“系统抽样不存在任何风险”—错误。当总体存在周期性规律时可能产生严重偏差。典型计算相关等距抽样间隔k N / n k N / nkN/n等比例分层抽样各层样本量n i n ⋅ N i N n_i n \cdot \dfrac{N_i}{N}nin⋅NNi
