每天一个学术 Skill | 第 4 组 · 第 06 篇 / 共 8 篇
你会 t 检验,但不知道什么时候不该用
数据分析 data-analysis | 检验选错,结论就废
两组数一跑,p<0.05,写进论文。审稿人问:样本独立吗?做过正态性检验吗?你回去看——两组是同一批人测了两次。
栏 目 背 景
这是「每天一个学术 Skill」第 4 组的第 6 篇,共 8 篇。源头是 GitHub 上 281 个学术科研 Skill 里挑出来的——完整名单见 这篇。这组按实验推进的顺序排:设计 → 代码 → 调试 → 执行 → 日志 → 统计 → 数据声明 → 出图。
这个 Skill 是什么
| data-analysis |
| lingzhi227 / agent-research-skills |
| |
| |
| 先确认数据结构再选检验,跑完带 4 轮代码评审,专查检验选择与多重比较 |
一、四种检验选错,都不会报错
这四种都不会让代码报错,还都能跑出一个「显著」的结果。它们只在两个地方暴露:审稿意见,或者别人重复你的实验时。
二、它把顺序反过来了:先定检验,再出数
data-analysis 的流程是先确认数据结构——独立还是配对、几组、样本量、分布形态——再选检验,然后才跑。跑完还有 4 轮代码评审,专门查上面这四类错。
多数人是反的:先跑出一个 p 值,再想怎么解释它。这个顺序一旦形成,你实际上是在让数据挑结论。
三、拿数据之前先回答三句
1. 一个观测单位是什么 一个人、一次实验、一个样本?单位搞错,样本量全错,自由度全错。
2. 组间是独立还是配对 同一批对象测两次就是配对。这一条错得最多,也最容易查。
3. 一共做了几次比较 报了几个 p 值,就要说明怎么校正。不写,等于默认没校正。
四、不显著,和没用
现在 p=0.08,换个检验方式降到 0.03,然后写「显著」。这在方法上叫 p-hacking,有经验的审稿人看样本量就能猜出来。
之后 检验方式在看数据之前定死,写进方法节。p=0.08 就报 0.08,配效应量和置信区间——审稿人接受「不显著」,不接受「换着方法试出来的显著」。
它的边界,先说清楚
| 按数据结构选检验、跑完整流程、做多重比较校正、查统计报告的一致性 |
| |
| 不懂你领域的特殊设计(重复测量、嵌套数据、生存分析),这些要专门指定 |
| 检验方式必须在看结果前定下来。事后换检验,结论作废 |
统计的诚实不在算得对不对,在检验是不是在看数据之前就定下来的。
顺带说一句,本号长期维护四个可以直接用的数据库和一份全国人才政策汇总,在读研究生、博士和青椒可能更常用——
① 学术会议日历:按学科查未来 3 个月征稿,只保留未截止、信源可溯的。点击查看,关注公号,点击菜单「学术日历」、后台回复「学术会议」。
② 学术招聘日历:博士、博士后、教职岗位,按截止日期排,每天更新。关注公号,点击菜单「招聘」或后台回复「招聘」。
③ 学术工具推荐:文献调研、文献管理、AI 阅读、投稿选刊、绘图查重,逐个实测。关注公号,点击菜单「学术工具」或后台回复「工具」。
④ 科研项目库:国家自然科学基金、国家社科基金、教育部及各省项目申报指南与截止节点,按申报时间排序,持续更新。关注公号,点击菜单「科研项目申报」或后台回复「项目申报」。
⑤ 人才政策:关注账号,点击菜单栏「人才政策」可以查看全国各地人才政策全貌,按省份、地市、城区三级整理,覆盖本科到博士各学历的补贴标准与申领条件。
⑥ 人生必读书单:本科到博士都能用的一张书单,按认知顺序排,一期 5 本,持续更新。点击查看
更多内容,也请关注我的公众号:大学圈内事儿