社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Git

每日一个github热门学术skill-data-analysis(数据分析):你会 t 检验,但不知道什么时候不该用

大学圈内事儿 • 9 小时前 • 13 次点击  

每天一个学术 Skill | 第 4 组 · 第 06 篇 / 共 8 篇

你会 t 检验,但不知道什么时候不该用

数据分析 data-analysis | 检验选错,结论就废


两组数一跑,p<0.05,写进论文。审稿人问:样本独立吗?做过正态性检验吗?你回去看——两组是同一批人测了两次。

栏 目 背 景

这是「每天一个学术 Skill」第 4 组的第 6 篇,共 8 篇。源头是 GitHub 上 281 个学术科研 Skill 里挑出来的——完整名单见 这篇。这组按实验推进的顺序排:设计 → 代码 → 调试 → 执行 → 日志 → 统计 → 数据声明 → 出图。


这个 Skill 是什么

Skill
data-analysis
 数据分析
来源
lingzhi227 / agent-research-skills
分类
数据 · 统计
谁用得上
会跑检验、但不确定该用哪个的研究生
一句话
先确认数据结构再选检验,跑完带 4 轮代码评审,专查检验选择与多重比较

一、四种检验选错,都不会报错

情形
该用什么
用了会怎样
同一批人测两次(前后测)
配对检验
当独立样本做,p 值偏大,真差异被埋掉
三组以上比较
方差分析 + 事后检验
连做三次 t 检验,假阳性率升到 14%
明显偏态或小样本
非参数检验
硬用 t 检验,结论靠不住
同一批数据比了多次
Bonferroni / FDR 校正
挑最好那个报,这叫选择性报告

这四种都不会让代码报错,还都能跑出一个「显著」的结果。它们只在两个地方暴露:审稿意见,或者别人重复你的实验时。

二、它把顺序反过来了:先定检验,再出数

data-analysis 的流程是先确认数据结构——独立还是配对、几组、样本量、分布形态——再选检验,然后才跑。跑完还有 4 轮代码评审,专门查上面这四类错。

多数人是反的:先跑出一个 p 值,再想怎么解释它。这个顺序一旦形成,你实际上是在让数据挑结论。

三、拿数据之前先回答三句

1. 一个观测单位是什么 一个人、一次实验、一个样本?单位搞错,样本量全错,自由度全错。

2. 组间是独立还是配对 同一批对象测两次就是配对。这一条错得最多,也最容易查。

3. 一共做了几次比较 报了几个 p 值,就要说明怎么校正。不写,等于默认没校正。

四、不显著,和没用


现在 p=0.08,换个检验方式降到 0.03,然后写「显著」。这在方法上叫 p-hacking,有经验的审稿人看样本量就能猜出来。

之后 检验方式在看数据之前定死,写进方法节。p=0.08 就报 0.08,配效应量和置信区间——审稿人接受「不显著」,不接受「换着方法试出来的显著」。


它的边界,先说清楚

能做什么
按数据结构选检验、跑完整流程、做多重比较校正、查统计报告的一致性
不做什么
不替你解释结果的意义
做不了什么
不懂你领域的特殊设计(重复测量、嵌套数据、生存分析),这些要专门指定
要自己核什么
检验方式必须在看结果前定下来。事后换检验,结论作废

统计的诚实不在算得对不对,在检验是不是在看数据之前就定下来的。


这 一 组 共 8 篇

① 实验设计
② 实验代码
③ 代码调试
④ 实验执行
⑤ 实验日志
⑥ 数据分析(本篇)
⑦ 数据声明
⑧ 投稿级绘图

281 个 Skill 的完整名单(可搜索、按学科筛):
《GitHub 上学做科研最实用的 Skill 大全名单(建议收藏)》


顺带说一句,本号长期维护四个可以直接用的数据库和一份全国人才政策汇总,在读研究生、博士和青椒可能更常用——

① 学术会议日历:按学科查未来 3 个月征稿,只保留未截止、信源可溯的。点击查看,关注公号,点击菜单「学术日历」、后台回复「学术会议」。

② 学术招聘日历:博士、博士后、教职岗位,按截止日期排,每天更新。关注公号,点击菜单「招聘」或后台回复「招聘」。

③ 学术工具推荐:文献调研、文献管理、AI 阅读、投稿选刊、绘图查重,逐个实测。关注公号,点击菜单「学术工具」或后台回复「工具」。

④ 科研项目库:国家自然科学基金、国家社科基金、教育部及各省项目申报指南与截止节点,按申报时间排序,持续更新。关注公号,点击菜单「科研项目申报」或后台回复「项目申报」。

⑤ 人才政策:关注账号,点击菜单栏「人才政策」可以查看全国各地人才政策全貌,按省份、地市、城区三级整理,覆盖本科到博士各学历的补贴标准与申领条件。

⑥ 人生必读书单:本科到博士都能用的一张书单,按认知顺序排,一期 5 本,持续更新。点击查看

更多内容,也请关注我的公众号:大学圈内事儿

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/203163