读完这篇,你至少省下3年踩坑时间
最近,一份Google内部流出的《机器学习规则》(Rules of Machine Learning)在圈内悄悄刷屏。这份由Google资深工程师Martin Zinkevich撰写的指南,不是高深论文,而是一份工程落地实操手册——用43条铁律,把Google十年机器学习(ML)实战经验拆解得明明白白。
很多人一听到“机器学习”,就想到神经网络、调参、炼丹。但Google的老司机们一上来就泼了盆冷水:
“请把自己当成出色的工程师,而不是机器学习专家。”
你没看错。大部分问题不是算法不够炫,而是管道不稳、特征太烂、目标不清。今天,我们就用通俗人话,把这份文档的精髓揉碎了讲给你听。
01|没数据?别急,先上启发式(规则1-3)
Rule 1:不要害怕发布没有ML的产品。
ML很酷,但它需要数据。你从别处借来的模型,大概率打不过一个简单的启发式规则——比如按安装量排序、按时间倒序、按发件人黑名单过滤。
如果ML能带来100%的提升,启发式至少能给你50%。先活下来,再炫技。
Rule 2:先把指标设计好,再谈模型。
不要等模型上线了,才去想“我怎么衡量效果”。提前埋点,记录历史数据,否则你后期连对比基准都没有。Google+团队会追踪“展开次数”“转发数”“评论数”……发现问题就加指标,激动了也加指标——指标越多,盲区越少。
Rule 3:用ML替代复杂启发式。
当数据积累够了,就可以上ML了。因为复杂启发式规则(if-else堆成山)维护起来想死,而ML模型更新起来反而更清爽。
02|第一个管道:请“朴素”到令人发指(规则4-7)
Rule 4:第一个模型必须简单,基础架构必须稳。
别一上来就搞深度学习。你的首要任务是:确保数据能正确喂进算法,模型能正确输出,且线上环境能正确调用。特征先用最直观的,比如字词匹配、分类标签。复杂的留给以后。
Rule 5:把ML和基础架构分开测试。
单独测试数据导入、特征填充、模型加载——确保没有“玄学”干扰。如果训练环境和线上环境评分不一致,那是工程事故,不是算法问题。
Rule 6:复制管道时,小心“丢数据”。
很多团队从旧管道复制代码,但旧管道为了效率会丢弃一些“看似没用”的数据(比如老帖子、负样本)。新场景可能需要它们——复制前,先问一句:我丢掉的,是不是我需要的?
Rule 7:把旧启发式变成特征,别扔掉。
你之前写的那些规则,都是宝贵的先验知识。怎么利用?
- • 把规则的原始输入(安装数、字数、星期几)拆开给模型;
- • 甚至可以用规则修正标签(比如用“平均星级”乘以“下载数”)。
旧规则是“老司机”,别让它下岗,让它当顾问。
03|监控!监控!监控!(规则8-11)
Rule 8:清楚你的模型“新鲜度”要求。
一天不更新会掉多少分?一周呢?一个月呢?广告系统必须天天更新,而某些模型几个月不更新也没事——知道底线,才知道该急什么。
Rule 9:导出模型前,先做检查。
别把“残次品”发到线上。先拿预留数据跑一遍,看看AUC(曲线下面积)是否正常,不对劲就发警报,别害用户。
Rule 10:警惕“静默退化”。
表格没更新、特征覆盖率从90%掉到60%……模型会“慢慢变傻”,但你不一定察觉。Google Play曾发现一张6个月没刷新的表,刷新后安装率直接涨了2%——比他们半年的算法调优还猛。
Rule 11:每个特征都要有“监护人”和说明书。
大团队里,特征来源复杂。离职了没人懂?那就等着哭吧。文档写清楚:特征含义、来源、预期作用。
04|你的第一个目标:简单、可观测(规则12-15)
Rule 12:别在目标选择上纠结太久。
早期你优化点击率,停留时长也会跟着涨——所有指标一起涨,就别纠结“哪个更正确”。等后面增长放缓了,再考虑多目标平衡。
Rule 13:选一个可直接观察、可归因的指标作为目标。
不要直接优化“用户满意度”“日活”——太虚。先优化“是否点击”“是否下载”“是否转发”。这些都是用户当下的动作,好衡量。至于长期影响,留给A/B测试和人工决策。
Rule 14:优先用可解释的模型(线性/逻辑/泊松回归)。
这些模型输出的是概率,你可以直接检验“预测概率是否等于真实比例”。一旦偏差,容易定位问题。黑盒模型(深度学习)调试起来像破案,难度加倍。
Rule 15:把“垃圾过滤”和“质量排名”分开。
质量排名是“艺术”——用户会模仿高质量内容,所以模型要专注诚实内容。垃圾过滤是“战争”——特征变化快,需要每天更新,还要加人工规则。别混在一起,否则两边都搞不好。
05|特征工程:简单粗暴,大量堆砌(规则16-22)
Rule 16:做好“频繁迭代”的心理准备。
别幻想“一锤子买卖”。你会不断加特征、调正则、改目标。所以设计管道时,要方便加特征、方便复制、方便并行跑多个版本。今天只加了20个特征?没事,下季度再加剩下的15个。
Rule 17:初期只用“可直接观测”的特征,别用“学习来的特征”。
比如外部聚类结果、因子模型、深度网络的中间层——这些特征本身不稳定、目标不一致、更新后含义会变。先拿原始统计(点击率、曝光次数)打底,等基线稳了再考虑高阶玩法。
Rule 18:利用“跨场景”的泛化特征。
比如,用户在YouTube搜索里看了某个视频,那么“搜索观看数”可以推荐给“接下来观看”;用户在Gmail里标记了重要邮件,那也可以作为特征。先找到“有人喜欢它”,再细化“谁喜欢它”。
Rule 19:尽可能用超细粒度特征。
数据量大时,学习几百万个简单特征比学几个复杂特征容易。比如直接把文档ID和查询词作为特征,虽然泛化弱,但对高频查询极其精准。正则化会帮你剪掉低频的。
Rule 20:大胆组合、离散化特征。
- • 离散化:把连续年龄切成“<18”“18-35”“36-60”“>60”等。
- • 组合:把“性别”和“国家”组合成“男性+加拿大”这种新特征。
组合太多会过拟合,但有海量数据就不怕。
Rule 21:你拥有的数据量,决定了你能学多少特征权重。
- • 1000个样本 → 只学几十个特征(比如TF-IDF点积)。
- • 100万个样本 → 可以学几百万个组合特征,正则化会筛选。
Rule 22:及时清理废弃特征。
没用就删,保持管道干净。没人想维护一堆僵尸代码。
06|人工分析:你不是典型用户(规则23-28)
Rule 23:你根本不是“普通用户”。
你是工程师,你太懂内部逻辑,又带着偏见。所以别凭感觉做决定。用众包平台或真实用户实验,别让9个工程师开1小时会——那钱够买几百个标注了。
Rule 24:测量新旧模型的“差异度”。
如果新模型和线上模型输出差不多,那不用跑实验就知道变化不大;如果差异巨大,就要仔细分析是好是坏。
Rule 25:实用效果 > 预测精度。
你优化点击率,但最终是排名。排名质量比预测概率本身更重要。如果损失函数好了但产品指标掉了,说明目标不对,赶紧找新特征。
Rule 26:看模型“错在哪”,然后造特征解决。
模型把某个样本判错了?去分析这个样本有什么特殊属性(比如帖子太长、包含某些词),然后加上对应的特征。模型会主动用你给的新工具修正错误。
Rule 27:把团队的“抱怨”量化成指标。
有人说“搞笑应用太多了”,那就找人打分定义“搞笑程度”,然后把它变成一个特征或目标。先量化,再优化。
Rule 28:短期行为相同 ≠ 长期行为相同。
一个只看历史点击的模型,可能在A/B测试中和老系统差不多,但长期它会“饿死”新内容——因为它只推荐已知热门,从不探索。所以必须考虑在线学习的长期效应。
07|训练-应用偏差:魔鬼在细节(规则29-37)
Rule 29:最好的办法——在线记录特征,训练时重用。
线上服务时把实际用到的特征保存下来,作为训练数据。这样训练和线上用的就是同一套特征,偏差最小。YouTube用这招,质量大涨,代码还变简单了。
Rule 30:按重要性加权采样,别粗暴丢弃。
数据太多就随机采样,但给采到的样本加权(比如30%采样,权重乘3.33)。这样还能保持概率校准。
Rule 31:关联表数据会变,小心。
训练时查表得到的特征,和线上实时查表可能不同(因为表更新了)。解决:线上记录特征值,或者定时快照。
Rule 32:训练和服务的代码尽量复用。
用同一套代码处理特征抽取、转换。如果训练用Python,线上用C++,那就几乎没法复用——偏差不可避免。
Rule 33:用“未来”数据测试模型。
用1月5日前的数据训练,用1月6日后的数据测试,这样更贴近真实线上场景。一般AUC不会差太多。
Rule 34:分类过滤任务中,留出小部分“干净”样本。
比如垃圾邮件过滤器,如果直接把用户没看到的负样本全丢了,会有偏差。留出1%的流量不做过滤,全部展示给用户,拿到纯净数据用于训练。
Rule 35:排名算法存在“固有偏差”——你排什么,用户就看什么,你以后的数据就偏什么。
对策:
- • 对全局特征(覆盖多查询)给予更高正则化,避免热门查询结果“污染”其他查询。
- • 只允许特征正权重,确保任何好特征都比“未知”强。
- • 别用纯文档特征(比如“热门下载量”)——否则你会在每个查询下都推“愤怒的小鸟”,哪怕用户搜“观鸟”。
Rule 36:位置特征要小心“反馈循环”。
排在首位的内容点击率高,但那是位置带来的,不是内容好。要加一个“位置”特征(如is_first),训练时让模型把高点击归因于位置,但线上打分时不提供位置(或统一默认值),这样就公平了。
Rule 37:持续测量训练/服务偏差。
比较:训练集效果、验证集效果、次日数据效果、实时线上效果。如果前三者都OK,但实时差,说明线上工程有问题。
08|第三阶段:增长放缓,精细优化(规则38-43)
Rule 38:如果目标不协调,别加特征,先改目标。
当团队争吵“我们到底要涨DAU还是涨收入”时,加再多特征也没用——先统一目标。
Rule 39:上线决策看的是长期产品目标,不是模型Loss。
Alice让Loss降了,安装率升了,但DAU掉了5%,那团队肯定拒绝发布。因为业务看的是“未来5年公司是否繁荣”,不是某一个数字。多目标权衡,不是纯算法能解决的。
Rule 40:集成学习要简单。
尽量用单个模型;如果非要集成,每个子模型要么只吃特征,要么只吃别的模型的输出,别混叠。而且必须保证:子模型概率升高,集成模型概率也升高(单调性约束)。
Rule 41:平缓期,去找“质的不同”的新特征,而非微调旧特征。
当你调参调到吐,指标也涨不动了,就去挖掘全新的数据源:用户历史行为、知识图谱、深度学习表示……不要在意复杂度,要的是新信息。
Rule 42:别高估多样性、个性化、相关性的“天然魔力”。
你优化点击/观看/转发,本质上是在优化“热门”。加了多样性特征,权重可能很低——因为热门就是强。但你可以通过后处理(比如强制多样性)或修改目标来实现长期价值。
Rule 43:用户的好友关系跨产品通用,但兴趣不通用。
一个产品里的好友关系,可以搬到另一个产品用。但兴趣偏好(比如在YouTube喜欢猫,在Google搜索不一定搜猫)却很难迁移。不过,用户有跨产品的活动记录本身就是一个强信号。
写在最后
这43条规则,没有一条教你“怎么调参能让准确率提0.5%”,但每一条都在教你 “怎么活着把ML用起来”。
机器学习工程,本质上不是算法竞赛,而是系统工程。
先把管道搭稳,目标定清,特征管好,偏差控住——你已经比90%的团队强了。剩下的,就是耐心迭代,等待质变。
如果你是ML小白,这篇文章让你少走三年弯路;如果你是老手,对照检查,看看你的系统踩了几个坑。
记住:不要等完美了再发布,先上线,再迭代。数据会告诉你答案。
本文基于Google《机器学习规则》(Rules of Machine Learning)整理解读,部分案例有简化,建议有兴趣的读者阅读原文(2018年8月更新版)。