社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

3Blue1Brown 对谈 Jane Street:深度学习如何成为系统化交易的最大驱动力

狄奥尼索斯之歌 • 5 天前 • 56 次点击  

 

访谈来源:3Blue1Brown × Jane Street 
主持人:Grant Sanderson
参与者:Nitya、In Young、Craig、Alok(Jane Street)
原视频链接:https://www.youtube.com/watch?v=zPLc3jjHbnU

Grant Sanderson 是数学科普频道 3Blue1Brown 的创作者。这期圆桌对谈在 Jane Street 纽约办公室进行,四位员工从公司文化、组织方式、做市业务、机器学习到招聘与人才培养,较完整地解释了 Jane Street 内部是如何运转的。

Jane Street 明确提到,深度学习已经成为其系统化交易最大的驱动力,公司也从早期依赖 Excel、线性模型和相对简单的错价交易,逐步演化到今天广泛使用机器学习和神经网络。与此同时,这场访谈也解释了为什么 Jane Street 长期强调低自我、跨团队协作、通才招聘和高度自治:这些组织机制本身,就是支撑其研究和交易体系的一部分。

TL;DR:Jane Street 圆桌对谈核心观点

  1. 1. Jane Street 强调低自我和直接交流。 Jane Street 很多会议会先让每个人独立说出观点,再听别人怎么想;不同团队之间也可以直接交流,小问题找最懂的人讨论,大项目再建立正式的负责人和结构。
  2. 2. Jane Street 的高度自主文化。 研究人员可以直接使用和管理共享计算资源,甚至通过实时拍卖为自己的任务争取算力。公司主要依靠信息透明、彼此提醒和共同负责,让这种高自由度的系统正常运转。
  3. 3. Jane Street 的核心业务仍然是做市,做市本身高度依赖预测。 Jane Street 可以被理解为一家“股票杂货店”:要管理库存、定价和提供流动性,同时判断未来的供需和订单流。机器学习因此成为交易系统的重要工具。
  4. 4. 金融机器学习远不只是“现成模型 + GPU”。 市场数据噪声极高,很多问题具有独特结构,需要大量基础研究和原创建模。Jane Street 认为 ML 仍处在 S 曲线早期,但已经成为其系统化交易中最大的单一技术驱动力。
  5. 5. Trader、Researcher 和 Engineer 的边界远比外界想象模糊。 公司高度系统化,很多 Trader 实际在做研究;交易、建模和工程形成连续谱,这也解释了为什么 Jane Street 更像交易公司、科技公司和研究机构的混合体。
  6. 6. 过去二十年,Jane Street 的交易研究从直观的错价判断逐步转向机器学习。 早期很多机会只需要理解不同证券之间的关系,就能直接发现价格不一致,甚至有交易系统运行在 Excel 里。后来公司开始使用线性模型、GBT 等方法,如今大部分建模工作已经属于机器学习,神经网络的使用也越来越多。
  7. 7. Jane Street 招聘的是长期学习能力,也愿意长期培养通才。 较低的人员流失率,让公司有动力持续投入员工培训和技能转换;面试更关注候选人面对陌生问题时如何思考、沟通和更新判断,以及经过一年、五年训练后可能达到什么水平。

访谈精编

Jane Street 的文化

Grant: 我想先理解 Jane Street 的文化,也想从技术上知道你们到底在做什么。如果要提炼出它区别于其他公司的显著特征,你们首先想到什么?

In Young: Jane Street 很奇怪,但这种奇怪是最好的那一种。人们谈话时,目标并不是展示自我、证明某个观点,或让别人看到自己有多聪明——那样会非常累。大家面对一个有意思的问题,会通过交谈尽量接近真相,也很愿意接受自己原来不知道的东西。最酷的一点是,你可以进入任何一场对话,并期待自己的看法在结束时发生变化。

Grant: 有没有一次具体经历,能体现这种低自我?比如你改变了别人,或者别人改变了你?

Nitya: 更反常的情况,反而是一次互动结束后谁都没有改变。很多会议开始时,我们会让每个人在听到别人意见之前先说出自己的想法,这样可以看到所有人的起点。讨论结束后再看大家的后验判断,通常会发现它们已经收敛。看到这种变化很舒服。

In Young: 我回去和大学同学聊天时,他们会说:“你现在说话的方式很奇怪。”这里会养成某些贝叶斯式习惯,也会出现一些 Jane Street 特有的表达,比如“这并非不合理”。这些话在公司外听起来很古怪,但它们反映了我们刻意保留不确定性、不急于把判断说死的习惯。

Craig: 我的感受是,这里首先只有“一家公司”。你属于哪个组并没有那么重要。不同团队的人经常直接交谈,不需要让自己的经理先去找对方经理安排。你可以走到另一个组旁边说:“我在想一件事,你们有人能花几分钟一起推演吗?这好像是你们懂的领域。”这种协作非常有机。

Grant:  这听起来很重要,也很难扩展。其他组织之所以沿管理层级发展,可能就是因为如果不经过经理,就会陷入混乱。你们是在主动接受这种混乱,以换取跨领域协作的收益吗?

Craig: 某种程度上是,但并不代表完全没有结构。大家有经理,也有团队负责人和项目负责人,并且知道某类问题该找谁。如果要启动一个持续一个月、多人参与的项目,就应该组织清楚;但如果只是临时找人共同想几个点子,规模足够小,混乱反而是更好的方式。

In Young: 这种“有秩序的混乱”有一个很典型的例子:我们用实时拍卖分配计算资源。整个计算集群对所有人开放;运行任务的人要认真判断自己的任务相对于其他所有任务值多少,并据此出价。这里没有太多护栏。

Grant: 也就是说,其他大公司可能通过一整套官僚流程在团队之间分芯片,你们则直接让任何人竞拍计算时间?

Nitya: 对。不过这也可以说是一种组织——毕竟有人实现了一整套拍卖系统。

这种设计还有一个好处:大家会对其他人的工作也产生集体责任感。如果我离开工位,而自己的任务不断报错,我不需要每分钟都回来检查。别人看到以后,可能会先帮我暂停,等我回来处理。我当然对自己的任务负有更大责任,但其他人也会把它视为整个公司的问题。

In Young: 运行任务的人和集群上的任务都是可见的。如果有人发现某个任务的 MFU 很差,可以直接去问:“我看到你在跑这个任务,计算利用率怎么这么糟?”很多问题通过一次对话就能解决,不必层层上报,因此系统运转得更快。

权限也很广:你甚至可以停止别人的任务。曾有一位毫无防备的研究员在 Jupyter Notebook 里运行调整任务出价的命令,却忘了传参数,结果把整个计算集群上所有任务的出价都改了。这当然不太妙,后来系统也修正了问题。但它说明了我们的做法:先按照合理方式建出系统,再根据实际使用有机改进,而不是一开始就用大量限制把所有可能性封死。

Jane Street 到底在做什么?

Grant: 我很好奇你们怎样向外界解释 Jane Street。最模糊的说法是“量化金融”,最具体的部分又涉及商业机密,中间其实还有很大空间。对我这种金融圈外的人,你们到底在做什么?组织在指向什么目标?

Nitya: Chander 曾提出一个很绕口的说法:Jane Street 是“通才型金融服务流动性提供商”(generalist financial-services liquidity provider)。老实说,我给大学生讲介绍课时发现,这句话并没有让事情更清楚。

我更常说,Jane Street 的核心业务——尤其在很多年前几乎就是全部业务——是做市。你可以把它想成一家“卖股票的杂货店”。如果买食品必须去农场买苹果、再去奶牛场买牛奶,生活会非常麻烦;杂货店把库存放在一个地方,让顾客随时买到。它还必须公平定价:当然可以把一个苹果定成 10 美元,但那样没人会买。

Jane Street 会为 ETF 相对于成分股进行定价,在它们偏离时交易。但更直观的理解是:如果一个美国投资者想投资中国或其他海外市场的公司,ETF 往往是最方便的工具。做市商站在中间,使这种需求可以顺畅成交。

Grant: 这解释了交易的一部分。但最近我听到的 Jane Street 叙事,越来越像一家 AI Lab。AI Lab 和股票杂货店之间怎样连起来?

Craig: 杂货店需要在万圣节前准备大量南瓜灯用的南瓜。它必须预判未来的供给与需求,这本质上是一个复杂的预测问题。做市也一样:为了在未来提供流动性,你需要提前判断市场需要什么库存、何时需要。机器学习正是在这里进入业务。

Jane Street 的机器学习转型

Grant: 外界对你们有什么持续存在的误解?

Nitya: 一个误解不仅涉及我们使用机器学习的规模,也涉及工作的原创性。外界很容易想象:我们拿几个现成模型,买很多 GPU,然后运行它们。这个做法在金融领域基本行不通。

我们处理的问题噪声要大得多,因此必须做许多非常基础的科学研究,真正理解问题的基本结构,并在更广泛研究共同体已知边界的前沿工作。这一点甚至让我自己都感到意外。误解可以理解,因为过去几年变化非常快;机器学习项目取得的成功,让整个过程像一次难以置信的旅程。

Grant: 所以过去几年里,你能明显感到实际工作发生变化?

In Young: 最明显的变化是 ML 项目已经产生了很多成功。感觉我们刚刚进入一条 S 曲线的起点,但它已经成为交易中非常重要的输入。就系统化交易而言,我会说机器学习是最大的单一驱动力。

Craig: 不同人会从不同方向误解 Jane Street。来自其他交易公司或银行的人,往往假设这里和那些机构很像;真正入职后,他们会发现 Jane Street 在某些方面更接近科技公司或学术环境。

另一个误解来自人数结构。有人看到公司里“Trader”很多、正式叫“Researcher”的人少,就以为大多数交易员在 Bloomberg 终端上手工下单。实际上,这更多是历史命名遗留。我们称为 Trader 的角色,在许多方面主要从事研究;公司系统化的程度远高于外界想象。

你甚至可以做一个小测验:猜某位同事在公司目录里究竟被列为 Researcher 还是 Trader。现实中,大家经常真的不确定同事的正式头衔。

公司当然有团队和一些结构,只是有时人们也不完全确定自己属于哪一组,因为会在多个团队间分配时间。大致而言,有一类人主要写代码,同时非常理解交易;另一类工程师的客户主要是其他工程师,他们离交易稍远,负责内部工具,例如管理代码分支、代码审查、发布流程,以及处理市场数据的基础设施。市场数据达到 PB 级,因此本身就是巨大工程任务。

Trader 与 Researcher 之间则是一条宽松的连续谱。更靠近交易的一端,会思考具体证券、当天市场和某个交易系统;更靠近研究的一端,可能启动大型计算任务训练模型,或构建工具,经过更长周期再进入交易系统。

Grant: Craig,你在这里已经二十年。先从技术说,今天的工作与刚加入时有什么不同?

Craig: 差别非常大。我刚来时,如果你能说“我们真的记录了数据,而且能在计算集群上训练一个线性模型”,就已经觉得自己很先进。

当年还有很多机会,只需理解两种证券怎样运作,盯着它们想一想,就能发现:“这里价格不一致,我们应该交易,让它们回到一致。”真的有交易系统直接运行在 Excel 表格里。你看一眼成交就知道那是一笔好交易,不需要统计分析。

今天的挑战完全不同。现在大多数建模工作都属于机器学习;近年越来越多使用神经网络,也会使用 GBT 等其他方法。中间经历过许多阶段,差不多每五年技术都会明显改变一次。

奇怪的是,文化却感觉相似。许多最早的一批员工今天仍在公司。

为什么 Jane Street 的人会长期留下?

Grant: 为什么 Jane Street 的员工会留下这么久?这种现象在其他地方似乎很少见。

Nitya: 你之前问什么让 Jane Street 成为 Jane Street,我最强烈的感受是“人”。很多工作场所都很友善,同事会友好对待你,Jane Street 当然也是。但更进一步,我的许多同事——包括新认识、或最近转到的新团队成员——会成为现实生活中的朋友。

他们帮助你,不只是因为人很好或公司鼓励友善,而是因为他们真的在意你是否成功。像大学里的室友或朋友希望你做好一道题,有时甚至比你自己更在意。在 Jane Street,我能感到身边的人和我一样投入我的成功。久而久之,互相帮助确实成为公司规范,也让一切摩擦很低。

去工作就像去和朋友一起解决很酷的问题。进入新领域时,工作会艰难、阻力也会很大,但你知道会有人和你并肩做,并提供支持。这对很多人都是重要因素。

In Young: 我入职时并没有想“我要在这里工作十年”。更像每天重新评估:我是否还在大量学习?是否开心?谈话质量和自主权如何?与其他可选机会相比怎样?令人吃惊的是,随着年资增长,我学习新事物的速度反而在加快。这是一种很难舍弃的感觉。

Grant: Nitya,你加入 Jane Street 之前在做什么?路径是怎样的?

Nitya: 我的路径对这里的人也许很正常,但当时对我非常独特。我一直以为自己要成为数学家,目标很明确。家人和朋友都说:“喜欢数学当然很好,但你要不要至少试一次不以教数学为工作的职业,看看自己是否喜欢?”

我申请了 Jane Street 实习并拿到机会,来了以后非常、非常喜欢,这完全出乎意料。第二年夏天我又回来,之后全职加入。

Grant: 但你的路径没有就此顺着惯性走下去。后来你回到学术界,又回来了?

Nitya: 对。工作几年后,我请假读完博士,再回到 Jane Street。那是一段非常好的经历。

Grant: 这种“请假读博再回来”有多常见?

Nitya: 像我这样在职业中段半离职几年去读博士的人非常少。不过 Jane Street 有很多人走过各自独特的路径,公司会非常灵活地让个人情况成为可能。

Grant: 你的面试经历怎样?

Nitya: 很有趣。电话面试混合了概率题和其他问题解决题。现场面试与预期不同:我以为会做更高阶的数学,结果玩了很多游戏。现在回看很有趣,当时却压力很大,因为我没有太多朋友经历过这类面试,不知道会发生什么。

那天安排了很多轮,最后一轮和 Chander 一起往墙上扔筹码。做到一半,两位招聘人员冲进来说:“Nitya 要误机了!Nitya 要误机了!”然后我被一路送上飞机。当时我想:我一定把面试搞砸了。结果似乎还不错。

Jane Street 如何挑选人才?

Grant: 你们现在面试人,与五年前相比,寻找的特征或方法发生变化了吗?

Craig: 大方向一直是招聪明、勤奋、讲道理、适应力强、喜欢学新东西的人。今天机器学习技能当然是加分项,但总体策略没有太大变化,因为我们真正寻找的是这些通用能力。

我们会刻意设计数学谜题,但不希望题目变成“只要上过正确课程、知道某个工具就很简单”。更理想的是候选人没见过的问题,大家可以共同讨论,观察他怎样思考。这种通才当然很难识别;说起来容易,做起来远没有那么简单。

低人员流失率也与招聘和训练有关。如果员工的中位离职时间只有三年,你不会愿意花整整一年把他重新训练成 ML 人员,而会直接招聘已经掌握技能的人。如果相信多数人会长期留下,持续投入再培训才更合理。

Alok:  面试最困难的地方在于:一个岗位并不要求新人第一天就拥有完整技能,所以你实际上是在评估这个人一年后、五年后的能力和产出会是什么样。怎样在一小时、或几轮一小时的谈话里判断一个人经过数月训练后能否高度胜任?这里没有漂亮的结论。我们只是尝试各种启发式方法。

寻找能够学习多种事物、适应力强的通才,过去总体上很成功,也让公司能快速适应工作的新要求。五年前擅长学习并应用新技能的人,即使今天所需的技能组合已经明显变化,大概率仍然擅长学习。

Jane Street 的另一面:数学、编程与好奇心

Grant: Alok,你加入 Jane Street 前在哪里?是什么路径?面试又怎样?

Alok: 我的路径比较典型。我申请了 2018 年夏季的研究实习,当时同时学习数学和计算机科学。过去我一直假设:计算机科学是用来找工作的,数学则有趣,但不知道谁真的会用它。

Grant: 所以学习计算机科学主要是职业考虑?

Alok: 也不完全是,我本身也喜欢计算机科学。只是我想象中的工作会使用 CS 背景,如果偶尔能做数学,那只是额外奖励,不能把它当作求职条件。当时我认为,真正同时重视数学和 CS 的领域大概只有两个:广义上的机器学习与数据科学,以及金融里那群我还不清楚在做什么的人。

我原本以为金融公司里坐着一群拥有“银河大脑模型”的人,模型能解释一切,至少能解释某个极具体领域。实习一个夏天后,我发现这里在很多方面更像其他地方的数据科学。真正让我惊讶的是,大学里看似非常抽象的知识,能直接迁移到建模分析,产生具体应用。

Grant: 能举一个抽象思维突然变得实用的例子吗?

Alok: 实习前一学期,我在统计课上学过 M-estimator 理论。这类思想由 Huber 在 20 世纪提出,看起来像理论数学家造出的东西:仿佛只有数据达到银河尺度时,它才在渐近意义上成立。

但处理畸形数据时,它实际上非常有用。使用这类看似奇怪的稳健估计量,有时就是能得到更好的结果。我实习期间做的项目之一,就是尝试把这套理论用于具体建模问题。

Grant: Craig,我们以前见过几次,但我真不知道你是怎样来到 Jane Street 的。你的答案似乎与他们不一样。

Craig: 确实不一样。当时公司还很小。大家开玩笑说我是“被狼养大的”,因为今天很多人来自不错的学校,可能在数学夏令营就认识;我的经历则非常偶然——也可以说非常不偶然。

我一生基本只申请过这一份工作。我在 OCaml 邮件列表上看到招聘帖,当时为了练习做了一份简历,主要计划其实是去读博士。我想,既然写好了,就投一下吧。

那时的招聘流程也完全不同,我觉得按今天标准自己可能不会被录用。只有一轮电话面试,之后我到纽约现场面试——反正能免费去一趟纽约,为什么不去?结果我喜欢遇到的人,就接受了工作。那是 2005 年,现在我还在这里。

Grant: 你为什么会关注 OCaml 这种相对冷门的语言?

Craig: 基线就是:我是个广义上的书呆子。用电脑做有趣的个人项目时,我默认会用 OCaml。比如画分形,或者给棋盘游戏做一个 bot,看看游戏智能体怎样实现。都不是什么严肃项目,只是好玩。

Grant: 你们平时怎样娱乐?我听说有人在办公室里讲物理课,还谈“图的 e 次方”。那是什么?

Alok: 我偶尔会在旁边的会议室做临时数学或物理分享。最近一次讲的是统计力学和配分函数,后来谈到只要把思路打开,几乎什么东西都可以做指数运算。

Nitya: 后来还讲到了 Feynman diagram,对吧?

Alok: 对。Feynman diagram 与配分函数和统计力学关系非常紧密;但一旦开始讨论“图的指数”,事情就显得有点怪了。

Grant: “图的 e 次方”简直是典型的 3Blue1Brown 点击诱饵。这确实会是个有趣的选题。

今天的讨论非常有启发。我之前和 Craig 聊过,也与 Nitya 有过交集,但 Jane Street 对我仍有很多问号。这次把不少事情说清楚了,也会让观看的人更具体地理解公司。谢谢你们抽出时间,我非常享受这次交流。

 


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/200129