访谈来源:Bloomberg Odd Lots
主持人:Joe Weisenthal、Tracy Alloway
嘉宾:Iain Dunning,Hudson River Trading AI 负责人
原视频:https://www.youtube.com/watch?v=ADfpBrl8Avo
Iain Dunning 是 Hudson River Trading(HRT)的 AI 负责人,加入 HRT 前曾在 DeepMind 工作。HRT 是全球领先的自动化自营交易与做市机构之一,覆盖股票、期货、期权、债券和加密资产。过去十多年,HRT 持续把深度学习引入核心交易系统:神经网络直接读取报价、成交、撤单等底层市场事件,生成价格预测,再由独立的执行与风控系统将这些预测转化为交易。
这期访谈主要讨论 HRT 如何用深度学习直接预测短期市场,以及这种方法为什么能够成立。 Iain 回顾了 HRT 从人工特征工程转向大规模神经网络的过程:减少人为预处理,把更底层的市场数据直接交给模型,让机器自己学习表征;这种方法依赖海量市场事件和大量重复决策,即使单次预测优势很小,也能通过规模累积成利润;与此同时,模型仍被包在严格的执行、监控和风险控制体系之内。
TL;DR:Iain Dunning 的核心观点
- 1. HRT 已经把深度学习放进了核心交易系统。 HRT 过去主要依靠研究员手工设计特征,再用相对简单的模型组合这些信号。大约从 2013—2014 年开始,他们转向让神经网络直接从大量市场数据中学习。最初新旧方法并存,后来直接从数据学习的模型逐渐超过传统方法,成为主要预测引擎。
- 2. “Bitter Lesson”:少做特征工程,让模型自己学习。 Iain 认为,面对报价、成交、撤单等海量底层市场事件,与其花大量精力设计人工特征和预处理,不如把更多原始信息交给能够利用大规模数据和算力的神经网络,让模型自己找到有效的表征。
- 3. 短期市场确实可以被预测,但优势可能非常小。 HRT 的模型并不是每次都能准确判断价格方向。Iain认为预测能力只需要稳定地比随机好一点,只要这种优势能够在大量市场和交易机会中不断重复,就可以积累成可观利润。
- 4. 做分钟和小时级预测时,最重要的数据就是市场本身。 对很短期限的预测,最有价值的通常不是社交媒体或另类数据,而是交易所里的报价、成交和撤单。这些数据直接记录了市场参与者正在做什么,而且每天都会产生巨量样本。预测周期延长到几天以后,新闻、SEC 文件、财务数据和券商报告等信息才会变得更重要。
- 5. 模型可以做对,但人类未必能解释它为什么做对。 HRT 的神经网络很难被完整解释。Iain 并不认为这是致命问题,因为人类自己看着订单簿,也无法准确解释一分钟后的价格变化。模型可能在高维空间里发现了人类从未定义过、甚至无法命名的结构。
- 6. HRT 的市场模型和大语言模型正在面对越来越相似的问题。 两者都需要处理超长序列、巨量数据、大规模训练和快速推理。区别主要在数据类型:LLM 处理文本 Token,HRT 处理的是连续发生的市场事件 Token。Iain 认为到了 2025 年,前沿 AI 实验室的很多研究经验已经可以直接启发 HRT。
- 7. HFT 的竞争已经不只是比谁更快。 过去行业非常强调机房距离、微波线路和极致延迟,但 Iain 认为这部分优势已经被充分竞争。现在更重要的问题是:在给定的反应时间内,谁能做出更好的判断。HRT 会根据不同速度需求使用 FPGA、自研芯片和 GPU。
- 8. HRT 已经不再只做传统意义上的高频交易。 Iain 明确说,外界对 HRT 的印象常常还停留在 2020 年以前。现在公司既做高频,也做中频,而且中频已经成为很大的业务。模型的预测期限也在向外延伸,最长通常可以到几天。
- 9. AI 模型不会直接控制交易所订单。 HRT 把神经网络放在多层传统执行与风险系统之内。模型提供预测或计划,后面还有经过人工审计的执行逻辑、限额、合理性检查和实时监控。Knight Capital 的事故至今仍是他们内部反复强调的风险案例。
- 10. 通用 LLM 目前很难直接做可信的历史回测。 如果一个模型训练时已经看过历史上的美联储讲话,也看过讲话之后的市场结果,再让它“预测”这些历史事件,就无法区分它是在真正推理,还是在调用已经见过的信息。对金融研究来说,真正的样本外验证仍然非常重要。
访谈精编
HRT 到底怎样赚钱
Joe : 今天的嘉宾是 Hudson River Trading 的 AI 负责人 Iain Dunning。他此前在 DeepMind 工作,交易和 AI 两方面的经历都很扎实。
Iain : 我很高兴来这里。我同意,行业里的神秘感被夸大了,尽管大家为什么愿意保持这种神秘感也不难理解。我们可以直接越过它。
Joe : 先问最基础的问题。Hudson River Trading 是一家怎样的公司,它怎样赚钱?
Iain : 我们是一家量化、自动化、自营交易公司。这几个词连在一起很长。我更愿意把我们理解成市场的服务提供商,最清楚的例子就是做市。任何人、任何时间、任何地点想买卖一种产品时,如果有人随时准备和他成交,这对市场有实际用途。对我们来说,这些产品包括股票、期货、期权、加密资产和债券。
假设你能造出一台神奇机器,随时为任何工具报出买价和卖价,而且报价是市场上最紧的。别人愿意和你交易,因为他们找到了对手方,也拿到了较低的价差。我们则从价差里赚一点钱。它很像在压路机前捡硬币。只有当那台机器能正确判断每种资产值多少钱,并告诉我们压路机什么时候会过来,我们才能持续捡到这些硬币。
从这个角度说,我们是一种高度复杂的中间商。Amazon 自己不生产大部分商品,却通过连接交易双方提供服务,成为一家有价值、有利润的公司。我们做的事也类似,只是我们在不同时间和地点之间,为不同对手方转移股票、债券和其他资产。
从人工特征工程到机器直接学习市场
Tracy : AI 与过去的算法交易或量化交易有什么不同?这是对既有方法的渐进改良,还是交易方式发生了结构性变化?
Iain : 我不想夸大 HRT,因为这个行业很不透明,我们不知道同类公司具体在做什么。我只能谈自己的经历。我们做这类交易已经二十多年。传统方法与其他量化公司相似:研究员根据人的直觉手工设计特征。比如,订单簿失衡,想买的人比想卖的人多,于是推断价格很快会上涨。
你可以让很多聪明人仔细琢磨,像制作高级机械表一样,把一个个部件精心做出来,然后用线性回归等相对简单的数学方法把这些预测变量组合起来。我参加会议和招聘很多年,到今天你仍能在网上看到有人说,金融里只能这样做。他们会说市场噪声太大、非平稳性太强,复杂模型不可能有效。但在我看来,这种信念没有证据支持,也不符合我们的实际经验。
理想状态是把市场问题交给一台没有人类偏见的机器。我自己不知道该怎样交易股票,我个人只买宽基 ETF。但如果你能把所有市场数据放进一个盒子,让它从这些数据中自行学习,它会找到手工构造特征永远找不到的东西。我们大约从 2013、2014 年开始这样做,在行业里算比较早。
过去十年,这条路线和金融以外的 AI 一样出现了曲棍球杆式增长。你可以从模型规模和投入算力看到这个变化。开始时,它只是传统方法的补充,两者组成混合系统;后来,直接从数据学习的模型完全超过了传统方法。现在,我们的交易全部由这台“神奇机器”驱动,它读取我们的全部数据。
我反复用“读取全部数据的神奇机器”这个说法,是因为 ChatGPT 的训练方式也是读取从互联网收集并连接起来的大量数据,再训练一个统一模型,最终产生某种涌现能力。这与人先用自己的市场直觉构造预测模型有实质区别。
Tracy :
AI 的价值有多少来自执行能力,比如用数百、数千块 GPU 快速处理大量数据;又有多少来自它发现了过去方法捕捉不到的复杂模式或错价?
Iain : 两者都有。坚持“做一个线性回归就够了”的人忽略了金融市场到底生成了多少数据。这里的数据不是一条价格时间序列,而是市场发生的每一个底层事件:有人报价、成交、撤回报价。底层事件合在一起,数据规模可以与互联网相比。
我们在 AI 上得到过一个带着苦涩意味的教训:不要花太多力气做特征工程和预处理。把底层数据全部放进去,选择一种能利用互联网规模数据的计算方式。2010 年代的计算机视觉也走过同一条路。以前人们手工设计图像边缘检测器,再把这些检测器组合起来。那个方法不是毫无价值,但后来完全输给了另一种路线:准备大量 GPU,用相对通用的神经网络直接处理数据。
至于模型究竟找到了什么,是过去方法发现不了的,我们很难给出清楚解释。模型的可解释性不强,我认为这可以接受。我们的典型持有期是几分钟、几小时,最长往往也只是几天。假如让我看 Tesla 的订单簿,我能比随机猜测更准确地说出一分钟后的 Tesla 股价吗?不能。如果一个系统在这件事上已经明显超过人类,你还能期待它提供哪一种符合人类直觉的解释?
Joe : 先把这里说清楚。你用这台在实验室里“长出来”而非被逐条编程的机器交易 Tesla、Nvidia 等股票。它不是聊天机器人,技术也不同。你的意思是,你们现在能比十年前更准确地预测 Nvidia 今天下午或明天的价格。过去有人说,股票市场不是国际象棋或围棋,所以机器无法用相同方式预测。但你认为这些模型至少在短期限内确实拥有预测能力。
Iain : 是的。直到今天,我自己仍觉得这件事有点难以相信。有效市场假说已经进入每个人的脑子。别人告诉你他能预测一小时后的股价,你的本能反应是怀疑他在虚张声势。但这些模型确实能预测。
调和这种直觉的办法,是承认它们的预测其实很差。我们通常不用“准确率”描述交易模型,但你可以把它想成 50.1%。它只比随机好一点点。
Tracy : 可是,只要规模足够大,多出来的一点准确率就能显著改变利润。
Iain : 对。你反复做足够多次,时间一长就能看见这枚硬币存在轻微偏置。这个能力也不需要诉诸魔法。市场很美,因为许多参与者带着不同效用、风险偏好和约束相互作用。你只能从他们在市场里采取的行动观察这些差异。模型吸收大量微小的买卖流量信号,再向前外推。
Joe : 对机器能否预测股价的怀疑其实有些奇怪。机器读取数据,发现某组数据出现后第二天更可能上涨。人类每天都在做同样的事。分析师根据少得多的数据,也会给 Tesla 或 Nvidia 一个目标价。既然人类可以预测,为什么拥有更多数据的计算机反而不能?
Tracy : 一部分怀疑来自模型向后看。模型偶尔不能识别或应对大的制度变化。人们会认为,人类的思考更灵活、更能适应环境,也更容易看见文化变化。你们怎样应对大的模式断裂?
机器正在学习人类难以解释的表征
Tracy : 再具体谈谈数据。很多人介绍 AI 时会用公关语言,说自己拥有大量罕见数据、另类数据,因此能把 AI 用得更好。你们实际看什么?哪类数据最有用?
Iain : 我刚进入这个行业时,最反直觉的一点是:如果你预测一分钟或一小时后的价格,最有用的东西远远领先其他数据,就是普通市场数据,也就是从交易所购买的数据流。价格并不高。有人把它想成竞争护城河,但这些数据费没有高到无法负担。在加密市场这个“西部世界”,每个人也能自己采集交易所数据。
这些数据最接近所有参与者真实意图。人们到市场里报价、买入、卖出。数据流里是一连串很小的事件:某人以某个价格和数量报了一笔单。身份是匿名的,但这些事件是最原始的材料,而且数量巨大。每只股票、每个期货品种每天都会产生数百万个事件。
大家容易迷恋 Twitter 数据之类的东西。Bloomberg 的产品里也卖 Twitter 数据,当然可以买。新闻偶尔会在交易时段突然出现,推动价格离开原位。但冷静计算,它相对于整个市场的巨大活动量仍是低频事件。日内预测首先要看市场数据。
当期限延长到几天,所谓另类数据才真正进入模型。这里的“另类”是相对于市场数据而言,包括 SEC 文件、新闻、资产负债表和券商报告。市场上有一大片供应商出售各种数据。预测期限变长后,Sharpe 本来就较低,很难把增加的 Sharpe 精确归因给某个数据集。
数据市场在某种意义上也很民主。也许有人秘密收集很独特的数据,但我甚至不负责采购,邮箱里仍然经常收到最新另类数据集的推销。我认为很多数据未必有预测力,不过显然存在买方。
Joe : 你见过最疯狂的数据是什么?
Iain : WallStreetBets 时代之后,很多供应商迅速推出从 Reddit 抽取的数据,还试图在原始帖子之外做进一步提炼。但回头想想,迷因股往往是在事情发生之后被讨论得更多,而不是之前。所以我不知道这些东西到底能提供多少预测价值。
Joe : 你刚才提到可解释性。我一直想不通一个问题,不只在金融里。DeepMind 做出了超过最强棋手的围棋系统,国际象棋引擎也早已超过人类。但据我所知,并没有真正优秀的 AI 国际象棋教练。引擎能碾压你,却不能清楚地说:“你刚才这一步堵住了车的线路,若干步之后会付出代价。”Chess.com 的自然语言解释也很初级。为什么 AI 能把问题做得极好,却无法用普通语言解释自己做了什么?
Iain : 神经网络在某种意义上只是一大团数字。训练这些模型时,我们有意摆脱几乎全部先验结构。它们学习问题的方式可能与人完全不同。它们也许在内部进行某种“推理”,但我对这个词很谨慎。人们还会说神经网络拥有“想象力”,这种拟人化很危险。它们用一种本质上不同于人的方式处理信息,所以很难把内部过程重新映射成人类的解释。
也有一些有趣的反例。Anthropic 做过 Golden Gate Claude 实验,让模型对金门大桥产生强烈兴趣,无论问什么都绕回金门大桥。这说明模型并非完全无法探测。但超过某个程度之后,想把它映射成人的思考方式仍然很困难。AI 安全研究很想解决这个问题,虽然它与我的工作关系没那么直接。
Joe : 如果这个问题能解决,许多岗位会获得明显的生产率提升。你们的模型与大语言模型不同,但两者都依赖海量数据和算力。在大模型实验室工作过的人,能否把训练经验直接带到你们这里?
Iain : 2025 年可以。2020 年时我不会这样回答。这个变化让我很意外。我们的数据是很长、按顺序排列的信息流,任务是根据这段信息向前推断。早期 AI 研究更像图像分类:“这是不是热狗?”后来音频和机器人研究与我们稍微接近。到了 LLM 时代,双方的问题突然很相似:都需要回看很长的历史和上下文,都拥有大量数据,也都希望高效处理这些数据。
两边还都需要快速提供推理结果。大型语言模型面对数百万个在网页里输入问题的人,用户希望尽快得到回答。我们的模型也必须及时作出预测,否则预测失去价值。因此,我们对问题的思考方式越来越接近前沿 LLM 实验室。区别在于数据模态。它们主要处理文本,我们处理同样庞大、难以直接解释、具有顺序关系的 Token 流,只是我们的 Token 是市场事件。
这很有意思,因为只要还有论文公开,我们就能从中获得启发并比较做法。但市场仍是一个独立问题,每天都有自己独特的挑战。
HFT 的竞争已经不只是速度
Tracy : 你说数据让金融更民主。2010 年代,人们称大型投行为“流量怪兽”,因为它们能看到大量客户订单,并利用流量优化融资成本和其他费用。数据与 AI 能否复制这种优势,让 HRT 也成为一个小型流量怪兽?
Iain : 市场里仍有一些趋势让我担心。我们心目中的理想市场结构,大概是所有人都在一个中心化交易所里成交。但现实并没有向那个方向发展。大量交易发生在场外、暗池或准暗池。有些交易领域里,“人在那个房间里”仍然是巨大优势。从 AI 的角度看,这几乎是一种反 AI 结构:流量数据被藏起来,样本又很稀疏,无法交给机器学习。
不少数据最终会被集中报告,但延迟太长,无法用于实时决策。AI 依赖数据,所以从长期看,这会成为一个问题。你仍然需要进入实际发生交易的房间。
Joe : 这正是我对物理基础设施好奇的地方。我向 ChatGPT 提问时,不在乎模型是在得州的哪个地方训练,只要回答能回来。但高频交易至少在执行端要求设备与交易所共址,线路越短越好。你们的硬件栈与前沿大模型实验室相比,有哪些相同和不同?
Iain : 从整体上看,两者有不少相似之处。可以用延迟和吞吐量来理解:延迟是反应所需时间,吞吐量是在给定时间内可以做多少计算。交易确实要求低延迟。2010 年代早期,《Flash Boys》塑造了一种印象,认为行业主要靠延迟套利。好消息是,大部分延迟已经被套利完了。缩短信号线也许还剩一点优势,但相对于过去已经很小。大型量化交易公司不再把线路缩到绝对最短作为主要竞争点。坦白说,我觉得那部分工作很无聊。
现在更重要的问题是:在给定反应时间内,你能不能成为最聪明的参与者。这是一条曲线。如果你用一秒作出交易决定,它最好是一个非常好的决定,那么花一秒就没有问题。如果你必须在一微秒内反应,你做不了太多计算,但仍要给出这一微秒内最好的回答,只是我们可以接受它比一秒版本稍弱。
训练方面,我们同时使用云,也建设自己的训练数据中心,基本结构与 Google 等公司相似,只是规模小得多。与普通公司相比我们可能很大,但不是 Google 或 Meta 那种数十亿美元级别。
推理端不同。设备要放在交易所附近,我们必须仔细考虑功耗和延迟。HRT 有硬件团队,会设计 FPGA,也会设计自己的芯片,同时使用现成 GPU。目标是在每一种反应速度上,尽可能作出最聪明的决定。
FPGA 是现场可编程门阵列。各种设备的延迟和吞吐量不同。GPU 的吞吐量极高,这也是它们有用的原因。但市场的数据流比较窄。LLM 可以把成千上万名网页用户的请求凑成批次再处理,我们没有这种奢侈。市场按照自己的速度运行,我们不能暂停一会儿再追赶,必须一直留在场内。
因此出现了很有意思的设计问题:GPU 延迟相对高,返回一次结果要花时间,但一块 GPU 也许能同时处理整个股票市场。怎样把这种能力与最快的反应结合起来?HRT 有完整团队专门研究怎样从同一个智能模型里,以不同速度取出不同答案。
Iain : 今天我们大量精力都投在这里,而不再是把宾夕法尼亚乡间的微波塔重新对准一点。后者也是一个很酷的工程问题,但已经解决了。我认为大家已经找到了从新泽西到芝加哥最直的线路。
Tracy : Joe 刚才提到有人质疑 CME 与 Google 的云合作。Don Wilson 在我们节目里公开表达过一种担忧:把撮合放在云上时,你提交两笔订单,却无法确定哪一笔先成交,重新掉进了黑箱。也许这是延迟问题。你认为它是真问题吗?
Iain : 这是我会担心的事。我们的总体理念是,市场应尽量透明、公平。让不同参与者平等接入是好事,不能让少数人通过奇怪技巧获得速度优势。但市场同时需要可靠性。如果订单先后到达,交易所却用不同次序成交,这不是合理的市场运行方式。工程团队需要投入很多工作保证顺序确定,市场设计也应把它当成基本要求。
这种差异在全球交易所里很常见。我们交易很多国家的产品。有些交易所的硬件极其出色:即便两笔订单只差一纳秒,哪怕订单来自一百个不同网络端口,系统也不会处理错顺序,因为它们建立了精密的时间戳机制。
另一个极端是某些加密交易所,感觉像一个刚学会 JavaScript 的孩子搭了网站。你发送订单后,甚至不知道它是否收到,只能五分钟后刷新账户余额,看看钱还在不在。市场是什么样,我们就应对什么样的市场。但我们明确偏好两件事:平等的接入和可预测的结果。让所有人把精力用在怎样把线路缩得更短,对社会并没有太大价值。
真正的护城河:算力、电力与系统工程
Joe : 当你与大模型从业者交谈时,大家会争论主要约束到底是什么:电力、GPU、人才,还是训练数据。你们现在与理想状态之间,最大的约束是什么?
Iain : 从长期战略规划看,电力显然是硬约束。我们要建设新的 GPU 训练数据中心时,土地通常不难找,困难在于有没有足够电力。HRT 同时使用云服务和自建数据中心,所以电力限制、供电谈判已经进入我们的规划。
我们有一座位于寒冷地区的数据中心,想进一步扩建。数据中心合作方很好,但他们会说,下一批容量需要先与电网谈判。很多时候,这才是瓶颈。
GPU 在过去确实短缺,但现在,如果我们下单,通常能在合理时间内收到,不一定次日送达,却不再是扩容周期里最长的一根杆。
Tracy : GPU 最紧张是什么时候?
Iain : 2023 年下半年很糟,正好是 Nvidia Hopper 一代。Bloomberg 昨天报道 Nvidia 的会议,数字大概是 Hopper 级 GPU 已生产一百万块,而 Blackwell 级已经生产四百万块。供应明显扩大,但我也不认为它们形成了卖不掉的库存,新产能同样迅速被吸收。
真正难的仍是电力。这件事让我很震撼。我是千禧一代,大学时气候变化是公共讨论的中心。现在很多人为了快速启动数据中心,大量购买燃气轮机,直接放在建筑外面发电。要及时获得电力,这几乎成了唯一办法。看到这种场景,我会想:我们到底在干什么?
大家宣称未来还要建设多少数据中心。只要用纸笔估算一下用电量,我就不知道这些数字怎样成立。Sam Altman 等人讨论过每个时间单位需要新增多少发电能力,但数字仍然很吓人。HRT 在整个 AI 用电版图里只是较小参与者,我们谈的是数十兆瓦,不是数吉瓦。数十兆瓦已经超过很多城镇的用电规模,而我们仍然很难以合理价格找到电。
Tracy : 如果 GPU 紧缺已经缓解,延迟也不像过去那样重要,交易公司的竞争优势来自哪里?
Iain : 人才仍是约束,市场竞争很激烈。我们需要的人既要是优秀研究员,也要是优秀工程师。进入 AI 时代,这两个身份越来越难分开。研究不再是先在白板上写想法,再把编码交给其他人。任何研究构想都与实现方式紧密连接。这类人很稀缺,我们也愿意为他们支付高薪。
更隐蔽的优势是把全部组件接起来。工程团队能不能采集所有数据、正确记录,再把它送进 GPU 训练数据中心?我们的数据集以 PB 计。仅仅存下这么多数据,并从存储位置可靠地传到世界另一处训练中心,就是巨大的工程工作。训练运行本身又很昂贵。
模型训练完成以后,还要把它真正部署出去。听起来答案只是“每件事都要做好”,似乎很平淡,但事实就是如此。我的团队叫 AI 团队,重点是训练模型。这是重要环节,却不足以独立构成交易系统。如果 HRT 没有其他团队负责取得数据、把数据送给模型、把决策传回市场,并在市场突然繁忙时维持全部系统,我们什么也做不了。
规模在这里有明显好处。我很难想象 2025 年从零创办一家 HRT 式公司,因为建立足够的工程规模需要巨大的前期投入。我们的同业也在工程上投入很多,而且会继续投入。
AI 正在把量化交易推向更长周期
Joe : 《金融时报》最近写到,HRT 之类的公司正在进入更慢的交易,原本做慢速交易的公司则试图加快。你们也许能相当有把握地预测下一小时,幸运时预测下一天,一个月则过于遥远。你们模型的预测期限是否在扩大?
Iain : 在扩大。外界即便知道 HRT,也常停留在 2020 年以前的印象,认为我们纯粹是一家高频交易公司。我们现在既做高频,也做中频,中频已经是很大的业务。
假设我对五天后的某只股票有明确观点,准备买入。我不会一次买完,而会在五天内逐步获得头寸。什么时候买最好?我有一个模型能告诉我未来一小时内哪一个时点价格更合适。于是,短期模型可以为长期交易提供执行决策,而且这种关系能够一层层向下传递。
Tracy : 当交易期限变长时,你们的基本工作还是提供流动性,只是库存持有得更久,还是赚钱的理由也发生了变化?大家想到对冲基金时,通常会想到方向性策略,而非流动性服务。
Iain : 到了更长期限,做市服务的比喻确实会失效,再继续用就太勉强了。此时更接近主动获取流动性。订单簿里有人挂单说要卖股票,我们判断长期价值更高,就主动买走,因此会跨过买卖价差并支付交易成本。当然,你也可以在做市时带一点方向性倾斜,慢慢获得头寸。
不过,任何交易都有对手方,对方也有自己的交易理由。我喜欢用国际象棋和围棋作比较。它们是零和游戏,只有一个赢家,一方加一,另一方减一。交易之所以能够持续,是因为它在效用意义上可以是正和。钱在成交瞬间守恒,交易所还收一点费,所以从货币算甚至略为负和;但参与者的效用不同。
我的工资进入 401(k),自动购买 ETF。我四十年内都不会动它,所以对成交价格相差一美分不敏感。做市商赚到这一美分会高兴,我也高兴,因为我及时拿到流动性,没有跨过很大的价差。双方都获得了自己需要的东西。
这也是为什么不能用 AlphaGo 的方式理解市场。如果市场只有 HRT 和所有竞争对手相互伏击,大家都在比谁更聪明,最后会形成一个巨大的僵局,没有人愿意先交易。真实市场很活跃,因为即便我们主动跨过价差,对手方也确实有理由出售。五天后如果我们判断正确,他未必后悔,因为他可能只是在对冲另一个头寸,根本不在乎五天后的股价。
因此,它仍然可以理解成一种服务。我们只有在别人想交易时才能赚钱。如果没有人交易,我们就没有存在的理由。不同参与者拥有不同动机、目标和时间范围。
Tracy : 工程师通常喜欢开源,也愿意参与 AI 研究生态。交易公司则更重视保护模型、数据和其他专有信息。HRT 怎样平衡这种冲突?
Iain : 坦率说,很多年前,这确实让我们在招聘时处于劣势,尤其面对刚毕业的博士。他们会说:“去 Google,我还能发表研究,行业知道我是谁,我也保留职业选择;去 HRT 或类似公司,就像走进一道帷幕后面,多年不再出现,外界只能相信我在那里做了聪明的事。”
我当时没有很强的反驳,只能说写论文被高估了,我自己做过,年纪大一点以后你不会那么在意。
现在情况变了。大科技公司付钱让研究员持续发表的黄金时代基本结束。大型 AI 实验室公开的论文往往已经过时,或者不是最重要的工作。真正处于前沿的人不能分享自己在做什么,研究变得非常保密。这个问题在某种程度上替我们自己解决了,人才开始承认知识产权需要保护。
我甚至看到 AI 实验室的人公开思考竞业协议。这是一个惊人的转变。过去硅谷对此非常反感,加州事实上也限制竞业,还会以纽约交易行业使用竞业为由批评我们。
现在的大笔人才薪酬也在购买知识产权。个人不会把代码或文件偷走,但如果一家公司同时招走五个知道“汤是怎么熬出来的”的人,他们拥有大量流程知识。你会突然更认真地考虑保护这些知识。HRT 花很长时间培训员工,员工也需要很久才能产生完整生产力。假如别人可以把这套知识立即拿走,对我们当然不利。
AI 交易真正难的地方:风险控制与验证
Tracy : 回到你最开始说的压路机。大家现在很兴奋 Agent 型 AI。我会想到金融史上 Knight Capital 的事故。它的一个算法失控,买入大约七十亿美元的股票,十五分钟左右就毁掉了公司。你们设置了哪些防线,避免重演 Knight Capital?
Iain : 每一期新人培训,我们都会讲“Knightmare”,用 K 开头。HRT 有多位前 Knight 员工。一家成功交易公司在十几分钟内结束,这个故事一直困扰我们,我们尽量吸取其中每一个教训。
核心是分层防御。AI 模型不会直接向纽约证券交易所发送订单。它提供某种计划,后面仍由传统、经过人工审计和风险检查的系统执行。日常运行中,我们沿整条链设置很多层合理性检查。
更高层面上,新版本发布有严密流程。我们做上线前测试和审计,专门避免 Knight/ KCG 那类场景。交易日内还会对神经网络做持续的合理性检查,确认输出值落在预期范围。检查系统可能比市场数据流慢一点,却足以重新确认模型的数值稳定性等基本条件。
这里讨论的主要不是亏钱或赚钱,也不是传统金融风险,而是操作风险。整个组织保持很深的偏执。这与普通 AI 世界仍然不同。普通产品有时会接受一定失败率,把它计入成本;在交易里,一次失控就可能毁掉一切。
我们当然担心损失,但更担心做出监管者不能接受的行动。监管信任一旦失去,要很久才能恢复。HRT 在很多国家交易,我们尊重各地监管者,也认真遵守各自复杂规则。谁都不想因为一次操作错误被赶出一个国家。监管文化对错误的容忍度很低,我们也必须如此。
只要公司十年后还留在场内,长期利润远高于“快速行动、打破东西”带来的短期好处。我们希望行动快,但不能打破市场。
预测能力最终取决于期限和数据密度
Joe : 我还有很多问题,最后先问一个以后值得单独做一期的话题。就业报告发布后的第一秒发生了什么?数字出现在屏幕或网站上,市场立刻大幅移动。人还没读完报告,更没来得及讨论“就业好不好、工资数据怎样”,价格已经变了。从 HRT 的角度,事件发布后的第一毫秒发生了什么?公司财报也可以作为例子。
Iain : 我们有低延迟 Bloomberg 标题数据流。重要新闻会带星号之类的标记。处理方法可以从手工逻辑到 AI 模型:最简单的是查找关键词,复杂一点就把内容交给模型。
有件事我仍然很难理解。一些期权交易公司雇了数千人做人机结合交易。某只大股票,例如 Nvidia,可能有十个人专门盯着它的期权。他们看新闻流,界面上准备了绿色和红色按钮,一旦事件出现就迅速点击。这是一种真实工作。
我们曾在公司黑客松里模拟它:接上 PlayStation 手柄,让员工练习对事件快速反应。它很难,却是一种可以训练的技能。按照有效市场的逻辑,这项工作应该可以交给 AI。
真正困难的是,不能直接接入 ChatGPT。对日常使用来说它很快,对市场而言延迟仍然太高。更重要的是,你不能用 ChatGPT 做真正的历史回测。它训练时看过美联储主席的每次讲话,也知道讲话之后发生了什么。你怎样证明它面对下一次 Fed 讲话还会正确反应?
传统金融研究用回测检查策略过去表现。但这里的历史样本全在训练集里。学术论文会尝试处理这个问题,声称模型仍然有效并做各种校正,可这些模型很强的原因之一就是它们记住了大量训练内容。既然如此,历史“预测”为什么可靠?如果有人说:“我让 ChatGPT 分析了每次 Fed 讲话,十次里答对九次。”我反而会问,既然它都见过,为什么不是十次全对?
今天仍有很多人参与相对高速的股票和期权交易,尤其是小众产品。把全部信息实时整合起来仍然困难。人们讨论 2028 或 2030 年出现 AGI,但当下仍有许多人在手工交易股票和期权。我也还没有完全调和这两件事。
Joe : 我很喜欢 Iain 对怀疑论的回应。很多人说 AI 能解决国际象棋,却不能解决股票市场。我一直不满意他们给出的理由。股票当然不像一个可以完全求解的棋局,但人类也是靠识别模式在市场赚钱,为什么硅基系统不能做同样的事?
Tracy : 而且,我们已经有多年高频和算法交易的历史,参与者也确实赚到了钱。Iain 对期限的解释是我最重要的收获。你必须让 AI 方法匹配实际可用的数据。市场数据绝大部分集中在短期,秒的样本比分钟多,分钟又比天多。数据也天然偏向即时变化,而不是遥远历史。
Joe : 金融里经常有人说:“过去十九次出现 S&P 500 死亡交叉,有十七次随后下跌。”任何严肃数据科学家都会嫌弃这种样本。十九个观测值还远远谈不上规律。
Tracy : 但“死亡交叉”太适合写标题了。
Joe : 对记者的建议是,绝不要放弃在标题里写“死亡交叉”的机会。我还很高兴听到,线缆长度不再是主要问题。过去有关 HFT 的讨论总是围绕把线路缩到极限,已经很乏味。GPU 市场也比几年前宽松。与此同时,即便 HRT 这种规模,电力也成为主要限制,这让人怀疑聊天机器人行业设想的扩张会不会撞上现实墙壁。
Tracy : AI 实验室的文化变化也很有意思。并不是交易公司变得更开放,而是实验室自己变得更封闭、更重视专有知识。
Joe : 这次回答了不少问题,当然还留下更多问题,以后应该再请 Iain 回来。