近年来，A股市场风格切换的速度与幅度显著提升，如何捕捉市场风格的切换与轮动，已成为各类投资者共同关注的核心问题。从较长的时间维度观察，不同风格的相对收益表现存在明显的周期性轮动特征：同一风格在不同阶段的表现差异巨大，且风格之间呈现出此消彼长的交替关系。基于此，我们提出了基于强化学习的风格轮动框架，对小盘/成长/红利三个风格指数周频轮动任务进行建模，通过序贯决策显式纳入交易成本、并围绕长期累计回报进行优化，在控制回撤的前提下实现稳定的超额收益。2024年以来的样本外跟踪结果表明，PPO模型能够取得14.34%的年化超额收益，1.12的卡玛比例，显著优于本篇所设定的其他对照策略。
目前风格轮动的主流方法可以划分为三类：打分模型、择时信号模型与监督学习模型。这三类方法虽然在具体实现上差异显著，但共享一个根本性的建模范式——将轮动问题拆解为逐期独立的预测问题，而忽略了它本质上的序贯属性。序贯决策视角的缺失，使得部分传统方法在预测评判指标数值良好，却在实际配置阶段出现一定损耗。这是预测阶段的准确性与配置阶段的收益性不完全对等引起的——获利的关键在于，能否在扣除换手成本后，沿着正确的时序路径完成配置。而这恰是单期预测范式无法触及，但与强化学习模型建模十分匹配的场景。
我们所构建的基于强化学习的周频风格轮动框架，本质是一个定义在离散动作空间中的马尔可夫决策过程，其状态由刻画市场环境的风格相对强弱指标、动量与反转特征、风格因子及当前持仓构成。奖励则以超额收益为核心，纳入换手成本与下行跟踪误差惩罚，引导智能体在控制回撤与换手的前提下追求超额。最终实验及对照方法均采用10个随机种子初始化。每个种子均以验证集的平均回合的奖励值选择模型最佳参数，用于样本外评估。最终决策来自10个模型的投票选择。
实验结果表明，PPO模型样本外（2024-01-01至2026-09-04）的绝对年化收益可达26.70%，胜率55.07%，显著高于对照基准策略与三个指数自身。从相对等权基准的超额收益角度出发，PPO模型样本外年化收益达14.34%，卡玛比率达1.123。与之形成对照的，是因子轮动策略和常规机器学习模型策略均未能跑赢等权基准。这表明在周频风格轮动这一存在换手摩擦与路径依赖的任务上，仅依赖动量、反转等单期择时信号或监督学习逐期预测，难以持续创造超额收益。
通过对24年年初、24年“924”以及今年6月份三个关键市场行情下模型的风格选择进行分析发现，模型的换手行为呈现鲜明的状态依赖特征：在趋势明确、信号一致的行情中（无论防御还是进攻），换手率低且持仓稳定，波动放大反而伴随持仓共识度上升；在风格快速轮动、缺乏主线的行情中，换手被动上升且增量贡献有限。我们认为模型的切换决策更多服务于中期趋势的把握，而非对单周最优风格的追逐，这正是奖励函数中换手成本与下行跟踪误差惩罚共同引导出的行为模式。
风险提示：本文所有结果均基于历史数据测试，不代表未来表现。当模型版本、底层数据及测试区间等外部条件发生变化时，测试的结果可能也会有相应变化。
近年来，A股市场风格切换的速度与幅度显著提升，如何捕捉市场风格的切换与轮动，已成为各类投资者共同关注的核心问题。从较长的时间维度观察，不同风格的相对收益表现存在明显的周期性轮动特征：同一风格在不同阶段的表现差异巨大，且风格之间呈现出此消彼长的交替关系。这种轮动并非随机波动，而是由一系列深层的经济与市场因素所驱动。
理解风格轮动的经济学逻辑，关键在于识别驱动风格相对强弱切换的核心维度。在A股市场的研究框架中，大小盘（大盘/小盘）与成长/价值是两个最为基础、也最具区分度的风格划分维度。我们在报告《风格轮动系列（1）：如何捕捉四象限的风格轮动？》中，将大盘/小盘与成长/价值两个维度交叉组合，得到了大盘成长、大盘价值、小盘成长、小盘价值四类风格。
大小盘与成长价值风格的相对强弱，主要受宏观环境与流动性、市场情绪与资金流向以及市场状态与估值水平的影响。
本篇报告所讨论的风格，除大小盘与成长价值两个传统维度外，也加入了近年来在A股市场重要性显著上升的红利（价值的分支），其兼具“价值”与“低波”的双重属性，相对强弱既受无风险利率中枢与“资产荒”环境的影响，也与市场整体风险偏好、投资者对确定性的诉求密切相关。在利率下行、经济预期偏弱的环境中，高股息资产的配置价值凸显，红利风格相对占优；而在风险偏好回升、成长逻辑占优的阶段，红利风格则相对承压。
因此，我们将小盘、红利、成长三类风格纳入统一的轮动框架，既覆盖了A股市场中具有代表性的几类风格状态，也具有较好的完备性与代表性。
目前风格轮动的主流方法可以划分为三类：打分模型、择时信号模型与监督学习模型。这三类方法虽然在具体实现上差异显著，但共享一个根本性的建模范式——将轮动问题拆解为逐期独立的预测问题，而忽略了它本质上的序贯属性。
序贯决策视角的缺失，使得部分传统方法在预测评判指标数值良好，却在实际配置阶段出现一定损耗。这是预测阶段的准确性与配置阶段的收益性不完全对等引起的——获利的关键在于，能否在扣除换手成本后，沿着正确的时序路径完成配置。而这恰是单期预测范式无法触及，但与强化学习模型建模十分匹配的场景。
强化学习为风格轮动提供了一个与问题本质相匹配的建模框架。在RL框架下，风格轮动可以被表述为一个马尔可夫决策过程（Markov Decision Process, MDP），其构成要素与轮动决策的要素一一对应：
状态（State）：当前的市场状态（如各风格指标、动量特征等）与当前持仓的权重，共同构成智能体决策所依据的状态。状态不仅包含市场信息，还显式地包含了“当前配置”这一历史路径的信息，从而自然地刻画了决策的路径依赖。
动作（Action）：下一期的目标配置权重。动作可以是连续的（long-only权重向量）或离散的（在多个标的中选择其一）。
状态转移（Transition）：在给定当前状态与动作后，市场演化至下一期状态的过程。
奖励（Reward）：智能体在每次决策后所获得的反馈。本文将交易成本显式写入奖励函数，使智能体在“获利”与“换手”之间自适应进行权衡。
目标：最大化累计折扣回报，等价于最大化长期的、扣除交易成本后的组合收益。
这一框架的两个关键优势，恰好针对了传统方法的两大局限：
其一，交易成本的显式纳入。在MDP建模中，换手成本被直接写入每一步的奖励函数中。智能体在学习过程中会自主地领会到：频繁换手虽然可能捕捉到短期的风格切换，但其累积的成本会侵蚀长期收益。由此，“控制换手”与“追逐收益”的权衡，从一个人为设定的外部规则，内化为智能体在优化长期目标过程中的决策子项。
其二，长期回报的直接对齐。RL的目标函数是累计回报（而非单期预测精度），这与风格轮动“最大化长期累计风险调整后收益”的终极目标直接对齐。智能体在每一步的决策中，都会自然地考虑决策对未来长期收益的影响，从而在时序上形成全局协调的配置路径——这正是单期预测范式所无法实现的。
将强化学习与监督学习进行对比，可以更清晰地凸显前者的方法论优势。两者在“从特征到决策”这一环节上看似相似（都需要从市场状态推断出某种配置倾向），但在优化目标与决策机制上存在根本差异。
我们在本章构建了基于强化学习的周频风格轮动框架，所选择风格包括中证1000指数、国证成长指数和中证红利指数。框架将风格选择设定为离散动作空间的马尔可夫决策过程——状态由刻画市场环境的风格相对强弱指标、动量与反转特征、风格因子及当前持仓构成。奖励以超额收益为核心，纳入换手成本与下行跟踪误差惩罚，引导智能体在控制回撤与换手的前提下追求超额收益。
我们将每个周度决策区间视为一个时间步，将小盘、成长和红利三个风格轮动任务形式化为一个马尔可夫决策过程五元组(S,A,P,R,Υ)。
状态st。完整状态共17维，可拆分为“与动作无关”以及“与动作相关”两部分。前者刻画市场环境，经标准化处理后由5个风格相对强弱指标（覆盖大小盘与成长价值两个维度）、动量与反转特征，以及3类风格因子构成，共14维；后者刻画策略自身，即当前持仓向量。将14维市场特征与3维漂移后持仓拼接，即得到17维的完整状态s_t=[x_t,w ̃_(t-1)]。
动作at。模型采用离散动作空间，a_t∈{0,1,2}，分别映射为小盘、成长或红利的单一持仓，环境随后将其映射为one-hot目标持仓向量w_t∈R^3。（后文为了验证强化学习模型之前的性能差异，我们也测试了连续版本的动作空间。）
状态转移P。环境先根据动作得到目标权重w_t，再使用决策日t至下一决策日t+1的三类指数收益计算组合收益、周内路径风险与交易成本。期末持仓按相对收益漂移为：
它表示：当周初按w_t配置后，一周内不进行任何交易，当周末因各指数涨跌不同而导致的实际持仓比例。漂移后的权重w ̃_t既作为下一时刻状态中"当前持仓"的信息，也是下一期计算换手成本的基准。
下一状态为s_(t+1)=[x_(t+1),w ̃_t]。本文不对转移函数 P(s_(t+1) |s_t,a_t) 进行参数化显式估计，而是在历史数据驱动的环境中直接采样状态转移——转移概率由市场数据与组合持仓的漂移共同给出经验形式。因此，智能体仅学习策略与价值函数，而无需对市场动态进行显式建模。
函数奖励R。以相对等权基准的对数超额收益为核心，并加入换手成本与下行跟踪误差惩罚σ_(TE,t)^down，公式如下所示：
其中α为原始奖励值的缩放系数，本文定义为α=10；奖励函数中各惩罚项的含义及计算方式如下：
对数超额收益：记每个决策期的目标权重为 w_t∈R^3，三类底层指数在该期的对数收益为 r_t∈R^3，则当期收益率为g_t=exp(r_t)。组合对数收益与等权基准对数收益分别为：
换手成本：0.001为费率，〖turnover〗_t在离散动作（单一持仓）设定下，退化为0/1两值——不换仓时为0，将仓位从某一风格切换至另一风格时为1；在连续权重配置下则为连续的换仓比例。
下行跟踪误差：基于最近窗口内超额收益序列计算，将窗口内正超额收益截断为0后计算平方根，公式如下所示。其中k_t为当前可用窗口长度，我们采取k_t=13的设定；该项前的系数β代表对惩罚项的放缩强度。
图表4：基于强化学习的成长、红利与小盘指数轮动框架
如前文所述，智能体的状态由市场环境特征与当前持仓共同构成，其中市场环境特征分为三类：风格相对强弱指标、历史收益因子，以及风格因子。下面将分别介绍这三类特征的构造逻辑，并从未来收益的相关性、特征间冗余度两方面检验特征体系，讨论强化学习模型利用信号的机制。
指标体系的构建逻辑：风格择时可以从哪些角度寻找预测指标？在构建状态特征之前，我们先系统梳理风格择时指标的寻找角度，以说明本文特征体系的覆盖逻辑。综合我们在风格轮动领域的系列研究，风格收益的影响因素可归纳为宏观环境、市场情绪与市场状态三大维度；其中市场状态包含丰富的量价与基本面信息，可进一步拆分为估值、资金流、波动率、趋势动量与组合分化度五个层面。各角度的含义与典型指标如下：
宏观环境：经济增长、通胀、利率与货币政策等宏观变量驱动风格的相对表现。例如经济复苏、通胀上行阶段，成长与小盘风格往往占优；经济增长放缓阶段，大盘价值风格相对稳健。
市场情绪：投资者风险偏好是影响风格轮动的重要因素。市场情绪乐观时，成长、小盘风格更易受追捧；风险偏好下降时，稳健的大盘价值风格更受青睐。典型指标包括新增投资者数量、创新高个股占比、期权认沽认购比等。
市场状态：刻画风格自身的状态及其相对全市场的偏离程度，信息最为丰富，可细分为五个层面：估值（BP、EP等）、资金流（主动流入率、开盘/收盘主动流入率等）、波动率（换手率）、趋势动量（盈利趋势、价格趋势）与组合分化度（收益离散度、估值分化度、波动率分化度、时序收益相关性）。其中，资金流指标可追踪资金主动流向，分化度类指标可用于监控风格交易的拥挤程度。
基于上述框架，我们从中选取与周频轮动任务相匹配、且数据频质量能够一定程度支撑周度更新的指标，构建14维市场环境特征，分为风格相对强弱指标、动量与反转因子、风格因子三类，其与择时指标维度的对应关系如下表所示。
需要说明的是，产业政策等因素对风格收益亦有影响，但因其信息较难结构化、数据频率难以统一，暂未纳入本文状态空间。
周度频率下，风格收益中噪声占比高，单一指标的线性预测能力天然受限；即便在频率更低的月度择时研究中，单一指标通常也需经过有效性筛选、极性调整与多指标复合打分，才能形成稳定的择时信号。因此，单变量线性相关性的高低并非衡量指标体系价值的唯一标准，更关键的是指标体系能否从多个维度提供低冗余的增量信息。
我们采用Pearson相关系数统计14个状态特征与三类风格指数未来一周收益的相关性：各特征与未来一周收益的相关性整体偏弱，多数落在±0.1以内；绝对值较高的项仅期权认沽认购比、红利动量等。这一结果印证了：周度频率下，各维度择时指标与未来收益的相关性普遍较低，单一指标的线性信号难以直接转化为轮动决策。但14个特征覆盖了市场情绪、趋势动量与风格因子等多个维度，且维度间相关性整体可控，其组合仍可能蕴含可观的增量信息——这正是引入非线性策略学习模型的动机。
资料来源：Wind，中金公司研究部资料来源：Wind，中金公司研究部
强化学习如何从弱信号中提取有效信息？既然单一特征与未来收益的相关性普遍偏低，一个自然的疑问是：强化学习模型凭借什么机制利用弱信号获得更优的收益表现？我们认为主要有以下三个方面：
非线性组合与交互效应：Pearson相关性仅刻画单变量的线性关系，而多个弱信号经非线性组合后的联合预测能力可显著高于各自之和。策略网络具备拟合此类交互效应的能力——例如资金流与分化度共同刻画的拥挤交易反转机会，这类条件化关系不会体现在单变量的边际相关性中。
状态依赖与信号切换：弱信号的有效性往往随市场状态切换——动量在趋势市中有效，反转在震荡市中占优。在样本内较长的时间区间中，线性相关性会将方向相反的信号平均抵消；而强化学习以完整状态向量为输入，能够在不同市场状态下判断多个信号的权重。
微弱优势在序贯决策中的复利累积：相关性检验针对单期收益，而强化学习优化的是多期累积奖励。单期微小的胜率优势可在数百周的连续决策中复利为可观超额。
因此，本节相关性检验的意义不在于证明单一指标能够直接预测收益，而在于验证特征体系覆盖全面、冗余可控，为策略学习提供信息基础。
在前述框架的基础上，本章在统一的样本外区间（2024-01-01至2026-09-04）对PPO模型与各对照基准方法进行系统性比较，并围绕稳定与解释性、消融实验三条线索展开分析：其一，考察模型在不同随机种子及不同年份下的结果稳定性；其二，着重分析模型在样本外三个关键节点上行为的可解释性；其三，评估模型选择、奖励函数、状态空间与动作空间等设定对结果的影响程度。
PPO模型周频风格轮动样本外年化超额卡玛比率为1.12
我们设置了四个基础策略作为PPO模型样本外表现的对照组，采用与PPO模型相同的换仓成本与评测指标。四个基础策略分别是：
等权配置策略：固定等权持有小盘、成长和红利三个风格指数（胜率基准）；
单因子轮动策略：每期选择过去四周累计收益最高的单一指数；
双因子轮动策略：在动量因子的基础上叠加反转因子进行风格选择；
XGBoost策略：以相同的14维市场特征作为模型输入，借助监督学习预测下一期各指数收益率并选择预测值最大的风格。
所有实验均采用NVIDIA RTX A6000显卡完成。
注：统计区间为2024-01-01至2026-09-04
资料来源：中金公司研究部
注：统计区间为2024-01-01至2026-09-04
资料来源：中金公司研究部 注：统计区间为2024-01-01至2026-09-04
从绝对收益角度来看，PPO模型样本外的年化收益可达26.70%，胜率55.07%，显著高于对照基准策略与三个指数自身，且年化波动率23.56%、最大回撤相比因子轮动策略收窄至-19.03%，在收益与风险两个维度上同时改善。
从相对等权基准的超额收益看，PPO模型样本外年化收益达14.34%，夏普比率为1.012，最大回撤为-12.77%，卡玛比率达1.123。与之形成对照的，是（单/双）因子轮动策略和常规机器学习模型（XGBoost）策略的超额年化收益均为负值，未能稳定跑赢等权基准。这表明在周频风格轮动任务上，换手摩擦与路径依赖的特性使得依赖动量、反转等单期择时信号或监督学习逐期预测，难以持续创造超额收益；而PPO模型通过序贯决策显式纳入交易成本、并围绕长期累计回报进行优化，能够在控制回撤的前提下实现稳定的超额收益。
注：统计区间为2024-01-01至2026-09-04；对照基准为三个风格指数等权配置策略
资料来源：中金公司研究部
从换手行为看，样本外模型的周度单边换手率为33.33%，相当于平均每3周左右发生一次完整的风格切换。按0.1%的单边费率估算，年化换手成本约1.7%，较为可控。这一换手水平介于逐周追随信号的高频轮动与长期持有之间，体现出奖励函数中换手成本项对无效交易的抑制作用：模型不因单周信号波动而调仓，仅在多数种子形成一致预期时才执行切换；当票型分散、信号模糊时，投票机制退化为等权配置（如2026年6月5日的2:4:4票型），以部分仓位过渡而非全额切换，进一步降低了摩擦损耗。
关键时点之一：2024年初的小盘流动性冲击。2024年1月，小盘风格深度回撤、红利风格持续占优，模型在该阶段各周均偏向红利风格（其中一周与成长等权），避开了小盘指数的主要下跌段；2月初市场企稳反弹后，模型先切至成长、随即于2月8日当周切换至小盘（票型6:3:1），而2月8日、2月23日两周小盘均为当期最优风格，反弹的主要涨幅被完整捕捉。这一阶段模型呈现出“防御阶段坚定持有、拐点出现后果断切换”的特征，两次方向性切换均带来了明显的增量收益。
关键时点之二：2024年“924”行情。2024年7月初至9月20日，市场缩量调整、风格偏向防御，模型连续12周持有红利且票型高度集中（多周达到0:0:10的全票一致），期间未因短期波动调仓；9月下旬受政策组合拳催化、市场急速反转，模型在行情启动的第一周（9月27日）即切换至小盘（票型8:0:2），下一周更以10:0:0的全票维持小盘，并连续持有至10月下旬——期间9月27日、10月11日、10月18日等小盘涨幅居前的关键周均完整在场。这表明在市场波动放大的趋势性行情中，模型并不频繁换手，而是以高共识度完成单次果断切换并坚定持有，该次切换也是2024年超额收益的重要来源。
关键时点之三：2026年6月前后的快速轮动市。2026年二季度以来风格切换明显加快：以6月为例，四周内的最优风格依次为红利、小盘、成长、红利，无一连续；模型持仓相应经历“等权过渡（成长·红利，票型2:4:4）→小盘→小盘→红利”的调整，换手频率被动上升，且部分切换滞后于最优风格的切换节奏（如6月18日当周持有小盘，而当周最优为成长）。这一阶段的频繁换手对收益的边际贡献有限，也是2026年超额收益较2024年有所回落的原因之一。
综合来看，模型的换手行为呈现鲜明的状态依赖特征：在趋势明确、信号一致的行情中（无论防御还是进攻），换手率低且持仓稳定，波动放大反而伴随持仓共识度上升；在风格快速轮动、缺乏主线的行情中，换手被动上升且增量贡献有限。我们认为模型的切换决策更多服务于中期趋势的把握，而非对单周最优风格的追逐，这正是奖励函数中换手成本与下行跟踪误差惩罚共同引导出的行为模式。
本文摘自：2026年10月16日已经发布的《机器学习系列（6）：基于强化学习PPO模型的周频风格轮动框架》
高思宇 分析员 SAC 执证编号：S0080526080002 SFC CE Ref：BWM100
古翔 分析员 SAC 执证编号：S0080521010010 SFC CE Ref：BRE496
郑文才 分析员SAC 执证编号：S0080523110003 SFC CE Ref：BTF578
周萧潇 分析员 SAC 执证编号：S0080521010006 SFC CE Ref：BRA090
特别提示
本公众号不是中国国际金融股份有限公司（下称“中金公司”）研究报告的发布平台。本公众号只是转发中金公司已发布研究报告的部分观点，订阅者若使用本公众号所载资料，有可能会因缺乏对完整报告的了解或缺乏相关的解读而对资料中的关键假设、评级、目标价等内容产生理解上的歧义。订阅者如使用本资料，须寻求专业投资顾问的指导及解读。
本公众号所载信息、意见不构成所述证券或金融工具买卖的出价或征价，评级、目标价、估值、盈利预测等分析判断亦不构成对具体证券或金融工具在具体价位、具体时点、具体市场表现的投资建议。该等信息、意见在任何时候均不构成对任何人的具有针对性的、指导具体投资的操作意见，订阅者应当对本公众号中的信息和意见进行评估，根据自身情况自主做出投资决策并自行承担投资风险。
中金公司对本公众号所载资料的准确性、可靠性、时效性及完整性不作任何明示或暗示的保证。对依据或者使用本公众号所载资料所造成的任何后果，中金公司及/或其关联人员均不承担任何形式的责任。
本公众号仅面向中金公司中国内地客户，任何不符合前述条件的订阅者，敬请订阅前自行评估接收订阅内容的适当性。订阅本公众号不构成任何合同或承诺的基础，中金公司不因任何单纯订阅本公众号的行为而将订阅人视为中金公司的客户。
一般声明
本公众号仅是转发中金公司已发布报告的部分观点，所载盈利预测、目标价格、评级、估值等观点的给予是基于一系列的假设和前提条件，订阅者只有在了解相关报告中的全部信息基础上，才可能对相关观点形成比较全面的认识。如欲了解完整观点，应参见中金研究网站（http://research.cicc.com）所载完整报告。
本资料较之中金公司正式发布的报告存在延时转发的情况，并有可能因报告发布日之后的情势或其他因素的变更而不再准确或失效。本资料所载意见、评估及预测仅为报告出具日的观点和判断。该等意见、评估及预测无需通知即可随时更改。证券或金融工具的价格或价值走势可能受各种因素影响，过往的表现不应作为日后表现的预示和担保。在不同时期，中金公司可能会发出与本资料所载意见、评估及预测不一致的研究报告。中金公司的销售人员、交易人员以及其他专业人士可能会依据不同假设和标准、采用不同的分析方法而口头或书面发表与本资料意见不一致的市场评论和/或交易观点。
在法律许可的情况下，中金公司可能与本资料中提及公司正在建立或争取建立业务关系或服务关系。因此，订阅者应当考虑到中金公司及/或其相关人员可能存在影响本资料观点客观性的潜在利益冲突。与本资料相关的披露信息请访问http://research.cicc.com/disclosure_cn，亦可参见近期已发布的关于相关公司的具体研究报告。
本订阅号是由中金公司研究部建立并维护的官方订阅号。本订阅号中所有资料的版权均为中金公司所有，未经书面许可任何机构和个人不得以任何形式转发、转载、翻版、复制、刊登、发表、修改、仿制或引用本订阅号中的内容。
