在往期的报告中，我们利用机构调研活动的结构化数据（机构调研活动数量、机构调研参与主体）构建策略，深入挖掘了机构调研数据在绩优基金重仓股和行业轮动中的应用潜力，具体可以参考国金证券金融工程组的《主动量化研究之二：当绩优基金重仓股遇到调研会发生什么“共振”？》和《Beta猎手系列之五：基于机构调研热度和广度视角的行业配置策略》。
然而，由于机构调研问答明细含义丰富、非结构性的特征，难以使用传统的数据处理方法进行处理，前期报告中并没有充分利用机构调研问答明细中的有效信息。
而近年兴起的以ChatGPT为例的大语言模型打开了利用机构调研问答明细数据的想象空间。大模型展现出来的推理与生成能力，结合思维链技术，允许扮演大模型类似研究员的角色，实现热点识别、投资分析等更复杂的功能。
因此，本研究考虑使用大语言模型分析机构调研问答明细，从而进一步利用机构调研数据。我们在机构调研活动数据、调研参与主体数据的基础上，使用GPT-4o模型，设置合适的提示词激发大模型思维链，促使大语言模型扮演研究员的角色，从多个角度分析机构调研问答明细数据，最终得出符合逻辑的投资价值判断。
1.1 机构调研活动介绍
根据《深圳证券交易所创业板上市公司规范运作指引（2020 年修订）》、《深圳证券交易所主板上市公司规范运作指引（2015 年修订）》和《上海证券交易所上市公司自律监管指引第 1 号——规范运作》等文件的明确规定，上市公司接受从事证券分析、咨询及其他证券服务业的机构及个人、从事证券投资的机构及个人的调研时，应当妥善开展相关接待工作，并按规定履行相应的信息披露义务。要求机构调研事件应被具体、全面地披露调研事件数据。公开的调研事件数据可被整理成规整的数据形式，且信息量丰富。
从数量的变化趋势看，调研活动数量从 2019 年开始呈稳定上升趋势，蕴含的信息增多。2021年后机构调研活动数快速增加。2024年1月至10月的月均调研次数已达2000次。
从每年调研次数的分布来看，财报披露时间后的一个月（5月、9月、11月）是调研活动发生最频繁的时期。尤其是刚披露了年报后的5月，是机构调研次数最多的月份。
上市公司披露的调研事件数据主要分为三个部分：
⚫ 调研活动部分：记录被调研上市公司代码及简称、调研时间及地点、投资者关系活动类别等相关信息。
⚫ 调研参与主体部分：记录机构投资者名称、机构投资者参与人员信息、上市公司接待人员信息等相关信息。
⚫ 调研事件问答明细部分：记录每次调研活动中具体进行的提问内容和回答内容。
在《主动量化研究之二：当绩优基金重仓股遇到调研会发生什么“共振”？》中，我们从调研事件特征、基金与绩优基金重仓股特征和绩优基金重仓股与调研共振池特征三个角度出发探寻了绩优基金重仓股与调研股的共振效应是否存在。通过验证，我们发现这样的共振效应确实存在，在这样的共振池中还能够进一步优选股票构建策略组合。
在《Beta猎手系列之五：基于机构调研热度和广度视角的行业配置策略》中，我们通过对行业内的调研活动平均数进行拆解，分别构建了调研热度与广度两类因子，并将两个因子合成，得到调研活动因子应用于行业轮动的策略。通过验证，我们发现从调研事件这一另类视角，分析调研热度与广度，可以更好地探察行业走势。
1.2 机构调研问答明细数据介绍
已有的策略大多只使用了机构调研活动信息和参与主体信息来考虑机构调研活动的数量特征和行业特征，而记录了丰富机构和公司行为信息的机构调研问答明细数据却没有得到有效的应用。
机构调研问答明细中详细记录了调研活动的问答细节，反映了丰富的信息。然而，作为非结构化文本，问答内容含义丰富、涉及大量行业知识且较为琐碎，在处理时面临诸多挑战，已有研究大多没有有效利用机构调研问答明细中的信息。因此，如何有效挖掘和利用这些问答明细中的深层次信息，成为进一步利用机构调研数据提升策略收益的关键。
1.3 大模型使用思维链进行投资分析
传统的分析方法（如关键词匹配、词频分析、人工标注等）在处理非结构化数据时面临诸多挑战。首先，通过规则或关键词的简单匹配，难以有效捕捉问答中的潜在信息，导致信息提取困难。其次，这些方法通常依赖手动标注和规则制定，在处理大规模的问答数据时效率较低，从而限制了分析的深度和广度。
以BERT为代表的传统NLP模型在文本处理方面展现出较强的能力，能够执行句子分类、名词提取、情感评分等任务。然而，这些传统的NLP模型仍存在一些不足之处：其推理能力有限，主要依赖预训练模型对文本进行分类，缺乏对文本信息的深入推理和理解能力。此外，模型的输入长度被限制在512个token，这在处理长文本时可能导致信息丢失或段落截断，影响分析的完整性和准确性。
近年来，以ChatGPT为例的生成式大语言模型的兴起为文本分析提供了新的解决方案。生成式大语言模型不仅能够处理更为复杂和长篇的文本内容，还具备更强的上下文理解和信息整合能力。
与传统的分析方法和NLP模型相比，ChatGPT在分析机构调研问答明细数据时有着明显的优势：
⚫ 推理能力强大：ChatGPT具备强大的逻辑推理能力，能够综合多方面的信息进行判断，提供更具深度的分析结果；
⚫ 广泛的预训练知识：ChatGPT在预训练过程中涵盖了大量各领域的知识，能够更好地理解和处理专业术语及复杂概念。
此外，为了进一步利用ChatGPT的思考和推理能力，我们使用Google Brain在论文《Chain-of-thought prompting elicits reasoning in large language models》中提出的思维链技术，设置恰当的提示词并提供示例的思维链，从而引导模型在分析新任务时模拟人类思维过程，将复杂问题分解为一系列更小、更易处理的步骤，给出更加符合逻辑的结果。
在该论文中，研究团队发现如果在提示词中加入示例的包含思维链的问答示例，可以大幅提高大模型的思维能力。
该文对比了大模型在涉及复杂常识、多步推理、日期理解、体育知识和指令理解的场景中，使用标准提示词和使用带思维链提示词的准确率表现
研究结果表明，使用思维链进行提问的模型在所有数据集上的准确度均显著高于未使用思维链的方法。此外，随着模型参数量的增加，思维链对最终结果准确度的提升效果更加明显。这表明，思维链能够增强模型的复杂问题的理解和逻辑推理能力，且这种增强效果随着模型参数量的增大得到提升。
因此，我们认为通过设计合理的提示词，在提示词中给出系统化的推理方法和工作流程，可以让ChatGPT使用思维链对机构调研问答明细从多个角度进行分析，最终得出符合逻辑的投资结论。
通过试验，我们发现模型的思维链可以对输入的问答明细进行包括技术分析、市场前景、风险因素的多角度分析，从而综合各个角度得出投资价值判断。证明了思维链的引导使模型能够逐步拆解复杂的投资决策过程，从而提升决策的透明度和可靠性，进一步增强其在投资领域的应用价值。
因此，我们考虑使用GPT-4o模型，通过设计提示词，使得GPT-4o模型可以使用思维链，结合我们设计的系统化的推理方法和工作流程，对机构调研问答明细进行深入分析。
在研究中，我们选择GPT-4o模型以应对复杂的推理需求。为了确保生成文本的确定性和保守性，我们将温度参数设定为较低值，使模型输出的结果更加一致和准确。此外，通过精心设计的提示词（prompt），帮助模型更好地理解和完成任务。
⚫ 模型前定参数：
·角色设置：选用GPT-4o模型，因其在处理复杂推理任务方面表现优异，能够有效解析和分析机构调研问答明细中的丰富信息，且其参数量较大，可以进一步增强思维链的提升效果。
·温度参数：温度值控制了模型输出的确定程度，值越低模型输出的结果就越确定。将温度设置为较低值（例如0.1），以增强模型生成文本的确定性和保守性，确保输出结果更加一致和准确，减少随机性带来的误差。
⚫ 提示词设计：
·角色设置：将模型角色设定为“金融分析师”，使其生成的内容符合专业金融分析的标准和要求。
·信息背景：在提示中补充说明机构调研的概念，确保模型对任务背景有充分理解，从而能够更准确地分析问答明细数据。
·分析流程：激发模型的思维链，要求模型遵循提示词中定义的工作流程，逐步进行分析并得出结论。
·调研活动信息：组合机构调研时间、调研公司行业分类、调研问答明细数据，生成向ChatGPT提供的调研活动信息，从而帮助ChatGPT结合时间节点、公司所在行业背景知识理解调研问答明细数据。对于过长的调研文本，我们预先利用ChatGPT对文本进行提炼和总结，将总结后的内容作为提问文本。
⚫ 模型思考流程：
在分析时，我们要求ChatGPT模仿人类的思考过程，给定判断标准，使得ChatGPT从公司发展阶段、公司行业地位、行业发展周期等角度进行思考，将公司和所处行业进行分类。通过对公司和行业的分类，ChatGPT在后续给出投资价值判断时可以更有针对性地考虑这些因素，结合文本中反映公司情况的其他重要信息，从而得出更加合理和可控的投资价值判断。
·公司发展阶段：不同发展阶段的公司面临的市场环境和经营挑战各不相同。例如，初期增长阶段的公司通常有一定投资风险，但也可能带来更高的投资回报；而处于成熟期的公司通常已经稳定，但其股价的增长空间有限。因此，我们将公司发展阶段划分为初期增长、快速扩张、成熟期、困境反转等，要求ChatGPT从原文本中推理得出公司所处的发展阶段，作为给出投资价值判断的依据之一。
·公司行业地位：公司在行业中的地位也是判断其发展前景的重要因素。行业领导者通常拥有较强的市场份额和资源优势，因此能够在行业竞争中占据主导地位，而小型公司或潜力公司虽然可能在创新和成长上具有优势，但面临的市场风险和资金瓶颈往往较大。我们将公司行业地位划分为行业领导者、行业主力、潜力公司、小型公司，要求ChatGPT从原文本中推理得出公司的行业地位，作为给出投资价值判断的依据之一。
·行业发展周期：公司所处的行业发展周期不同，也会影响投资分析的结果。处于成长阶段的行业通常会出现快速扩张的机会，适合投资具备创新能力和市场适应性的公司。而处于成熟阶段的行业，尽管市场稳定，但增长空间有限，往往需要投资具有差异化竞争力的公司。我们将行业发展周期分为初创阶段、成长阶段、成熟阶段、衰退阶段，要求ChatGPT从原文本中推理得出行业发展周期，作为给出投资价值判断的依据之一。
·文本中的其他信息：文本中还包含了公司核心竞争力、近期发展方向、业绩情况等大量反映公司现状的信息，我们要求ChatGPT在最终给出投资价值判断时，充分考虑并结合这些文本中的其他信息，作为重要的决策依据。
⚫ 模型输出维度：
设置模型输出最终得出的投资价值判断（利好或利空）、思考过程中对公司的中间判断结果（发展阶段、行业地位、行业分类）、推理的思维链。便于后续整理，且确保模型给出投资价值判断的可控性。
2.2 基准模型-FinBert
为了对比不同模型生成的投资价值判断，我们将基于BERT训练的中文金融情感判断模型（FinBert，hw2942/bert-base-chinese-finetuning-financial-news-sentiment-v2）作为基准模型。FinBert能够对金融信息的情感进行分类(label)，并提供情感确定程度的评分（score）。
其中，Positive、Neutral、Negative分别代表模型对金融信息的情绪判断为正面、中性和负面；Score值代表了模型对于输出情感判断的确定程度，Score越接近1表示模型对输出结果越确定。
在应用BERT模型进行情感分析时，由于其单次输入长度限制为512个token，我们需要对较长的问答信息进行分段处理。
⚫ 文本分段：将整理后的机构调研问答明细数据分解为若干不超过512个token的片段，确保每个片段都能被FinBert正常处理。
⚫ 分段情感分析：对每个片段分别使用FinBert进行情感分类，FinBert会为每个片段输出相应的情绪标签（Positive、Neutral、Negative）及其确定程度（Score）。
⚫ 结果汇总与得分计算：FinBert的输出为对各个片段的情感判断。我们根据以下公式对所有片段的结果进行合成，计算平均情绪得分 (Average Sentiment)：
其中，PositiveScore、NeutralScore、NegativeScore分别为正面情绪、中性情绪、负面情绪片段中属于对应情绪的得分，n为所有的片段数量。
为了与ChatGPT的给出利好判断比例保持一致，我们将平均情绪得分的利好判断阈值设定为0.2。若 平均情绪值 ≥ 0.2，则给出投资价值判断为“利好”，若平均情绪值 < 0.2，则给出投资价值判断为“利空”。
最终，我们得出每个调研事件的FinBert投资判断和ChatGPT投资判断，并只保留判断为利好的股票形成股票池，由此整理出被调研股票池、FinBert选股池、ChatGPT选股池。
2.3 调研与选股池分析
我们根据ChatGPT与FinBert模型对事件的判断，对事件进行分类，得出利好判断比例分布。两类模型对63%事件的投资判断判断是相同的，但对37%的投资事件给出了不同的投资判断。整体来看，二者给出利好判断的比例接近（ChatGPT对44%的调研事件给出了利好意见，FinBert对39%的调研事件给出了利好意见）。
将ChatGPT判断为利好和FinBert判断为利好的事件数量画出时间走势图。在2020年后，ChatGPT和FinBert对被调研公司给出“利好”的事件数量不断上升，为后续构建选股池提供了充足的公司和事件来源。
随后，我们将股价和中证800指数的基准日期统一为调研发生当天，并计算被调研股票池、ChatGPT选股池FinBert选股池相对于中证800指数的平均累积超额收益率。结果显示，对于不同的股票池，其未来150个交易日的平均累计超额收益率均为正。在比较不同分析方法的效果时，ChatGPT选股池在150日内的平均累计超额收益率较基础调研公司池提升了1.79%，相较于FinBert选股池则提升了1.10%。
150个交易日后，ChatGPT选股池的平均超额收益率为4.31%,FinBert选股池的平均超额收益率为3.21%,被调研股票池的平均超额收益率为2.52%。
我们对股票池进行了回测，回测期为2016年1月至2024年10月，手续费设定为0.2%，且在每月初进行调仓，等权投资调研公司池、或ChatGPT选股池、FinBert选股池中的股票。回测结果显示，ChatGPT选股池和FinBert选股池的收益均高于调研股票池。且ChatGPT选股池相较基准中证800指数有明显的超额收益。
ChatGPT选股池和FinBert选股池的收益均高于基于调研数据的股票池，表明详细的明细数据能够贡献额外收益。ChatGPT选股池的年化超额收益更高，表明ChatGPT在理解调研文本信息方面优于FinBert，能够提供更为准确的投资价值判断。
因此，我们认为使用机构调研明细数据来选股是有效的，且ChatGPT分析机构调研问答明细的准确度要比传统的NLP模型（FinBert）更高。在后文中，我们基于ChatGPT选股池使用多种方法对其进行增强。
3.1 ChatGPT选股池的市值与换手率特征
接下来我们拆解ChatGPT选股池的流通市值，分别考察选股池中流通市值大于80亿、流通市值小于80亿的公司的收益情况。
回测结果显示，小市值股票的收益高于大市值股票，且二者的收益率均高于中证800指数。表明了ChatGPT选股池有效，且池中小市值股票的整体收益更高。
然而，考虑到实际投资环境中机构操作的可行性，我们最终只保留ChatGPT选股池中流通市值达到了80亿的股票用于后续策略增强。
3.2 ChatGPT调研事件优选策略
为了进一步增强股票池的收益，我们在控制了市值（只选择流通市值在80亿以上的股票）的ChatGPT选股池基础上，继续进行筛选增强。
根据机构调研特征和ChatGPT选股特征，我们提出假设：若ChatGPT在一定时间窗口内连续对某只股票的调研事件给出利好判断，则可以认为机构调研数据反映出该公司的业绩更加出色，未来前景更加乐观，从而带来更大的收益。为验证这一假设，我们采用以下方法进行分析：
在窗口期（过去的一个月）内，根据每只股票被ChatGPT判断为利好的次数对持仓进行比例加权分配。具体而言，股票被ChatGPT分析调研事件得出的价值判断为利好次数越多，其在持仓中的比例越高。例如，假设在过去的一个月中，有两只股票被纳入ChatGPT选股，其中一只股票有2次被判断为利好，另一只有1次被判断为利好，则它们的持仓比例分别为66.7%和33.3%；这样，我们就对被判断为利好次数更高多的股票设置了更高的持仓比例。
随后，我们对按照利好次数加权后的收益率与等权的收益率进行了对比分析。实验结果显示，按利好次数加权后的收益率显著高于等权的收益率。这一结果表明，收益确实与利好次数存在相关性，即被ChatGPT判断为利好次数更多的股票往往能够带来更高的投资回报。
基于该猜想，我们进一步考虑不同利好次数带来的收益特征。我们筛选出每个月被ChatGPT判断为利好次数超过一定阈值的公司，并对这些公司构建新的股票池，观察不同利好次数股票池的超额收益表现。
我们设定回测时间为2016年1月至2024年10月，同时设置交易手续费为0.2%。投资策略采用月初调仓的方式，平等投资不同利好次数股票池中股票。
回测结果显示，不同利好次数股票池超额收益分层明显，利好次数阈值越高，收益表现越好。因此我们认为通过设定利好次数阈值，可以进一步增强股票池的收益率。
同样地，为了进一步强化利好次数数量特征，我们根据利好次数对持仓比例进行加权处理，并对比原有的等权策略。
结果显示，以利好次数作为权重的策略在年化收益率、年化超额收益率的表现均好于对应等权策略表现，说明对次数筛选获得的股票池仍可以使用加权策略进一步增强收益。
使用利好次数加权后的股票表现出持仓阈值越高、整体股票池收益率越好的特点。其中，筛选阈值为被ChatGPT判断为利好5次以上的股票池表现最好，回测期内年化收益率为25.50%，年化超额收益率为27.05%；而不设阈值（1次以上）的股票池表现最差，回测期内年化收益率为8.22%，年化超额收益率为8.75%。
我们选择入池标准利好5次以上的股票池，构建ChatGPT调研事件优选策略。回测结果显示，除2018年和2022年的超额收益率略低于基准外，所有年份的累计超额收益率均为正。这表明，ChatGPT优选增强股票池策略在大多数年份中表现优异，显著优于中证800指数。
3.3 ChatGPT调研事件优选策略（换手缓冲）
ChatGPT调研事件优选策略通过筛选利好次数，构建每月被ChatGPT判断为利好次数达5次以上的股票池，该策略使用较高的利好次数，虽然带来了更大的收益率，但降低了平均持仓股票数，且年化波动率较大。
ChatGPT调研事件优选策略的股票池持仓股票数量波动极大，部分月份持仓数量为0或1，带来了较高的投资风险。
为进一步增强策略的稳定性，降低策略的换手率，提高策略的平均持仓股票数，我们在使用5次作为阈值的基础上，使用滚动的时间窗口，构建ChatGPT调研事件优选策略（换手缓冲）。
具体而言，我们选择在过去N个月窗口期内，单月利好个数的最大值达到或超过5次的股票，通过这种方法，我们在每月调仓时实际上考虑了过去多个月的利好情况，生成新的股票池，从而提高策略稳定性、降低策略换手率。
此处我们仍然使用窗口期内（过去N个月）的利好次数设置持仓比例，使得过去N个月的窗口期内利好个数越多的股票，持仓比例就越高。
回测结果发现，策略的收益率与使用的窗口期长短有着密切的关系，使用的窗口期越短，策略的收益越高。在不进行滚动窗口缓冲降低换手率时，策略的收益率最高。
我们可以通过选择不同的滚动窗口期，可以有效提高平均持仓股票数，并降低策略的波动率和换手率，提高策略的稳定性。最终，我们选择两个月的滚动窗口构建ChatGPT调研事件优选策略（换手缓冲）。
ChatGPT调研事件优选策略（换手缓冲）提升了原有策略的持仓股票数，2022年后的平均持仓股票数为15支，最少月份的持仓股票数为7支，避免了过少的持仓股票数，给出了更稳健的策略持仓。
在更稳健的同时，ChatGPT调研事件优选策略（换手缓冲）仍然带来了可观的收益率。在2016年至2024年，该策略的年化收益率为16.30%，年化超额收益率为16.85%。该策略在2020、2021、2022、2023、2024（至10月末）的超额收益率分别为47.74%、26.37%、13.58%、20.03%、9.29%。
本研究通过深入分析机构调研数据及其问答明细，探索了生成式大语言模型在提升投资策略收益率中的潜力。基于GPT-4o模型，结合精心设计的提示词和思维链条，成功挖掘并利用了调研问答中的深层次信息，生成了高质量的投资价值判断，其生成的选股池的收益率显著高于FinBert选股池和基于调研数据的股票池，并且均优于中证800指数。
研究通过筛选ChatGPT选股池发现，一定时间内利好次数越多的股票组成的股票池，其收益率越高；而通过将利好次数作为权重来调整持仓比例后，收益率也得到了显著的提升。据此，我们构建了ChatGPT调研事件优选策略。
然而，该策略在实际操作中表现出持仓数量不稳定、换手率较高的特点。为了解决这一问题，我们引入了滚动窗口机制。滚动窗口的运用不仅有效降低了策略的换手率，还增加了持仓股票的数量，从而显著提升了策略的稳定性。
在调研事件优选策略的基础上，我们进一步结合滚动窗口技术，打造出更为稳健的ChatGPT调研事件优选策略（换手缓冲）。该策略在近五年展现出了较好的超额收益率表现。具体来看，2020年至2024年（截至10月末），其超额收益率分别达到了47.74%、26.37%、13.58%、20.03%和9.29%。
研究证明了拥有思维链的大语言模型在解析和利用机构调研问答明细数据方面展现出了显著优势，显著提升了投资策略的收益率和决策的科学性，验证了其在实际投资中的应用价值和潜力。
[1] J. Wei等, 《Chain-of-thought prompting elicits reasoning in large language models》, 2023年1月10日, arXiv: arXiv:2201.11903. doi: 10.48550/arXiv.2201.11903.
1、以上结果通过历史数据统计、建模和测算完成，历史规律不代表未来；
2、在市场环境发生变化时，模型存在失效的风险;
3、策略依据一定的假设通过历史数据回测得到，当交易成本或其它条件改变时，可能导致策略收益下降甚至出现亏损；
4、大模型输出的内容存在一定的随机性和准确性风险；本文所提炼的观点，基于一定的提示词产生，大语言模型输出的结果可能随着提示词的变化而发生变化。
