投行大模型赋能投行执业质量提升的探索研究
辛治运：清华大学计算机科学与技术专业博士，现任广发证券股份有限公司党委委员、副总经理、首席信息官，广发控股香港董事。担任全国金融标准化技术委员会证券分技术委员会委员、中国证券业协会投资银行委员会副主任委员。曾就职于中国证监会信息中心、机构监管部综合处、审核处，安信证券股份有限公司(现国投证券)。
近年来，证券业践行高水平质量的发展，行业呈现出头部券商领先发展，中型券商差异化、特色化发展的态势，一批优质券商脱颖而出。尤其是全面注册制改革，逐步推动券商归位尽责，提升核心竞争力，为培育一流投资银行奠定了基础。投资银行业务是证券公司的核心业务之一，提升投行业务执业质量水平，既是建设一流投资银行的客观要求，也是促进长期资金市场健康发展的必然要求。
随着人工智能、区块链、云计算、大数据等金融科技的加快速度进行发展，数字化转型已成为投资银行行业的重要趋势之一。投资银行纷纷加强在金融科技领域的投入和应用，通过数字化手段提高业务效率、减少相关成本并提升服务质量。2022年11月，大模型技术以迅雷不及掩耳之势席卷全球，大量级参数给模型带来了“涌现”的能力，展现出传统AI模型不能够比拟的精度。大模型技术的出现带来了准确率的提升、泛化能力的增强、语义理解的改进、训练速度的提升等颠覆性变革，为提升投行执业质量水平带来了新范式。
投资银行业务作为金融市场的重要组成部分，其业务流程复杂且充满挑战，从承揽、承做、承销到持续督导，每个阶段都面临着不同的难题与考验。
在承揽阶段，主要挑战包括商机挖掘难、项目资质与发行成功率难预测、信息搜索难等。这些挑战源于信息获取和处理的高要求，依赖线下信息交流的传统方式限制了信息获取的广度和深度，以及涉及多种不确定因素使得项目预测和风险评估更加困难。同时，现有信息检索工具不足、数据处理工作量巨大，也对工作效率和专业能力提出了更高的要求。
在承做阶段，挑战进一步加剧，包括底稿及申报材料撰写工作量大、申报材料勾稽关系多、审核规则多以及底稿检索与溯源难等。这不仅要求投行业务人员具备高度的专业素养和精确的业务解决能力，还需要面对工作量大、人工复核易出错等现实问题。
在承销与持续督导阶段，主要挑战包括发行定价难、投资者画像不够准确、持续督导责任大以及核查难度大等。发行定价专业性强且涉及因素多，要求投行业务人员具备深厚的市场洞察力和分析能力；投资者画像的准确描绘有助于更有效地进行市场定位和经营销售的策略的制定；持续督导责任和核查难度持续不断的增加，对人力资源和时效性提出了更高要求。
这些挑战要求投行业务不断探索和应用金融科技，特别是把握大模型技术带来的应用变革，以提升工作效率、降低风险、优化客户服务，全方面提升执业质量水平。
大模型是一种具有巨大规模和复杂结构的神经网络，通过大规模的预训练和微调过程来学习和推理。大模型的出现和发展，引发了人类对于人工智能能力新的认识和期望。对证券公司来说，大模型在减少相关成本、控制风险、优化体验和增加收益等方面有着广阔的应用前景，具体到营销、风控、投研、研发等业务场景，大模型可以轻松又有效提高公司制作效率，降低经营成本。 目前各行业都在开发自己的垂直领域大模型，金融行业是大模型应用落地的高潜场景，当前关于金融行业生成式大模型最常见的说法是金融大模型，通常被定义为生成式大模型在金融领域的垂直化研发与应用。
国外金融大模型应用早于国内，以传统投行等金融机构为主的几类机构纷纷布局，一部分机构自主研发垂类GPT大模型应用，一部分机构基于通用ChatGPT等开展应用，场景上则涵盖了智能营销、智能客服、智能投研、智能投顾和智能办公等各方面。国内金融机构也纷纷积极探索大模型应用，国泰君安“灵犀布道”探索“1”个行业领域大模型在“N”个业务场景的“1+N”落地应用方案，以通用大模型为基石，辅以开源大模型集群的协同，助力各项证券业务在多元化场景中降本增效。海通证券“泛海言道”综合应用前沿大模型技术，成功落地智能问答、智能研报、智能研发等业务场景，助力金融服务提质升级，为金融行业创新发展注入新动力。广发证券建设大模型基础平台能力并推动场景规模化落地，涵盖了大模型问答及生成服务、代码生成服务、文生图服务、文档核查和大模型API基础服务，推进大模型在智能问答、摘要提取、信息抽取、代码生成等应用场景试点落地。
具体到投行垂域大模型(以下简称投行大模型)建设，头部券商等加大资源投入、积极开展相关的研究，应用探索发展迅速。中信证券聚焦投行债券、股权激励等重点业务场景，打造股权激励大模型EIA GPT、债券大模型Bond Copilot等垂类应用。广发证券聚焦投行核心业务文档智能化处理等场景，在行业内率先研究投行垂域大模型建设的可行性及有效性，承担中国证券业协会重点研究课题《基于金融领域语言模型的投行文档理解、生成、编辑、审核一体化解决方案研究》，并荣获2023年中国证券业协会优秀课题，为投行大模型建设打下坚实的理论基础。
投行大模型建设规划的总体思路如图1所示。总体来说，投行大模型建设将以基础设施与模型为底座基础，投行数据与模型为支撑结构，智能化赋能业务为中心思想，通过三个层级之间的层层递进和有效融合，为投行大模型的建设提供有力保障。各个层级的详细介绍如下：
以智能化赋能投行业务为中心思想，以某个具体的业务场景为抓手。以点带面，将AI能力原子化解耦并嵌入业务流程，逐步在整个业务线实现智能化赋能。
投行的数据与模型是投行大模型建设的支撑架构。智能化转型的典型标志是从流程驱动转为数据和模型驱动。投行智能化转型基于投行数据和基础设施能力，场景化训练投行垂域模型，形成“1个大模型 + N个专业能力小模型”的投行大模型系统架构。
复用公司基础设施与模型，以共建共享为原则，复用公司已有AI能力，同时贡献投行的文档解析模型、文档转换模型、错别字核查等AI能力给公司其他条线复用，大大降低成本。
投行大模型建设聚焦业务增效、合规风控、管理赋能三大方向，采用“投行垂域大模型”+“小模型”基座的模式，对现有的投行系统平台做深度升级，旨在构建一个能够助力投行提质增效、风险防控、优化资源配置的投行大模型系统，规划蓝图如图2所示。
通过大模型技术辅助构建重点赛道和重点区域的产业链图谱，挖掘具有上市潜力的企业，辅助一线业务人员挖掘业务机会。此外，借助大模型技术构建企业立体多维画像，帮助业务人员全方面了解客户，提供更精准的服务。
在项目执行阶段，通过智能撰写部分底稿、大模型辅助执行底稿审核和风险评估，以及核心尽调程序的AI辅助，明显提升尽调效率；提供一揽子AI工具，在项目执行所有的环节辅助业务人员，实现项目执行的全面提速。
在辅助价值判断方面，通过系统搜索同行业业绩情况、研究报告和政策分析，辅助业务人员做出更加明智的决策；通过系统流程改造、加强前端源头管控，提高对行业及企业未来投资价值的动态预判能力，优化资源配置。
在现有投行业务管理系统的基础上，投行大模型系统将进一步扩展业务场景，实现更多业务执行过程的线上化办理，不仅提高了业务处理的效率，也为风险防控提供了更加坚实的基础。在智能舆情监控方面，通过定期对公司辅导项目、在审项目、持续督导项目进行主动的舆情监控，可以及时有效地发现并应对负面舆情，从而保护企业声誉和客户的利益；在辅助项目审核方面，通过不断提炼质控、内核审核规则，赋能二三道防线的审核工作，确保项目审核的准确性和合规性；将制度要求内化到系统中，能更好地落地制度要求，确保业务操作的规范性和一致性。
基于投行大模型持续丰富投行内部数据，优化投行数据中台，并辅助搭建同业数据库，实现数据的赋能支持，为决策提供强有力的数据支撑；将相关考核标准和考核过程管理落地到投行大模型系统，提升考核的数字化水平以及人员效能，全方位展现各业务团队的经营情况，方便管理层随时关注经营情况，以此来实现精细化管理；通过引入PPT自动生成、文档纠错、大模型数据处理等工具，提升工作效率，释放业务人员的潜力，让他们可以专注于更有创造性和战略性的工作。
广发证券投行大模型系统，是一套集成了文档核查、信息抽取、文档生成、文档搜索、文档比对能力的投行AI助手系统，系统架构图如图3所示：
基于大模型底座以及AI能力层的设计，可赋能投行各类场景，包括商机挖掘、底稿溯源、印章鉴伪等。此层需要兼具用户交互视角，向上封装成符合特定业务形态和行为要求的可视化操作界面。
AI能力层由文档核查、信息抽取、文档生成等多个功能模块组成，它们共同构成了投行大模型的核心业务解决能力。此层的核心工作是模型微调与提示工程，特别是设计合理高效的提示词和提示模板，能够高效地实现业务应用适配，这是大模型新范式带来的便捷之处。
基础模型层由大模型和小模型共同组成，大模型具有更广泛和深入的学习能力，可处理更复杂和多样的任务，而小模型更专注于特定的任务或功能，如章节拆解、版面分析，最终将大模型与小模型进行集成和优化，形成一个完整、高效的投行垂域解决方案。
模型加工层是投行大模型架构中的关键组成部分，它涉及到模型的进一步开发、优化和管理。通过模型加工，模型能够更好地适应投行业务的复杂性和多样性，提高模型的准确性和效率；引擎托管用于部署和管理AI模型，服务编排负责管理和协调不同的AI服务和流程。
数据层最重要的包含投行各类底稿和文档数据，比如审计报告、财报、招股说明书、募集说明书等。高质量的语料对大模型最终输出结果有着至关重要的影响，因此，数据层一般涉及大量的数据清洗、语料工程等任务，也是让大模型获得垂直领域知识和“语感”的重要养分。
基层设施提供大模型运行所需的计算和开发支持，包括NVIDIA GPU、麒麟V10、微服务开发框架、监控工具和Kubernetes等基础设施，保证系统的稳定性和高效性。
在广发证券投行大模型建设的实践过程中，RAG(Retrieval-Augmented Generation，检索增强生成)、LLM(Large Language Model，大语言模型)微调、提示工程等关键技术成为了推动投行大模型建设的核心力量，下面对这些技术进行进一步说明。
RAG是一种结合了信息检索技术与语言生成模型的人工智能技术，它通过从外部知识库中检索有关信息，并将其作为提示(Prompt)输入给大模型，以增强模型处理知识密集型任务的能力，如问答、文本摘要、内容生成等。该技术在某些特定的程度上减轻了大模型的幻觉问题，提升了大模型在特定业务场景的长尾知识。利用RAG技术，投行大模型中建设了智能问答模块，服务于投行业务中有关信息检索和文档问答相关的场景，典型场景包括“AI问询函”、“AI同业检索”、“投行法规问答”、“投行知识库问答”以及“个人知识库问答”。不同场景对应不同页面，用户都能够针对该场景的特定文档进行问答检索。在该模块中，RAG问答准确率在Qwen2-72B-fp16模型上最终达到80%以上；从用户输入完成至首token输出延时约5S(基于显卡A800 80G*4，整体方案约调用1-3次大模型+1次embedding模型)，表现良好。
大语言模型的三大特点是训练样本大、参数量级大、计算量大。若重头开始训练一个预训练模型，其成本和时间投入非常大，业内性价比更高的做法是Fine-Tuning，也即参数微调。参数微调可分为全参微调、部分参数微调、外插参数等，主流的方法有LoRA(Low-Rank Adaotation)、P-Tuning、RLHF等。投行大模型使用了LoRA方法，将硬件的进入门槛降低3倍，相同的内存下，可微调更大参数的模型。
提示工程是指通过设计特殊的提示来激发模型的涌现能力，从而把大模型的“知识”转化成符合人类期望的输出。该方法无须更改模型的参数，只需通过设计合理的提示来引导模型高效地完成特定任务。对应到信息抽取任务，一般会采用Zero-shot和Few-shot的方式来让模型提取文本中的关键要素。Zero-shot是指零标注，不给大模型“示例”的情况下，让大模型基于本身“知识储备”进行文本理解，并输出相应信息提取结果。Few-shot是指少量标注，给大模型少量“示例”的情况下，让大模型基于上下文学习来理解提取任务，最后输出合理的信息提取结果。基于投行提取场景的复杂性，投行大模型采用Few-shot方式建设提示工程，应用达到较为理想效果。
质控工程设计原则围绕安全、实时、对齐、溯源四个维度。投行大模型实施过程中，需要把控语料质量，并在大模型继续预训练或微调时进行质控，以及在大模型生成答案的环节进行干预。语料质量控制环节，需要过滤包含涉黄反党等敏感信息的语料，过滤有明显错误字、歪曲事实的语料，并清洗有格式问题的语料，比如空白、乱码以及文件加密不可读等，最后对重复语料进行去重。在大模型训练时，能够最终靠人类反馈、加入监督样例以及注入知识图谱等方式加强质控。大模型生成答案后，还可增加一层校验机制，或引入Agent机制，以此来保障大模型答案质量。
实践中，投行大模型也存在一些不足，需要持续优化。在输出内容可控性方面，虽然RAG技术增强了生产质量，但“幻觉”问题某些特定的程度上仍存在，输出结果不可控；在模型可解释性方面，因其复杂程度高，有几率存在 “黑箱” 问题，生成的结果和过程难以清晰解释；需要大量专业数据来进行训练并不断调优，训练数据不完备、不及时，可能生成低质量内容。另一方面，AI应用落地需要业务人员与建设经费的持续投入，应用场景的落地需要业务深度参与，与科学技术人员共同梳理业务场景；同时由于大模型训练成本高昂，因此落地过程中必须确保有足够的费用投入作为支撑。
随着金融科技的加快速度进行发展，投行大模型正成为提升投行执业质量的关键技术之一，在赋能投行业务方面有诸多应用，包括提升项目执行效率、加强风险防控和实现精细化组织管理等。目前，投行大模型建设虽处于初级阶段，但已表现出优秀的业务赋能水平，潜力巨大。未来，随技术进步和应用场景拓展，投行大模型将为投行执业质量提升提供更多解决方案，赋予投行业务人员更高工作效率和决策能力，为用户带来更安全、高效和透明的金融服务，为金融领域的高水平质量的发展注入新的活力。
[1]郭雳,武鸿儒,李胡兴.注册制改革下招股说明书信息公开披露质量提升建议[J].证券市场导报,2023,(01):11-20.
[4]喻华丽.交易所大模型应用探索研究[J].金融电子化，2024-8.
