大模型浪潮中的资管行业

　　在最新一期泰客Talk《AI员工上岗！金融科技革命进行时》中，几位来自行业一线的嘉宾分享了关于金融科技在资管行业中的应用。干货满满，整理如下——

　　问：据我们所知，国泰基金的IT部门在DeepSeek春节火上热搜之前，已经在本地部署R1并使用了一段时间。请问天敏老师，您能分享一下使用DeepSeek R1的具体体验吗？它在实际业务中带来了哪些变化？

　　王天敏：其实在DeepSeek出圈之前，我们在24年上半年已经搭建部署了AI大模型的应用开发平台，也接入了千问和llama这样的开源大模型，但受限于算力的资源，这类本地化部署的小模型，在文档的问答解读的召回率和内容输出的稳定性方面都表现的不是非常好。

　　在R1推出之后，我们第一时间部署了。第一，算力准入门槛降低以后，提升私有化部署的效果，加上R1在中文处理和生成方面表现是比较好的，使得我们的业务在使用过程中，对R1输出的行文的上下文的用词和结构都觉得体验会更好。

　　另外，R1部署以后，提供给业务部门的交互方式有很大的改善，可以让用户用更低的成本去使用AI进行交互，不像在之前需要给第一次接触AI的员工去培训，提示词是什么，以及如何写出高质量的提示词，来提升AI回答的质量。

　　第三，DeepSeek R1的深度思考模式会将中间的推理步骤也显示出来，也为我们员工在处理问题过程中提供了思路的启发。

　　晓晗：聊今天的播客之前，我也采访了一下我们中后台的一些同事，他们其实已经开始实际的应用本地部署的R1了，确实是对工作效率有比较大的提高。比如说在基金经理的风格分析方面，如果我们把基金经理的不同时期的定期报告喂给 AI，它可以很快的去分析基金经理他每个阶段的持仓，以及他可能在每个阶段的定期报告里边的观点的内容，输出关于基金经理的风格归因，尤其DeepSeek文笔比较好，还会带一些情绪价值和判断，这些都是让我们会觉得还挺惊喜的。

　　另外一个应用场景就是协助中后台的同事会去填写一些公司的基础信息，可以省掉一些人工的繁琐的重复的工作。

　　第三，它可以帮助我们去处理一些内部的材料，主要得益于我们在本地部署的小模型，联网api作为金融机构在实际应用的时候，是有一些隐私风险的，我们在本地部署了一个小模型之后，它就可以更加高效的协助我们去处理一些内部的资料。

　　王子健：我分享一个挺有意思的事情。我们去年收到业务提的这些领域的需求，当时我们用的其实是DeepSeek V2版本的，当时模型的大小也和现在差不多一样大。我们当时也部署给业务看，业务用到的时候，他提问了前面三个问题，觉得不是特别满意，就没有续用了。到春节前，R1还没有在中文互联网大爆发的时候，我们已经提前部署好了。我们还是用同样的显卡池去跑的，同样的大小的模型，但是效果却好了很多，一用就立马离不开了。

　　就像刚才你说的，一个是情绪价值，确实能节省很多使用的成本，基本上只要给他一条指令，他自己会通过思维链去自言自语，给出一个很好的解决方案，而原来使用的时候需要很多提示词，我们技术人员去使用的时候会稍微好一点，我们能给到一定的prompt，在它输出的和我们的预期偏移的时候，我们可以把它纠正回来，但是实际的业务人员用的时候，只要一不合他心意，或者他没有找到使用的方法，他直接就觉得不好用了，就告一段落了，所以这个也是一个挺有意思的，R1降低了使用人员的门槛，对我们的模型的使用来说也是一个很大的优势，也能减少我们沟通的成本。

　　晓晗：这一点还是挺关键的，这个也是这一轮DeepSeek在全球互联网能够有这么大的一个影响力的原因之一，它让不是那么会写prompt的人，也能够感受到AI的智能性，飞入寻常百姓家，会帮你们省去一些教学的成本。在R1出来之前，prompt还是有一点门槛的，有一个工作叫prompt engineering，它甚至是一个非常专业的一事情。

　　王子健：可能在我们看来也没有那么的专业，我们平时的思维链路是比较偏向工程化的，告诉你要干什么事情，通过哪几点，需要满足哪些约束的条件，输出什么样的格式。但是我们平时不是这么沟通的，我们会说谁帮我去做个事情，帮我去写一份报告，帮我去对比一下持仓。但是早期的大模型需要足够的精准，现在就会降低很多沟通的成本，可以说是和机器对话的技术门槛的要求是越来越低了。

　　问：金融机构的IT会使用AI写代码吗？

　　其实大模型最适合用的一个场景就是IT的开发。在私有化部署R1出来之前，我们其实已经用上了，用千问这样的大模型去辅助系统开发人员去做一些代码的生成工作，它更类似于一个内部的代码开发专家，有很多技术上的问题，或者说原先需要花大量的时间去做优化的事情，通过它可以大大提升开发的效率。

　　GPT刚刚出来的时候，在国外也是最先把代码辅助的角色融入到代码的开发应用系统的平台。它比较偏向于技术性的思维，还有很多代码的语料其实都是固化的，所以是非常好用的在系统开发这个层面。

　　问：请简单为我们对比一下 Deepseek和其他模型相比，成本是会更低吗？

　　王天敏：成本确实是低了，R1 API调用价格会低很多，大概是原来的1/5~1/10。另外我们可以用现有的显卡资源去布置更大的效果更好的模型。

　　根据Deepseek官方公开的 paper，重要原因是其中的算法创新，用到了两种技术，一种是多令牌预测注意力机制（Multi-Token Prediction with MTV），通过改进传统Transformer的注意力模块，在训练阶段同步预测后续多个token（而非逐token预测），显著提升模型训练效率。另一种是动态门控路由网络（Dynamic Gating Network），在MoE（Mixture of Experts）架构中引入可微分路由机制，通过门控网络智能分配token到最优专家模块。

　　对比Deepseek和其他模型的价格，他也是比较有有代表性的优势，GPTo1国外折算下来百万token的价格，输入109，输出400多。Kimi同等上下文长度，输入输出价格在60块钱每百万token，而Deepseek V3输入价格每百万token是2块钱，输出的价格是在8块钱，R1用到了一些推理的算法，所以会相对贵一点，每百万输入价格4块钱，输出价格16块钱。对比确实非常明显。

　　本地部署不需要支付API的价格，对我们成本也是节省的。

　　问：我们在推理算力阶段，在用什么芯片？

　　王天敏：公司之前一批采购的都是英伟达的显卡应用。如果是训练，英伟达的显卡单片的价格达到10万左右甚至是更贵，但是如果只是用它来推理，单片的价格可能只需要4-5。同样10万，我可以买两张用于推理的显卡，在推理方面大大的节省了成本。

　　目前国产芯片如果是用于训练，价格比英伟达甚至还要贵一些。但是如果在推理阶段的话，国产芯片的优势可能在于，华为的卡在本地部署方面有一定的维护和部署支持，这个成本是能够稍微降低一点的。在未来信创的整体规模下，加上华为的卡可能也会有降价的趋势，中国的高端制造业也是整体进步的趋势，未来的国产显卡会进一步降低价格。

　　问：DeepSeek R1模型给行业带来的影响是什么？

　　吴中骐：从两个角度来看，第一个就是toB，企业如果要部署大模型做本地化应用，门槛会大大降低。这也催生出另外一个变化，我们公司是做AI垂类应用的，我们在金融行业做了很多智能文本问答，借助大模型的本地部署之后，应用就很好推。

　　问：大模型在处理合规的制度文档的时候，会出现幻觉吗？

　　吴中骐：大模型的幻觉问题是一直会存在的，涉及到信息的压缩，还有大模型自身参数大小影响它的推理能力，以及要用到提示词工程prompt。如果这方面的约束不够大，模型的幻觉会存在，我们也是做了一些优化，我们公司自研的两套技术，第一个是这个文档上下文的检索，第二是做了划词溯源，所有的问题我们都能够找到出处。还有很多优化也在不断的研究过程当中。

　　幻觉这个问题对大模型来讲，既是它的一个弱点，也是它本身的优势，幻觉才代表着它推理能力的增强，不然它完全就是一个字典或者搜索引擎。

　　问：可否为我们分享一下整个金融行业，机构会把AI应用到哪些领域？

　　吴中骐：比如说早期我们做一些文档搜索，头部基金公司会偏向于给基金经理去看一下对应的研报，研报来源有些是在公司内部，有些是卖方机构每天发过来的，这样的场景里我们做一个研报搜索的工具，能够去快速阅览搜索他想要看的研报的信息，但是在大模型慢慢平权或者说是能够去做本地部署之后，它更加智能化，把你研报当做完整的知识库，针对你要问答的公司或者行业的研报去做智能化的总结。

　　在这样的过程中，所有的产品都是可以结合大模型的。在托管部门我们甚至有一个产品以前是做文档要素提取的，本身是要对单个模板去做预训练，比如身份证、户口本、营业执照信息，这都是很固定的版本。但是像公司内部的托管函、托管单按照不同机构发过来的，市场上有多少家托管机构，就会有多少个版本，在我们原来工作量里面，它是一家一家的增长的变化，但有大模型之后，它相对覆盖的泛化能力会强一些，所以大模型对我们的产品都是如虎添翼。

　　王子健：以智能客服和文档处理为例。智能客服利用了大模型本身它文字生成能力比较强，把一些已经固定下来的回复方式放在知识库里面，让大模型去做检索召回，拿到召回以后，它就快速的生成回复的文本。在文档处理这块，比如涉及到合同报告，这些非结构化的文档，它就可以自动的去提炼这些信息，生成摘要甚至是更直观一点。

　　比较进阶的一块是风险管理和合规监控。大模型可以分析我们的大量的这些法律法规去做文案的撰写，去生成不同的格式目录，甚至是合规问答机器人。

　　量化和投研这块，它能够分析研报，总结一些策略建议，这要结合到本地的知识数据，以及一些接口数据，结合他很强的分析能力，能够达到初步的研究员的效果，后面我们要把这个数据弄得更精准，争取增强成为中级研究员的水平，辅助投研更好做一些决策。

　　问：在投研决策这个领域，哪些卡点还需要技术突破？

　　王天敏：刚刚子健老师说的这些问题，我觉得可以有几项优化的方向，一是把基金经理研究员的日常工作任务化进行分解。

　　比如当黑天鹅的事件出来以后，上午出来信息，基金经理首先要快速触达知晓，关联对应的行业和上市公司，我们才会知道在不同的任务中它需要用到的是哪些数据。在数据分析层面，我们还需要对数据的结构化和数据的清洗做的更加细致。当用户问出了问题以后，大模型可以去首先优化改写用户的问题，将整理好的行业数据的知识库去解析在这个场景它需要哪些数据库的表或者数据结构，做一部分的技术验证，再通过R1思维链的过程，也能一部分反向解决一些幻觉的问题。

　　问：在大模型出现之前，我们一直在用一些金融科技的手段进行数据的爬取，比如RPA等。相比大模型，“人工智能”是一个历史更悠久范围也更广的概念。

　　王天敏：首先解释一下RPA的概念：机器人流程自动化（Robotic process automation，简称RPA）是一种应用程序，它通过模拟人类在计算机上的操作，实现业务流程的自动化执行。是一种非侵入式对接，模块化安全性高，不对现在有业务系统造成任何侵入，不改变现有网络结构。它依赖于屏幕抓取、数据识别、模拟键盘鼠标操作等技术，完成数据的收集、处理、输入等操作。

　　金融机构中的业务开展中存在大量重复性、规则性的任务，如数据收集、报表生成、日常运营操作流程等，这些任务消耗大量人力资源且易出错。应用RPA技术，实现重复性、规则性任务的自动化执行，大幅提高工作效率，减少人为错误，释放人力资源。

　　而AI大模型技术的推广和目前的应用效果来看，可以帮助人做更多需要分析和文字类的工作，比如说一幅画、一篇分析观点、一段文字摘要等等，而且每次AI产出的内容是不一样的。这就提高了一定的灵活性和多样性。

　　所以回到刚刚一开始的问题，RPA和AI大模型是两个不同的技术路线，我觉得要放在特定的场景中，更好地是把两者合理的结合去使用，会产生1+1>2的效果。

　　吴中骐：大模型的发展，让所有人都觉得离AI更近，它是AI的落地的触角点。如果用一个人来描述AI，他有大模型的大脑，OCR和其他多模态CV作为视觉，RPA是手和脚了方便的操作。

　　RPA能够帮助做一些企业内部非侵入式系统的数据对接，早期做纳税申报、银行的回单获取等。但是如果涉及到填写单据的数据是在一个纸上面，RPA的弱点就来了，他没法去读懂纸上面写的内容，他需要通过OCR去识别出来，再通过做文档解析还原出它结构化的数据。所以RPA能够结合大模型去做更丰富的应用。RPA使用过程它其实也会犯错，考验的是代码的容错量。

　　大模型让AI平权，让我们了解到它的智能性，再衍生出未来的通往AGI方向的新的产品。它能够把人类既有的有限的规则慢慢去泛化，形成更加智能的操作。

　　问：不同类型的金融机构在金融科技方面有哪些差异化应用？

　　吴中骐：从我们跟各个机构合作的角度来讲，最主要是券商投行，他们主要的场景分为股和债两块。

　　比如说我家公司要上市，需要找券商来做个承销保荐，承销保荐里面最重要的一点就是要给他写招股说明书，配套各种各样的辅助材料，比如审计报告、年报法律意见书去共同提交给交易所。其实我们帮他核对整个文档的数据勾稽关系，各类表格里面的数据加减的汇总是否一致，以及一些错别字的判断点。

　　在股权类的里面，用纯粹用大模型的方式去做财务勾稽关系，难点是非常大的，招股说明书基本上都有四五百页上万个数据点。在债券里，也会有类似的要求，发行一个债券募集说明书及其配套的审计报告去做数据关系勾稽，大概会有5000多个数据点。

　　在投行以外，我们产品主要分为4大产品线，第一个是文档解析，第二个是文档审核，第三个是文档撰写，第四个是文档问答。

　　　问：资管机构有哪些共性的需求和难题？

　　吴中骐：资管机构跟整个金融行业的难题是一样的。比如文档的解析处理，如果会涉及到这种银行的流水识别，中国有5000多家银行，从国有行股份行到城商行农商行有5000多家，光农业银行一家公司就有240多家40多个模板，整个行业会有3000多个模板，在这样的一个领域里面，我们就去深耕了几年的时间，用了几百万份的训练样本集去做了一个银行流水分析的系统。这是在非结构化数据整合方面的一个难题。

　　还有就是数据合规性，R1本地化部署了后，我们就解决了原来遇到的一些合规风控的问题，此前这方面部署大模型的阻力是非常大的。Deepseek便宜，又能够兼容多类型的显卡去做本地部署，甚至国产化的显卡也可以本地部署完成之后，不需要去考虑合规外溢的问题。

　　王子建：我们金融行业资管机构，对于新技术的应用一向都是比较去追赶浪潮的，我们又要用好它的泛化能力和创造能力，又要去注意它的合规性，还有它的数据安全，这其实就是我们的卡点，我们一方面要去把它的数据精确性的特点提升上来，又要约束 AI数据的使用来源，另一方面我们需要去花大量的时间去进行数据治理，还有它的整体的工作流的流程设计。

　　随着 AI技术的不断创新，它可能给我们资管行业带来哪些变化和价值，尤其是对于我们在行业里边的打工人来说，AI其实是我们的一个工具，使用AI的人来说，效率是会大大提升的，我们扩大到一整个组织里面来说，能够大范围大规模的让我们的员工个人去使用AI，我们整个组织的竞争力也会大大增强。

　　所以我们整体的想法就是去拥抱新的技术，不断的调整我们的工作流，以适应新的规则，并且我们可以制定自己的规则，同时我们也要应对新技术带来的挑战。

　　对于我们个人的能力也是提出了很高的要求，我们要去鉴别它。大模型的专业知识可能比很多人都要强了，我们去怎么样鉴别AI给我们的建议，是否去含有更隐蔽的幻觉问题，怎么样把他的一肚子的知识给问出来，并且对我们的实际问题能够真的有帮助，这些都是我们个人和工程人员技术人员需要思考的问题。同时我们要保护数据隐私，防止过度依赖AI带来的 AI决策盲从。

　　这些都是潜在的挑战，也是新的变化。

　　注：观点仅供参考，不构成投资建议或承诺。市场有风险，投资需谨慎。