知识大模型：大模型落地的新解法

 未来AI想通往强人工智能的路上我们认为还有三个大的挑战需要征服。

 第一个是事实判断，二是过程判断，三是价值判断。

 目前大模型最为人诟病的是幻觉问题，对低频常理的事实回答得不好，经常被人们认为一本正经的胡说八道，但现在可以通过一些其他的手段解决，比如外挂一些知识库或者符号推进引擎。

 解决完事实判断的问题后，下一步就需要让大模型或者AI技术能够具备过程判断的能力。比如，你告诉他一件具体的事，给我订一张飞机票或者火车票。大模型如何把任务分解成子任务，再做一些过程的规划。

 而未来更长久需要探索的是，如何让大模型做一些自主的价值判断以及自主学习。目前，谷歌也在尝试具身智能，只是目前自主学习和具身智能还未能商用，还没有看到可以满足人类需求的结果出来。

基于当前大模型能力企业该如何落地？

 我认为首先大模型想要在企业落地首先要做专业上的划分，一是专业性的强弱，一是场景容错性的高低。

 ChatGPT实际上选择了一个特别讨巧的闲聊场景，即专业性比较弱，客户的容错性也比较强。但是在企业里应用大模型的时候，或多或少都会涉及到专业性的问题。

 大模型能够低成本准确地理解非结构化的文本，但基础大模型为了迁就通用性，在专业性方面就做的不够好。

 这里恰恰就为企业引入大模型技术带来契机。我们认为企业用大模型做知识中台是现阶段最好的切入点。

 知识中台并不是孤立的场景，企业可以基于容错性的高低在知识中台延展出很多应用，比如在容错性比较高的场景中，可以面向企业内部员工做一个知识的问答或者检索应用，这样对输出内容可以做一些控制。

 未来，对大模型在输出的安全性和合规性有一定保障后，可以让它基于企业知识中台和营销、服务、运营或者生产、研发各环节系统打通。

 为了实现上述各式各样的应用，我们建议企业在引入大模型或者搭建企业知识中台的时候可以用两种技术路线来组合。

 一种是基于大模型技术，另外一种是大模型外挂知识库技术。

企业大脑可以把它类比人的大脑，在人的大脑中有两套系统可以同时运作，一套系统是直觉系统，可以快速做一些来自于直觉或者潜意识的判断；另外一套系统是逻辑系统，可以做出一些深思熟虑的、蓄谋已久的逻辑性判断。

 类比大脑的两种逻辑判断就是基础大模型和领域知识库。

 当然，想建立这两套系统不是一蹴而就的事，建议企业可以从三个步骤逐步开展。

 第一步：在基础大模型之上，针对具体的应用场景做一些场景提示工程，这样可以快速做技术验证；

 第二步：如果想在这个场景里做得更好，就需要建立一个企业知识库，通过基础大模型、外挂企业知识库，再在一体场景下调提示词，做提示工程。这样可以解决大模型对于事实回答不好的幻觉问题；

 第三步：成本会比较高。当企业想在具体的场景想把性能做到极致，技术做深，并且想在更多的场景下开发出更多的应用，这就需要把领域知识注入到大模型之上，同时把上层的提示工程上升为AI应用的开发平台。

 在这样思路的指引下，中关村科金给出的解法是：以企业基础大模型作为核心，开发出一套一体两翼的技术底座。在这样一套技术底座上形成了智能营销、智能服务、智能运营、超级员工四个矩阵。

 “一体两翼”指的是企业知识大模型，及其支撑平台领域大模型工厂、领域知识库工厂。

 其中，大模型工厂是用来注入领域知识，把开源的基础大模型变成企业专属的领域大模型，解决模型的专业性的问题，利用领域大模型解决幻觉问题，同时可以低成本、快速构建起企业内部统一的知识库，在统一的知识库上支撑各类营销场景。

 在企业知识大模型和上层应用之间，还需要有一层比较薄的应用开发平台，目的是将传统的AI技术和大模型的能力，用低代码的方式快速开发出应用系统，降低应用开发的创新门槛和时间成本。

 企业应用大模型的时候不一定同一场景下用一个大模型，也不一定用千亿级别规模参数非常大的模型，具体场景可能几十亿参数模型就可以把场景问题解决到极致。

 未来根据场景微调大模型可能会是一个企业里高频的需求。

 领域大模型工厂的目的，是为了帮助每个企业都能用上自己专属的大模型，并且让成本可负担。这里面预置了很多数据，有些是预训练数据，有些是指令运行的数据。

 当然有了数据以后，不一定可以调出性能特别好的大模型，这里还需要很多微调的经验。

 过去这一年多中关村科金的算法工程师耗费了百万卡天的算力，摸索出原子任务之间能够协同增益的关系图谱，这样就可以实现，根据场景找到需要增强的大模型。

 另外很多企业在应用大模型的过程中，都非常关注安全问题，因此我们也搭建了四位一体的安全体系，五层防控大模型加训的流程，这些流程和经验都已经预置到大模型工厂里，最终形成了一套快速微调大模型的生产线。

 这样一套生产线可以保证我们的领域大模型单周迭代，单卡推理。同时也可以快速地替换底层的基础大模型，这样企业就不必把自己所有的场景领域都绑定在某一种大模型上。

企业需要哪几种大模型？

 企业根据自己的需要，在不同的时期选择不同类型的大模型。总结起来有如下四种。

 第一，在场景不确定时，面对业务部门和IT部门，需要有测试体验的基础环境，这样可以先做一个默认的通用能力比较好的通用大模型出来。

 第二，如果确定先从企业知识问答场景切入，就需要有一个知识大模型。它可以快速理解不同类型文档里的一些具体的布局和内容，需要有同时可以处理结构化数据和非结构化数据的知识大模型。

 第三，当场景非常丰富，每个场景下都需要微调一个模型，当场景积攒了足够的数据后，就可以针对性的定制场景大模型。

 第四，当应用类型非常多，数据也很丰富了，需要让大模型更深一步发挥决策能力的时候，则要把各类场景下的大模型统一起来形成一个大模型体系，最顶层的大模型要具备一定的决策能力，这样就需要有决策大模型。

 再来介绍领域知识库工厂。传统的知识库尤其是第一代知识库，基本上只做文档处理，只能给文档打上一些粗粒度的标签，但无法对文档的内容做更细粒度的理解和管理。到了第二代知识库，可以在一些小模型中做一些实体关系抽取，形成知识图谱。

 现在有了大模型技术，就可以发挥大模型强大的记忆力和理解能力，能够更细粒度的理解文档、抽取出更多细粒度的知识片段。这类知识库产品仅能处理文本和图表，对实时性、概念性的问题做一些归纳处理。我们的领域知识库工厂，在大模型和知识图谱的基础之上，综合运用了传统AI能力和多模态的能力，在大模型的预处理工作、后处理上做了大量工作。

 因此在处理文档时可以进一步理解里面的文字和表格，还能对一些抽象图片做理解，比如说一些组织关系图、流程图等。

除了文档，还可以处理一些音视频多模态数据、业务系统里的日志等，从行为日志里通过流程挖掘的方法挖掘出隐性的程序性知识。另外通过元认知提示技术，最大化发挥大模型的基础能力，可以让大模型做进一步的归纳、摘要、分析、评论，从而让更多类型的非结构化数据都能低成本的汇总到统一知识库，并对上层应用提供更精准的搜索、推荐、问答等服务。

 一个新的趋势

和几个典型的大模型行业应用案例

大模型时代下，另外一个非常重要的趋势就是，开发AI应用的技术路线会逐渐趋同，开发流程也会逐渐趋同。

 因此，AI应用开发的边际成本将逐渐迁移到能力中台。未来，AI应用数量多的企业，需要构建一个基于大模型的AI应用开发平台。

 这样有两个好处，一方面企业可避免重复造轮子，一些开发过的原子能力可以重复集成共享，再次利用；

 另外一方面，可以大幅降低应用开发的门槛，帮助一些没有IT经验、算法基础，但理解业务或是比较有创新想法的人，可以在开发平台上通过拖拉拽即可实现零代码开发应用，从而降低应用开发的门槛、缩短创新想法落地的时间成本和人力成本。

 这里涉及到最主要的就是组件市场，把一些传统AI能力和大模型能力包装成组件上架到到组件市场，另外给用户提供源代码开发的界面，可进行流程编排画布。组件市场是应用开发平台的核心，其本质上是建立一个企业内部的开发生态。在这样的平台基础上，中关村科金服务了多个行业900+客户。

接下来和大家分享几个具体的行业应用案例：

 在金融的财富管理行业中，我们为理财师提供了文案撰写功能。财富管理很大程度上依赖于线下的理财师，需要高频维护高净值客户。根据客户一些个性化需求和市场解读，理财师要为客户定制撰写一篇300~400字的营销文案，通常人工编写这样一篇专业文案至少需要10分钟。

 而大模型可以读懂权威的财经报道，读懂专业分析师撰写的研报，并且还能读懂财经类自媒体大V写的多媒体博客。从这些专业知识里能够提炼出事实、观点、解读，再结合精准客户画像和营销策略，10秒之内即可生成一篇具备专业性的营销文案，大幅缩短理财师人工编写的时长，让理财师可以有更多时间专注于拓展新客户，实现业绩增长。

 在政务领域，公安机关在全国范围内多次开展专项整治行动，随着大数据、各类摄像头等科技手段的应用，现在传统的恶性刑事案件数量已大幅降低。目前，全国成案率70%以上都是电信诈骗。为了阻止老百姓被骗，民警需要在受害人接到诈骗电话后，1分钟内打电话过去做劝阻，这种方式非常消耗警力，电话多到打不完。

 而大模型能够从以往几十、上百万的宣防劝阻电话录音中，学到受害人画像和不同诈骗手法排列组合下，不同的应对话术，一分钟之内拨打电话，实现快速宣防劝阻。更好地节省警力资源投入到应对诈骗新手法、或更紧急的案件，有效降低人工拨打量和成案数量。