阿里云AnalyticDB(ADB) + LLM：构建AIGC时代下企业专属ChatBot

导读如何基于向量数据库+LLM（大语言模型），打造更懂你的企业专属Chatbot？1、为什么Chatbot需要大语言模型+向量数据库？这个春天，最让人震感的科技产品莫过于ChatGPT的横空出世，通过大语言模型（LLM）让人们看到了生成式AI能实现到和人类语言高度相仿的语言表达能力，AI不再遥不可及而已经可以走进人类的工作和生活，这使得沉寂一段时间的AI领域重新焕发了能量，无数的从业者正趋之若鹜地投身于下一个改变时代的机会；据不完全统计，在短短的4个月时间内，美国已经完成了超4000笔的生成式AI的行业融资。生成式AI已经成为了资本和企业都无法忽视的下一代的技术密码，而其对于底层的基础设施能力提供了更高的要求。大模型能够回答较为普世的问题，但是若要服务于垂直专业领域，会存在知识深度和时效性不足的问题， 那么企业如何抓住机会并构建垂直领域服务？目前有两种模式，第一种是基于大模型之上做垂直领域模型的Fine Tune，这个综合投入成本较大，更新的频率也较低，并不适用于所有的企业；第二种就是在向量数据库中构建企业自有的知识资产，通过大模型 + 向量数据库来搭建垂直领域的深度服务，本质是使用数据库进行提示工程(Prompt Engineering)。以法律行业为例，基于垂直类目的法律条文和判例，企业可以构建垂直领域的法律科技服务。如法律科技公司Harvey，正在构建“律师的副驾驶”（Copilot for Lawyer）以提高法律条文的起草和研究服务。将企业知识库文档和实时信息通过向量特征提取然后存储到向量数据库，结合LLM大语言模型可以让Chatbot（问答机器人）的回答更具专业性和时效性，构建企业专属Chatbot。如何基于大语言模型 + 阿里云AnalyticDB for PostgreSQL（以下简称ADB-PG，内置向量数据库能力）让Chatbot更好地回答时事问题？欢迎移步“阿里云瑶池数据库”视频号观看演示Demo。本文接下来将重点介绍基于大语言模型（LLM）+向量数据库打造企业专属Chatbot的原理和流程，以及ADB-PG构建该场景的核心能力。2、什么是向量数据库？在现实世界中，绝大多数的数据都是以非结构化数据的形式存在的，如图片，音频，视频，文本等。这些非结构化的数据随着智慧城市，短视频，商品个性化推荐，视觉商品搜索等应用的出现而爆发式增长。为了能够处理这些非结构化的数据，我们通常会使用人工智能技术提取这些非结构化数据的特征，并将其转化为特征向量，再对这些特征向量进行分析和检索以实现对非结构化数据的处理。因此，我们把这种能存储，分析和检索特征向量的数据库称之为向量数据库。向量数据库对于特征向量的快速检索，一般会采用构建向量索引的技术手段，我们通常说的向量索引都属于ANNS（Approximate Nearest Neighbors Search，近似最近邻搜索），它的核心思想是不再局限于只返回最精确的结果项，而是仅搜索可能是近邻的数据项，也就是通过牺牲可接受范围内的一点精确度来换取检索效率的提高。这也是向量数据库与传统数据库最大的差别。为了将ANNS向量索引更加方便的应用到实际的生产环境中，目前业界主要有两种实践方式。一种是单独将ANNS向量索引服务化，以提供向量索引创建和检索的能力，从而形成一种专有的向量数据库；另一种是将ANNS向量索引融合到传统结构化数据库中，形成一种具有向量检索功能的DBMS。在实际的业务场景中，专有的向量数据库往往都需要和其他传统数据库配合起来一起使用，这样会造成一些比较常见的问题，如数据冗余、数据迁移过多、数据一致性问题等，与真正的DBMS相比，专有的向量数据库需要额外的专业人员维护、额外的成本，以及非常有限的查询语言能力、可编程性、可扩展性和工具集成。而融合了向量检索功能的DBMS则不同，它首先是一个非常完备的现代数据库平台，能满足应用程序开发人员的数据库功能需求；然后它集成的向量检索能力一样也可以实现专有的向量数据库的功能，并且使向量存储和检索继承了DBMS的优秀能力，如易用性（直接使用SQL的方式处理向量）、事务、高可用性、高可扩展性等等。本文介绍的ADB-PG即是具有向量检索功能的DBMS，在包含向量检索功能的同时，还具备一站式的数据库能力。在介绍ADB-PG的具体能力之前，我们先来看一下Demo视频中Chatbot的创建流程和相关原理。3、LLM大语言模型+ADB-PG：打造企业专属Chatbot案例-本地知识问答系统对于前面Demo视频结合大语言模型LLM和ADB-PG进行时事新闻点评解答的例子，让LLM回答“通义千问是什么”。可以看到，如果我们让LLM直接回答，得到的答案没有意义，因为LLM的训练数据集里并不包含相关的内容。而当我们使用向量数据库作为本地知识存储，让LLM自动提取相关的知识之后，其正确地回答了“通义千问是什么”。在看完上面的例子之后，我们可以很清楚地发现，在ADB-PG中使用向量检索和融合检索就跟使用传统数据库一样方便，没有任何的学习门槛。同时，我们对向量检索也有针对性地做了很多优化，如向量数据压缩、向量索引并行构建、向量多分区并行检索等等，这里不再详述。ADB-PG同时也具有丰富的全文检索功能，支持复杂组合条件、结果排名等检索能力；另外对于中文数据集，ADB-PG也支持中文分词功能，能够高效、自定义地对中文文本加工分词；同时ADB-PG也支持使用索引加速全文检索分析性能。这些能力同样也可以在AIGC业务场景下得到充分的使用，如业务可以对知识库文档结合上述向量检索和全文检索能力进行双路召回。知识数据库搜索部分包括传统的关键词全文检索和向量特征检索，关键词全文检索保证查询的精准性，向量特征检索提供泛化性和语义匹配，除字面匹配之外召回和语义匹配的知识，降低无结果率，为大模型提供更加丰富的上下文，有利于大语言模型进行总结归纳。5、总结结合本文前面所提到的内容，如果把满腹经纶的Chatbot比喻为人类，那么大语言模型可以看成是Chatbot在大学毕业前从所有书本和各领域公开资料所获得的知识和学习推理能力。所以基于大语言模型，Chatbot能够回答截止到其毕业前相关的问题，但如果问题涉及到特定专业领域（相关资料为企业组织专有，非公开）或者是新出现的物种概念（大学毕业时尚未诞生），仅靠在学校的知识所得（对应预训练的大语言模型）则无法从容应对，需要具备毕业后持续获得新知识的渠道（如工作相关专业学习资料库），结合本身的学习推理能力，来做出专业应对。同样的Chatbot需要结合大语言模型的学习推理能力，和像ADB-PG这样包含向量检索和全文检索能力的一站式数据库（存储了企业组织专有的以及最新的知识文档和向量特征），在应对问题时具备基于该数据库中的知识内容来提供更专业更具时效性的回答。