大白话了解新鲜事，今天讲讲以Pinecone为代表的向量数据库。向量数据库Pinecone一夜爆火，4月27日B轮拿到了1亿美元的融资，估值达到7.5亿美元，一个2021年刚刚推出的数据库产品，火爆背后的原因是什么？
01 背景
「人们常常把大语言模型比喻成大脑，但这是一个被切除了颞叶的大脑，缺乏记忆，并且常常出现幻觉。」解决这些问题，我们常常需要借助向量数据库，这是它近期出现热度的原因。
失忆：ChatGPT没有记忆能力，有的人可能要说它明明记得我前面说过的话，这其实是因为你每一次prompt的时候，客户端会把「当前会话」所有的聊天记录作为一个大的prompt发给ChatGPT。因此，当你点击ChatGPT左侧的“New chat”新建会话后，ChatGPT就会忘了你说过的所有内容。
幻觉：大型语言模型会产生幻觉（Hallucination），指的是它会返回语法正确但语义上不正确的回答，这种胡说八道的情况，相信只要用过几次ChatGPT的小伙伴应该都遇到过。幻觉出现的原因是眼下的大语言模型还做不到真正理解语义（指像人类一样理解），它更多的是一种数学上的抽象推理，就像Meta的首席科学家Yann LeCun的所说，「大型语言模型正在编造东西，努力生成合理的文本字符串，而不理解它们的含义。」
02 向量
不严格地说，向量就是一个数组，数组的长度就是向量的维度。
这样帮助我们后面更容易理解什么是向量之间的「相似度」——即两个箭头靠近的程度。怎么计算呢？最简单的就是“余弦相似度”——两个箭头之间的夹角越小，则两个向量相似度越高。
03 向量化
怎么将单词转化为向量表示呢？你可以硬编码，例如如果你的世界里只有苹果和梨，我们可以将苹果硬编码为二维向量[1, 0]，将梨硬编码为[0, 1]
现在人们都是用模型来生成向量（即embeddings），可以压缩维度，还能保留语义。保留语义的意思是，语义越相近的文本（如「ocean」和「sea」），embedding生成的向量相似度也越高。
04 向量数据库
向量数据库如何帮助大语言模型缓解记忆缺失和幻觉的问题呢？
幻觉问题，可以将所需领域的专业知识存入向量数据库，当要prompt时，系统自动的从向量数据库中根据「相似度」查找最相关的专业知识，把这些知识和你的prompt一同提交给ChatGPT，这样就可以有效减少幻觉的出现。记忆的问题也类似，可以选择把部分你和ChatGPT的聊天记录存入向量数据库，ChatGPT Retrieval plugin提供了这样的接口。
靠着紧抱AI大腿，向量数据库热度将会持续。另外公有云厂商如阿里云、AWS、GCP等，预计也会加大自己的向量数据库的开发投入。而互联网大厂作为各种AI模型的研发方和落地方，未来同样免不了加大对自研向量数据库的投入。所以，有兴趣的小伙伴可以深入学习一下，看看这个领域里还有什么花样可以玩。
（对了，如果有小伙伴还没试用过ChatGPT，我搭了一个小跳板，关注公众号“后厂村思维导图馆”，私信留言索要，同时，也可留言索要各类高清无水印思维导图，记得留下邮箱哦）