翻译 | 郑子铭
在这篇博文中,我和同事Sandeep Nair通过创建一个模仿其功能的Cosmos DB+ChatGPT示例应用程序(尽管程度较低),介绍了我们学习大型语言模型的经验,该模型为OpenAI的ChatGPT服务和API提供动力。我们的样本结合了OpenAI的ChatGPT和Azure Cosmos DB。具体来说,我们将结合这两个服务来构建大多数用户所熟悉的,消费者ChatGPT服务(chat.openai.com)。在这篇博文中,随着我们对样本的了解,我们还将探讨在构建智能应用时,结合Azure Cosmos DB这样的数据库来提升用户体验的其他方式。
示例应用程序
让我们来看看这个应用程序。我们的应用程序试图模仿人们所熟悉的ChatGPT服务的一些功能。左手边是一个对话或 "聊天会话 "的列表。你点击其中的每一个,就可以看到一个不同的聊天会话。您还可以重命名或删除它们。每个聊天会话中都有 "聊天信息"。每条信息都有一个 "发件人 "的标识,即人类或人工智能。信息按时间顺序升序排列,并带有UTC时间戳。底部的文本框用于输入新的提示,以添加到会话中。
- Azure Cosmos DB + Azure OpenAI ChatGPT 用户界面
下面是我们示例的架构。前端是托管在 Azure App Service 中的 Blazor Web 应用程序。这连接到 Azure Cosmos DB 作为数据库和托管大型语言模型的 Azure OpenAI 服务。为了尽可能轻松地部署我们的示例应用程序,请在 GitHub 上的示例自述文件中查找“部署到 Azure”按钮。 ARM 模板将处理所有连接信息,因此您不必复制和粘贴密钥。这是一个完全零接触的部署。
- Azure Cosmos DB + OpenAI ChatGPT 架构
- 聊天会话模型
容器的分区键是聊天会话 ID。在每个逻辑分区键值中,有一个聊天会话文档及其所有聊天消息文档。这种设计是最佳的,因为聊天消息总是通过聊天会话 ID 检索。
- 聊天消息模型
给予 ChatGPT 记忆
如果您在 chat.openai.com 上使用过 ChatGPT,您可能已经注意到,除了回答单个提示外,您还可以与其进行对话。 ChatGPT 为您提供答案,您在没有任何其他上下文的情况下提出后续问题,ChatGPT 以上下文正确的方式做出响应,就好像您正在与它进行对话一样。
我来给你展示。在下面的聊天中,我询问了西雅图 Lumen Field 的座位容量。然而,在我的后续问题“道奇体育场更大吗?”中,它给出了上下文不正确且实际上毫无意义的响应。看起来我们的应用程序要么有短期记忆丧失的情况,要么正在回答其他人提出的类似问题。
- 没有对话记忆的 Cosmos DB + ChatGPT
一种方法是将之前的提示和完成发送回服务,并附加最新的提示以供响应。有了对话的完整历史记录,它现在拥有必要的信息,可以根据上下文和事实做出正确的回应。当我们问“那比道奇体育场大吗?”时,它现在可以推断出我们的意思。
- 有对话记忆的 Cosmos DB + ChatGPT
一些实际考虑
虽然提供聊天记录是一个简单的解决方案,但也有一些限制。这些大型语言模型限制了您可以在请求中发送多少文本。这是由“令牌”门控的。代币是计算货币的一种形式,其价值可以从一个字符到一个单词的长度不等。它们由服务根据已部署模型的每个请求分配。此外,允许的最大数量因型号而异。目前,对于此示例所基于的“text-davinci-003”,每个请求的最大令牌数为 4000。在我们构建的示例中,我们测试了令牌的各种值。以下是构建此类应用程序时需要考虑的一些事项。
其次,抛开令牌限制,在每个请求上发送大量文本并不是你真正想要做的事情。它在客户端成本高昂,消耗大量带宽,并增加整体延迟。
我们如何实现内存
我们如何实现它非常简单。首先,我们为发送到服务的对话设置了最大长度。我们首先设置一个请求可以使用的最大令牌数。我们将其设置为 3000 以保持保守。然后我们将 maxConversationLength 计算为最大令牌值集的一半。
- 我们如何限制对话长度
让 ChatGPT 做到这一点
然而,我对这项技术有一些问题,我没有抽出时间来完全回答。例如,我应该多久刷新一次该摘要?我将如何进行后续刷新以保持保真度?我能否在仅存储有限字节的长对话中保持保真度?在思考这些问题和其他问题之后,我们决定,至少现在,不值得为此付出努力。我们的示例应用程序的实现对于大多数用例来说已经足够好了。我们稍后会回来试试这个。
- 我们如何让 ChatGPT 为 UX 总结聊天
指导聊天模型
事实证明,我在为 LLM 提供记忆中所描述的是围绕提示的更大概念的一部分,这些提示为模型提供了与用户交互所需的更大上下文。还有不同类型的提示。除了用于提供对话上下文的用户提示外,您还可以使用启动或系统提示来指示聊天模型以特定方式运行。这可以包括很多东西,从是否 "友好和帮助 "或 "事实和简明",甚至 "俏皮和尖刻"。
探索可能性
例如,如果我正在构建聊天机器人零售体验,我可以使用启动提示来加载用户网络会话的用户配置文件信息。这可能包括有关产品或其他建议的信息。 “嗨马克,你妈妈的生日是下个月,你想看看一些礼物创意吗?”有无限的可能性。
- 用于零售的示例智能机器人。
更进一步
这一切都始于您数据库中的数据!
在这里开始您的旅程!
- 在 GitHub 上下载并探索我们的 Azure Cosmos DB + ChatGPT 示例应用
- 申请 Azure OpenAI 服务接入
- 获取免费的 Azure Cosmos DB 试用版
- Open AI 平台文档
原文链接
Build Intelligent Applications using ChatGPT & Azure Cosmos DB
欢迎转载、使用、重新发布,但务必保留文章署名 郑子铭 (包含链接: http://www.cnblogs.com/MingsonZheng/ ),不得用于商业目的,基于本文修改后的作品务必以相同的许可发布。
如有任何疑问,请与我联系 (MingsonZheng@outlook.com