[译]使用 ChatGPT 和 Azure Cosmos DB 构建智能应用程序

翻译 | 郑子铭

在这篇博文中，我和同事Sandeep Nair通过创建一个模仿其功能的Cosmos DB+ChatGPT示例应用程序（尽管程度较低），介绍了我们学习大型语言模型的经验，该模型为OpenAI的ChatGPT服务和API提供动力。我们的样本结合了OpenAI的ChatGPT和Azure Cosmos DB。具体来说，我们将结合这两个服务来构建大多数用户所熟悉的，消费者ChatGPT服务（chat.openai.com）。在这篇博文中，随着我们对样本的了解，我们还将探讨在构建智能应用时，结合Azure Cosmos DB这样的数据库来提升用户体验的其他方式。

示例应用程序

让我们来看看这个应用程序。我们的应用程序试图模仿人们所熟悉的ChatGPT服务的一些功能。左手边是一个对话或 "聊天会话 "的列表。你点击其中的每一个，就可以看到一个不同的聊天会话。您还可以重命名或删除它们。每个聊天会话中都有 "聊天信息"。每条信息都有一个 "发件人 "的标识，即人类或人工智能。信息按时间顺序升序排列，并带有UTC时间戳。底部的文本框用于输入新的提示，以添加到会话中。

Azure Cosmos DB + Azure OpenAI ChatGPT 用户界面

下面是我们示例的架构。前端是托管在 Azure App Service 中的 Blazor Web 应用程序。这连接到 Azure Cosmos DB 作为数据库和托管大型语言模型的 Azure OpenAI 服务。为了尽可能轻松地部署我们的示例应用程序，请在 GitHub 上的示例自述文件中查找“部署到 Azure”按钮。 ARM 模板将处理所有连接信息，因此您不必复制和粘贴密钥。这是一个完全零接触的部署。

Azure Cosmos DB + OpenAI ChatGPT 架构

聊天会话模型

容器的分区键是聊天会话 ID。在每个逻辑分区键值中，有一个聊天会话文档及其所有聊天消息文档。这种设计是最佳的，因为聊天消息总是通过聊天会话 ID 检索。

聊天消息模型

给予 ChatGPT 记忆

如果您在 chat.openai.com 上使用过 ChatGPT，您可能已经注意到，除了回答单个提示外，您还可以与其进行对话。 ChatGPT 为您提供答案，您在没有任何其他上下文的情况下提出后续问题，ChatGPT 以上下文正确的方式做出响应，就好像您正在与它进行对话一样。

我来给你展示。在下面的聊天中，我询问了西雅图 Lumen Field 的座位容量。然而，在我的后续问题“道奇体育场更大吗？”中，它给出了上下文不正确且实际上毫无意义的响应。看起来我们的应用程序要么有短期记忆丧失的情况，要么正在回答其他人提出的类似问题。

没有对话记忆的 Cosmos DB + ChatGPT

一种方法是将之前的提示和完成发送回服务，并附加最新的提示以供响应。有了对话的完整历史记录，它现在拥有必要的信息，可以根据上下文和事实做出正确的回应。当我们问“那比道奇体育场大吗？”时，它现在可以推断出我们的意思。

有对话记忆的 Cosmos DB + ChatGPT

一些实际考虑

虽然提供聊天记录是一个简单的解决方案，但也有一些限制。这些大型语言模型限制了您可以在请求中发送多少文本。这是由“令牌”门控的。代币是计算货币的一种形式，其价值可以从一个字符到一个单词的长度不等。它们由服务根据已部署模型的每个请求分配。此外，允许的最大数量因型号而异。目前，对于此示例所基于的“text-davinci-003”，每个请求的最大令牌数为 4000。在我们构建的示例中，我们测试了令牌的各种值。以下是构建此类应用程序时需要考虑的一些事项。

其次，抛开令牌限制，在每个请求上发送大量文本并不是你真正想要做的事情。它在客户端成本高昂，消耗大量带宽，并增加整体延迟。

我们如何实现内存

我们如何实现它非常简单。首先，我们为发送到服务的对话设置了最大长度。我们首先设置一个请求可以使用的最大令牌数。我们将其设置为 3000 以保持保守。然后我们将 maxConversationLength 计算为最大令牌值集的一半。

我们如何限制对话长度

让 ChatGPT 做到这一点

然而，我对这项技术有一些问题，我没有抽出时间来完全回答。例如，我应该多久刷新一次该摘要？我将如何进行后续刷新以保持保真度？我能否在仅存储有限字节的长对话中保持保真度？在思考这些问题和其他问题之后，我们决定，至少现在，不值得为此付出努力。我们的示例应用程序的实现对于大多数用例来说已经足够好了。我们稍后会回来试试这个。

我们如何让 ChatGPT 为 UX 总结聊天

指导聊天模型

事实证明，我在为 LLM 提供记忆中所描述的是围绕提示的更大概念的一部分，这些提示为模型提供了与用户交互所需的更大上下文。还有不同类型的提示。除了用于提供对话上下文的用户提示外，您还可以使用启动或系统提示来指示聊天模型以特定方式运行。这可以包括很多东西，从是否 "友好和帮助 "或 "事实和简明"，甚至 "俏皮和尖刻"。

探索可能性

例如，如果我正在构建聊天机器人零售体验，我可以使用启动提示来加载用户网络会话的用户配置文件信息。这可能包括有关产品或其他建议的信息。 “嗨马克，你妈妈的生日是下个月，你想看看一些礼物创意吗？”有无限的可能性。

用于零售的示例智能机器人。

更进一步

这一切都始于您数据库中的数据！

在这里开始您的旅程！

申请 Azure OpenAI 服务接入
获取免费的 Azure Cosmos DB 试用版
Open AI 平台文档

原文链接

Build Intelligent Applications using ChatGPT & Azure Cosmos DB

欢迎转载、使用、重新发布，但务必保留文章署名郑子铭（包含链接： http://www.cnblogs.com/MingsonZheng/ ），不得用于商业目的，基于本文修改后的作品务必以相同的许可发布。

如有任何疑问，请与我联系 (MingsonZheng@outlook.com

编程笔记 » [译]使用 ChatGPT 和 Azure Cosmos DB 构建智能应用程序