AI00 Server是一个基于RWKV的推理API服务器。
支持VULKAN推理加速，可以在所有支持VULKAN的GPU上运行。不用N卡！A卡甚至集成显卡都可加速！
无需臃肿的pytorch、CUDA等运行环境，小巧身材，开箱即用！
兼容OpenAI的ChatGPT API接口。
100% 开源可商用，采用MIT协议。
如果您正在寻找一个快速、高效、易于使用的LLM API服务器，那么AI00 RWKV Server是您的最佳选择。它可以用于各种任务，包括聊天机器人、文本生成、翻译和问答。
立即加入AI00 RWKV Server社区，体验AI的魅力！
===
v0.1.8 重大更新
支持int8量化，7B 模型在8G以上显卡可以达到 30tokens/S 以上
1080ti + 32G 内存，100tokens 3秒
AMD 集成显卡也无压力运行：
（这是运行全量未量化模型时的资源占用）
我们一直在寻找有兴趣帮助我们改进项目的人。如果你对以下任何一项感兴趣，请加入我们！
- 💀编写代码
- 💬提供反馈
- 🔆提出想法或需求
- 🔍测试新功能
- ✏翻译文档
- 📣推广项目
- 🏅其他任何会对我们有所帮助的事
无论你的技能水平如何，我们都欢迎你加入我们。你可以通过以下方式加入我们：
- 加入我们的 Discord 频道
- 加入我们的 QQ 群
- 在 GitHub 上提交问题或拉取请求
- 在我们的网站上留下反馈
我们迫不及待地想与你合作，让这个项目变得更好！希望项目对你有帮助！
马斯克宣布 Twitter 将改名为 X，并更换 Logo 关于 MyBatis-Flex 抄袭 MyBatis-Plus 的澄清 OpenAI 正式上线安卓版 ChatGPT Arc 浏览器正式发布 1.0，声称是 Chrome 的替代品 ChatGPT for Android 将于下周上线，现在开始预注册 VS Code 优化名称混淆压缩，将内置 JS 减小 20%！ 马斯克“零元购”，强夺 @x 推特账号 LK-99：第一种室温常压超导体？ 武汉地震监测网络遭境外黑客攻击，警方表示黑客组织「具有政府背景」 Debian 12.1 发布