安卓机上 4G 内存跑 alpaca,欢迎试用轻量级 LLM 模型推理框架 InferLLM
2023-05-08 13500℃
鉴于此,MegEngine 团队开发了 InferLLM 工程,主要目的有两个：提供一个比 llama.cpp 更简单更容易上手的本地部署框...关于 推理 的相关文章
飞桨paddlespeech语音唤醒推理C实现
2023-04-18 5900℃
特征提取的步骤如下图所示： 模型推理可以分为如下几个步骤：在Python下获取模型参数并保存进文件给C实现用,跟python完全一致的浮...
优化故事: BLOOM 模型推理
2023-04-17 6100℃
本文介绍了我们在实现 BLOOM 模型高效推理服务的过程中发生的幕后故事,在此过程中,不同的人参与了不同的阶段,尝试了各种不同的优化手段,我...
本地推理,单机运行,MacM1芯片系统基于大语言模型C++版本LLaMA部署“本地版”的ChatGP...
2023-03-24 7200℃
在一些大型神经网络中,每个参数需要使用32位或64位浮点数进行存储,这意味着每个参数需要占用4字节或8字节的存储空间,因此,对于包含70亿个...
基于昇腾计算语言AscendCL开发AI推理应用
2023-02-13 6000℃
摘要：本文介绍了昇腾计算语言AscendCL的基本概念,并以示例代码的形式介绍了如何基于AscendCL开发AI推理应用,最后配以实际的操作...