安卓机上 4G 内存跑 alpaca,欢迎试用轻量级 LLM 模型推理框架 InferLLM
2023-05-08 13500℃
鉴于此,MegEngine 团队开发了 InferLLM 工程,主要目的有两个:提供一个比 llama.cpp 更简单更容易上手的本地部署框...2023-05-08 13500℃
鉴于此,MegEngine 团队开发了 InferLLM 工程,主要目的有两个:提供一个比 llama.cpp 更简单更容易上手的本地部署框...2023-04-18 5900℃
特征提取的步骤如下图所示: 模型推理可以分为如下几个步骤:在Python下获取模型参数并保存进文件给C实现用,跟python完全一致的浮...2023-04-17 6100℃
本文介绍了我们在实现 BLOOM 模型高效推理服务的过程中发生的幕后故事,在此过程中,不同的人参与了不同的阶段,尝试了各种不同的优化手段,我...2023-03-24 7200℃
在一些大型神经网络中,每个参数需要使用32位或64位浮点数进行存储,这意味着每个参数需要占用4字节或8字节的存储空间,因此,对于包含70亿个...2023-02-13 6000℃
摘要:本文介绍了昇腾计算语言AscendCL的基本概念,并以示例代码的形式介绍了如何基于AscendCL开发AI推理应用,最后配以实际的操作...