![GPT大语言模型Alpaca-lora本地化部署实践[大语言模型实践一]](/static/background/57.jpg "GPT大语言模型Alpaca-lora本地化部署实践[大语言模型实践一]")
模型介绍
70亿的模型参数（模型参数越大，模型的推理能力越强，当然随之训练模型的成本也就越高）。
LoRA，英文全称Low-Rank Adaptation of Large Language Models，直译为大语言模型的低阶适应，这是微软的研究人员为了解决大语言模型微调而开发的一项技术。如果想让一个预训练大语言模型能够执行特定领域内的任务，一般需要做fine-tuning，但是目前推理效果好的大语言模型参数维度非常非常大，有些甚至是上千亿维，如果直接在大语言模型上做fine-tuning，计算量会非常的大，成本也会非常的高。
具体如下图所示，核心思想是在原始预训练模型增加一个旁路，做一个降维再升维的操作。训练的时候固定预训练模型的参数，只训练降维矩阵 A 与升维矩阵 B。而模型的输入输出维度不变，输出时将 BA 与预训练语言模型的参数叠加。
本文进行本地化部署实践的Alpaca-lora模型就是Alpaca模型的低阶适配版本。本文将对Alpaca-lora模型本地化部署、微调和推理过程进行实践并描述相关步骤。
GPU服务器环境部署
jdcloud.com/cn/calculator/calHost））
https://www.nvidia.com/Download/index.aspx，选择相应的显卡和CUDA版本就可以下载驱动文件啦。
1.安装anaconda 下载方式：wget
https://repo.anaconda.com/archive/Anaconda3-5.3.0-Linux-x86_64.sh。 安装命令： shAnaconda3-5.3.0-Linux-x86_64.sh 每个安装步骤都输入“yes”，最后conda init后完成安装，这样每次进入安装用户的session，都会直接进入自己的python环境。如果安装最后一步选择no，即不进行conda init，则后续可以通过source/home/jd_ad_sfxn/anaconda3/bin/activate来进入到私有的python环境。
https://files.pythonhosted.org/packages/26/e5/9897eee1100b166a61f91b68528cb692e8887300d9cbdaa1a349f6304b79/setuptools-40.5.0.zip 安装命令： unzip setuptools-40.5.0.zip cd setuptools-40.5.0/ python setup.py install
https://files.pythonhosted.org/packages/45/ae/8a0ad77defb7cc903f09e551d88b443304a9bd6e6f124e75c0fbbf6de8f7/pip-18.1.tar.gz 安装命令： tar -xzf pip-18.1.tar.gz cd pip-18.1 python setup.py install
conda create -n alpaca python=3.9
conda activate alpaca
然后验证一下，如下图所示说明已经创建成功啦。
模型训练
https://github.com/tloen/alpaca-lora，整个模型都是开源的，真好！首先把模型文件下载到本地，执行git clonehttps://github.com/tloen/alpaca-lora.git .。
pip install -r requirements.txt
这个过程可能会比较慢，需要从网上下载大量的依赖包，过程中可能也会报各种包冲突，依赖没有等问题，这块只能见招拆招，缺什么装什么（解决包依赖和版本冲突确实是个头疼的事情，不过这步做不好，模型也跑不起来，所以只能耐心的一点一点解决），这里痛苦的过程就不赘述了，因为不同机器可能遇到的问题也不太一样，参考意义不是很大。
由于我们的目标是对模型进行fine-tuning，所以我们得有一个fine-tuning的目标，由于原始模型对中文支持并不好，所以我们的目标就有了，用中文语料库让模型更好的支持中文，这个社区也给我准备好了，我们直接下载中文的语料库就好了，在本地执行 wget
https://github.com/LC1332/Chinese-alpaca-lora/blob/main/data/trans_chinese_alpaca_data.json?raw=true，将后面模型训练用到的语料库下载到alpaca-lora根目录下（后面方便使用）。
怎么还没到模型训练呢，别着急呀，这就来啦。
如果是单个GPU，那么执行命令即可：
python finetune.py \
--base_model 'decapoda-research/llama-7b-hf' \
--data_path 'trans_chinese_alpaca_data.json' \
--output_dir './lora-alpaca-zh'
如果是多个GPU，则执行：
WORLD_SIZE=2 CUDA_VISIBLE_DEVICES=0,1 torchrun \
--nproc_per_node=2 \
--master_port=1234 \
finetune.py \
--base_model 'decapoda-research/llama-7b-hf' \
--data_path 'trans_chinese_alpaca_data.json' \
--output_dir './lora-alpaca-zh'
如果可以看到进度条在走，说明模型已经启动成功啦。
我用的是2块GPU显卡进行训练，总共训练了1904分钟，也就是31.73个小时，模型就收敛了，模型训练是个漫长的过程，所以在训练的时候我们可以适当的放松一下，做点其他的事情：）。
模型推理
generate.py 文件，添加下面这样即可。
python generate.py --base_model "decapoda-research/llama-7b-hf" \
--lora_weights './lora-alpaca-zh' \
--load_8bit
其中./lora-alpaca-zh目录下的文件，就是我们刚刚fine tuning模型训练的参数所在位置，启动服务的时候把它加载到内存（这个内存指的是GPU内存）里面。
因为我们目标是让模型说中文，所以我们测试一下对中文的理解，看看效果怎么样？
在推理的时候我们也可以监控一下GPU的变化，可以看到GPU负载是比较高的，说明GPU在进行大量的计算来完成推理。
总结
2. 推理时间问题：由于目前部署的GPU服务器有4块GPU，能够执行的有3块，基于3块GPU，在推理的时候还是比较吃力的，执行一次交互需要大概30s-1min，如果达到chatGPT那样实时返回，则需要大量的算力进行支持，可以反推，chatGPT后台肯定是有大集群算力支持的，所以如果想做成服务，成本投入是需要考量的一个问题；
4. 模型选择问题：由于目前GPT社区比较活跃，模型的产生和变化也是日新月异，由于时间仓促，目前只调研了alpaca-lora模型的本地化部署，后面针对实际落地的应用应该也会有更好的更低成本的落地方案，需要持续跟进社区的发展，选择合适的开源方案。
https://my.oschina.net/u/4090830/blog/8695561
内容来源：京东云开发者社区