绍兴网站制作系统,小鱼儿外贸建站,中石建基础设施建设有限公司网站,在自己的网站上做查分系统如需在本地或离线环境下运行本项目#xff0c;需要首先将项目所需的模型下载至本地#xff0c;通常开源 LLM 与 Embedding 模型可以从 HuggingFace 下载。
以本项目中默认使用的 LLM 模型 THUDM/ChatGLM2-6B 与 Embedding 模型 moka-ai/m3e-base 为例#xff1a;
下载模型…
如需在本地或离线环境下运行本项目需要首先将项目所需的模型下载至本地通常开源 LLM 与 Embedding 模型可以从 HuggingFace 下载。
以本项目中默认使用的 LLM 模型 THUDM/ChatGLM2-6B 与 Embedding 模型 moka-ai/m3e-base 为例
下载模型需要先安装 Git LFS然后运行
参考通义千问部署搭建_代码浪人的博客-CSDN博客 git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat.git git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat-Int4.git 拉代码
git clone https://github.com/QwenLM/Qwen-7B.git pip install -r requirements.txt pip install -r requirements_web_demo.txt 修改web_demo.py 启动python web_demo.py 量化(量化过程 报GPU版本问题 暂时未调通)
GPTQ
请注意我们更新量化方案为基于 AutoGPTQ 的量化提供Int4量化模型。该方案在模型评测效果几乎无损且存储需求更低推理速度更优。
以下我们提供示例说明如何使用Int4量化模型。在开始使用前请先保证满足要求如torch 2.0及以上transformers版本为4.32.0及以上等等并安装所需安装包
pip install auto-gptq optimum
随后即可使用和上述一致的用法调用量化模型
下载git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat-Int4.git 没成功 一直报这个GPU版本的问题 nvidia-smi Start Locally | PyTorch
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 conda info --envs
conda remove --name ancillary --all
-------------------------------------------------------------
参考【PyTorch】PyTorch、Cuda 的安装和使用_cuda pytorch-CSDN博客
conda create -n pytorch python3.8
进入 conda activate pytorch
nvcc --version
查看版本
conda install pytorch torchvision torchaudio pytorch-cuda11.8 -c pytorch -c nvidia 检查
import torch
print(torch.__version__) print(torch.version.cuda) # gpu print(torch.backends.cudnn.version()) # cudnn print(torch.cuda.is_available()) # gpu print(torch.cuda.device_count()) python -c import torch; print(torch.version.cuda) 退出deactivate(参考)
pip install -r requirements.txt 再次启动 GPU 可以使用了。 改用量化的模型 修改模型的路径后 参考通义千问-7B-Chat-Int4 · 模型库 (modelscope.cn)
pip install modelscope
pip install auto-gptq optimum
cd ..
git clone -b v1.0.8 https://github.com/Dao-AILab/flash-attention
cd flash-attention pip install . 启动成功后 速度不错 ---------------------------------------------------------------------
conda deactivate
#获取版本号 conda --version 或 conda -V
#检查更新当前conda conda update conda
#查看当前存在哪些虚拟环境 conda env list 或 conda info -e
#查看--安装--更新--删除包
conda list conda search package_name# 查询包 conda install package_name conda install package_name1.5.0 conda update package_name conda remove package_name
#创建名为your_env_name的环境 conda create --name your_env_name #创建制定python版本的环境 conda create --name your_env_name python2.7 conda create --name your_env_name python3.6 #创建包含某些包如numpyscipy的环境 conda create --name your_env_name numpy scipy #创建指定python版本下包含某些包的环境 conda create --name your_env_name python3.6 numpy scipy
conda activate your_env_name
deactivate your_env_name
conda remove -n your_env_name --all
conda remove --name your_env_name --all
