怎么做自己的网站弄商城佣金,网站支付页面设计,网架公司推荐,网站设计这个专业怎么样chatGLM算是个相对友好的模型#xff0c;支持中英文双语的对话交流#xff0c;清华出的 我的教程无需特别的网络设置#xff0c;不过部分情况因为国内网络速度慢#xff0c;需要反复重复 chatGLM github地址
一、硬件需求
N卡8G显存以上#xff0c;最好16G以上#xff… chatGLM算是个相对友好的模型支持中英文双语的对话交流清华出的 我的教程无需特别的网络设置不过部分情况因为国内网络速度慢需要反复重复 chatGLM github地址
一、硬件需求
N卡8G显存以上最好16G以上我用的是RTX4090做的测试生成语言时很流畅和正常人语速差不多占用显卡资源不高大概15%没优化显存的情况下大概14G。 对内存需求不高16G内存的设备就能运行。
二、基础环境
我才用conda的方式进行安装需要首先安装下面的基础环境这些环境通常已经有了 windows和linux的安装方法基本一致。
1.conda安装
anaconda安装winlinux
2.cuda安装
我用的是11.8的cuda。 如果没有安装按照我的这个教程: cuda安装linux cuda安装windows
3.pytorch
在下面具体的conda环境中配置
三、安装
没有具体说明的就是windows和linux通用的部分linux如果权限不够自行提rootwindows下的命令默认在cmd中运行下面不在复述。windows下我放到C分区目录下linux我放到/usr/local下
1.创建conda环境
conda create -n chatglm python3.10.8conda activate chatglm2.安装pytorch
conda install pytorch torchvision torchaudio pytorch-cuda11.8 -c pytorch -c nvidia3.下载源码或者用git
如果是用git下载 windows下
cd C:/
git clone https://github.com/THUDM/ChatGLM-6B.gitlinux下
cd /usr/local
git clone https://github.com/THUDM/ChatGLM-6B.git如果下载的是zip文件记得改名下载下来的包后面又main字样去掉要不后面的命令都是错的
4.安装pytorch
直接下载速度会较慢需要重复尝试建议解决网络问题更方便。
conda install pytorch torchvision torchaudio pytorch-cuda11.8 -c pytorch -c nvidia5.安装源码
windows进入下面的目录自行改名
cd C:\ChatGLM-6Blinux进入下面的目录
cd /usr/local/ChatGLM-6B安装官方的列表内容
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple5.安装其它依赖
有些依赖官方没有写上但是实际是需要的。
pip install streamlit -i https://pypi.tuna.tsinghua.edu.cn/simplepip install streamlit-chat -i https://pypi.tuna.tsinghua.edu.cn/simplepip install chardet -i https://pypi.tuna.tsinghua.edu.cn/simple6.启动执行
streamlit run web_demo2.py7.进入web界面
访问ip:8501/ 在对话框中输入问题
8.自动下载模型
首次提问后先会去下载模型可以在后台看到耐心等待
下载模型很快的默认的网络速度很快下载完成后就会回答你的问题。
四、其它
1.商用
官方写的是可以免费商用需要申请通过后给证书
2.作为api
如果要用api调用官方也有说明
