win11 RTX4070Ti 部署langchain-chatchat

dandan1年前程序开发5534

1、下载py的环境管理工具:Anaconda (等同于node环境的nvm工具)

2、创建一个专属环境

conda create -n langchain python=3.11.7
#安装完后切换
conda activate langchain

3、下载项目文件

#通过git或手工下载项目文件
git clone https://github.com/chatchat-space/Langchain-Chatchat.git
#通过Anaconda中的cmd窗口,进入到项目目录

3、下载模型文件,使用项目默认的模型(下载后应该是在项目目录)

git lfs install
$ git clone https://huggingface.co/THUDM/chatglm3-6b
$ git clone https://huggingface.co/BAAI/bge-large-zh

4、初始化配置文件

python copy_config_example.py

5、对configs/model_config.py文件编辑

#根据EMBEDDING_MODEL的值bge-large-zh-v1.5,找到下方158行的地方,将路径修改为实际路径,前面加r,例如
bge-large-zh-v1.5": r"D:\dev\python\model\bge-large-zh"
#同理修改llm模型的路径,在chatglm3-6b在168行

6、安装

pip install -r requirements.txt 
pip install -r requirements_api.txt
pip install -r requirements_webui.txt

7、装完后其实运行不起来,会提示torch和cuda不匹配,需要单独安装,并且在安装前,需要安装nvidia的cuda toolkit 和 cuDNN

#现在命令窗口确认当前cuda版本,我的是cuda12.2
nvidia-smi

8、到nvidia官网下载https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_local

9、安装完后,还要下载cuDNN,地址(需要先注册登录好像):https://developer.nvidia.com/rdp/cudnn-download

10、下载后,解压出来,将文件夹改名成cudnn放到cuda的目录下,我的目录是:

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2

11、可以另起一个cmd窗口,进入extras目录,执行demo_suite文件,如果提示Result=PASS 则ok

12、同理也执行deviceQuery.exe

13、去pytorch官完安装gpu版本的torch,地址:https://pytorch.org/get-started/locally/

#当前没有cuda12.2的,选了12.1其实也可以用,另外用pip先安装了一次,发现没有效果,可能项目里已经pip依赖装过了,我换conda安装就可以
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

14、查看cuda是否可用

#进入python
python
#引入文件,回车
import torch
#打印状态,出现true则代表成功
torch.cuda.is_available()

15、引入项目带的演示知识库

python init_database.py --recreate-vs

16、启动项目

python startup.py -a


相关文章

opemim安装部署

前置准备:(1)安装golang环境(官网下linux包到服务器解压,设置环境变量到bin目录即可),并设置go代理:go env -w GOPROXY=https://proxy.golang.co...

使用ngrok进行内网穿透

1、在官网注册账号:https://ngrok.com/ 2、左侧导航Setup & Installtion,下载当前电脑的应用3、左侧导航Your Authtoken,获取token配置命令...

camunda使用

1、 拉取镜像docker pull camunda/camunda-bpm-platform:7.17.02、配置并启动docker run -d ...

go相关踩坑

安装swag根据官方教程,执行下方后,GOPATH/bin中没有swag程序,应该要先配置GOBIN环境变量,有了后再执行。 其他根据官网来再下两个gin-swag和filesgo inst...

通过frp进行内网穿透

因为ngrok会定义刷新域名,有点限制,如果没有服务器域名,用他合适,如果有自己的服务器、域名,则用frp:按照https://blog.csdn.net/mirage003/article/deta...

宝塔ftp连不上

1、先检查端口是否有开放,涉及宝塔端口 和 云服务器的安全组;2、对Pure-ftpd的配置文件中,大概180来行的ForcePassiveIP  开放,并且把ip改成服务器的外网ip;...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。