win11 RTX4070Ti 部署langchain-chatchat
1、下载py的环境管理工具：Anaconda （等同于node环境的nvm工具）
2、创建一个专属环境
conda create -n langchain python=3.11.7 #安装完后切换 conda activate langchain
3、下载项目文件
#通过git或手工下载项目文件 git clone https://github.com/chatchat-space/Langchain-Chatchat.git #通过Anaconda中的cmd窗口，进入到项目目录
3、下载模型文件，使用项目默认的模型（下载后应该是在项目目录）
git lfs install $ git clone https://huggingface.co/THUDM/chatglm3-6b $ git clone https://huggingface.co/BAAI/bge-large-zh
4、初始化配置文件
python copy_config_example.py
5、对configs/model_config.py文件编辑
#根据EMBEDDING_MODEL的值bge-large-zh-v1.5，找到下方158行的地方，将路径修改为实际路径，前面加r，例如 bge-large-zh-v1.5": r"D:\dev\python\model\bge-large-zh" #同理修改llm模型的路径，在chatglm3-6b在168行
6、安装
pip install -r requirements.txt pip install -r requirements_api.txt pip install -r requirements_webui.txt
7、装完后其实运行不起来，会提示torch和cuda不匹配，需要单独安装，并且在安装前，需要安装nvidia的cuda toolkit 和 cuDNN
#现在命令窗口确认当前cuda版本，我的是cuda12.2 nvidia-smi
8、到nvidia官网下载https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_local
9、安装完后，还要下载cuDNN，地址（需要先注册登录好像）：https://developer.nvidia.com/rdp/cudnn-download
10、下载后，解压出来，将文件夹改名成cudnn放到cuda的目录下，我的目录是：
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2
11、可以另起一个cmd窗口，进入extras目录，执行demo_suite文件，如果提示Result=PASS 则ok
12、同理也执行deviceQuery.exe
13、去pytorch官完安装gpu版本的torch，地址：https://pytorch.org/get-started/locally/
#当前没有cuda12.2的，选了12.1其实也可以用，另外用pip先安装了一次，发现没有效果，可能项目里已经pip依赖装过了，我换conda安装就可以 conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
14、查看cuda是否可用
#进入python python #引入文件，回车 import torch #打印状态,出现true则代表成功 torch.cuda.is_available()
15、引入项目带的演示知识库
python init_database.py --recreate-vs
16、启动项目
python startup.py -a
