如何部署最新版ChatGLM2-6B图文教程在Linux环境下？

本文共计1011个文字，预计阅读时间需要5分钟。

准备工作：确保所有设备充电充足，检查网络连接，提前了解会议议程。

准备工作：

# 下载项目源代码 git clone github.com/THUDM/ChatGLM2-6B # 切换到项目根目录 cd ChatGLM2-6B # 安装依赖 pip install -r requirements.txt # 安装web依赖 pip install gradio

如果安装出现问题，可尝试手动分别安装torch

1 # 1第一步安装虚拟环境并激活环境

conda create -n ChatGLM2 python=3.10.6 conda activate ChatGLM2 2 nvidia-smi查看cuda版本，12.0

3 安装torch第一种方式

pytorch官网：pytorch.org/

经过多次尝试，发现conda装，真的很快，真香。前几次尝试用pip装torch都会出现timeout的错误，这个跟服务器有关系，视情况而定。

# 安装依赖 pip install -r requirements.txt

二、准备工作。安装依赖包的同时，也可以先手动下载模型包：

1、工程文件准备

整个工程需要从两个远程仓库克隆，一个是 github 上的源码，一个是 HuggingFace 上的模型。

对于源码，由于总体积较小，因此可直接从网页下载 zip 包后解压，也可使用 git 命令（电脑需要提前装好 git ）克隆至本地文件夹中：

git clone github.com/THUDM/ChatGLM2-6B

对于模型，由于存在7个体积较大的 checkpoint 文件，若直接 clone 可能耗时过久或网络连接不够稳定，可以采用大、小文件分别下载的方式。