如何在PC上离线运行类ChatGPT的LLM

即使没有专用的GPU，您也可以在本地运行Alpaca。但是，响应时间会很慢。除此之外，有些用户甚至可以在像Raspberry Pi 4这样的小型计算机上运行Alpaca。因此，您可以推断 Alpaca 语言模型也可以在入门级计算机上很好地运行。

设置软件环境以运行 Alpaca 和 LLaMA

Windows

在 Windows 上，您需要安装 Python、Node.js 和 C++ 才能开始在计算机上脱机使用大型语言模型。这是如何去做的。

1. 首先，从这里下载 Python 3.10（或更低版本）。向下滚动并单击“Windows 安装程序（64 位）”以下载安装文件。

2. 启动安装文件并启用“将 Python.exe 添加到 PATH 旁边的复选框。现在，使用所有默认设置安装 Python。

3.之后，从此处安装Node.js版本18.0（或更高版本）。安装程序时保持所有默认值。

4. 最后，从此链接免费下载Visual Studio“社区”版本。

5. 启动 Visual Studio 2022 安装程序文件，它最初会下载一些文件。之后，将启动一个新窗口。在这里，确保启用了“C++桌面开发”。

6.最后，单击“安装”并等待安装完成。

7.我建议在安装完所有内容后重新启动计算机。接下来，打开“命令提示符”并运行以下命令以检查Python和Node.js是否安装成功。两者都应返回版本号。你现在可以走了。

python --version
node --version

Apple macOS 

Python 通常预装在 macOS 上，因此您只需要安装 Node.js（版本 18.0 或更高版本）。以下是您可以做到这一点的方法：

1. 从此处的链接下载 Node.js macOS 安装程序（版本 18.0 或更高版本）。

2.接下来，打开终端并运行以下命令以检查Node.js是否正确安装。如果您得到一个版本号作为回报，您就可以开始了。

node --version

3. 接下来，通过运行以下命令检查 Python 版本。它应该是 Python 3.10 或更低版本。

python3 --version

4. 如果您没有获得输出，或者您碰巧拥有最新的 Python 版本，请从此处下载 Python 3.10（或更低版本）。向下滚动并单击“macOS 64 位通用 2 安装程序”以下载 Python。现在，将其安装在Mac上。

Linux 和 ChromeOS

在Linux和ChromeOS上，你需要先设置Python和Node.js然后再运行离线的Alpaca和LLaMA模型。以下是要遵循的步骤。

1. 打开终端并运行以下命令以检查 Python 版本。如果是 Python 3.10 或更低版本，则一切就绪。

python3 --version

2. 如果您有更高的版本，您可以使用以下命令在 Linux 和 ChromeOS 上安装 Python 3.10。

sudo apt install software-properties-common
sudo add-apt-repository ppa:deadsnakes/ppa
sudo apt-get update
sudo apt-get install python3.10

3. 在 Python 之后，通过运行以下命令安装 Node.js。

sudo apt install nodejs

4. 安装完成后，运行以下命令以检查 Node.js 版本。它应该是 18.0 或更高版本。

node --version

在您的计算机上安装Alpaca和LLaMA模型

一旦你设置了Python和Node.js，就该在你的PC上安装和运行一个类似ChatGPT的LLM。在继续之前，请确保终端检测到 和 命令。

1.打开终端（在我的情况下，命令提示符）并运行以下命令以安装Alpaca 7B LLM型号（需要约4.2GB磁盘空间）。如果要安装 Alpaca 13B 型号，请替换为 。较大的型号需要 8.1GB 的空间。

npx dalai alpaca install 7B

2.现在，键入“ y”并按回车键。这将开始安装Alpaca7B型号。整个过程将需要 20 到 30 分钟，具体取决于您的互联网连接和型号大小。

3.安装完成后，您将看到这样的屏幕。

4.您也可以选择安装LLaMA模型或进入下一步以立即测试Alpaca模型。请记住，LLaMA的大小要大得多。它的7B型号占用高达31GB的空间。要安装它，请运行以下命令。您可以替换为 、 和 。最大的型号占用高达 432GB 的空间。

npx dalai llama install 7B

5.最后，运行以下命令，它将立即启动Web服务器。

npx dalai serve

6. 在您的 PC 上使用网络浏览器并打开以下地址。这将带您进入 Web UI，您可以在没有互联网的情况下在本地测试 Alpaca 和 LLaMA 模型。

 http://localhost:3000

7.在这里，您需要从右上角的“型号”下拉菜单中选择“Alpaca7B”或“LLaMA 7B”型号。由于我只安装了 Alpaca 7B 型号，因此这是我的默认设置。

8.您现在可以在没有互联网连接的情况下开始在PC上使用这种类似ChatGPT的语言模型。将“提示”替换为您的查询，然后单击“开始”。

9.以下是在我的Windows PC上运行本地Alpaca LLM服务器时的资源使用情况。

10. 如果要删除下载的模型以释放磁盘空间，请打开用户配置文件目录。在这里，“dalai”文件夹包含所有文件，包括模型。删除“dalai”文件夹将立即释放空间。

私下且完全离线地使用类似 ChatGPT 的服务

因此，这就是您在本地PC上运行类似ChatGPT的LLM并获得体面结果的方法。随着时间的推移，未来将推出新的高效LLM型号，可以在智能手机上运行，也可以像Raspberry Pi这样的小板计算机运行。无论如何，这都是来自我们的。如果您想免费使用 ChatGPT 4，请前往我们的链接文章以获取一些惊人的资源。如果您想根据自己的文档训练 AI 聊天机器人，我们为您准备了深入的指南。最后，如果您遇到任何问题，请在下面的评论部分告诉我们。