Skip to content

installation.md

Latest commit

 

History

History
148 lines (96 loc) · 2.67 KB

installation.md

File metadata and controls

148 lines (96 loc) · 2.67 KB

安装指南

系统要求

硬件要求

  • Apple Silicon (M1/M2/M3): 8GB RAM+ (推荐 16GB+)
  • NVIDIA GPU: 6GB+ VRAM, CUDA 11.8+
  • CPU: 16GB RAM+ (不推荐,速度较慢)

软件要求

  • Python 3.9 或更高版本
  • macOS 12.3+ (使用 MLX)
  • Linux/Windows (使用 PyTorch)

安装步骤

1. 克隆项目

git clone https://github.com/Dajucoder/LLM-Local.git
cd LLM-Local

2. 创建虚拟环境

python -m venv venv

# macOS/Linux
source venv/bin/activate

# Windows
venv\Scripts\activate

3. 安装依赖

根据你的硬件选择相应的安装方式:

Apple Silicon (M1/M2/M3) - 推荐使用 MLX

pip install -r requirements-mlx.txt

MLX 是 Apple 专为 Apple Silicon 优化的机器学习框架,性能最佳。

NVIDIA GPU - 使用 CUDA

# 首先安装 PyTorch (CUDA 版本)
pip install torch --index-url https://download.pytorch.org/whl/cu118

# 然后安装其他依赖
pip install -r requirements-cuda.txt

通用 CPU

pip install -r requirements.txt

4. 验证安装

运行设备检测:

python main.py --info

这会显示你的硬件信息和推荐的后端。

可选配置

模型存储位置

默认情况下,模型会下载到项目根目录的 models/ 文件夹中。

如果要更改模型存储位置,可以编辑 config/config.yaml:

advanced:
  cache_dir: "./models"  # 修改为你想要的路径

或者设置环境变量:

export HF_HOME=/path/to/your/models

设置 HuggingFace 镜像 (国内用户)

如果模型下载速度慢,可以设置镜像:

export HF_ENDPOINT=https://hf-mirror.com

或在 ~/.bashrc / ~/.zshrc 中添加:

echo 'export HF_ENDPOINT=https://hf-mirror.com' >> ~/.zshrc
source ~/.zshrc

常见问题

Q: MLX 安装失败?

A: MLX 仅支持 Apple Silicon (M1/M2/M3)。如果你使用的是 Intel Mac,请使用 PyTorch。

Q: PyTorch CUDA 版本不匹配?

A: 确保安装的 PyTorch 版本与你的 CUDA 版本匹配:

# 检查 CUDA 版本
nvidia-smi

# 安装对应版本的 PyTorch
# CUDA 11.8
pip install torch --index-url https://download.pytorch.org/whl/cu118

# CUDA 12.1
pip install torch --index-url https://download.pytorch.org/whl/cu121

Q: 内存不足?

A: 尝试以下方法:

  1. 使用更小的模型 (如 Qwen2.5-1.5B)
  2. 使用量化模型 (4-bit/8-bit)
  3. 减少 max_new_tokens 参数

Q: 模型下载速度慢?

A:

  1. 设置 HuggingFace 镜像 (见上文)
  2. 使用已经转换好的 mlx-community 模型
  3. 手动下载模型到本地目录

下一步

安装完成后,查看 使用指南 开始使用!