Skip to content

QUICKSTART.md

Latest commit

 

History

History
87 lines (60 loc) · 1.69 KB

QUICKSTART.md

File metadata and controls

87 lines (60 loc) · 1.69 KB

LLM-Local 快速开始

5 分钟快速上手

1. 安装

# 克隆项目
git clone https://github.com/Dajucoder/LLM-Local.git
cd LLM-Local

# 创建虚拟环境
python -m venv venv
source venv/bin/activate  # Windows: venv\Scripts\activate

# 安装依赖 (根据你的平台选择)
# Apple Silicon (M1/M2/M3)
pip install -r requirements-mlx.txt

# NVIDIA GPU
pip install -r requirements-cuda.txt

# CPU
pip install -r requirements.txt

2. 运行

# 一键启动 (推荐)
./run.sh

# 或者手动启动
python main.py

就这么简单!首次运行会自动下载模型(约 3GB)到 models/hub/ 目录。

3. 测试对话

👤 你: 你好
🤖 AI: 你好!我是一个AI助手,有什么我可以帮助你的吗?

👤 你: 用Python写一个Hello World
🤖 AI: 当然!这是一个简单的Python Hello World程序:

print("Hello, World!")

...

功能特点

  • ✅ 自动选择最优后端 - Apple Silicon 使用 MLX，NVIDIA 使用 CUDA
  • ✅ 离线运行 - 下载后的模型完全支持离线使用
  • ✅ 对话历史保存 - 自动保存到 logs/chat_history_*.log
  • ✅ 流式输出 - 实时显示 AI 回复

常见问题

Q: 模型下载慢?

export HF_ENDPOINT=https://hf-mirror.com
python main.py

Q: 内存不足?

  • 使用更小的模型: python main.py --model Qwen/Qwen2.5-1.5B-Instruct

Q: 想用不同的模型?

Q: 如何查看对话历史?

cat logs/chat_history_$(date +%Y%m%d).log

下一步

⭐ 如果觉得有用,请给项目一个 Star!