🚀 一键运行
最简单的本地 LLM 运行方式:
自动下载
首次运行自动拉取模型
交互式聊天
命令行直接对话
离线可用
下载后无需网络
版本管理
支持多版本并存
⚡ GPU 加速
支持多种 GPU 平台:
- NVIDIA - CUDA 自动检测,需要 nvidia-smi
- AMD - ROCm 支持(Linux)
- Apple Silicon - Metal 原生加速(M1/M2/M3/M4)
- CPU 回退 - 无 GPU 时自动使用 CPU
🔌 OpenAI 兼容 API
内置 REST API,兼容 OpenAI 格式:
- /api/chat - 对话接口
- /api/generate - 生成接口
- /api/embeddings - 向量嵌入
- 端口 - 默认 11434
🛠️ Modelfile 自定义
创建个性化模型:
系统提示词
定义 AI 人设和行为
参数调优
temperature、top_p 等
模板定义
自定义对话格式
导入 GGUF
支持 HuggingFace 模型
🌐 多平台支持
- macOS - dmg 安装包、Homebrew
- Linux - 一键脚本、Docker
- Windows - exe 安装包(预览版)