🚀 一键运行

最简单的本地 LLM 运行方式:

自动下载

首次运行自动拉取模型

交互式聊天

命令行直接对话

离线可用

下载后无需网络

版本管理

支持多版本并存

⚡ GPU 加速

支持多种 GPU 平台:

  • NVIDIA - CUDA 自动检测,需要 nvidia-smi
  • AMD - ROCm 支持(Linux)
  • Apple Silicon - Metal 原生加速(M1/M2/M3/M4)
  • CPU 回退 - 无 GPU 时自动使用 CPU

🔌 OpenAI 兼容 API

内置 REST API,兼容 OpenAI 格式:

  • /api/chat - 对话接口
  • /api/generate - 生成接口
  • /api/embeddings - 向量嵌入
  • 端口 - 默认 11434

🛠️ Modelfile 自定义

创建个性化模型:

系统提示词

定义 AI 人设和行为

参数调优

temperature、top_p 等

模板定义

自定义对话格式

导入 GGUF

支持 HuggingFace 模型

🌐 多平台支持

  • macOS - dmg 安装包、Homebrew
  • Linux - 一键脚本、Docker
  • Windows - exe 安装包(预览版)
← 上一页:项目简介下一页:安装部署 →