导入 GGUF 模型到 Tavern Studio
GGUF 是本地 LLM 推理中常见的模型文件格式，尤其常见于 llama.cpp 工作流。在 Tavern Studio 中导入 GGUF 模型后，你可以把本地推理和角色卡、世界书、预设、聊天历史放在同一套工作流里。
关键不是“文件能不能导入”，而是模型是否适合你的硬件和上下文需求。
适合谁
- 在 Windows 上配置本地推理的用户。
- 下载量化 GGUF 模型的人。
- 想做离线角色聊天的创作者。
- 比较本地模型和 OpenAI-compatible API 的用户。
核心内容
GGUF 文件可能很大。量化能降低内存压力，但可能影响质量。上下文长度和回复长度也会影响速度和内存。
建议从保守设置开始，确认稳定后再提高上下文或换更大模型。
Tavern Studio 如何处理
Tavern Studio 提供本地模型导入/下载路径，并在模型设置中选择使用。选中后，本地模型会接收由角色卡、世界书、预设和聊天历史组装出的 Prompt。
也就是说，模型文件只是工作流的一部分。
操作步骤
- 下载适合硬件的 GGUF 模型。
- 打开 Tavern Studio 的本地模型导入入口。
- 选择 GGUF 文件。
- 将其设为本地模型路线。
- 使用保守预设先测试。
- 发短 Prompt 确认速度和输出。
- 性能不够时调整模型、上下文或回复长度。
常见问题
GGUF 是什么？
GGUF 是 llama.cpp 兼容本地推理工作流中常见的模型文件格式。
Tavern Studio 能导入 GGUF 吗？
可以。GGUF 导入/下载是 Tavern Studio 本地 LLM 工作流的一部分。
为什么模型很慢？
可能是模型太大、上下文太长、硬件不足或加速后端受限。
GGUF 模型能用角色卡吗？
可以。同一套角色卡、世界书、预设都会参与 Prompt 组装。
应该用本地模型还是云端模型？
本地模型适合隐私和离线控制。云端模型适合更大模型和远端推理。
下一步
- 学习Windows 本地 LLM。
- 查看下载本地模型。
- 配置OpenAI-compatible API。