Qwen3 SLM Novel Generation¶
概念概覽
背景¶
核心知識¶
背景¶
ui-translator 專案中的小說章節生成功能（RequestChapter RPC）原本依賴外部 LLM。調研後確認：小說/故事生成適合使用 SLM（Small Language Model）而非完整 LLM，可降低成本並支援本地推理。
Qwen3-4B 適用性¶
- 模型大小：4B 參數，量化後（4-bit）約需 2-3GB VRAM
- 本地 GPU 可運行：確認在用戶顯卡上可執行
- 用途適配：4B 參數對於遊戲內短篇章節生成（幾百字）已足夠，不需要 GPT-4 等級的理解能力
- 整合方向：透過 Nakama 的 Go runtime 呼叫本地推理端點（如 Ollama 或 llama.cpp server）
與現有架構的整合¶
Nakama RPC request_chapter 目前觸發生成任務（status: generating），可改為呼叫本地 Qwen3-4B 推理服務，而非遠端 LLM API。
經驗教訓¶
-
短篇創意文字生成（遊戲章節、故事片段）不需要 LLM，4B SLM 品質已足夠且可本地運行
-
模型選型應依使用場景決定：理解/推理用 LLM，生成/創作用 SLM
常見陷阱¶
- SLM 對長篇、複雜推理的能力有限，適合生成但不適合需要邏輯一致性的任務
最佳實踐¶
-
評估本地 SLM 可行性時，先確認 VRAM 需求（4B 量化 ≈ 2-3GB）
-
透過 Ollama 或 llama.cpp server 提供統一推理端點，方便後端整合
相關概念¶
來源 Sessions¶
| 日期 | Session | 貢獻摘要 |
|---|---|---|
| 2026-04-13 | 38030a5c-54da-4873-9a63-680709c843f1 | 評估以 Qwen3-4B 替代 LLM 進行遊戲內小說章節生成，確認可在本地 GPU 上運行 |