Muddy Terrain Games

Products Docs Careers Support
GenAI Llama - 虚幻引擎中的本地 AI 模型

在虚幻引擎游戏和应用中运行本地 AI 模型 — 无需云 API、无需联网、无按次计费。 GenAI Llama（原 Unreal Ollama）支持两种模式：通过 HTTP 连接到任意本地推理服务器（Ollama、LM Studio、llama.cpp server、vLLM、LocalAI、Jan），或通过内嵌的 llama.cpp 推理直接在游戏进程中运行 GGUF 模型。支持在本地运行 Llama 3、Mistral、Phi、Gemma、DeepSeek 以及数百种其他模型。

在 Fab.com 上查看 产品文档

两种运行模式

HTTP 服务提供商 — 连接到任意本地推理服务器。开箱即用，兼容 Ollama、LM Studio、llama.cpp server、vLLM、LocalAI、Jan，或任何与 OpenAI 兼容的端点。

内嵌推理（llama.cpp） — 直接在游戏进程中运行 GGUF 模型。无需服务器，在 PC 和移动端完全离线运行。此为可选功能 — 需要为目标平台编译 llama.cpp 库。

核心功能：

  • 7 个支持的服务提供商：
    Ollama、LM Studio、llama.cpp server、vLLM、LocalAI、Jan（HTTP），以及用于无服务器进程内推理的内嵌 llama.cpp。

  • 内嵌推理：
    直接在游戏进程中运行 GGUF 模型 — 无需服务器、无需网络、无需联网。运行时动态加载和卸载模型。支持通过 CUDA、Vulkan 或 Metal 进行 GPU 加速。

  • 100% 本地与离线：
    所有 AI 处理均在玩家机器上运行，数据不会离开设备。非常适合隐私敏感型应用和离线游戏。

  • 零请求成本：
    模型下载后，可无限次运行 AI 交互。无 API 账单，无订阅费用。

  • 聊天补全与流式传输：
    完整的聊天补全与实时逐令牌流式传输。创建打字机效果、实时对话以及响应式 AI 伙伴。

  • 多模态视觉支持：
    使用 llava 或 llama3.2-vision 等模型随文本一起发送图像。直接传入 UTexture2D 资产 — 插件自动处理 Base64 转换。

  • 生成选项：
    Temperature、Top P、最大令牌数、种子值、停止序列、JSON 格式输出以及系统提示支持。

  • 服务器管理：
    健康检查、列出可用模型，以及运行时切换服务提供商。

  • Blueprint 和 C++ 双重支持：
    完整的 Blueprint 支持配合异步延迟节点，以及提供委托的完整 C++ API。基于 UCancellableAsyncAction 构建，具有适当的生命周期管理。

  • 广泛的平台支持：
    HTTP 服务提供商：Windows、macOS、Linux、Android、iOS、PS4、Xbox One、Switch、HoloLens。内嵌推理：Windows、macOS、Linux、Android、iOS。引擎支持：UE 5.1 至 5.7。

兼容模型

使用 Ollama 模型库中的任意模型（HTTP），或 Hugging Face 上的任意 GGUF 模型（内嵌推理）：

  • 通用聊天： llama3、mistral、gemma、phi-3、nemotron-3-nano
  • 多模态（视觉）： llava、llama3.2-vision、moondream
  • 编程： codellama、starcoder2、deepseek-coder
  • 小型高速： gemma3:1b、phi-3:mini、tinyllama、qwen2.5-0.5b

应用场景：

  • 离线 NPC 对话：生成无需互联网连接即可工作的角色对话 — 对于单人游戏、主机游戏和演示至关重要。
  • 隐私优先的应用：将所有玩家与 AI 的对话保留在设备上，数据永远不会离开机器。
  • 已发布游戏内置 AI：通过内嵌推理将 GGUF 模型随游戏一同打包发布，玩家无需额外安装任何内容。
  • 主机与移动端 AI： HTTP 服务提供商支持 PS4、Xbox、Switch 和 HoloLens；内嵌推理支持 Android 和 iOS。
  • 快速原型制作：使用 LM Studio 的图形界面或 Ollama 的命令行工具即时测试 AI 功能。
  • 混合架构：使用本地模型处理常规交互，使用云模型（通过我们的 GenAI for Unreal 插件）处理需要顶级智能的时刻。

为什么选择这款插件？

  • 最灵活的本地 AI： 7 个服务提供商 + 内嵌推理，没有其他插件能覆盖如此广泛的范围。
  • 生产就绪：基于 UCancellableAsyncAction 构建，具有适当的生命周期管理、取消支持和线程安全的内嵌推理。
  • 主机平台支持： HTTP 服务提供商支持 PS4、Xbox One、Switch 和 HoloLens — 这是其他本地 AI 插件均不支持的平台。
  • 由开发者打造，为开发者服务：由 GenAI for Unreal 和 GenAI 中国模型背后的同一团队打造。
  • 专属支持：加入我们的 Discord 或发送邮件获取帮助。

资源与支持

在 Fab.com 上查看 产品文档