用例示例

厌倦了每天跟踪新的 AI 模型发布?不用再烦了。 GenAI for Unreal 是一款终极的、生产就绪的插件,为您处理所有集成工作。专注于您的游戏玩法,我们为您提供稳定、统一且强大的接口,连接全球领先的 AI 模型。该插件支持所有当前最前沿的 LLM API,包括 OpenAI 的 ChatGPT(含最新的 GPT-5.4、GPT-5.3 Codex、GPT-5.2)、Anthropic 的 Claude Opus/Sonnet 4.6、Google 的 Gemini 3.1 / Nano Banana 2、XAI 的 Grok 4.1/4/3、DeepSeek 的 R1、Inworld AI TTS 等。此外,通过 OpenAI Compatible Mode,您可以无缝切换到 Alibaba Qwen、Mistral、Groq、OpenRouter、Meta Llama、BigModel GLM-4,甚至通过 Ollama 运行本地模型,实现极致的灵活性和成本效益。

现已支持 GPT-5.4、Claude 4.6、Gemini 3.1、Inworld AI TTS、Function Calling 和 OpenAI Responses API!!🎉

v2.0.1 更新内容!

本次发布包含大量全新功能、集成及关键修复:

  • 🌐 Inworld AI 集成:全面支持 Inworld 文本转语音,包括标准和实时流式端点。
  • 🔗 OpenAI Responses API(Beta):集成全新 GenOAIResponses 类,支持 OpenAI 的结构化 Responses API。
  • 🛠️ 函数调用(工具使用):为 Anthropic Claude 和 OpenAI Chat 模型新增工具/函数调用支持。
  • 🧠 新增模型:Anthropic Claude 4.6 Opus & Sonnet、OpenAI GPT-5.4/5.3 Codex/Image-1.5、Google Gemini 3.1 Pro/Flash Lite/Flash Image Preview、ElevenLabs Scribe V2 & V2 Realtime 以及 Inworld TTS 1.5 Max/Mini/1。

核心功能:

  • 实时文本流式传输: ⚡️
    通过动态的实时响应让您的角色栩栩如生。我们的流式传输支持在文本生成的同时分块推送,非常适合创建实时旁白对话、响应式 AI 伙伴和无需等待的互动叙事。

  • 高级聊天补全: 🤖
    使用来自 OpenAI、Anthropic、Google、XAI 和 DeepSeek 的模型,为您的游戏提供动态 NPC 对话、程序化任务生成和实时叙事适配。

  • 推理模型: 🧠
    利用 DeepSeek R1 和 XAI Grok 等模型独有的"先思考再表达"能力,生成核心叙事组件和复杂的逻辑输出。

  • 多模态视觉/文本输入: 📸
    让模型能够"看见"您的游戏。将截图或其他图像与文本一起作为直接输入——现已支持 Google Gemini!非常适合创建 AI 驱动的观战解说、动态玩家指南或环境感知的 NPC 交互。

  • 图像编辑: 🎨
    超越生成。使用强大的 AI 驱动工具编辑现有图像,直接在引擎中迭代您的视觉概念。

  • 结构化 JSON 输出: ❤️‍🔥
    从任何支持的模型可靠地获取复杂的 JSON 响应。例如,为 100 个 AI 生成的 NPC 生成 JSON 数据,每个 NPC 都拥有独特的故事、种族、性别和名字。

  • 高质量图像生成: 🖼️
    将最先进的图像生成直接集成到您的工作流程中,支持 OpenAI 的 DALL-E 2、DALL-E 3 和 GPT-Image-1 模型。

  • 文本转语音(TTS): 🔊
    使用 OpenAI 和 ElevenLabs 的 TTS 模型,为游戏内对话、旁白或与 AI 角色的实时对话生成动态、高品质的语音。

  • 函数调用(工具使用): 🔧
    让 AI 模型直接调用您的游戏函数。支持 Anthropic Claude 和 OpenAI Chat 模型,实现 AI 驱动的游戏玩法操作、数据查询和动态世界交互。

  • OpenAI Responses API: 📋
    访问 OpenAI 全新的结构化 Responses API,获得更强大、更可控的模型输出,完整支持 Blueprint 和 C++。

  • 音效生成: 🎶
    使用 ElevenLabs 最先进的音频模型,通过文本提示生成自定义音效。

  • 音频转写: 📝
    通过 OpenAI 的 Whisper、GPT-4o 和 ElevenLabs 的转写模型将玩家语音转换为文本,赋能游戏内语音指令或创建互动对话。

  • 轻松实现服务器代理: ☁️
    需要将请求通过自己的后端路由以保障安全或实现自定义逻辑?我们的服务器代理功能只需一项设置即可覆盖任何提供商的 API 端点,让您完全掌控数据流向。

  • OpenAI 兼容模式: 🔄
    支持 Alibaba Qwen、Mistral、Groq、OpenRouter、Meta Llama、BigModel GLM-4 以及通过 Ollama 运行的本地模型,解锁非凡的灵活性。无需修改代码即可无缝切换提供商,实现成本节约、隐私保护或离线功能。

  • 安全且集中的身份验证: 🔐
    在一个安全、集中的设置面板中管理所有 API 密钥。我们的系统使用不可移植的加密文件来保护您的密钥安全,并与源代码控制隔离。

  • Blueprint 和 C++ 双重支持: 🔗
    享受简洁、强大的 Blueprint 节点实现快速迭代,同时在 C++ 中访问同样健壮的自管理函数,获得最佳性能和控制力。

  • 为跨平台而设计: 🌐
    该插件仅使用标准的高级虚幻引擎网络和文件管理模块,确保在引擎支持的所有平台上都能正常运行。

GenAI for Unreal Plugin Tests

可用集成与模型

免责声明

本插件需要至少一个受支持 AI 提供商的有效 API 密钥才能运行。请参阅我们的文档了解更多关于如何获取 API 密钥的信息。

为当今最优秀的模型提供简洁、统一的 API。

  • OpenAI:
    • 聊天: gpt-5.2, gpt-5.1, gpt-5, gpt-5-mini, gpt-5-nano, gpt-4.1, gpt-4o, gpt-4.1-mini, gpt-4.1-nano, gpt-4o-mini.
    • Responses API: gpt-5.4, gpt-5.4-pro, gpt-5.2, gpt-5.2-pro, gpt-5.3-codex, gpt-5.2-codex, gpt-5.1-codex-max, gpt-5-codex-mini.
    • 推理模型: o4-mini, o3, o3-pro, o3-mini, o1, o1-pro.
    • 图像生成: gpt-image-1.5, gpt-image-1, gpt-image-1-mini, dall-e-3, dall-e-2.
    • 音频 TTS: gpt-4o-mini-tts, tts-1, tts-1-hd.
    • 音频转写: gpt-4o-transcribe, gpt-4o-mini-transcribe, whisper-1.
    • 结构化输出(JSON 模式) ✔
    • 函数调用(工具使用) ✔
    • 文本与音频流式传输 ✔
    • 多模态聊天 ✔
    • 实时 API: gpt-realtime, gpt-realtime-mini.
  • Anthropic:
    • 聊天: claude-opus-4-6, claude-sonnet-4-6, claude-opus-4.5, claude-sonnet-4.5, claude-haiku-4.5, claude-opus-4.1, claude-opus-4, claude-sonnet-4, claude-3-7-sonnet, claude-3-5-sonnet, claude-3-5-haiku, claude-3-haiku, claude-3-opus.
    • 多模态聊天 ✔
    • 函数调用(工具使用) ✔
    • 扩展思考 ✔ (Claude 4.5+)
  • XAI:
    • 聊天: grok-4-fast-non-reasoning, grok-4-fast-reasoning, grok-4-1-fast-reasoning, grok-4-1-fast-non-reasoning, grok-4.1, grok-4, grok-4-eu, grok-code-fast-1, grok-3, grok-3-mini, grok-3-fast, grok-3-mini-fast, grok-2-vision-1212, grok-2-1212.
    • 推理模型: grok-4-fast-reasoning, grok-4-1-fast-reasoning, grok-4.1, grok-4, grok-3-mini, grok-3-mini-fast.
    • 文本流式传输 ✔
    • 多模态聊天 ✔
  • Google Gemini:
    • 聊天: Gemini 3.1 Pro Preview, Gemini 3.1 Flash Lite Preview, Gemini 3 Pro Preview, Gemini 3 Flash Preview, Gemini 2.5 Flash, Gemini 2.5 Flash Lite, Gemini 2.5 Pro.
    • 推理模型: Gemini 2.5 Flash, Gemini 2.5 Pro.
    • 音频 TTS: gemini-2.5-flash-preview-tts, gemini-2.5-pro-preview-tts.
    • 音频转写: Gemini 3.1 Pro Preview, Gemini 3.1 Flash Lite Preview, Gemini 3 Pro Preview, Gemini 3 Flash Preview, Gemini 2.5 Flash, Gemini 2.5 Pro.
    • 文本流式传输 ✔
    • 多模态聊天 ✔
    • 实时: gemini-2.5-flash-native-audio-preview-09-2025, gemini-2.5-flash-native-audio-preview-12-2025, gemini-live-2.5-flash-preview, gemini-2.0-flash-live-001.
    • 图像生成: gemini-3.1-flash-image-preview (Nano Banana 2), gemini-3-pro-image-preview (Nano Banana Pro), gemini-2.5-flash-image (Nano Banana), imagen-4.0-generate-001, imagen-4.0-ultra-generate-001, imagen-4.0-fast-generate-001.
  • DeepSeek:
    • 聊天: DeepSeek-V3.1, deepseek-chat.
    • 推理: deepseek-reasoner.
    • 文本流式传输 ✔
  • ElevenLabs:
    • 文本转语音: eleven_v3, eleven_turbo_v2_5, eleven_flash_v2_5, eleven_flash_v2, eleven_multilingual_v3 (Alpha), eleven_multilingual_v2.
    • 转写: scribe_v2, scribe_v2_realtime, scribe_v1.
    • 音效: eleven_text_to_sound_v2.
    • 音频流式传输 ✔
  • Inworld AI:
    • 文本转语音: inworld-tts-1.5-max, inworld-tts-1.5-mini, inworld-tts-1.
    • 音频流式传输 ✔
  • 扩展 OpenAI 兼容支持:
    • Alibaba Qwen:
      • 聊天: qvq-max, qvq-max-latest, qvq-max-2025-03-25, qwen-vl-max, qwen-vl-plus, qwen2.5-vl-72b-instruct, qwen2.5-vl-32b-instruct, qwen2.5-vl-7b-instruct, qwen2.5-vl-3b-instruct.
      • 多模态聊天 ✔
    • Mistral AI:
      • 聊天: mistral-large-2512, mistral-medium-2508, mistral-small-2506, ministral-14b-2512, ministral-8b-2512, ministral-3b-2512, magistral-medium-2509, magistral-small-2509.
      • 文本流式传输 ✔
    • Groq:
      • 聊天: Various Groq-optimized models.
      • 文本流式传输 ✔
    • OpenRouter:
      • 聊天: Access to hundreds of models from multiple providers.
      • 文本流式传输 ✔
    • Meta Llama:
      • 聊天: Various Llama versions.
      • 文本流式传输 ✔
    • BigModel GLM-4:
      • 聊天: glm-4 and variants.
      • 文本流式传输 ✔
    • 本地模型(Ollama):
      • 聊天: gemma3:1b, nemotron-3-nano, gpt-oss, llama3.1, phi3, llama3.2.
      • 文本流式传输 ✔

支持的格式

  • 音频:
    • 输入: mp3, wav, mp4, mpeg, mpga, m4a, webm.
    • 输出: pcm.
  • 语音:
    • OpenAI: alloy, ash, ballad, coral, echo, sage, shimmer, verse, marin, cedar.
    • Google: Zephyr, Puck, Charon, Kore, Fenrir, Leda, Orus, Aoede, Callirrhoe, Autonoe, Enceladus, Iapetus, Umbriel, Algieba, Despina, Erinome, Algenib, Rasalgethi, Laomedeia, Achernar, Alnilam, Schedar, Gacrux, Pulcherrima, Achird, Zubenelgenubi, Vindemiatrix, Sadachbia, Sadaltager, Sulafat.
    • ElevenLabs: 50+ Voices.
  • 语言:
    • Google: Arabic, German, English, Spanish, French, Hindi, Indonesian, Italian, Japanese, Korean, Portuguese, Russian, Dutch, Polish, Thai, Turkish, Vietnamese, Romanian, Ukrainian, Bengali, Marathi, Tamil, Telugu.
    • OpenAI: Afrikaans, Arabic, Armenian, Azerbaijani, Belarusian, Bosnian, Bulgarian, Catalan, Chinese, Croatian, Czech, Danish, Dutch, English, Estonian, Finnish, French, Galician, German, Greek, Hebrew, Hindi, Hungarian, Icelandic, Indonesian, Italian, Japanese, Kannada, Kazakh, Korean, Latvian, Lithuanian, Macedonian, Malay, Marathi, Maori, Nepali, Norwegian, Persian, Polish, Portuguese, Romanian, Russian, Serbian, Slovak, Slovenian, Spanish, Swahili, Swedish, Tagalog, Tamil, Thai, Turkish, Ukrainian, Urdu, Vietnamese, and Welsh.
    • ElevenLabs: Afrikaans, Arabic, Armenian, Assamese, Azerbaijani, Belarusian, Bengali, Bosnian, Bulgarian, Catalan, Cebuano, Chichewa, Croatian, Czech, Danish, Dutch, English, Estonian, Filipino, Finnish, French, Galician, Georgian, German, Greek, Gujarati, Hausa, Hebrew, Hindi, Hungarian, Icelandic, Indonesian, Irish, Italian, Japanese, Javanese, Kannada, Kazakh, Kirghiz, Korean, Latvian, Lingala, Lithuanian, Luxembourgish, Macedonian, Malay, Malayalam, Mandarin Chinese, Marathi, Nepali, Norwegian, Pashto, Persian, Polish, Portuguese, Punjabi, Romanian, Russian, Serbian, Sindhi, Slovak, Slovenian, Somali, Spanish, Swahili, Swedish, Tamil, Telugu, Thai, Turkish, Ukrainian, Urdu, Vietnamese, Welsh.

应用场景:

  • 真正的动态 NPC:创建能够根据玩家行为和世界事件实时生成对话的角色。
  • 用例示例
    使用本插件构建的第三方项目"Become Human"
  • 程序化内容生成:在运行时即时生成丰富、连贯的内容,从任务和物品描述到完整的传说典籍。
  • AI 驱动的游戏主持人:使用视觉和推理模型创建能够实时调整游戏世界的 AI 导演。
  • 互动语音驱动的游戏玩法:结合 TTS 和转写功能,与游戏内角色进行真实的语音对话。
  • 快速原型制作与世界构建:在编辑器中直接使用图像生成和结构化 JSON,快速创建概念艺术和大量世界数据。

为什么选择这款插件?

  • 持续进化: 🧬 我们在前沿 AI 公司发布新模型和功能后第一时间提供快速更新支持。
  • 生产就绪且经过测试: ⚔️ 所有功能均使用真实 API 密钥针对不同用例和规模进行定期测试。该插件已经过一年以上的测试,并根据用户反馈持续更新。
  • 通用且适应性强的设计: 🌵 代码库采用简洁、通用的架构,能够快速适应未来的模型和 API 变更。
  • 由开发者打造,为开发者服务: 💻 凭借多年专业游戏开发经验,我们保证提供稳定、文档完善且高性能的实现。
  • 专属支持: 📧 如有任何问题或定制修改需求,请发送邮件至我们的支持团队,我们将竭诚为您服务。

资源与支持