Unreal-Engine-Plugin
Geben Sie Ihren Unreal-Engine-NPCs eine Stimme, Gesichtsanimation und Gesprächsfähigkeit.
Das IAMX-Plugin für Unreal Engine verbindet einen NPC in Ihrem Projekt mit einem Charakter, den Sie in IAMX Studio erstellen. Spieler sprechen oder tippen, und der NPC antwortet mit Sprache, MetaHuman-Gesichtsanimation und Aktionen, die Ihre Blueprints ausführen.
Kurz gesagt
IAMX bringt mit seinem Unreal-Plugin dialogfähige KI-NPCs in Unreal Engine 5.3 bis 5.8: Sie erstellen den Charakter in IAMX Studio und fügen Ihrem NPC die IAMX-Komponente mit einem API-Schlüssel hinzu. Der IAMX-Server übernimmt dann Spracherkennung, Sprachmodell, Stimme und MetaHuman-Gesichtsanimation, während Bewegung, Gesten und andere Gameplay-Effekte als Blueprint-Events ankommen, die Ihr Projekt implementiert. Das Plugin läuft nur unter Windows 64-Bit, ohne Builds für Mac, Linux, Konsolen, Mobilgeräte oder VR, und benötigt eine Netzwerkverbindung zu IAMX oder zu einem IAMX-On-Premises-Server im Enterprise-Tarif.
Die wichtigsten Fakten
| Engine-Versionen | Unreal Engine 5.3 bis 5.8 (GitHub-Release v1.1.0) |
|---|---|
| Plattform | Nur Windows 64-Bit |
| Verbindung | Erforderlich; die KI läuft in der IAMX-Cloud oder nach Vereinbarung auf einem On-Premises-Server im Enterprise-Tarif |
| Sie benötigen | Ein IAMX-Konto, einen Charakter in IAMX Studio und einen API-Schlüssel |
| Gesichtsanimation | MetaHuman-Controls; andere Rigs brauchen ein manuelles Mapping |
| Sie stellen bereit | Charaktere, Animationen, Bewegung und Spiellogik |
| Nutzung | In der IAMX-Cloud verbraucht jede Gesprächsrunde Nutzungseinheiten Ihres Tarifs |
Was das KI-NPC-Plugin für Unreal Engine leistet
Sie fügen einem NPC eine einzige IAMX-Komponente hinzu. Sie verbindet sich mit dem IAMX-Server, auf dem Spracherkennung, Sprachmodell, Stimme und Gesichtsanimation laufen. In Ihr Projekt werden keine KI-Modelle eingebunden.
Die zentralen Steuerfunktionen sind Blueprint-Nodes: ein Gespräch starten und beenden, Text senden, das Mikrofon öffnen, den NPC unterbrechen, während er spricht, und Laufzeitfakten wie die aktuelle Quest übergeben. Das Plugin enthält außerdem ein integriertes Chat-Widget und Push-to-Talk. Charaktere, Animationen und Spiellogik bringen Sie selbst mit, und das Plugin verändert Ihre Animation Blueprints nicht. Mehr dazu in der Blueprint-API-Referenz.
Das Langzeitgedächtnis ist bei neuen Charakteren standardmäßig aktiviert und wird pro Charakter und Spieler-ID gespeichert. Die Standard-Spieler-ID des Plugins ist für alle Spieler gleich. Ihr Projekt sollte daher für jeden Spieler eine eindeutige, stabile ID senden; andernfalls teilen sich alle Spieler ein Gedächtnis. Welche Gesprächssprachen möglich sind, hängt vom gewählten KI-Modell, von der Spracherkennung und von der Stimme ab.
Gesichter von MetaHuman-KI-NPCs: Lippensynchronisation, Blick und Emotionen
IAMX streamt die Gesichtsanimation für MetaHuman-Charaktere zusammen mit dem gesprochenen Audio. Sie platzieren die IAMX-Nodes für Lippensynchronisation, Augen-Look-At und Kopf-Look-At in Ihren Animation Blueprints; das Blinzeln wird prozedural erzeugt. Der Stream verwendet MetaHuman-Control-Namen. Ein anderes Rig braucht daher ein manuelles Mapping jedes Controls auf einen seiner Blendshapes, und das Ergebnis hängt von den Blendshapes ab, die dieses Rig besitzt.
Jeder Charakter hat außerdem einen Emotionszustand mit acht Achsen, den ein Sprachmodell aus dem Gesprächstext klassifiziert. Es kann eine Äußerung also falsch deuten; testen Sie den Zustand mit Ihren eigenen Dialogen. Standardmäßig steuert er Gesichtsausdrücke bei MetaHuman-Gesichtern; bei einem anderen Rig muss jede Emotion von Hand dessen eigenen Morph Targets zugeordnet werden. Blueprints können den Zustand auslesen, eine Emotion erzwingen oder den Zustand zurücksetzen und auf Änderungen reagieren. Der Klassifikator ist standardmäßig aktiviert und lässt sich in IAMX Studio pro Charakter ausschalten; solange er ausgeschaltet ist, wird der Zustand nicht mehr aus dem Gespräch aktualisiert.
Szenenbewusstsein und Aktionen, die Ihre Blueprints ausführen
Sie registrieren die Objekte und Actors in der Umgebung eines NPC per Blueprint, damit der Charakter über sie sprechen und sie in Aktionen als Ziel verwenden kann. Nichts wird automatisch registriert.
- Integrierte Aktionen: Die Aktionen Hingehen, Folgen, Anhalten, Warten und Geste abspielen kommen als Blueprint-Events an, die Ihr Projekt implementiert. Bewegung und Pathfinding sind also Ihr Code, und Gesten spielen nur Montages ab, die Sie bereitstellen. Sie funktionieren nur, wenn sie für den Charakter aktiviert sind, und nur mit der Standard-Sprachpipeline; die Vorlage „Game NPC“ in IAMX Studio aktiviert sie.
- Eigene Blueprint-Aktionen: Stellen Sie Aktionen bereit, etwa ein Tor öffnen oder eine Quest vergeben. Das Sprachmodell entscheidet, ob es sie aufruft; diese Aufrufe sind daher nicht deterministisch.
Szenenobjekte, Laufzeitfakten, integrierte Aktionen und Gesten funktionieren mit der Standard-Sprachpipeline. Wenn Sie den Charakter auf ein Echtzeit-Voice-Modell umstellen (Gemini Live ab Starter, OpenAI Realtime ab Pro), erhält er weiterhin Ihre eigenen Blueprint-Aktionen, aber nicht diese Funktionen.
NPC-zu-NPC-Gespräche und Bildwahrnehmung auf Abruf
Zwei IAMX-NPCs im selben Spielclient können miteinander sprechen. Das Sprachmodell schreibt die Dialogzeilen, bis zu einer von Ihnen festgelegten Höchstzahl an Runden (standardmäßig sechs). Jede Zeile ist eine eigene Gesprächsrunde, die Nutzungseinheiten verbraucht, und jede Eingabe eines Spielers beendet den Austausch.
Ihr Projekt kann Frames aus einem Scene Capture, einem Render Target oder der Spielerkamera senden. Mit der Standard-Sprachpipeline erreicht ein aktueller Frame die KI nur, wenn der Spieler den NPC auf Türkisch oder Englisch bittet, sich etwas anzusehen, und das gewählte KI-Modell Bilder akzeptiert; Echtzeit-Voice-Modelle erhalten diese Frames nicht. Der NPC beobachtet die Spielwelt nicht fortlaufend.
Festlegen, wie Spieler ein Gespräch beginnen
Jeder dialogfähige NPC nutzt einen Interaktionsmodus:
- Manuell: Ihre Blueprints starten und beenden das Gespräch.
- Nähe: Das Gespräch beginnt, sobald die Spielfigur des Spielers dem NPC bis auf eine festgelegte Entfernung im Spiel nahekommt; es handelt sich nicht um einen physischen Sensor.
- Sprachaktiviert: Das Mikrofon bleibt für freihändiges Sprechen geöffnet.
- Push-to-Talk: Der Spieler drückt beim Sprechen eine Taste.
- Aktivierungswort (Wake Word): Mit der Standard-Sprachpipeline antwortet der NPC nur, wenn das Transkript eine von Ihnen festgelegte Phrase enthält, etwa seinen Namen. Andere Sprache wird trotzdem transkribiert, und Echtzeit-Voice-Modelle überspringen diese Prüfung.
Einen KI-NPC in Unreal Engine einrichten
Mit diesen Schritten verbinden Sie einen NPC in einem Windows-Projekt mit einem IAMX-Charakter.
- Charakter in IAMX Studio erstellen
Legen Sie Anweisungen, Stimme und KI-Modell fest und testen Sie ein kurzes Gespräch. Die Vorlage „Game NPC“ aktiviert die integrierten Spielaktionen und Gesten.
- API-Schlüssel erstellen
Erstellen Sie in IAMX Studio auf der Seite für API-Schlüssel einen Schlüssel und kopieren Sie ihn sofort; der vollständige Schlüssel wird nicht erneut angezeigt.
- Paket für Ihre Engine-Version herunterladen
Laden Sie aus dem Release v1.1.0 auf GitHub das vorkompilierte Paket für Windows 64-Bit herunter, das zu Ihrer Unreal-Engine-Version passt.
- Plugin installieren und aktivieren
Entpacken Sie es in den Plugins-Ordner Ihres Projekts, aktivieren Sie IAMX unter Edit > Plugins und starten Sie den Editor neu.
- IAMX-Komponente hinzufügen
Fügen Sie die Komponente Ihrem NPC hinzu. Aktivieren Sie in ihren IAMX-Verbindungseinstellungen die Verbindung und geben Sie die Adresse des IAMX-Servers, Ihren API-Schlüssel und die Charakter-ID ein. Die Feldnamen unterscheiden sich je nach Plugin-Build; folgen Sie daher der README im heruntergeladenen Paket.
- Animation Blueprints einrichten
Fügen Sie die IAMX-Nodes für Lippensynchronisation, Augen-Look-At und Kopf-Look-At hinzu. Füllen Sie bei einem Rig, das kein MetaHuman ist, das Mapping von Controls auf Blendshapes aus.
- Starten und testen
Rufen Sie Start Conversation auf, zum Beispiel aus Event BeginPlay, oder wählen Sie einen Interaktionsmodus. Sprechen und tippen Sie im Play-Modus und prüfen Sie Stimme, Lippensynchronisation und Aktionen. Wird Sprache nicht erkannt, prüfen Sie die Mikrofonberechtigung in Windows und das Eingabegerät.
Der API-Schlüssel wird im Editor maskiert, in einem paketierten Projekt aber nicht verschlüsselt. Verwenden Sie daher für jeden Build einen eigenen Schlüssel, den Sie bei Bedarf löschen können.
Plattformen, Verbindung und Nutzung
Das öffentliche Release v1.1.0 auf GitHub bietet vorkompilierte Pakete für Windows 64-Bit für Unreal Engine 5.3 bis 5.8. Enterprise-Kunden können nach Vereinbarung eine On-Premises-Edition von IAMX auf ihrem eigenen Windows-Server evaluieren und eigene Dienste für Sprachmodell, Spracherkennung und Stimme einsetzen. IAMX stellt für diese Edition den Plugin-Build für Unreal Engine 5.8 und die Verbindungseinstellungen bereit; die Gesichtserkennung, die in der Cloud den Tarif Pro oder höher voraussetzt, ist in diesem Modus nicht verfügbar. Wenn Sie die Szene in Browser streamen, betreiben Sie Pixel Streaming auf Ihrem eigenen GPU-Host.
Mit der IAMX-Cloud verbraucht jede Gesprächsrunde Nutzungseinheiten Ihres IAMX-Tarifs. Die Einheiten sind gewichtet: Rechenintensivere Modelle und Echtzeit-Voice-Modelle verbrauchen mehr. Der gehostete IAMX-Dienst ist eine frühe Version; testen Sie daher das gesamte Erlebnis vor der Veröffentlichung. Vergleichen Sie die Tarife auf der Preisseite oder kontaktieren Sie IAMX.
Häufige Fragen
Funktioniert IAMX mit Unity oder Godot?
Nein. IAMX hat kein Plugin und kein SDK für Unity oder Godot; die Spieleintegration von IAMX ist das Unreal-Engine-Plugin für Windows 64-Bit. IAMX bietet außerdem eine Echtzeit-WebSocket-API, für die es noch keine öffentliche Referenz gibt. Entwickler, die einen eigenen Client bauen möchten, können für die Dokumentation IAMX kontaktieren.
Brauche ich einen MetaHuman, um das IAMX-Plugin für Unreal zu nutzen?
Nein. Das IAMX-Plugin für Unreal streamt MetaHuman-Gesichts-Controls. Bei einem Rig, das kein MetaHuman ist, muss daher jedes Control von Hand einem seiner Blendshapes zugeordnet werden, und das Ergebnis hängt von den Blendshapes ab, die dieses Rig besitzt. Emotionsausdrücke steuern standardmäßig MetaHuman-Gesichter; bei einem anderen Rig ordnen Sie jede Emotion von Hand dessen eigenen Morph Targets zu.
Bewegt sich ein IAMX-NPC von selbst?
Nein. IAMX sendet Aktionen wie Hingehen, Folgen oder Geste abspielen als Blueprint-Events, und Ihr Projekt implementiert die Bewegung, das Pathfinding und die Animation Montages.
Was kostet eine Dialogzeile eines IAMX-NPC?
In der IAMX-Cloud verbraucht jede Gesprächsrunde, auch jede Zeile eines NPC-zu-NPC-Gesprächs, Nutzungseinheiten Ihres monatlichen Tarifs. Die Einheiten sind gewichtet, sodass rechenintensivere KI-Modelle und Echtzeit-Voice-Modelle pro Runde mehr verbrauchen, und es gibt keinen festen Preis pro Zeile; vergleichen Sie die Kontingente der Tarife auf der Preisseite.
Können IAMX-NPCs offline laufen?
Nein. Das IAMX-Plugin für Unreal benötigt eine Netzwerkverbindung zur IAMX-Cloud oder zu einem IAMX-On-Premises-Server im Enterprise-Tarif, denn die KI läuft auf diesem Server.
Unterstützt das IAMX-Plugin Konsolen, Mobilgeräte oder VR?
Nein. Das IAMX-Plugin für Unreal ist nur für Windows 64-Bit gebaut; Builds für Konsolen, Android, iOS, Mac, Linux oder VR gibt es nicht.
Testen Sie Ihren eigenen Anwendungsfall.
Richten Sie einen Charakter ein, stellen Sie echte Fragen und prüfen Sie das Erlebnis auf dem vorgesehenen Gerät. Kontaktieren Sie uns, um den Umfang Ihrer Einrichtung gemeinsam zu bewerten.
Erstellt von IAMX. Funktionen und Anforderungen.