Donnez à vos PNJ Unreal Engine une voix, une animation faciale et une conversation.

L’essentiel

Ce que fait le plugin PNJ IA pour Unreal Engine

Vous ajoutez un seul composant IAMX à un PNJ, et celui-ci se connecte au serveur IAMX, où s'exécutent la reconnaissance vocale, le modèle de langage, la voix et l'animation faciale. Votre projet n'embarque aucun modèle d'IA.

Les commandes principales sont des nœuds Blueprint : démarrer et terminer une conversation, envoyer du texte, ouvrir le microphone, interrompre le PNJ pendant qu'il parle et injecter des informations contextuelles à l'exécution, comme la quête en cours. Le plugin inclut aussi un widget de chat intégré et le push-to-talk. Vous apportez vos propres personnages, animations et logique de jeu, et le plugin ne modifie pas vos Animation Blueprints. Consultez la référence de l'API Blueprint.

La mémoire à long terme est activée par défaut pour les nouveaux personnages et conservée par personnage et par identifiant de joueur. L'identifiant de joueur par défaut du plugin est le même pour tous les joueurs : votre projet doit donc envoyer un identifiant unique et stable pour chaque joueur, sinon tous les joueurs partagent une seule et même mémoire. Les langues de conversation dépendent du modèle d'IA, de la reconnaissance vocale et de la voix sélectionnés.

Visages de PNJ IA MetaHuman : synchronisation labiale, regard et émotions

IAMX transmet en flux l'animation faciale des personnages MetaHuman en même temps que l'audio de la parole. Vous placez les nœuds IAMX de synchronisation labiale (lip sync), de regard (eye look-at) et d'orientation de la tête (head look-at) dans vos Animation Blueprints, et le clignement des yeux est procédural. Le flux utilise les noms de contrôles MetaHuman : un autre rig nécessite donc de mapper manuellement chaque contrôle vers l'un de ses blendshapes, et le résultat dépend des blendshapes dont dispose ce rig.

Chaque personnage possède aussi un état émotionnel à huit axes, qu'un modèle de langage classifie à partir du texte de la conversation ; il peut donc mal interpréter une réplique. Testez-le avec vos propres dialogues. Par défaut, cet état pilote les expressions des visages MetaHuman ; sur un autre rig, chaque émotion doit être mappée manuellement vers ses propres morph targets. Les Blueprints peuvent le lire, forcer une émotion ou réinitialiser l'état, et réagir lorsqu'il change. Le classifieur est activé par défaut et peut être désactivé par personnage dans IAMX Studio ; tant qu'il est désactivé, l'état n'est plus mis à jour à partir de la conversation.

Perception de la scène et actions exécutées par vos Blueprints

Vous enregistrez depuis Blueprint les objets et les acteurs qui entourent un PNJ, afin que le personnage puisse en parler et les cibler dans ses actions. Rien n'est enregistré automatiquement.

• Actions intégrées : se déplacer vers, suivre, s'arrêter, attendre et jouer un geste arrivent sous forme d'événements Blueprint que votre projet implémente ; les déplacements et la recherche de chemin relèvent donc de votre code, et les gestes ne jouent que les montages que vous fournissez. Ces actions ne fonctionnent que si elles sont activées pour le personnage et avec le pipeline vocal standard ; le modèle de personnage Game NPC d'IAMX Studio les active.
• Actions Blueprint personnalisées : exposez des actions comme ouvrir un portail ou confier une quête. Le modèle de langage décide s'il les appelle : ces appels ne sont donc pas déterministes.

Les objets de scène, les informations contextuelles injectées à l'exécution, les actions intégrées et les gestes fonctionnent avec le pipeline vocal standard. Si vous passez le personnage sur un modèle vocal temps réel (Gemini Live à partir de Starter, OpenAI Realtime à partir de Pro), il reçoit toujours vos actions Blueprint personnalisées, mais pas ces fonctionnalités.

Conversations entre PNJ et vision à la demande

Deux PNJ IAMX présents dans le même client de jeu peuvent dialoguer entre eux. Le modèle de langage écrit les répliques, jusqu'à une limite de tours que vous définissez (six par défaut). Chaque réplique est un tour de conversation distinct qui consomme des unités d'utilisation, et toute intervention du joueur met fin à l'échange.

Votre projet peut envoyer des images issues d'une capture de scène, d'une render target ou de la caméra du joueur. Avec le pipeline vocal standard, une image récente n'est transmise à l'IA que lorsque le joueur demande au PNJ de regarder quelque chose en turc ou en anglais et que le modèle d'IA sélectionné accepte les images ; les modèles vocaux temps réel ne reçoivent pas ces images. Le PNJ n'observe pas le monde du jeu en continu.

Choisissez comment les joueurs engagent la conversation

Chaque PNJ conversationnel utilise un mode d'interaction :

• Manuel : vos Blueprints démarrent et terminent la conversation.
• Proximité : la conversation démarre lorsque le personnage du joueur arrive à une distance définie du PNJ dans le jeu ; il ne s'agit pas d'un capteur physique.
• Activation vocale : le microphone reste ouvert pour parler sans les mains.
• Push-to-talk : le joueur maintient une commande enfoncée pendant qu'il parle.
• Mot d'activation : avec le pipeline vocal standard, le PNJ ne répond que lorsque la transcription contient une expression que vous définissez, comme son nom. Les autres paroles sont tout de même transcrites, et les modèles vocaux temps réel ignorent cette vérification.

Configurer un PNJ IA dans Unreal Engine

Ces étapes connectent un PNJ d'un projet Windows à un personnage IAMX.

1. Créez le personnage dans IAMX Studio

   Définissez ses instructions, sa voix et son modèle d'IA, puis testez une courte conversation. Le modèle de personnage Game NPC active les actions de jeu et les gestes intégrés.

2. Créez une clé API

   Créez une clé sur la page Clés API d'IAMX Studio et copiez-la immédiatement ; la clé complète ne s'affiche plus ensuite.

3. Téléchargez le package pour votre version du moteur

   Depuis la version v1.1.0 sur GitHub, téléchargez le package Windows 64 bits précompilé correspondant à votre version d'Unreal Engine.

4. Installez et activez le plugin

   Décompressez-le dans le dossier Plugins de votre projet, activez IAMX via Edit > Plugins et redémarrez l'éditeur.

5. Ajoutez le composant IAMX

   Ajoutez le composant à votre PNJ. Dans ses paramètres de connexion IAMX, activez la connexion et saisissez l'adresse du serveur IAMX, votre clé API et l'identifiant du personnage. Les noms des champs varient selon les builds du plugin : suivez donc le README du package que vous avez téléchargé.

6. Câblez les Animation Blueprints

   Ajoutez les nœuds IAMX de synchronisation labiale, de regard et d'orientation de la tête. Pour un rig autre que MetaHuman, renseignez la correspondance entre contrôles et blendshapes.

7. Lancez le jeu et testez

   Appelez Start Conversation, par exemple depuis Event BeginPlay, ou choisissez un mode d'interaction. Parlez et écrivez en mode Play, puis vérifiez la voix, la synchronisation labiale et les actions ; si la parole n'est pas captée, vérifiez l'autorisation d'accès au microphone dans Windows et le périphérique d'entrée.

La clé API est masquée dans l'éditeur, mais elle n'est pas chiffrée dans un projet packagé : utilisez donc une clé distincte pour chaque build, que vous pourrez supprimer si nécessaire.

Plateformes, connexion et consommation

La version publique v1.1.0 sur GitHub fournit des packages Windows 64 bits précompilés pour Unreal Engine 5.3 à 5.8. Sur accord, les clients Enterprise peuvent évaluer une édition sur site d'IAMX sur leur propre serveur Windows et fournir leurs propres services de modèle de langage, de reconnaissance vocale et de synthèse vocale. IAMX fournit le build du plugin pour Unreal Engine 5.8 et les paramètres de connexion pour cette édition ; la reconnaissance faciale, qui nécessite un forfait Pro ou supérieur dans le cloud, n'est pas disponible dans ce mode. Si vous diffusez la scène dans des navigateurs, vous exécutez Pixel Streaming sur votre propre hôte GPU.

Avec le cloud IAMX, chaque tour de conversation consomme des unités d'utilisation de votre forfait IAMX. Les unités sont pondérées : les modèles plus lourds et la voix en temps réel en consomment davantage. Le service hébergé IAMX est une version préliminaire : testez donc l'expérience complète avant la mise en production. Comparez les forfaits sur la page des tarifs ou contactez IAMX.

Questions fréquentes

Pages associées

• Personnages IA MetaHuman
• Référence de l'API Blueprint
• Cas d'usage d'IAMX
• Avatar Studio
• Forfaits et tarifs