Dé a sus NPC de Unreal Engine voz, animación facial y capacidad de conversar.

Datos clave

Qué hace el plugin de NPC con IA para Unreal Engine

Usted añade un único componente de IAMX a un NPC, y este se conecta al servidor de IAMX, donde se ejecutan el reconocimiento de voz, el modelo de lenguaje, la voz y la animación facial. Su proyecto no incluye ningún modelo de IA.

Los controles principales son nodos de Blueprint: iniciar y finalizar una conversación, enviar texto, abrir el micrófono, interrumpir al NPC mientras habla e inyectar datos en tiempo de ejecución, como la misión actual. El plugin también incluye un widget de chat integrado y la función de pulsar para hablar (push-to-talk). Usted aporta sus propios personajes, animación y lógica de juego, y el plugin no modifica sus Animation Blueprints. Consulte la referencia de la API de Blueprint.

La memoria a largo plazo está activada de forma predeterminada en los personajes nuevos y se guarda por personaje y por ID de jugador. El ID de jugador predeterminado del plugin es el mismo para todos los jugadores, por lo que su proyecto debe enviar un ID único y estable para cada jugador; de lo contrario, todos los jugadores comparten una misma memoria. Los idiomas de conversación dependen del modelo de IA seleccionado, del reconocimiento de voz y de la voz.

Rostros de NPC MetaHuman con IA: sincronización labial, mirada y emoción

IAMX transmite animación facial para personajes MetaHuman junto con el audio hablado. Usted coloca los nodos de IAMX de sincronización labial, de mirada de los ojos (eye look-at) y de orientación de la cabeza (head look-at) en sus Animation Blueprints, y el parpadeo es procedural. La transmisión usa los nombres de los controles de MetaHuman, por lo que otro rig necesita un mapeo manual de cada control a uno de sus blendshapes, y el resultado depende de los blendshapes que tenga ese rig.

Cada personaje tiene además un estado emocional de ocho ejes, que un modelo de lenguaje clasifica a partir del texto de la conversación, por lo que puede interpretar mal una frase; pruébelo con sus propios diálogos. De forma predeterminada, controla las expresiones de los rostros MetaHuman; en otro rig, cada emoción debe asignarse manualmente a sus propios morph targets. Los Blueprints pueden leerlo, forzar una emoción o restablecer el estado, y reaccionar cuando cambia. El clasificador está activado de forma predeterminada y se puede desactivar por personaje en IAMX Studio; mientras está desactivado, el estado deja de actualizarse a partir de la conversación.

Percepción de la escena y acciones que ejecutan sus Blueprints

Usted registra desde Blueprint los objetos y actores que rodean a un NPC, para que el personaje pueda hablar de ellos y usarlos como objetivo en sus acciones. Nada se registra automáticamente.

• Acciones integradas: ir a, seguir, detenerse, esperar y reproducir un gesto llegan como eventos de Blueprint que implementa su proyecto, por lo que el movimiento y la búsqueda de rutas (pathfinding) son código suyo y los gestos solo reproducen montajes de animación que usted proporciona. Solo funcionan cuando están activadas para el personaje y con el pipeline de voz estándar; la plantilla Game NPC de IAMX Studio las activa.
• Acciones de Blueprint personalizadas: exponga acciones como abrir una puerta o asignar una misión. El modelo de lenguaje decide si las llama, por lo que estas llamadas no son deterministas.

Los objetos de la escena, los datos de tiempo de ejecución, las acciones integradas y los gestos funcionan con el pipeline de voz estándar. Si cambia el personaje a un modelo de voz en tiempo real (Gemini Live desde Starter, OpenAI Realtime desde Pro), seguirá recibiendo sus acciones de Blueprint personalizadas, pero no esas funciones.

Conversaciones entre NPC y visión bajo demanda

Dos NPC de IAMX en el mismo cliente de juego pueden hablar entre sí. El modelo de lenguaje escribe las frases, hasta un límite de turnos que usted establece (seis de forma predeterminada). Cada frase es un turno de conversación independiente que consume unidades de uso, y cualquier intervención del jugador pone fin al intercambio.

Su proyecto puede enviar fotogramas desde una captura de escena (scene capture), un render target o la cámara del jugador. Con el pipeline de voz estándar, un fotograma reciente solo llega a la IA cuando el jugador pide al NPC, en turco o en inglés, que mire algo y el modelo de IA seleccionado acepta imágenes; los modelos de voz en tiempo real no reciben estos fotogramas. El NPC no observa el mundo del juego de forma continua.

Elija cómo empiezan a hablar los jugadores

Cada NPC conversacional usa un modo de interacción:

• Manual: sus Blueprints inician y finalizan la conversación.
• Proximidad: la conversación empieza cuando el personaje del jugador se acerca al NPC a menos de una distancia establecida dentro del juego; no es un sensor físico.
• Activado por voz: el micrófono permanece abierto para hablar con las manos libres.
• Pulsar para hablar: el jugador pulsa un control mientras habla.
• Palabra de activación: con el pipeline de voz estándar, el NPC solo responde cuando la transcripción contiene una frase que usted define, como su nombre. El resto del habla se sigue transcribiendo, y los modelos de voz en tiempo real omiten esta comprobación.

Cómo configurar un NPC con IA en Unreal Engine

Estos pasos conectan un NPC de un proyecto de Windows con un personaje de IAMX.

1. Cree el personaje en IAMX Studio

   Defina sus instrucciones, su voz y su modelo de IA, y pruebe una conversación breve. La plantilla Game NPC activa las acciones de juego y los gestos integrados.

2. Cree una clave de API

   Cree una clave en la página de claves de API de IAMX Studio y cópiela de inmediato; la clave completa no se vuelve a mostrar.

3. Descargue el paquete para su versión del motor

   Desde la versión v1.1.0 en GitHub, descargue el paquete precompilado para Windows de 64 bits correspondiente a su versión de Unreal Engine.

4. Instale y active el plugin

   Descomprímalo en la carpeta Plugins de su proyecto, active IAMX en Edit > Plugins y reinicie el editor.

5. Añada el componente de IAMX

   Añada el componente a su NPC. En su configuración de conexión de IAMX, active la conexión e introduzca la dirección del servidor de IAMX, su clave de API y el ID del personaje. Los nombres de los campos varían entre compilaciones del plugin, así que siga el README del paquete que haya descargado.

6. Conecte los Animation Blueprints

   Añada los nodos de IAMX de sincronización labial, de mirada de los ojos y de orientación de la cabeza. Para un rig que no sea MetaHuman, complete el mapeo de controles a blendshapes.

7. Ejecute y pruebe

   Llame a Start Conversation, por ejemplo desde Event BeginPlay, o elija un modo de interacción. Hable y escriba en el modo Play y compruebe la voz, la sincronización labial y las acciones; si no se capta el habla, revise el permiso de micrófono de Windows y el dispositivo de entrada.

La clave de API aparece enmascarada en el editor, pero no está cifrada dentro de un proyecto empaquetado, así que use una clave distinta para cada compilación que pueda eliminar si es necesario.

Plataformas, conexión y uso

La versión pública v1.1.0 en GitHub ofrece paquetes precompilados para Windows de 64 bits para Unreal Engine 5.3 a 5.8. Previo acuerdo, los clientes Enterprise pueden evaluar una edición on-premises de IAMX en su propio servidor Windows y aportar sus propios servicios de lenguaje, reconocimiento de voz y síntesis de voz. IAMX proporciona la compilación del plugin para Unreal Engine 5.8 y la configuración de conexión para esa edición; el reconocimiento facial, que en la nube requiere un plan Pro o superior, no está disponible en ese modo. Si transmite la escena a navegadores, usted ejecuta Pixel Streaming en su propio servidor con GPU.

Con la nube de IAMX, cada turno de conversación consume unidades de uso de su plan de IAMX. Las unidades están ponderadas, por lo que los modelos más pesados y la voz en tiempo real consumen más. El servicio alojado de IAMX es una versión preliminar, así que pruebe la experiencia completa antes de publicar. Compare los planes en la página de precios o póngase en contacto con IAMX.

Preguntas frecuentes

Páginas relacionadas

• Personajes MetaHuman con IA
• Referencia de la API de Blueprint
• Casos de uso de IAMX
• Avatar Studio
• Planes y precios