Edición ampliada: NVIDIA amplía Maxine para la edición de vídeo y muestra la investigación sobre conferencias virtuales 3D

Profesionales, equipos, creadores y otros pueden aprovechar el poder de la IA para crear efectos de audio y vídeo de alta calidad, incluso utilizando micrófonos y cámaras web estándar, con la ayuda de NVIDIA Maxine.

El conjunto de kits de desarrollo de software acelerados por GPU y microservicios nativos de la nube permite a los usuarios implementar funciones de inteligencia artificial que mejoran los efectos de audio, video y realidad aumentada para plataformas y servicios de comunicaciones en tiempo real. Maxine también ampliará las funciones de edición de vídeo, lo que permitirá a los equipos alcanzar nuevas alturas en la comunicación por vídeo.

Además, una demostración de NVIDIA Research en la conferencia SIGGRAPH de esta semana muestra cómo la IA puede llevar las videoconferencias al siguiente nivel con funciones 3D.

La conectividad inalámbrica ha permitido a las personas unirse a reuniones virtuales desde más lugares que nunca. Normalmente, la calidad del audio y el vídeo se ve muy afectada cuando la persona que llama está en movimiento o en un lugar con mala conectividad.

Las funciones avanzadas de Maxine en tiempo real, como la eliminación del ruido de fondo, la súper resolución y el contacto visual, permiten a los usuarios remotos mejorar las experiencias de comunicación interpersonal.

Además, Maxine ahora se puede utilizar para editar vídeos. Los socios de NVIDIA están transformando este flujo de trabajo profesional con las mismas características de Maxine que mejoran las videoconferencias. El objetivo al editar un vídeo, ya sea un discurso de venta o un seminario web, es atraer a la mayor audiencia posible. Con Maxine, los profesionales pueden aprovechar funciones de inteligencia artificial que mejoran las señales de audio y video.

Con Maxine, un portavoz puede apartar la mirada de la pantalla para hacer referencia a notas o un guión mientras su mirada permanece como si mirara directamente a la cámara. Los usuarios también pueden filmar vídeos en baja resolución y mejorar la calidad más adelante. Además, Maxine permite a las personas grabar videos en varios idiomas diferentes y exportar el video en inglés.

Las características de Maxine que se lanzarán en acceso anticipado este año incluyen:

Maxine se puede implementar en la nube, en las instalaciones o en el borde, lo que significa que se puede acceder a una comunicación de calidad desde casi cualquier lugar.

Muchos socios y clientes disfrutan de videoconferencias y edición de alta calidad con Maxine. Dos funciones de Maxine (Contacto visual y Retrato en vivo) ahora están disponibles en versiones de producción en la plataforma de software NVIDIA AI Enterprise. Eye Contact simula el contacto visual directo con la cámara estimando y alineando la mirada del usuario con la cámara. Y Live Portrait anima la foto del retrato de una persona a través de su transmisión de video en vivo.

La empresa de software Descript pretende hacer del vídeo un elemento básico del conjunto de herramientas de todo comunicador, junto con los documentos y las diapositivas. Con NVIDIA Maxine, los profesionales y principiantes que utilizan Descript pueden acceder a funciones de IA que mejoran sus flujos de trabajo de contenido de vídeo.

"Con la función NVIDIA Maxine Eye Contact, los usuarios ya no tienen que preocuparse por memorizar guiones o hacer tediosas tomas de vídeo", afirmó Jay LeBoeuf, jefe de desarrollo empresarial y corporativo de Descript. "Pueden mantener una presencia perfecta en pantalla mientras aciertan con su guión en todo momento".

La aplicación Camo de Reincubate tiene como objetivo ampliar el acceso a excelentes videos aprovechando el hardware y los dispositivos que las personas ya poseen. Para ello, brinda a los usuarios un mayor control sobre su imagen e implementa un proceso de procesamiento potente y eficiente para efectos y transformación de video. Utilizando tecnologías habilitadas por NVIDIA Maxine, Camo puede ofrecer a los usuarios una manera más fácil de lograr una creación de videos increíble.

"Integrar NVIDIA Maxine en Camo no podría haber sido más fácil y nos ha permitido obtener un alto rendimiento de las GPU RTX de los usuarios desde el primer momento", afirmó Aidan Fitzpatrick, fundador y director ejecutivo de Reincubate. "Con Maxine, el equipo ha podido avanzar más rápido y con más confianza".

Cre8 de Quicklink es una poderosa plataforma de producción de video para crear producciones profesionales, de marca, eventos en vivo virtuales e híbridos. La interfaz fácil de usar combina un diseño intuitivo con todas las herramientas necesarias para crear, editar y personalizar una producción de aspecto profesional. Cre8 incorpora la tecnología NVIDIA Maxine para maximizar la productividad y la calidad de las producciones de vídeo, ofreciendo un control total al operador.

"Quicklink Cre8 ofrece ahora la plataforma de producción de vídeo más avanzada del planeta", afirmó Richard Rees, director ejecutivo de Quicklink. "Con NVIDIA Maxine, pudimos agregar funciones avanzadas, que incluyen encuadre automático, eliminación de ruido de video, cancelación de ruido y eco y simulación de contacto visual".

La empresa gemelo.ai, con sede en Los Ángeles, ofrece una plataforma para crear gemelos de IA que pueden escalar la voz, el contenido y las interacciones de un usuario. Al utilizar la función Live Portrait de Maxine, el equipo de gemelo.ai puede desbloquear nuevas oportunidades para contenido personalizado y escalado e interacciones uno a uno.

"El realismo de Live Portrait ha cambiado las reglas del juego, desbloqueando nuevos ámbitos de potencial para nuestros gemelos AI", dijo Paul Jaski, director ejecutivo de gemelo.ai. "Nuestros clientes ahora pueden diseñar e implementar gemelos digitales increíblemente realistas con los superpoderes de una escalabilidad ilimitada en la producción de contenido y la interacción entre aplicaciones, sitios web y experiencias de realidad mixta".

Además de potenciar las funciones avanzadas de Maxine, la IA de NVIDIA mejora la comunicación por vídeo con 3D. NVIDIA Research publicó recientemente un artículo que demuestra cómo la IA podría impulsar un sistema de videoconferencia 3D con un equipo de captura mínimo.

Los sistemas de telepresencia 3D suelen ser costosos, requieren un gran espacio o estudio de producción y utilizan transmisión de video volumétrica de gran ancho de banda, todo lo cual limita la accesibilidad de la tecnología. NVIDIA Research compartió un nuevo método, que se ejecuta en un novedoso codificador basado en VisionTransformer, que toma la entrada de vídeo 2D de una cámara web estándar y la convierte en una representación de vídeo 3D. En lugar de requerir que los datos 3D se transmitan entre los participantes de una conferencia, la IA permite que los requisitos de ancho de banda para la llamada sean los mismos que para una conferencia 2D.

La tecnología toma el vídeo 2D de un usuario y crea automáticamente una representación 3D llamada campo de radiación neuronal, o NeRF, mediante renderizado volumétrico. Como resultado, los participantes pueden transmitir vídeos en 2D, como lo harían en las videoconferencias tradicionales, mientras decodifican representaciones 3D de alta calidad que se pueden renderizar en tiempo real. Y con Live Portrait de Maxine, los usuarios pueden darle vida a sus retratos en 3D.

Las videoconferencias 3D mediadas por IA podrían reducir significativamente el costo de la captura 3D, proporcionar una representación 3D de alta fidelidad, acomodar avatares fotorrealistas o estilizados y permitir el contacto visual mutuo en las videoconferencias. Proyectos de investigación relacionados muestran cómo la IA puede ayudar a mejorar las comunicaciones y las interacciones virtuales, así como informar las futuras tecnologías de NVIDIA para videoconferencias.

Vea el sistema en acción a continuación. Los asistentes a SIGGRAPH pueden visitar el stand de Emerging Technologies, donde los grupos podrán ver simultáneamente la demostración en vivo en una pantalla 3D diseñada por la empresa Looking Glass, con sede en Nueva York.

Obtenga más información sobre NVIDIA Maxine, que ahora está disponible en NVIDIA AI Enterprise.

Y vea más de la investigación detrás del proyecto de videoconferencia en 3D.

Imagen destacada cortesía de NVIDIA Research.

NVIDIA hace que la transmisión de realidad extendida sea más escalable y personalizable para empresas y desarrolladores

DENZA colabora con WPP para crear e implementar configuradores de automóviles avanzados en NVIDIA Omniverse Cloud

La GPU NVIDIA H100 Tensor Core utilizada en la nueva serie de máquinas virtuales Microsoft Azure ya está disponible de forma generalizada

El CEO de NVIDIA, Jensen Huang, regresa a SIGGRAPH

Conozca al creador: el desarrollador utiliza NVIDIA Jetson como fuerza detrás del Pit Droid impulsado por IA