Google demostró el modelo de difusión espaciotemporal Lumiere. La nueva herramienta de IA puede crear vídeos asombrosamente realistas de hasta cinco segundos de duración. La red neuronal anima imágenes fijas o sólo partes de ellas en respuesta a indicaciones de texto en lenguaje natural. A diferencia de sus predecesores, Lumiere construye toda la duración del vídeo de una vez, en lugar de generar el primer y el último fotograma, tratando de adivinar lo que ocurre entre medias. Se trata de un proyecto de investigación y aún no se sabe si estará disponible para un uso generalizado.
Lumiere puede copiar el estilo de una imagen y luego utilizar ese estilo para crear una serie de vídeos sobre otros temas. La red neuronal puede tomar el vídeo original de un usuario y convertirlo en Lego, origami o flores.
A juzgar por las demostraciones, Lumiere tiene las capacidades de dibujo más avanzadas. Puedes cerrar una parte de la imagen y Lumiere rellenará automáticamente esa zona, con tanta fluidez que es imposible saber si ha intervenido la inteligencia artificial.
El equipo de investigación afirma que la arquitectura espacio-temporal de U-net construye toda la longitud del vídeo de una sola vez, en una sola pasada. Esto distingue a la red neuronal de los modelos anteriores, que a menudo generaban un fotograma inicial y otro final y luego intentaban adivinar qué ocurriría entre ellos.
Por ahora, se trata sólo de un proyecto de investigación. Por lo tanto, Google no necesita necesariamente neutralizar agresivamente el sistema para respetar los derechos de autor, la privacidad y la seguridad, así como para evitar la incitación al odio y la desnudez. Este proceso conduce invariablemente a una disminución de la calidad del resultado en los modelos generativos.