Investigadores de Google, la Universidad de Tel Aviv, el Instituto Weizmann y el Technion presentaron un nuevo modelo de IA de texto a vídeo llamado Lumiere, que representa "un movimiento realista, diverso y coherente". De momento esto sólo se considera un estudio, ya que Google no ha publicado el modelo ni ha compartido si tiene intención de hacerlo en el futuro.
Lumiere, que lleva el nombre de los innovadores hermanos Lumiere, le permite crear vídeos de cinco segundos con una resolución de 1024x1024 basándose en indicaciones que luego animan las imágenes existentes.
3 צפייה בגלריה
Lumiere permite crear vídeos de cinco segundos basándose en indicaciones que luego animan las imágenes existentes.
(Ynet)
También puede crear animaciones en diferentes estilos (como acuarela, pegatina, etc.) según una imagen de referencia que se le mostrará, y cambiar el estilo del vídeo. Por ejemplo, convierta un personaje realista en una caricatura, o en uno hecho de flores o madera, etc. Las características adicionales incluyen completar las partes que faltan en el video (pintura interna) y expandir su marco (pintura exterior).
La creación de vídeos utilizando inteligencia artificial es un campo relativamente nuevo, pero ha ido ganando impulso en los últimos meses. Herramientas como Runway, Pika y Stable Diffusion ya existen en el mercado. El mes pasado, Ynet publicó un vídeo de Ismail Haniyeh rapeando que fue creado utilizando una de estas herramientas.
Sin embargo, los investigadores detrás de Lumiere afirman que los modelos existentes en el mercado son limitados en cuanto a la duración de los vídeos, la calidad de la imagen y el realismo del movimiento que pueden producir.
Según los investigadores de Google, han desarrollado un método más eficaz para procesar todos los fotogramas de vídeo a la vez, a diferencia de las herramientas del mercado que crean varios fotogramas centrales y luego completan la información que falta entre ellos.
Los investigadores incluso hicieron una comparación con las herramientas existentes en el mercado, lo que demuestra que Lumiere ofrece productos de mayor calidad, más duración y mayor movilidad.
Junto con el artículo académico publicado sobre el nuevo modelo, los investigadores subieron un vídeo de demostración que parece bastante impresionante, aunque es difícil saber si los productos que aparecen allí reflejan las capacidades reales del modelo o si seleccionaron los vídeos.
Los investigadores señalan en su artículo las limitaciones de Lumiere: el modelo no es capaz de producir vídeos con diferentes tomas, o que incluyan una transición entre diferentes escenas, ya que lograr una representación de vídeo coherente ha demostrado ser un desafío para los modelos de IA contemporáneos. Los investigadores también señalan que existe temor de que se haga un mal uso de la tecnología y piden el desarrollo y la implementación de herramientas que identifiquen sesgos y usos maliciosos para garantizar un uso seguro y justo.
La Dra. Tali Dekel del Instituto Weizmann y Google, una de los investigadoras detrás del nuevo modelo, explicó que existen importantes desafíos a la hora de crear vídeos utilizando inteligencia artificial. "La cantidad de datos es mucho mayor ya que el espacio y el tiempo no se comportan en los vídeos como lo hacen en las fotografías. Para que podamos ver un avance muy significativo en este campo, tendrá que haber un trabajo mucho más profundo sobre cómo procesar la información en tiempo, representar el movimiento y editar el exceso de información que hay en el vídeo. Pero estoy segura de que sucederá", explicó.
El trabajo sobre Lumiere ha sido dirigido durante los últimos seis meses por un grupo de investigación en el Centro de Investigación y Desarrollo de Google en Tel Aviv bajo la dirección de Inbar Mosari, que incluye junto a los investigadores de Dekel a Omer Bar-Tal, Hila Chefer, Omer Tov, Charles Herrmann, Roni Paiss, Shiran Zada, Ariel Ephrat, Junhwa Hur, Yuanzhen Li, Tomer Michaeli, Oliver Wang y Deqing Sun, quienes trabajaron en el modelo.
