La colorización de imágenes mediante IA es un recurso que hoy permite darle una nueva vida a aquellas fotografías que originalmente fueron capturadas en blanco y negro.
Si bien ya existen soluciones que están al alcance de nuestras manos, esas e incluso otros modelos más complejos, usualmente ofrecen resultados saturados o desaturados, con colores que no siempre lucen realistas. Un nuevo proyecto, desarrollado conjuntamente por investigadores de Postech (Universidad de Ciencias y Tecnología de Pohang, Corea del Sur) y Samsung Electronics, ofrece una alternativa con resultados superiores.
Una nueva herramienta de IA, para colorear imágenes monocromáticas con resultados realistas
El mosaico que acompaña esta nota, en el que se puede observar a Albert Einstein en la Universidad de Princeton, Charles Chaplin en una escena de la película “El Chico” de 1921, Marilyn Monroe y una postal de Yosemite, capturada por Ansel Adams; aparecen en su versión original, acompañadas de su versión procesada por BigColor, la herramienta desarrollada por investigadores de Postech y Samsung.
El propósito tras el desarrollo de este proyecto es la obtención de resultados realistas, con colores vívidos y naturales, para su uso en imágenes naturales con estructuras complejas.
La necesidad de explorar esta alternativa radica en que, los métodos convencionales cuentan con varias limitaciones para realizar una colorización efectiva. Una de las primeras debilidades a reforzar, es que las tecnologías ya existentes no siempre trabajan adecuadamente con las paletas de colores, influyendo en la calidad de los resultados obtenidos. Otra de las dificultades comunes con estas herramientas, es que su funcionamiento se limita al trabajo con resoluciones fijas, demandando el ajuste de las imágenes a tratar a las dimensiones requeridas.
Solucionando estas dificultades técnicas, BigColor ofrece la posibilidad de colorear imágenes complejas con paletas vívidas y resoluciones arbitrarias. El modelo fue objeto de varios ensayos, destacando por sobre otros modelos de IA referenciales, dedicados también a esta misma tarea.
En la primera fila, se presentan las imágenes sometidas a las pruebas comparativas. En las filas siguientes, se exhiben los resultados obtenidos con los modelos de colorización utilizados como referencia comparativa. En la última fila, aparecen los resultados obtenidos con BigColor. Fuente: Arxiv.org
Mientras que los modelos generativos preexistentes fueron entrenados para sintetizar estructuras de imagen y colores, en el caso de BigColor el sistema aprende un color generativo (rango o paleta de colores) antes de centrarse en la síntesis de color, contemplando para esto la estructura espacial de una imagen.
Este modo de trabajar permite reducir la carga asociada a la tarea de sintetizar estructuras de imagen, en base a otras imágenes procesadas previamente, controlando también su espacio de representación. En otras palabras, este sistema puede abordar con más eficiencia la colorización de diversas imágenes consecutivas, tomadas en planos similares, como en el caso de los cuadros de una escena de película en blanco y negro.
La propuesta presentada, fue dada a conocer de momento como un proyecto de investigación. En el paper del estudio, se pueden conocer más detalles sobre esta interesante propuesta. Entre otros aspectos técnicos, se destaca que el sistema de inteligencia artificial de BigColor, que es una red codificadora-generadora, fue desarrollado tomando como inspiración BigGAN, que es otro sistema de IA, un tipo de red antagónica generativa, que fue diseñada para escalar la generación a imágenes de alta resolución y alta fidelidad.
Fuente info
Autor: Nicolás Verdejo