Fuente: Planeta Fotón

Autor: Wen Yehao

Montaje: Wang Pan

Desde el surgimiento del auge de AIGC, los gigantes tecnológicos entusiastas han abandonado el campo uno tras otro, impulsando la pista de modelos domésticos a gran escala hasta el final.

Sin embargo, es difícil que la tecnología en sí misma cree valor directamente. El entrenamiento de modelos grandes es solo un punto de partida, y la acalorada "batalla de los cien modelos" se mezcla más o menos con un toque de "fabricación repetitiva de ruedas".

Para los modelos grandes, la incorporación de escenarios de aplicaciones para lograr una comercialización madura es el punto final, y a medida que la lógica de la pista del modelo grande cambia de entrenamiento a aterrizaje, las aplicaciones AIGC están surgiendo gradualmente en varios campos.

En julio, la aplicación de fotografía AI Miaoya Camera salió disparada del círculo, no solo deslizando la pantalla como un loco en las plataformas sociales, sino que también suscitó extensas discusiones en el contexto de la tecnología. Muchos usuarios que antes no estaban familiarizados con el contexto técnico también sintieron el encanto de AIGC por primera vez.

En agosto, Douyin y Volcano Engine lanzaron el "Proyecto de restauración de imágenes clásicas". Por primera vez, el modelo visual a gran escala AIGC se aplicó a la escena de restauración de películas antiguas. Planea restaurar 100 películas antiguas de Hong Kong y restaurar Hong Películas de Kong en la memoria pública Mirada clara.

La imagen de la izquierda es antes de la reparación, la imagen de la derecha es después de la reparación

Esto significa que el modelo grande ha salido gradualmente del "laboratorio" y ha entrado en el campo de visión de las personas.

Cámara Miaoya y restauración de película antigua, la respuesta a la gran maqueta oculta

Sin duda, la explosión de la cámara Miaoduck tiene un efecto esclarecedor en la pista del modelo a gran escala que aún está atrapada en el suelo.

De hecho, desde la perspectiva de la ruta técnica, la capacidad de generación de imágenes AIGC detrás de Miaoya Camera no tiene barreras técnicas demasiado altas y no es tan completa como las aplicaciones principales como Midjourney y Stable Diffusion.

Sin embargo, las aplicaciones como Midjourney tienen un umbral muy alto para comenzar, lo que requiere que los usuarios exploren constantemente las palabras clave (), e inevitablemente surgirán obstáculos de consumo en el proceso.

La cámara Miaoya encapsula y simplifica los tediosos pasos mencionados anteriormente en una operación de un solo clic. Los usuarios solo necesitan cargar una foto frontal de medio cuerpo y no menos de 20 fotos complementarias, y pueden generar varias fotos de acuerdo con la plantilla establecida con un solo clic. Tal foto, la facilidad de uso se ha mejorado mucho.

No es difícil ver a partir de esto que si las tecnologías de vanguardia quieren lograr una implementación a gran escala, no solo necesitan identificar los escenarios de aplicación, sino que también deben resolver los puntos débiles y las dificultades del pasado de los escenarios correspondientes. Esta es una razón importante por la que el motor del volcán interviene en la escena de la "restauración de películas antiguas".

La restauración de películas antiguas siempre ha sido un tema importante en el campo del video, según las estadísticas de más de 130 filmotecas de 65 países, la tasa de supervivencia promedio de las películas desde su nacimiento es solo del 10%.

La lógica detrás de esto es que la mayoría de las primeras películas se almacenaban en película después del rodaje, pero la película como medio de almacenamiento es bastante frágil, no solo requiere una temperatura y humedad extremadamente altas en el entorno de almacenamiento, sino que también sufre fácilmente daños físicos y químicos durante uso y manejo. , resultando en decoloración, rotura, manchas, moho, ácido y otros problemas.

Un ejemplo simple, el tono de color de muchas de las primeras películas de hoy en día suele ser rojizo o púrpura. Además de la expresión artística del propio director, es más una manifestación del síndrome del ácido acético causado por la conservación inadecuada de la película: la película se desvanece. y se vuelve rojo Al mismo tiempo, también liberará un olor agrio acre, lo que agravará el deterioro del medio ambiente de conservación. Una vez que comienza la acidificación, es difícil revertirla por completo.

Además, en el proceso de producción y distribución de películas, la película a menudo se reimprime repetidamente, y cada reimpresión traerá una pérdida sutil de detalles de la imagen y, a medida que aumente el número de reimpresiones, la calidad de la imagen se deteriorará más y más. Debido a varios factores, el rendimiento de la imagen de la mayoría de las películas de Hong Kong es muy inferior al video de alta definición actual, y la experiencia de visualización del usuario es difícilmente amigable.

Por otro lado, las técnicas de restauración tradicionales se basan principalmente en el trabajo manual: la película primero se convierte a un formato digital y luego el restaurador maneja las manchas de moho y las manchas en la pantalla cuadro por cuadro.

Sin embargo, una película suele contener cientos de miles de fotogramas. Si confía completamente en la reparación manual, no solo el costo es alto, sino que la eficiencia también es insatisfactoria. Tomando como ejemplo "Evil in the East and Poison in the West", Wong Kar Wai recordó una vez que la restauración tomó cuatro años porque la película estaba húmeda. Aun así, debido a la restauración intempestiva, muy pocos fragmentos de "Evil and West Poison Ultimate Edition" aún tienen piezas floreadas.

En otras palabras, las técnicas tradicionales de restauración de imágenes son difíciles de realizar restauraciones a gran escala. Y si no se puede lograr la escala, es posible que la eficiencia de la restauración de películas por parte de los archivos de películas no pueda alcanzar el desvanecimiento gradual de cientos de miles de rollos de película a lo largo del tiempo.

En este contexto, el gran modelo visual AIGC se ha convertido en un antídoto para reparar la "enfermedad cardíaca" de las películas antiguas en el campo del cine y la televisión.

Hoja de respuestas modelo grande del motor volcánico

El uso del algoritmo de aprendizaje profundo de IA para restaurar imágenes en realidad no es nada nuevo. Hace unos años, en foros verticales de videos domésticos, algunos entusiastas de los videos utilizaron algoritmos de aprendizaje profundo para mejorar la resolución de películas antiguas y mejorar la apariencia de la imagen.

Sin embargo, aunque los algoritmos de procesamiento de imágenes en el pasado pueden mejorar la calidad de la imagen hasta cierto punto, no son suficientes para admitir escenarios de aplicaciones comerciales serias.Tome el modelo grande de código abierto basado en Stable Diffusion como ejemplo en esta etapa, que es principalmente para la generación de imágenes.Las tareas son menos pertinentes a las escenas de restauración de películas antiguas que tienden a ser degradadas y restauradas, y es difícil aplicarlas de manera simple.

Sobre esta base, sobre la base del modelo grande maduro existente, el motor Volcano superpone su propia red de reparación de películas antiguas y realiza una optimización específica en problemas de reparación comunes como desenfoque, desenfoque, retrato, color, etc. para que el modelo grande pueda percibir y adaptarse completamente a las escenas de películas antiguas.

Un ejemplo sencillo, el plano del retrato que transmite el estado emocional y el mundo interior de los personajes es especialmente importante en el lenguaje cinematográfico. En este sentido, Volcano Engine utiliza de manera adaptativa diferentes soluciones de retratos para videos con diferente calidad de imagen.

Para películas antiguas que se han producido durante mucho tiempo y tienen una calidad de imagen deficiente, Volcano Engine utiliza un módulo de restauración de retratos basado en generativos para realizar una reconstrucción facial de alta definición manteniendo las características reales del retrato; para calidad media y alta. retratos, el Volcano Engine utiliza el módulo de retrato ultra claro que optimiza la claridad de los rasgos faciales y realiza la máxima restauración y mejora de la textura de detalles faciales como pestañas, cejas, cabello y textura de la piel.

Vale la pena mencionar que, además de la optimización para la restauración de películas antiguas generalizadas, Volcano Engine ha desarrollado una capacidad de restauración más subdividida verticalmente para las características de las películas de Hong Kong esta vez.

Tomando la escena de las artes marciales como ejemplo, es diferente de la lucha "sencilla" en las películas extranjeras. Como un símbolo único a lo largo de la edad dorada de las películas de Hong Kong, las escenas de lucha son más como bailes hermosos, enfatizando cada movimiento y cada estilo de confrontación, que es altamente reconocible.

Sin embargo, la escena de las artes marciales no es una pequeña prueba para el modelo AIGC. Por un lado, las acciones que cambian rápidamente y los movimientos rápidos en la imagen a menudo causan grandes desplazamientos entre fotogramas, lo que a su vez conduce a una disminución en la precisión del modelo de flujo óptico, lo que resulta en manchas; por otro lado, las artes marciales complejas Es más probable que las acciones causen interpolación. La distorsión del resultado del cuadro produce artefactos, lo que afecta directamente la experiencia visual de la audiencia.

Con este fin, Volcano Engine ha desarrollado un algoritmo inteligente de interpolación de fotogramas.Al estimar el flujo óptico del contenido de los fotogramas delantero y trasero, los píxeles de los fotogramas delantero y trasero se convierten en el fotograma intermedio de acuerdo con la información del flujo óptico, y luego se integra para generar el cuadro intermedio y mejorar la velocidad de cuadro del video; A través de la optimización específica, se reduce la carga de cálculo cuando se trata de grandes movimientos, mejorando así la estabilidad y el efecto del modelo.

Los elementos de artes marciales siempre han sido una parte importante de las películas de Hong Kong, pero debido a los métodos de filmación y producción relativamente rudimentarios de las primeras películas, algunas escenas de artes marciales a menudo tienen restos de alambre, lo que destruye la integridad de la imagen. En este sentido, el Volcano Engine utiliza algoritmos de reducción de ruido y eliminación de arañazos para procesar los defectos de la imagen en lotes, y también optimiza el algoritmo de eliminación de arañazos para Wia, lo que garantiza la integridad de los personajes principales de la imagen y elimina los rastros de Wia.

La imagen de la izquierda es antes de la reparación, la imagen de la derecha es después de la reparación

Según Zhang Xiaoguang, curador adjunto del Archivo de Cine de China, esta restauración cinematográfica también invitó a los principales creadores de la película a participar en el proceso de restauración, que no solo restaura la "forma" de la imagen a través de la tecnología, sino que también restaura el original. "alma" de la película, convirtiéndola en "Restaurar lo viejo como lo viejo".

La lógica detrás de esto es que la restauración de películas no es solo un intento de encontrar una escena de aterrizaje con tecnología de punta, sino también un comportamiento comercial. Y "reparar lo viejo como lo viejo" es la clave para que las películas clásicas toquen los sentimientos del público, despierten la memoria colectiva y, por lo tanto, aumenten el valor comercial. No es difícil vislumbrar la visión técnica pragmática del motor del volcán.

Volando a las casas de la gente común

Aunque el contexto de Internet alguna vez estuvo atrapado en feroces debates sobre tecnología y aplicaciones al comienzo del brote inicial de AIGC, Miaoya Camera y Volcano Engine han demostrado que los dos en realidad no son opuestos.

Por un lado, la evolución de la tecnología de punta continúa expandiendo los límites de las aplicaciones, para que el público en general pueda ver sus propias caras múltiples sin tener que pagar los altos precios de los estudios fotográficos; nueva vitalidad.

Por otro lado, las tecnologías de vanguardia a menudo necesitan pasar por un largo ciclo desde la investigación y el desarrollo hasta la implementación. En el pasado, los modelos a gran escala que vivían en "laboratorios" y no estaban listos para la comercialización necesitaban estos contenidos profundamente arraigados para darles vida, de esta forma entra realmente en la vida de las personas.

Ante los grilletes de la implementación de tecnología de punta, las respuestas que los jugadores continúan entregando, sin duda, tienen un importante valor de referencia para la industria.

La cámara Miaoya, que está fuera del círculo, ha cambiado la cara de la tecnología de punta en el pasado y ha ingresado al mercado de C-end con una actitud más animada y enérgica a través de escenas cercanas a los usuarios comunes y más fácil de -Usar funciones.

Coincidentemente, el motor del volcán también está explorando constantemente la escena del aterrizaje. Ya en 2021, Volcano Engine restauró las animaciones clásicas de los recuerdos de la infancia, como Nezha, Calabash y Black Cat Sheriff, a versiones 4K basadas en tecnología de mejora de la calidad de imagen; el año pasado, hizo cantar a la banda Beyond en el estadio Hung Hom. Sí , reapareció a la vista del público después de más de 30 años.

En otras palabras, desde la restauración de la animación clásica, pasando por la re-proyección de conciertos, y luego hasta la restauración de películas de Hong Kong, son como puntos de anclaje, indicando que el motor del volcán ha echado raíces en el campo de las aplicaciones comerciales. Hoy, Volcano Engine ha desarrollado excelentes capacidades técnicas y ha realizado prácticas a gran escala y aplicaciones de producción a gran escala en líneas comerciales internas y mercados de servicios empresariales externos.

En última instancia, ya sea la cámara Miaoya o el motor del volcán, están deconstruyendo los muros de alta tecnología de AIGC a través de aplicaciones más diversas y flexibles, de modo que la tecnología de vanguardia que vive en el contexto tecnológico se ha convertido en una realidad dentro. el alcance de los usuarios. . Es previsible que, impulsado por este grupo de jugadores pragmáticos, AIGC pueda volar a los hogares de la gente común en una forma más rica en el futuro.