Источник: Фотонная планета

Автор: Вэнь Йехао

Монтажер: Ван Пан

С момента появления бума AIGC увлеченные технологические гиганты уходили с поля один за другим, полностью продвигая отечественную колею крупномасштабных моделей.

Однако технологии сами по себе не могут непосредственно создавать ценность. Обучение большой модели — это только отправная точка. Горячая «битва 100 моделей» более или менее смешана с намеком на «серийное производство колес».

Для больших моделей конечной точкой является встраивание сценариев приложений для достижения зрелой коммерциализации, и по мере того, как логика отслеживания больших моделей смещается с обучения на посадку, приложения AIGC постепенно появляются в различных областях.

В июле фото-приложение с искусственным интеллектом Miaoya Camera вырвалось из круга, не только безумно размахивая экраном на социальных платформах, но и вызвав широкие дискуссии в контексте технологий. Многие пользователи, ранее не знакомые с техническим контекстом, также впервые по-настоящему ощутили прелесть AIGC.

В августе Douyin и Volcano Engine запустили «Проект восстановления классического изображения». Впервые крупномасштабная визуальная модель AIGC была применена к сцене восстановления старых фильмов. В планах восстановить 100 старых гонконгских фильмов и восстановить Гонконг. Фильмы Конга в памяти публики.Четкий взгляд.

Фото слева до ремонта, фото справа после ремонта

Это означает, что большая модель постепенно вышла из «лаборатории» и попала в поле зрения людей.

Камера Miaoya и реставрация старой пленки, ответ на скрытую большую модель

Взрыв камеры Miaoduck, несомненно, оказывает просветляющее воздействие на масштабную модельную гусеницу, которая до сих пор застряла на земле.

Фактически, с точки зрения технического пути, возможности генерации изображений AIGC, лежащие в основе Miaoya Camera, не имеют слишком высоких технических барьеров и не так всеобъемлющи, как основные приложения, такие как Midjourney и Stable Diffusion.

Однако такие приложения, как Midjourney, имеют очень высокий порог для начала работы, требуя от пользователей постоянного изучения слов-подсказок (), и в процессе неизбежно возникнут препятствия для потребления.

Miaoya Camera инкапсулирует и упрощает вышеупомянутые утомительные шаги одним щелчком мыши.Пользователям нужно только загрузить переднюю поясную фотографию и не менее 20 дополнительных фотографий, и они могут создавать различные фотографии в соответствии с установленным шаблоном одним щелчком мыши. Такая фотография, простота использования была значительно улучшена.

Из этого нетрудно увидеть, что если передовые технологии хотят добиться широкомасштабного внедрения, им необходимо не только определить сценарии применения, но и решить прошлые болевые точки и трудности соответствующих сценариев. Это важная причина, по которой двигатель вулкана врезается в сцену «реставрации старого фильма».

Реставрация старых фильмов всегда была актуальной темой в сфере видео.По статистике более 130 киноархивов из 65 стран, средняя приживаемость фильмов с момента их рождения составляет всего 10%.

Логика этого заключается в том, что большинство ранних фильмов хранились на пленке после съемки, но пленка как носитель информации довольно хрупкая, требует не только чрезвычайно высокой температуры и влажности в среде хранения, но и очень уязвима к физическим и химическим воздействиям. повреждение во время использования и обращения., что приводит к выцветанию, разрыву, окрашиванию, плесени, кислоте и другим проблемам.

Простой пример, цветовой тон многих ранних фильмов сегодня часто красноватый или лиловый.Помимо художественной выразительности самого режиссера, это скорее проявление уксуснокислого синдрома, вызванного неправильным сохранением кинопленки - пленка тускнеет и краснеет.В то же время он также будет выделять резкий кислый запах, который усугубит ухудшение условий хранения. Как только начинается подкисление, его трудно полностью обратить вспять.

Кроме того, в процессе кинопроизводства и проката пленка часто подвергается повторным перепечаткам, и каждая перепечатка будет приводить к малозаметной потере деталей изображения, а по мере увеличения количества перепечаток качество изображения будет ухудшаться все больше и больше. Из-за различных факторов качество изображения большинства гонконгских фильмов намного уступает текущему видео высокой четкости, и впечатления пользователя от просмотра едва ли приятны.

С другой стороны, традиционные методы реставрации в основном основаны на ручной работе — сначала пленка преобразуется в цифровой формат, а затем реставратор кадр за кадром обрабатывает пятна плесени и пятна на экране.

Однако фильм обычно содержит сотни тысяч кадров. Если полностью полагаться на ручной ремонт, то не только стоимость высока, но и эффективность неудовлетворительна. Взяв в качестве примера «Зло на Востоке и яд на Западе», Вонг Кар Вай однажды вспомнил, что реставрация заняла четыре года, потому что пленка была сырой. Тем не менее, из-за несвоевременной реставрации очень немногие фрагменты «Evil and West Poison Ultimate Edition» все еще имеют цветочные фрагменты.

Другими словами, с помощью традиционных методов восстановления изображений трудно выполнить крупномасштабное восстановление. И если масштаб не может быть достигнут, эффективность восстановления пленки с помощью киноархивов может быть не в состоянии догнать постепенное выцветание сотен тысяч рулонов пленки с течением времени.

В этом контексте визуальная большая модель AIGC стала противоядием от лечения «болезни сердца» старых фильмов в области кино и телевидения.

Большая модель листа ответов двигателя вулкана

В использовании алгоритма глубокого обучения ИИ для восстановления изображений на самом деле нет ничего нового. Еще несколько лет назад на отечественных видеовертикальных форумах некоторые видеоэнтузиасты использовали алгоритмы глубокого обучения для улучшения разрешения старых фильмов, чтобы улучшить внешний вид картинки.

Однако, хотя алгоритмы обработки изображений в прошлом могут в определенной степени улучшить качество изображения, их недостаточно для поддержки серьезных сценариев коммерческого применения.В качестве примера на данном этапе возьмем большую модель с открытым исходным кодом, основанную на стабильной диффузии, которая в основном для генерации изображения.Задачи менее актуальны для старых сцен реставрации фильмов, которые имеют тенденцию к деградации и восстановлению, и их сложно применить просто.

Исходя из этого, на основе существующей зрелой большой модели, Volcano Engine накладывает свою собственную старую сеть восстановления пленки и выполняет целевую оптимизацию общих проблем восстановления, таких как размытие, расфокусировка, портрет, цвет и т. д., чтобы большая модель могла полностью воспринимать и адаптироваться к сценам из старых фильмов.

Простой пример: портретный снимок, передающий эмоциональное состояние и внутренний мир героев, имеет особое значение в киноязыке. В связи с этим Volcano Engine адаптивно использует разные портретные решения для видео с разным качеством картинки.

Для старых фильмов, которые были сняты в течение длительного времени и имеют плохое качество изображения, Volcano Engine использует модуль восстановления портрета на основе генеративной технологии для выполнения реконструкции лица высокой четкости с сохранением истинных характеристик портрета; для среднего и высокого качества портреты, Volcano Engine использует Модуль сверхчеткого портрета оптимизирует четкость черт лица и обеспечивает максимальное восстановление и улучшение текстуры таких деталей лица, как ресницы, брови, текстура волос и кожи.

Стоит отметить, что в дополнение к оптимизации для восстановления обобщенных старых фильмов, Volcano Engine на этот раз разработал более вертикально разделенную возможность восстановления характеристик гонконгских фильмов.

Если взять в качестве примера сцены боевых искусств, то они отличаются от «прямых» боев в зарубежных фильмах.Будучи уникальным символом золотого века гонконгских фильмов, боевые сцены больше похожи на великолепные танцы, подчеркивающие каждое движение и каждый стиль боя. противостояние, которое хорошо узнаваемо.

Тем не менее, боевые искусства — немалый тест для модели AIGC. С одной стороны, быстро меняющиеся действия и быстрые движения на картинке часто вызывают большие межкадровые смещения, что в свою очередь приводит к снижению точности модели оптического потока, следствием чего является размытие; с другой стороны, сложные единоборства действия с большей вероятностью вызывают интерполяцию.Искажение результата кадра приводит к артефактам, что напрямую влияет на визуальное восприятие аудитории.

С этой целью Volcano Engine разработал интеллектуальный алгоритм интерполяции кадров.Оценивая оптический поток содержимого переднего и заднего кадров, пиксели переднего и заднего кадров преобразуются в промежуточный кадр в соответствии с информацией об оптическом потоке. а затем интегрируется для создания промежуточного кадра и повышения частоты кадров видео; благодаря целенаправленной оптимизации снижается вычислительная нагрузка при работе с большими движениями, что повышает стабильность и эффективность модели.

Элементы боевых искусств всегда были важной частью гонконгских фильмов, но из-за относительно грубых методов съемки и производства ранних фильмов в некоторых сценах с боевыми искусствами часто остаются части проволоки, что нарушает целостность изображения. В связи с этим Volcano Engine использует алгоритмы удаления шумов и царапин для обработки дефектов изображения в пакетном режиме, а также оптимизирует алгоритм устранения царапин для Wia, что обеспечивает целостность основных персонажей на картинке при устранении следов Виа.

Фото слева до ремонта, фото справа после ремонта

По словам Чжан Сяогуана, заместителя куратора Китайского киноархива, эта реставрация фильма также пригласила основных создателей фильма принять участие в процессе реставрации, которая не только восстанавливает «форму» изображения с помощью технологий, но и восстанавливает оригинал. "душу" фильма, сделав его "Восстановить старое как старое".

Логика заключается в том, что реставрация фильмов — это не только попытка найти сцену приземления с использованием передовых технологий, но и коммерческое поведение. И «восстановление старого как старого» — это ключ к тому, чтобы классические фильмы затрагивали чувства публики, пробуждали коллективную память и, таким образом, повышали коммерческую ценность. Нетрудно увидеть прагматичный технический взгляд на двигатель вулкана.

Влетает в дома простых людей

Хотя контекст Интернета когда-то был захвачен ожесточенными дебатами о технологиях и приложениях в начале первоначальной вспышки AIGC, Miaoya Camera и Volcano Engine доказали, что на самом деле они не противостоят друг другу.

С одной стороны, эволюция передовых технологий продолжает расширять границы применения, так что широкая публика может увидеть свое собственное многообразие без необходимости платить высокие цены за фотостудии, новая жизненная сила.

С другой стороны, передовые технологии часто должны пройти долгий цикл от исследований и разработок до внедрения.В прошлом более крупномасштабные модели, которые жили в «лабораториях» и были холодны в коммерциализации, нуждались в этом глубоко укоренившемся содержании для дать им жизнь.Таким образом, это действительно входит в жизнь людей.

Столкнувшись с оковами внедрения передовых технологий, ответы, которые продолжают давать игроки, несомненно, имеют важное справочное значение для отрасли.

Камера Miaoya, которая находится вне круга, изменила лицо передовых технологий в прошлом и вышла на рынок C-end с более живым и оживленным отношением к сценам, близким к обычным пользователям и более простым для восприятия. -использовать функции.

По совпадению, двигатель вулкана также постоянно исследует место приземления. Уже в 2021 году Volcano Engine восстановил классические анимации из детских воспоминаний, такие как Nezha, Calabash и Black Cat Sheriff, в версии 4K на основе технологии улучшения качества изображения; в прошлом году он заставил группу Beyond петь на стадионе Hung Hom. , он вновь появился на публике спустя более 30 лет.

Другими словами, от восстановления классической анимации до повторного показа концертов, а затем и до восстановления гонконгских фильмов, они являются как бы опорными точками, свидетельствующими о том, что двигатель вулкана прижился в сфере коммерческого применения. Сегодня Volcano Engine обладает отличными техническими возможностями и реализовал широкомасштабные практические и массовые производственные приложения во внутренних бизнес-направлениях и на внешних рынках корпоративных услуг.

В конечном счете, будь то камера Miaoya или двигатель вулкана, они разрушают высокотехнологичные стены AIGC с помощью более разнообразных и гибких приложений, так что передовые технологии, живущие в технологическом контексте, превратились в реальность внутри. кончики пальцев пользователей. Можно предвидеть, что движимая этой группой прагматичных игроков AIGC может в будущем влететь в дома простых людей в более богатой форме.