Джерело: Photon Planet

Автор: Вень Єхао

Редактор: Ван Пан

З моменту появи буму AIGC захоплені технологічні гіганти один за одним залишили сферу, ведучи вітчизняну великомасштабну модельну трасу.

Однак самій технології складно безпосередньо створювати цінність. Навчання великої моделі — це лише початкова точка.. Гаряча «битва 100 моделей» більш-менш змішана з натяком на «повторне виробництво коліс».

Для великих моделей кінцевою точкою є вбудовування сценаріїв додатків для досягнення зрілої комерціалізації, і оскільки логіка треку великої моделі переходить від навчання до посадки, програми AIGC поступово з’являються в різних сферах.

У липні додаток для фотографій зі штучним інтелектом Miaoya Camera вибухнув з кола, не тільки божевільно проводячи по екрану на соціальних платформах, але й викликавши широкі дискусії в контексті технологій. Багато користувачів, які раніше не були знайомі з технічним контекстом, також вперше по-справжньому відчули чарівність AIGC.

У серпні Douyin і Volcano Engine запустили «Проект відновлення класичного зображення». Вперше широкомасштабна візуальна модель AIGC була застосована до реставрації старих фільмів. Планується відновити 100 старих фільмів Гонконгу та відновити Гонконг. Фільми Конга в пам'яті громадськості. Чіткий вигляд.

На фото зліва до ремонту, на правому після ремонту

Це означає, що велика модель поступово вийшла з «лабораторії» і потрапила в поле зору людей.

Реставрація камери Miaoya та старої плівки, відповідь на приховану велику модель

Вибух камери Miaoduck, безсумнівно, має просвітницький вплив на великомасштабну модельну доріжку, яка все ще застрягла на землі.

Насправді, з точки зору технічного шляху, можливість генерації зображень AIGC за допомогою камери Miaoya не має надто високих технічних бар’єрів і не є настільки всеосяжною, як основні програми, такі як Midjourney і Stable Diffusion.

Однак програми, такі як Midjourney, мають дуже високий поріг для початку, вимагаючи від користувачів постійного вивчення підказок (), і перешкоди споживання неминуче виникатимуть у процесі.

Камера Miaoya інкапсулює та спрощує згадані вище виснажливі кроки в операцію одним клацанням миші. Користувачам потрібно лише завантажити передню половинну фотографію та не менше 20 додаткових фотографій, і можна одним клацанням миші створювати різні фотографії відповідно до встановленого шаблону. Така фотографія, зручність використання була значно покращена.

З цього неважко зрозуміти, що якщо передові технології хочуть досягти широкомасштабного впровадження, їм потрібно не лише визначити сценарії застосування, але й вирішити минулі больові точки та труднощі відповідних сценаріїв. Це важлива причина, чому двигун вулкана врізається в сцену «реставрації старого фільму».

Реставрація старих плівок завжди була важливою темою у сфері відеозапису.За статистикою понад 130 кіноархівів із 65 країн світу, середня виживаність плівок з моменту народження становить лише 10%.

Логіка полягає в тому, що більшість ранніх фільмів зберігалися на плівці після зйомки, але плівка як носій даних є досить крихким, не лише вимагає надзвичайно високої температури та вологості в середовищі зберігання, але також легко зазнає фізичних і хімічних пошкоджень під час використання та поводження. , що призводить до вицвітання, розривів, плям, цвілі, кислоти та інших проблем.

Простий приклад: кольоровий тон багатьох ранніх фільмів сьогодні часто червонуватий або фіолетовий. Крім художнього вираження самого режисера, це скоріше прояв синдрому оцтової кислоти, спричиненого неправильним збереженням плівки – плівка вицвітає. і стає червоним.В той же час він також виділяє різкий кислий запах, який посилить погіршення середовища зберігання. Як тільки починається підкислення, його важко повністю повернути назад.

Крім того, у процесі виробництва та розповсюдження фільму фільм часто піддається повторним перевиданням, і кожен передрук спричиняє незначну втрату деталей зображення, а зі збільшенням кількості перевидань якість зображення все більше погіршуватиметься. Через різні чинники якість зображення більшості гонконгських фільмів значно поступається поточному відео високої чіткості, а перегляд для користувача навряд чи є дружнім.

З іншого боку, традиційні методи реставрації в основному покладаються на ручну роботу — плівка спочатку перетворюється в цифровий формат, а потім реставратор кадр за кадром обробляє плями цвілі та плями на екрані.

Однак фільм зазвичай містить сотні тисяч кадрів. Якщо ви повністю покладаєтеся на ручний ремонт, не тільки висока вартість, але й ефективність також незадовільна. Взявши за приклад «Зло на Сході й отруту на Заході», Вонг Кар Вай якось згадав, що реставрація тривала чотири роки, оскільки плівка була вогкою. Незважаючи на це, через несвоєчасну реставрацію дуже мало фрагментів "Evil and West Poison Ultimate Edition" все ще мають квітчасті частини.

Іншими словами, традиційні методи реставрації зображень важко виконати масштабну реставрацію. І якщо неможливо досягти масштабу, ефективність реставрації плівки в кіноархівах може не наздогнати поступового вицвітання сотень тисяч рулонів плівки з часом.

У цьому контексті велика візуальна модель AIGC стала протиотрутою для лікування «хвороби серця» старих фільмів у сфері кіно та телебачення.

Велика модель аркуша відповідей двигуна вулкана

Використання алгоритму глибокого навчання AI для відновлення зображень насправді не є новим. Ще кілька років тому на вітчизняних відеовертикальних форумах деякі відеоентузіасти використовували алгоритми глибокого навчання для покращення роздільної здатності старих фільмів, щоб покращити зовнішній вигляд зображення.

Однак, хоча алгоритми обробки зображень у минулому можуть покращити якість зображення до певної міри, їх недостатньо для підтримки серйозних сценаріїв комерційного застосування.Візьмемо на цьому етапі як приклад велику модель із відкритим кодом на основі стабільної дифузії, яка Завдання менш стосуються реставрації старих фільмів, які мають тенденцію до деградації та реставрації, і їх важко просто застосувати.

Виходячи з цього, на основі існуючої зрілої великої моделі, Volcano Engine накладає власну стару мережу відновлення плівки та виконує цілеспрямовану оптимізацію для поширених проблем відновлення, таких як розмиття, поза фокусом, портрет, колір тощо, так що велика модель може повністю сприймати та адаптуватися до старих сцен фільму.

Простий приклад, портретний кадр, який передає емоційний стан і внутрішній світ героїв, має особливе значення мовою кіно. У зв'язку з цим Volcano Engine адаптивно використовує різні портретні рішення для відео з різною якістю зображення.

Для старих фільмів, які знімалися протягом тривалого часу та мають низьку якість зображення, Volcano Engine використовує генеративний модуль відновлення портрета для виконання реконструкції обличчя високої чіткості, зберігаючи справжні характеристики портрета; для середньої та високої якості. Volcano Engine використовує ультрачіткий портретний модуль, який оптимізує чіткість рис обличчя та забезпечує максимальне відновлення та покращення текстури таких деталей обличчя, як вії, брови, волосся та текстура шкіри.

Варто зазначити, що на додаток до оптимізації для відновлення узагальнених старих фільмів, Volcano Engine цього разу розробив більш вертикальну можливість відновлення для характеристик гонконгських фільмів.

Якщо взяти як приклад сцени бойових мистецтв, то вони відрізняються від «прямих» боїв у закордонних фільмах. Як унікальний символ золотої доби гонконгських фільмів, сцени боїв більше нагадують чудові танці, підкреслюючи кожен рух і кожен стиль протистояння, яке є дуже впізнаваним .

Проте сцена бойових мистецтв – не маленьке випробування для моделі AIGC. З одного боку, швидкозмінні дії та швидкі рухи на зображенні часто викликають великі міжкадрові зміщення, що, у свою чергу, призводить до зниження точності моделі оптичного потоку, що призводить до змазування, з іншого боку, складні бойові мистецтва дії, швидше за все, спричинять інтерполяцію. Спотворення результату кадру створює артефакти, які безпосередньо впливають на візуальний досвід аудиторії.

З цією метою Volcano Engine розробив інтелектуальний алгоритм інтерполяції кадрів.Оцінюючи оптичний потік вмісту переднього та заднього кадрів, пікселі переднього та заднього кадрів перетворюються на проміжний кадр відповідно до інформації про оптичний потік, а потім інтегрований для генерації проміжного кадру та покращення частоти кадрів відео; Завдяки цілеспрямованій оптимізації навантаження на обчислення при роботі з великими рухами зменшується, тим самим покращуючи стабільність і ефект моделі.

Елементи бойових мистецтв завжди були важливою частиною гонконгських фільмів, але через відносно грубі методи зйомки та виробництва ранніх фільмів у деяких сценах бойових мистецтв часто залишаються частини дроту, що руйнує цілісність зображення. У зв'язку з цим Volcano Engine використовує алгоритми усунення шумів і подряпин для обробки дефектів зображення в пакетах, а також оптимізує алгоритм усунення подряпин для Wia, що забезпечує цілісність головних героїв на зображенні, усуваючи сліди Wia.

На фото зліва до ремонту, на правому після ремонту

За словами Чжан Сяогуана, заступника куратора Китайського кіноархіву, ця реставрація фільму також запросила головних творців фільму взяти участь у процесі реставрації, яка не лише відновлює «форму» зображення за допомогою технології, але й відновлює оригінал «Душа» фільму, що робить його «Відновити старе як старе».

Логіка полягає в тому, що реставрація плівки — це не лише спроба знайти сцену посадки за допомогою передових технологій, а й комерційна поведінка. І «ремонт старого як старого» є ключем до того, щоб класичні фільми торкалися почуттів публіки, пробуджували колективну пам’ять і таким чином підвищували комерційну цінність. Неважко отримати уявлення про прагматичний технічний погляд на вулканічний двигун.

Залітати в домівки простих людей

Хоча Інтернет-контекст колись був у пастці запеклих дебатів про технології та програми на початку початкового спалаху AIGC, Miaoya Camera та Volcano Engine довели, що вони насправді не протилежні.

З одного боку, еволюція передових технологій продовжує розширювати межі застосувань, так що широка громадськість може бачити власні численні обличчя без необхідності платити високі ціни фотостудій; нова життєва сила.

З іншого боку, передові технології часто потребують тривалого циклу від досліджень і розробок до впровадження. У минулому більш масштабні моделі, які жили в «лабораторіях» і були холодними в комерціалізації, потребували цього глибоко вкоріненого вмісту, щоб дайте їм життя Таким чином воно дійсно входить у життя людей.

Зіткнувшись із путами впровадження передових технологій, відповіді, які гравці продовжують надавати, безсумнівно, мають важливу довідкову цінність для галузі.

Камера Miaoya, яка вийшла за межі кола, змінила обличчя передових технологій у минулому та вийшла на ринок C-end із більш жвавим і жвавим настроєм завдяки сценам, близьким до звичайних користувачів і легшим у перегляді. - використовувати функції.

За збігом обставин вулканічний двигун також постійно досліджує місце приземлення. Ще у 2021 році Volcano Engine відновив класичні анімації дитячих спогадів, такі як Нежа, Калабаш і Чорний кіт Шериф, у версії 4K на основі технології покращення якості зображення; минулого року він змусив гурт Beyond заспівати на стадіоні Hung Hom Так , він знову з’явився в очах громадськості через понад 30 років.

Іншими словами, від реставрації класичної анімації до повторного показу концертів, а потім і до реставрації гонконгських фільмів, вони є як би опорними точками, які вказують на те, що вулканічний двигун прижився в області комерційних застосувань. Сьогодні Volcano Engine розвинув чудові технічні можливості та реалізував широкомасштабні практичні та масові виробничі програми у внутрішніх бізнес-напрямках і на зовнішніх ринках корпоративних послуг.

Зрештою, чи то камера Miaoya чи вулканічний двигун, вони деконструюють високотехнологічні стіни AIGC за допомогою більш різноманітних і гнучких застосувань, щоб передові технології, які живуть у технологічному контексті, перетворилися на реальність усередині охоплення користувачів.. Можна передбачити, що, спонукувана цією групою прагматичних гравців, AIGC може в майбутньому залетіти в домівки звичайних людей у більш багатій формі.