出典: フォトンプラネット

著者: ウェン・イェハオ

編集者: ワン・パン

AIGCブームの出現以来、鋭敏なテクノロジーの巨人が次々とこの分野から撤退し、国内の大型模型路線を牽引してきました。

しかし、技術そのものが直接価値を生むことは難しく、大型モデルの育成はあくまで出発点であり、白熱する「100モデルバトル」には多かれ少なかれ「ホイールの繰り返し製造」の気配が混じっている。

大規模モデルの場合、成熟した商用化を達成するためのアプリケーション シナリオの埋め込みが最終点です。大規模モデル トラックのロジックがトレーニングからランディングに移行するにつれて、AIGC アプリケーションがさまざまな分野で徐々に登場しています。

7 月には、AI 写真アプリケーション Miaoya Camera が爆発的に登場し、ソーシャル プラットフォームで画面を狂ったようにスワイプしただけでなく、テクノロジーの文脈で広範な議論を引き起こしました。これまで技術的な背景に詳しくなかった多くのユーザーも、初めて AIGC の魅力を実感しました。

8月、DouyinとVolcano Engineは「クラシックイメージ修復プロジェクト」を立ち上げ、初めてAIGCの大規模ビジュアルモデルを古い映画の修復現場に適用し、100本の古い香港映画を修復し、香港を修復する計画だ人々の記憶に残るコング映画。鮮明な外観。

※左が修理前、右が修理後です※

これは、大きな模型が徐々に「実験室」から飛び出し、人々の視界に入ってきたことを意味します。

ミャオヤカメラと古いフィルム修復、隠された大型モデルへの答え

ミャオダックカメラの爆発が、今も地面に張り付いた大型模型の線路に啓蒙効果をもたらしたのは間違いない。

実際、技術的なパスの観点から見ると、Miaoya Camera の背後にある AIGC 画像生成機能にはそれほど高い技術的障壁はなく、Midjourney や Stable Diffusion などの主流のアプリケーションほど包括的ではありません。

ただし、Midjourney のようなアプリケーションは開始の敷居が非常に高く、ユーザーは常にプロンプトの単語を探索する必要があり ()、その過程で消費の障害が必然的に発生します。

Miaoya Camera は、上記の面倒な手順をワンクリック操作にカプセル化して簡素化しており、ユーザーは前半分の写真と 20 枚以上の補足写真をアップロードするだけで、設定されたテンプレートに従ってワンクリックでさまざまな写真を生成できます。そんな写真ですが、使いやすさが大幅に向上しました。

このことから、最先端のテクノロジーが大規模な実装を実現したい場合、アプリケーション シナリオを特定するだけでなく、対応するシナリオの過去の問題点や困難を解決する必要があることがわかります。これが、火山エンジンが「古い映画の修復」シーンに切り込む重要な理由です。

ビデオ分野では古いフィルムの修復が常に重要なテーマとなっているが、65カ国の130以上のフィルムアーカイブの統計によると、誕生以来のフィルムの平均残存率はわずか10％にすぎない。

その背後にある論理は、初期のフィルムのほとんどは撮影後にフィルムに保存されていたが、記録媒体としてのフィルムは非常に壊れやすく、保管環境に非常に高い温度と湿度を必要とするだけでなく、保管中に物理的および化学的損傷を受けやすいというものです。使用および取り扱いにより、色あせ、破れ、汚れ、カビ、酸、その他の問題が発生します。

簡単な例を挙げると、今日の初期の映画の色調は赤みがかった色や紫色であることが多く、監督自身の芸術的表現とは別に、映画フィルムの不適切な保存によって引き起こされる酢酸症候群の症状の現れです。赤くなり、同時にツンとした酸っぱい臭いが発生し、保存環境の悪化を促進します。一度酸性化が始まると、完全に元に戻すのは困難です。

さらに、フィルムの制作と配給の過程で、フィルムは何度も再版されることが多く、再版のたびに画像の細部が微妙に失われ、再版の回数が増えるにつれて画質はますます劣化していきます。さまざまな要因により、ほとんどの香港映画の画質は現在の高解像度ビデオよりもはるかに劣っており、ユーザーの視聴体験は決してフレンドリーとは言えません。

一方、伝統的な修復技術は主に手作業に依存しており、まずフィルムをデジタル形式に変換し、次に修復者がスクリーン上のカビの斑点や汚れをフレームごとに処理します。

ただし、ムービーには通常、数十万のフレームが含まれています。手作業に全面的に依存すると、コストがかかるだけでなく効率も悪くなります。 『東は悪、西は毒』を例に挙げると、ウォン・カーウァイはフィルムが湿っていたため修復に4年かかったと回想した。それでも、時期尚早の修復により、『悪と西の毒 アルティメット・エディション』には花のシーンが残っている断片はほとんどありません。

つまり、従来の画像修復技術では大規模な修復が困難でした。そして、規模を達成できない場合、フィルムアーカイブによるフィルム修復の効率は、時間の経過とともに徐々に進む数十万ロールのフィルムに追いつけない可能性があります。

この文脈において、AIGC ビジュアル ラージ モデルは、映画やテレビの分野における古い映画の「心臓病」を修復する解毒剤となっています。

火山エンジンの大きな模範解答用紙

AI ディープラーニング アルゴリズムを使用して画像を復元することは、実際には新しいことではありません。すでに数年前、国内のビデオ垂直フォーラムでは、一部のビデオ愛好家がディープラーニング アルゴリズムを使用して古い映画の解像度を向上させ、画像の見た目と雰囲気を改善していました。

しかし、これまでの画像処理アルゴリズムは画質をある程度向上させることはできても、本格的な商用アプリケーションのシナリオをサポートするには不十分であり、現段階では安定拡散に基づくオープンソースの大規模モデルを例に挙げます。主に画像生成のためのタスクですが、劣化して復元される傾向にある古いフィルムの復元シーンにはあまり関係がなく、単純に適用するのは困難です。

これに基づいて、既存の成熟した大型モデルに基づいて、Volcano Engine は独自の古いフィルム修復ネットワークを重ね合わせ、ぼやけ、焦点のぼけ、ポートレート、色などの一般的な修復問題に対して的を絞った最適化を実行します。そのため、大きなモデルが古い映画のシーンを完全に認識して適応できるようになります。

簡単な例として、登場人物の感情状態や内面を伝えるポートレートショットは、映画の言語において特に重要です。この点において、Volcano Engine は、画質の異なるビデオに対して異なるポートレート ソリューションを適応的に使用します。

長期間にわたって制作され画質が低い古い映画の場合、Volcano Engine は生成ベースのポートレート復元モジュールを使用して、ポートレートの真の特徴を維持しながら高解像度の顔の再構成を実行します。中品質および高品質の場合ボルケーノ エンジンが使用するポートレート 超鮮明なポートレート モジュールは、顔の特徴の鮮明さを最適化し、まつげ、眉毛、髪、肌の質感などの顔の細部の最大限の復元と質感の向上を実現します。

特筆すべきは、今回のボルケーノ エンジンでは、一般的な古い映画の復元に最適化したことに加え、香港映画の特徴に合わせてより垂直に細分化した復元機能を開発したことです。

武術シーンを例に挙げると、海外映画のような「正攻法」の格闘とは異なり、香港映画の黄金期を貫く独特の象徴として、格闘シーンは華麗なダンスのようなもので、一挙手一投足が強調されている。対立は非常によく知られています。

しかし、格闘技シーンは AIGC モデルにとって小さな試練ではありません。画面内での急激に変化するアクションや素早い動きでは、フレーム間のずれが大きくなり、オプティカル フロー モデルの精度が低下してスミアが発生することが多い一方で、複雑な格闘技などの場合には、フレーム結果の歪みによりアーティファクトが生じ、視聴者の視覚体験に直接影響を与えます。

この目的のために、Volcano Engine はインテリジェントなフレーム補間アルゴリズムを開発し、前フレームと後フレームのコンテンツのオプティカル フローを推定することで、前フレームと後フレームのピクセルをオプティカル フロー情報に従って中間フレームに変換し、中間フレームを生成し、ビデオ フレーム レートを向上させるために統合されます; ターゲットを絞った最適化により、大きな動きに対処する際の計算負荷が軽減され、それによってモデルの安定性と効果が向上します。

武術の要素は常に香港映画の重要な部分を占めてきましたが、初期の映画の比較的粗雑な撮影と制作方法により、一部の武術シーンにはワイヤーの一部が残り、画面の完全性が損なわれることがよくあります。この点において、Volcano Engine はノイズ除去およびスクラッチ除去アルゴリズムを使用して画像欠陥をバッチ処理し、さらに Wia 用のスクラッチ除去アルゴリズムを最適化します。ウィア。

※左が修理前、右が修理後です※

中国映画アーカイブの副学芸員、張暁光氏によると、今回のフィルム修復では、映画の主要製作者らも修復プロセスに参加するよう招待されており、テクノロジーを通じて画像の「形」を復元するだけでなく、オリジナルの状態も復元するという。この映画の「魂」は、「古いものを古いものとして復元する」というものです。

その背後にある論理は、フィルム修復は最先端の技術を使って着陸シーンを見つける試みであるだけでなく、商業的行為でもあるということです。そして、「古いものを古いものとして修復する」ことが、クラシック映画が大衆の感情を揺さぶり、集団の記憶を呼び起こし、それによって商業的価値を高める鍵となるのです。火山エンジンの実用的な技術的見解を垣間見ることは難しくありません。

一般家庭に飛び込む

AIGC の発生当初、インターネットの状況はテクノロジーとアプリケーションに関する激しい議論に巻き込まれていましたが、Miaoya Camera と Volcano Engine は、この 2 つが実際には対立していないことを証明しました。

一方で、最先端技術の進化により応用範囲が広がり、一般の人が高額な写真館料金を支払わなくても自分の複数の顔を確認できるようになり、新たな活力が生まれています。

一方で、最先端の技術は研究開発から実用化まで長いサイクルを経る必要があり、かつては「実験室」に住み、製品化が冷たかった大規模モデルほど、こうした根深い内容が必要でした。このようにして、それは人々の生活に深く浸透します。

最先端テクノロジーの導入という足かせに直面して、プレイヤーが手渡し続ける答えは、間違いなく業界にとって重要な参考価値を持ちます。

輪から外れたミャオヤカメラは、これまでの最先端技術の様相を一変させ、一般ユーザーに近いシーン、より使いやすいシーンを通じて、より活発で活発な姿勢でCエンド市場に参入しました。 -関数を使用します。

偶然にも、火山エンジンも着陸現場を常に探索しています。早くも 2021 年には、火山エンジンは、画質向上技術に基づいて、ネザ、カラバッシュ、黒猫保安官などの子供時代の思い出の古典的なアニメーションを 4K バージョンに復元し、昨年はビヨンドのバンドにホンハムスタジアムで歌わせました。 、30年以上の時を経て再び世間の注目を集めました。

つまり、古典アニメーションの修復からコンサートの再上映、そして香港映画の修復へとアンカーポイントのようなものとなり、火山エンジンが商業利用の分野に根付いてきたことを示している。現在、Volcano Engine は優れた技術能力を開発し、社内のビジネスラインや社外のエンタープライズ サービス市場で大規模な実践および大量生産アプリケーションを実現しています。

最終的には、Miaoya カメラであれ、火山エンジンであれ、彼らはより多様で柔軟なアプリケーションを通じて AIGC のハイテクの壁を解体しており、その結果、テクノロジーの文脈の中に存在する最先端のテクノロジーが内部の現実へと進化しています。ユーザーの到達範囲。この現実的なプレーヤーのグループによって推進され、AIGC が将来、より豊かな形で一般の人々の家庭に飛び込む可能性があることが予見できます。