Nguồn: Hành tinh Photon

Tác giả: Văn Diệp Hạo

Biên tập: Vương Bàn

Kể từ khi bùng nổ AIGC, những gã khổng lồ công nghệ nhạy bén đã lần lượt rời bỏ lĩnh vực này, thúc đẩy đường đua mô hình quy mô lớn trong nước suốt chặng đường.

Tuy nhiên, bản thân công nghệ khó có thể trực tiếp tạo ra giá trị, đào tạo người mẫu lớn mới chỉ là điểm khởi đầu, "trận chiến trăm mẫu" nảy lửa ít nhiều xen lẫn một chút gợi ý "sản xuất bánh xe lặp đi lặp lại".

Đối với các mô hình lớn, việc nhúng các kịch bản ứng dụng để đạt được quá trình thương mại hóa trưởng thành là điểm cuối cùng—và khi logic của quá trình theo dõi mô hình lớn chuyển từ đào tạo sang hạ cánh, các ứng dụng AIGC đang dần xuất hiện trong nhiều lĩnh vực khác nhau.

Vào tháng 7, ứng dụng ảnh AI Miaoya Camera đã bùng nổ ngoài vòng tròn, không chỉ vuốt màn hình điên cuồng trên các nền tảng xã hội mà còn khơi dậy những cuộc thảo luận rộng rãi trong lĩnh vực công nghệ. Nhiều người dùng trước đây không quen thuộc với bối cảnh kỹ thuật cũng lần đầu tiên thực sự cảm nhận được sức hấp dẫn của AIGC.

Vào tháng 8, Douyin và Volcano Engine đã khởi động "Dự án khôi phục hình ảnh cổ điển". Lần đầu tiên, mô hình hình ảnh quy mô lớn AIGC được áp dụng cho bối cảnh phục hồi của các bộ phim cũ. Nó có kế hoạch khôi phục 100 bộ phim cũ của Hồng Kông và khôi phục Hồng Phim Kong trong ký ức công chúng. Cái nhìn rõ ràng.

Hình bên trái là trước khi sửa, hình bên phải là sau khi sửa

Điều này có nghĩa là mô hình lớn đã dần bước ra khỏi "phòng thí nghiệm" và lọt vào tầm nhìn của mọi người.

Phục hồi máy ảnh Miêu Nha và phim cũ, câu trả lời cho mô hình lớn ẩn

Vụ nổ máy ảnh Miaoduck chắc chắn có tác dụng khai sáng đường đua mô hình quy mô lớn vẫn còn mắc kẹt trên mặt đất.

Trên thực tế, từ góc độ của con đường kỹ thuật, khả năng tạo hình ảnh AIGC phía sau Miaoya Camera không có rào cản kỹ thuật quá cao và nó không toàn diện như các ứng dụng chính thống như Midjourney và Stable Diffusion.

Tuy nhiên, các ứng dụng như Midjourney có ngưỡng bắt đầu rất cao, yêu cầu người dùng phải liên tục khám phá các từ gợi ý () và các trở ngại tiêu thụ chắc chắn sẽ phát sinh trong quá trình này.

Miaoya Camera gói gọn và đơn giản hóa các bước tẻ nhạt nói trên thành thao tác bằng một cú nhấp chuột, Người dùng chỉ cần tải lên một bức ảnh dài nửa mặt trước và không dưới 20 ảnh phụ là có thể tạo nhiều ảnh khác nhau theo mẫu đã đặt chỉ bằng một cú nhấp chuột. Một bức ảnh như vậy, tính dễ sử dụng đã được cải thiện rất nhiều.

Từ đó, không khó để thấy rằng nếu các công nghệ tiên tiến muốn triển khai trên quy mô lớn, chúng không chỉ cần xác định các kịch bản ứng dụng mà còn cần giải quyết các điểm đau và khó khăn trong quá khứ của các kịch bản tương ứng. Đây là một lý do quan trọng khiến động cơ núi lửa cắt cảnh "phục dựng phim cũ".

Phục chế phim cũ luôn là một chủ đề quan trọng trong lĩnh vực video, theo thống kê của hơn 130 kho lưu trữ phim từ 65 quốc gia, tỷ lệ sống sót trung bình của phim kể từ khi ra đời chỉ là 10%.

Logic đằng sau nó là hầu hết các bộ phim đầu tiên đều được lưu trữ trên phim sau khi quay, nhưng phim với tư cách là phương tiện lưu trữ khá mỏng manh, không chỉ yêu cầu nhiệt độ và độ ẩm cực cao trong môi trường lưu trữ mà còn dễ dàng bị hư hỏng vật lý và hóa học trong quá trình lưu trữ. sử dụng và xử lý. , dẫn đến phai màu, rách, ố, nấm mốc, axit và các vấn đề khác.

Một ví dụ đơn giản, tông màu của nhiều phim đời đầu hiện nay thường là đỏ hoặc tím, ngoài biểu hiện nghệ thuật của bản thân đạo diễn, thì nó còn là biểu hiện của hội chứng axit axetic do bảo quản phim không đúng cách - phim bị phai màu. và chuyển sang màu đỏ, đồng thời sẽ tiết ra mùi chua cay nồng, làm cho môi trường bảo quản ngày càng xuống cấp. Khi quá trình axit hóa bắt đầu, rất khó để đảo ngược hoàn toàn.

Ngoài ra, trong quá trình sản xuất và phân phối phim, phim thường được tái bản nhiều lần, mỗi lần tái bản sẽ làm mất đi các chi tiết hình ảnh một cách tinh vi, đồng thời khi số lần tái bản tăng lên, chất lượng hình ảnh sẽ ngày càng giảm sút. Do nhiều yếu tố khác nhau, hiệu suất hình ảnh của hầu hết các bộ phim Hồng Kông kém hơn nhiều so với video độ nét cao hiện tại và trải nghiệm xem của người dùng hầu như không thân thiện.

Mặt khác, các kỹ thuật phục hồi truyền thống chủ yếu dựa vào công việc thủ công—đầu tiên phim được chuyển đổi sang định dạng kỹ thuật số, sau đó người phục chế xử lý các vết mốc và vết ố trên màn hình theo từng khung hình.

Tuy nhiên, một bộ phim thường chứa hàng trăm nghìn khung hình. Nếu bạn hoàn toàn dựa vào sửa chữa thủ công, không chỉ chi phí cao mà hiệu quả cũng không đạt yêu cầu. Lấy "Ác ở phía đông và độc ở phía tây" làm ví dụ, Vương Gia Vệ từng nhớ lại rằng việc trùng tu mất bốn năm vì bộ phim bị ẩm. Mặc dù vậy, do không được trùng tu kịp thời nên rất ít mảnh vỡ của “Tà ác Tây độc bản” còn sót lại những cảnh hoa mỹ.

Nói cách khác, kỹ thuật khôi phục ảnh truyền thống khó thực hiện khôi phục quy mô lớn. Và nếu không đạt được quy mô, hiệu quả phục hồi phim của kho lưu trữ phim có thể không bắt kịp với sự phai nhạt dần của hàng trăm nghìn cuộn phim theo thời gian.

Trong bối cảnh đó, AIGC visual large model đã trở thành liều thuốc giải “căn bệnh tim mạch” cũ kỹ trong lĩnh vực điện ảnh và truyền hình.

Bảng trả lời mô hình lớn về động cơ núi lửa

Sử dụng thuật toán học sâu AI để khôi phục hình ảnh thực sự không có gì mới. Ngay từ vài năm trước, trên các diễn đàn dọc video trong nước, một số người đam mê video đã sử dụng thuật toán học sâu để cải thiện độ phân giải của các bộ phim cũ nhằm cải thiện giao diện của hình ảnh.

Tuy nhiên, mặc dù các thuật toán xử lý hình ảnh trong quá khứ có thể cải thiện chất lượng hình ảnh ở một mức độ nhất định, nhưng chúng không đủ để hỗ trợ các tình huống ứng dụng thương mại nghiêm túc. chủ yếu để tạo ảnh.Các công việc ít phù hợp với các cảnh phục hồi phim cũ có xu hướng bị xuống cấp và phục chế, khó áp dụng một cách đơn giản.

Dựa trên điều này, trên cơ sở của mô hình lớn đã trưởng thành hiện có, Volcano Engine áp dụng mạng sửa chữa phim cũ của riêng mình và thực hiện tối ưu hóa có mục tiêu đối với các vấn đề sửa chữa phổ biến như mờ, mất nét, chân dung, màu sắc, v.v., để mô hình lớn có thể cảm nhận đầy đủ và Thích ứng với các cảnh phim cũ.

Một ví dụ đơn giản, cảnh quay chân dung chuyển tải trạng thái cảm xúc và thế giới nội tâm của nhân vật có ý nghĩa đặc biệt quan trọng trong ngôn ngữ điện ảnh. Về vấn đề này, Volcano Engine sử dụng thích ứng các giải pháp chân dung khác nhau cho các video có chất lượng hình ảnh khác nhau.

Đối với những bộ phim cũ đã được sản xuất trong một thời gian dài và có chất lượng hình ảnh kém, Volcano Engine sử dụng mô-đun khôi phục chân dung dựa trên tổng quát để thực hiện tái tạo khuôn mặt với độ nét cao trong khi vẫn duy trì các đặc điểm chân thực của bức chân dung; cho chất lượng trung bình và cao chân dung, Công cụ Volcano sử dụng Mô-đun chân dung siêu rõ nét tối ưu hóa độ rõ nét của các đặc điểm trên khuôn mặt, đồng thời nhận ra khả năng phục hồi tối đa và nâng cao kết cấu của các chi tiết trên khuôn mặt như lông mi, lông mày, tóc và kết cấu da.

Điều đáng nói là, bên cạnh khả năng tối ưu hóa phục hồi tổng thể các phim cũ, Volcano Engine đã phát triển khả năng phục hồi chia nhỏ theo chiều dọc hơn cho các đặc điểm của phim Hồng Kông lần này.

Lấy cảnh võ thuật làm ví dụ, khác hẳn với những màn đánh đấm "thẳng thắn" trong phim nước ngoài, là biểu tượng độc đáo xuyên suốt thời kỳ hoàng kim của điện ảnh Hồng Kông, những cảnh đánh nhau giống như những vũ điệu lộng lẫy, tôn lên từng động tác, từng phong cách của đối đầu, rất dễ nhận biết.

Tuy nhiên, bối cảnh võ thuật là phép thử không hề nhỏ đối với mô hình AIGC. Một mặt, các hành động thay đổi nhanh chóng và chuyển động nhanh trong ảnh thường gây ra sự dịch chuyển lớn giữa các khung hình, do đó dẫn đến giảm độ chính xác của mô hình dòng quang học, dẫn đến hiện tượng nhòe; mặt khác, võ thuật phức tạp các hành động có nhiều khả năng gây ra nội suy. Sự biến dạng của kết quả khung hình tạo ra các hiện vật, ảnh hưởng trực tiếp đến trải nghiệm hình ảnh của khán giả.

Để đạt được điều này, Volcano Engine đã phát triển một thuật toán nội suy khung thông minh. Bằng cách ước tính luồng quang của nội dung của khung trước và khung sau, các pixel của khung trước và khung sau được chuyển đổi thành khung trung gian theo thông tin luồng quang, và sau đó được tích hợp để tạo khung hình trung gian và cải thiện tốc độ khung hình video; Thông qua tối ưu hóa có mục tiêu, gánh nặng tính toán khi xử lý các chuyển động lớn được giảm bớt, nhờ đó cải thiện tính ổn định và hiệu quả của mô hình.

Yếu tố võ thuật luôn là một phần quan trọng trong phim Hồng Kông, nhưng do phương pháp quay và sản xuất phim thời kỳ đầu còn tương đối thô sơ nên một số cảnh võ thuật thường còn sót lại một số đoạn dây, do đó làm mất đi tính nguyên vẹn của hình ảnh. Về vấn đề này, Volcano Engine sử dụng thuật toán khử nhiễu và xóa vết xước để xử lý các lỗi hình ảnh theo lô, đồng thời tối ưu hóa thuật toán khử nhiễu cho Wia, đảm bảo tính toàn vẹn của các ký tự chính trong ảnh đồng thời loại bỏ dấu vết của Wia.

Hình bên trái là trước khi sửa, hình bên phải là sau khi sửa

Theo Zhang Xiaoguang, phó giám đốc của China Film Archive, lần phục hồi phim này cũng mời những người sáng tạo chính của bộ phim tham gia vào quá trình phục hồi, không chỉ khôi phục "hình thức" của hình ảnh thông qua công nghệ mà còn khôi phục nguyên bản. "linh hồn" của bộ phim, khiến nó trở thành "Danh y như cũ".

Logic đằng sau đó là việc phục hồi phim không chỉ là nỗ lực tìm kiếm cảnh hạ cánh bằng công nghệ tiên tiến, mà còn là một hành vi thương mại. Và "sửa cổ như cũ" chính là chìa khóa để những bộ phim kinh điển chạm đến cảm xúc của công chúng, đánh thức ký ức tập thể, từ đó nâng cao giá trị thương mại. Không khó để có được cái nhìn thoáng qua về quan điểm kỹ thuật thực dụng của động cơ núi lửa.

Bay vào nhà của những người bình thường

Mặc dù bối cảnh Internet từng bị mắc kẹt trong những cuộc tranh luận gay gắt về công nghệ và ứng dụng khi AIGC mới bắt đầu bùng phát, nhưng Miaoya Camera và Volcano Engine đã chứng minh rằng cả hai thực chất không hề đối lập nhau.

Một mặt, sự phát triển của công nghệ tiên tiến tiếp tục mở rộng ranh giới của các ứng dụng, để công chúng có thể nhìn thấy nhiều khuôn mặt của chính họ mà không phải trả giá cao cho các studio ảnh; sức sống mới.

Mặt khác, các công nghệ tiên tiến thường phải trải qua một chu kỳ dài từ nghiên cứu và phát triển đến triển khai, trước đây, các mô hình quy mô lớn hơn sống trong "phòng thí nghiệm" và bị nguội lạnh trong quá trình thương mại hóa cần những nội dung đã ăn sâu này để cho họ cuộc sống Bằng cách này, nó thực sự đi vào cuộc sống của mọi người.

Đối mặt với những xiềng xích của việc triển khai công nghệ tiên tiến, câu trả lời mà người chơi tiếp tục bàn giao chắc chắn có giá trị tham khảo quan trọng cho ngành.

Máy ảnh Miaoya, vượt ra ngoài vòng tròn, đã thay đổi bộ mặt của công nghệ tiên tiến trong quá khứ và thâm nhập thị trường C-end với thái độ sống động và nhanh nhẹn hơn thông qua những cảnh gần gũi với người dùng bình thường và dễ sử dụng hơn -sử dụng các chức năng.

Thật trùng hợp, động cơ núi lửa cũng liên tục khám phá hiện trường hạ cánh. Ngay từ năm 2021, Volcano Engine đã khôi phục các hoạt hình kinh điển trong ký ức tuổi thơ như Nezha, Calabash và Black Cat Sheriff thành phiên bản 4K dựa trên công nghệ nâng cao chất lượng hình ảnh, năm ngoái, nó đã khiến ban nhạc Beyond hát tại sân vận động Hung Hom. , nó xuất hiện trở lại trước mắt công chúng sau hơn 30 năm.

Nói cách khác, từ khôi phục hoạt hình cổ điển, đến chiếu lại các buổi hòa nhạc, rồi khôi phục phim Hồng Kông, chúng giống như những điểm neo, cho thấy động cơ núi lửa đã bén rễ trong lĩnh vực ứng dụng thương mại. Ngày nay, Volcano Engine đã phát triển các khả năng kỹ thuật tuyệt vời và đã hiện thực hóa các ứng dụng sản xuất quy mô lớn và quy mô lớn trong các ngành kinh doanh nội bộ và thị trường dịch vụ doanh nghiệp bên ngoài.

Trong phân tích cuối cùng, cho dù đó là máy ảnh Miaoya hay động cơ núi lửa, họ đang phá vỡ các bức tường công nghệ cao của AIGC thông qua các ứng dụng đa dạng và linh hoạt hơn, để công nghệ tiên tiến sống trong bối cảnh công nghệ đã phát triển thành hiện thực trong tầm với của người dùng. . Có thể thấy trước rằng, được thúc đẩy bởi nhóm người chơi thực dụng này, AIGC có thể bay vào nhà của những người bình thường dưới hình thức giàu có hơn trong tương lai.