Fonte: Photon Planet See More

Autor: Wen Yehao

Editor: Wang Pan

Desde o surgimento do boom do AIGC, os gigantes da tecnologia deixaram o campo um após o outro, conduzindo a pista do modelo doméstico em grande escala por todo o caminho.

No entanto, é difícil para a própria tecnologia criar valor diretamente.Treinar modelos grandes é apenas um ponto de partida, e a acalorada "batalha de cem modelos" é mais ou menos misturada com uma pitada de "fabricação repetitiva de rodas".

Para modelos grandes, a incorporação de cenários de aplicativos para atingir a comercialização madura é o ponto final – e conforme a lógica da pista de modelos grandes muda do treinamento para o pouso, os aplicativos AIGC estão surgindo gradualmente em vários campos.

Em julho, o aplicativo de foto AI Miaoya Camera explodiu fora do círculo, não apenas deslizando a tela loucamente nas plataformas sociais, mas também despertou extensas discussões no contexto da tecnologia. Muitos usuários que não estavam familiarizados com o contexto técnico antes também sentiram o charme do AIGC pela primeira vez.

Em agosto, Douyin e Volcano Engine lançaram o "Projeto de Restauração de Imagem Clássica". Pela primeira vez, o modelo visual de grande escala AIGC foi aplicado à cena de restauração de filmes antigos. Ele planeja restaurar 100 filmes antigos de Hong Kong e restaurar Hong Filmes de Kong na memória pública. Visual claro.

A imagem à esquerda é antes do reparo, a imagem à direita é após o reparo

Isso significa que o grande modelo gradualmente saiu do "laboratório" e entrou no campo de visão das pessoas.

Câmera Miaoya e restauração de filme antigo, a resposta para o grande modelo oculto

A explosão da câmera Miaoduck, sem dúvida, tem um efeito esclarecedor na pista do modelo em grande escala que ainda está preso no chão.

De fato, do ponto de vista do caminho técnico, a capacidade de geração de imagem AIGC por trás da câmera Miaoya não possui barreiras técnicas muito altas e não é tão abrangente quanto os aplicativos convencionais, como Midjourney e Stable Diffusion.

No entanto, aplicativos como o Midjourney têm um limite muito alto para começar, exigindo que os usuários explorem constantemente as palavras do prompt (), e obstáculos de consumo inevitavelmente surgirão no processo.

A Miaoya Camera encapsula e simplifica as etapas tediosas mencionadas acima em uma operação com um clique. Os usuários só precisam fazer upload de uma foto frontal de meio comprimento e não menos que 20 fotos suplementares, e podem gerar várias fotos de acordo com o modelo definido com um clique. Tal foto, a facilidade de uso foi muito melhorada.

Não é difícil ver com isso que, se as tecnologias de ponta desejam alcançar uma implementação em larga escala, elas não precisam apenas identificar os cenários de aplicação, mas também resolver os pontos problemáticos e as dificuldades anteriores dos cenários correspondentes. Esta é uma razão importante pela qual o motor do vulcão corta a cena da "restauração de filmes antigos".

A restauração de filmes antigos sempre foi um tema importante no campo do vídeo. De acordo com as estatísticas de mais de 130 arquivos de filmes de 65 países, a taxa média de sobrevivência dos filmes desde o nascimento é de apenas 10%.

A lógica por trás disso é que a maioria dos primeiros filmes foi armazenada em filme após a filmagem, mas o filme como meio de armazenamento é bastante frágil, não apenas requer temperatura e umidade extremamente altas no ambiente de armazenamento, mas também sofre facilmente danos físicos e químicos durante uso e manuseio. , resultando em desbotamento, rasgos, manchas, mofo, ácido e outros problemas.

Um exemplo simples, o tom de cor de muitos dos primeiros filmes de hoje costuma ser avermelhado ou roxo. Além da expressão artística do próprio diretor, é mais uma manifestação da síndrome do ácido acético causada pela preservação inadequada do filme - o filme desaparece e fica vermelho. Ao mesmo tempo, também liberará um forte cheiro azedo, o que agravará a deterioração do ambiente de preservação. Uma vez iniciada a acidificação, é difícil revertê-la completamente.

Além disso, no processo de produção e distribuição de filmes, o filme geralmente passa por reimpressões repetidas, e cada reimpressão traz uma perda sutil de detalhes da imagem e, à medida que o número de reimpressões aumenta, a qualidade da imagem se deteriora cada vez mais. Devido a vários fatores, o desempenho da imagem da maioria dos filmes de Hong Kong é muito inferior ao vídeo atual de alta definição, e a experiência de visualização do usuário não é amigável.

Por outro lado, as técnicas tradicionais de restauração dependem principalmente do trabalho manual - o filme é primeiro convertido em formato digital e, em seguida, o restaurador lida com manchas de mofo e manchas na tela quadro a quadro.

No entanto, um filme geralmente contém centenas de milhares de quadros. Se você confiar totalmente no reparo manual, não apenas o custo é alto, mas a eficiência também é insatisfatória. Tomando como exemplo "Mal no Oriente e Veneno no Ocidente", Wong Kar Wai certa vez lembrou que a restauração demorou quatro anos porque o filme estava úmido. Mesmo assim, devido à restauração prematura, pouquíssimos fragmentos de "Evil and West Poison Ultimate Edition" ainda possuem cenas floreadas.

Em outras palavras, as técnicas tradicionais de restauração de imagens são difíceis de realizar restauração em grande escala. E se a escala não puder ser alcançada, a eficiência da restauração de filmes pelos arquivos de filmes pode não ser capaz de acompanhar o desbotamento gradual de centenas de milhares de rolos de filme ao longo do tempo.

Nesse contexto, o grande modelo visual AIGC tornou-se um antídoto para reparar a "doença cardíaca" de filmes antigos no campo do cinema e da televisão.

Folha de respostas modelo grande do motor vulcão

O uso do algoritmo de aprendizado profundo de IA para restaurar imagens não é novidade. Já há alguns anos, em fóruns verticais de vídeo doméstico, alguns entusiastas de vídeo usavam algoritmos de aprendizado profundo para melhorar a resolução de filmes antigos para melhorar a aparência da imagem.

No entanto, embora os algoritmos de processamento de imagem no passado possam melhorar a qualidade da imagem até certo ponto, eles não são suficientes para suportar cenários de aplicativos comerciais sérios. Considere o modelo grande de código aberto baseado em difusão estável como um exemplo neste estágio, que é principalmente para geração de imagens.Tarefas são menos pertinentes a cenas de restauração de filmes antigos que tendem a ser degradadas e restauradas, e é difícil aplicá-las de forma simples.

Com base nisso, com base no modelo grande e maduro existente, o Volcano Engine sobrepõe sua própria rede de reparo de filme antigo e realiza otimização direcionada em problemas comuns de reparo, como desfoque, desfoque, retrato, cor, etc., para que o modelo grande possa perceber e se adaptar totalmente às cenas de filmes antigos.

Um exemplo simples, o retrato que transmite o estado emocional e o mundo interior dos personagens é particularmente importante na linguagem do cinema. Nesse sentido, o Volcano Engine usa de forma adaptativa diferentes soluções de retrato para vídeos com qualidade de imagem diferente.

Para filmes antigos produzidos há muito tempo e com baixa qualidade de imagem, o Volcano Engine usa um módulo de restauração de retrato baseado em geração para realizar a reconstrução facial de alta definição, mantendo as verdadeiras características do retrato; para média e alta qualidade retratos, o Volcano Engine usa O módulo de retrato ultra claro otimiza a clareza das características faciais e realiza a restauração máxima e aprimoramento de textura de detalhes faciais, como cílios, sobrancelhas, cabelo e textura da pele.

Vale ressaltar que, além da otimização para a restauração de filmes antigos generalizados, o Volcanic Engine desenvolveu uma capacidade de restauração mais subdividida verticalmente para as características dos filmes de Hong Kong desta vez.

Tomando a cena das artes marciais como exemplo, é diferente da luta "simples" nos filmes estrangeiros. Como um símbolo único em toda a era de ouro dos filmes de Hong Kong, as cenas de luta são mais como danças deslumbrantes, enfatizando cada movimento e cada estilo de confronto, que é altamente reconhecível.

No entanto, a cena das artes marciais não é um pequeno teste para o modelo AIGC. Por um lado, ações que mudam rapidamente e movimentos rápidos na imagem geralmente causam grandes deslocamentos entre quadros, o que, por sua vez, leva a uma diminuição na precisão do modelo de fluxo óptico, resultando em manchas; por outro lado, artes marciais complexas as ações são mais propensas a causar interpolação.A distorção do resultado do quadro produz artefatos, o que afeta diretamente a experiência visual do público.

Para este fim, o Volcano Engine desenvolveu um algoritmo de interpolação de quadro inteligente. Ao estimar o fluxo óptico do conteúdo dos quadros dianteiro e traseiro, os pixels dos quadros dianteiro e traseiro são convertidos no quadro intermediário de acordo com as informações do fluxo óptico, e depois integrado para gerar o quadro intermediário e aumentar a taxa de quadros do vídeo; Através da otimização direcionada, a carga de cálculo ao lidar com grandes movimentos é reduzida, melhorando assim a estabilidade e o efeito do modelo.

Os elementos das artes marciais sempre foram uma parte importante dos filmes de Hong Kong, mas devido aos métodos de filmagem e produção relativamente grosseiros dos primeiros filmes, algumas cenas de artes marciais geralmente têm pedaços de arame restantes, destruindo assim a integridade da imagem. Nesse sentido, o Volcano Engine usa algoritmos de remoção de ruído e arranhões para processar defeitos de imagem em lotes e também otimiza o algoritmo de arranhões para Wia, que garante a integridade dos personagens principais da imagem enquanto elimina os vestígios de Wia.

A imagem à esquerda é antes do reparo, a imagem à direita é após o reparo

De acordo com Zhang Xiaoguang, vice-curador do China Film Archive, esta restauração do filme também convidou os principais criadores do filme a participar do processo de restauração, que não apenas restaura a "forma" da imagem por meio da tecnologia, mas também restaura o original "alma" do filme, tornando-o "Restore the old as old".

A lógica por trás disso é que a restauração do filme não é apenas uma tentativa de encontrar uma cena de pouso com tecnologia de ponta, mas também um comportamento comercial. E "reparar o velho como velho" é a chave para filmes clássicos tocarem os sentimentos do público, despertando a memória coletiva e, assim, aumentando o valor comercial. Não é difícil vislumbrar a visão técnica pragmática do motor vulcão.

Voando para as casas das pessoas comuns

Embora o contexto da Internet tenha sido preso em debates ferozes sobre tecnologia e aplicativos no início do surto inicial do AIGC, Miaoya Camera e Volcano Engine provaram que os dois não são realmente opostos.

Por um lado, a evolução da tecnologia de ponta continua a expandir as fronteiras das aplicações, para que o grande público possa ver as suas múltiplas faces sem ter de pagar os elevados preços dos estúdios fotográficos; uma nova vitalidade.

Por outro lado, tecnologias de ponta muitas vezes precisam passar por um longo ciclo desde a pesquisa e desenvolvimento até a implementação.No passado, modelos de maior escala que viviam em "laboratórios" e eram frios na comercialização precisavam desses conteúdos profundamente enraizados para dar-lhes vida.Desta forma, ela realmente entra na vida das pessoas.

Diante dos grilhões da implementação de tecnologia de ponta, as respostas que os players continuam a entregar têm, sem dúvida, um importante valor de referência para a indústria.

A Miaoya Camera, que está fora do círculo, mudou a face da tecnologia de ponta no passado e entrou no mercado C-end com uma atitude mais viva e rápida através de cenas próximas aos usuários comuns e mais fáceis de entender. -use funções.

Coincidentemente, o motor do vulcão também está constantemente explorando a cena do pouso. Já em 2021, o Volcano Engine restaurou as animações clássicas das memórias de infância como Nezha, Calabash e Black Cat Sheriff para versões 4K baseadas na tecnologia de aprimoramento de qualidade de imagem; no ano passado, fez a banda Beyond cantar no Hung Hom Stadium Sim , reapareceu aos olhos do público depois de mais de 30 anos.

Em outras palavras, desde a restauração da animação clássica até a reexibição de shows e depois a restauração de filmes de Hong Kong, eles são como pontos de ancoragem, indicando que o motor do vulcão se enraizou no campo de aplicações comerciais. Hoje, a Volcano Engine desenvolveu excelentes capacidades técnicas e realizou aplicações práticas e de produção em larga escala em linhas de negócios internas e mercados externos de serviços corporativos.

Em última análise, seja a câmera Miaoya ou o motor do vulcão, eles estão desconstruindo as paredes de alta tecnologia do AIGC por meio de aplicações mais diversas e flexíveis, para que a tecnologia de ponta que vive no contexto tecnológico tenha evoluído para uma realidade dentro ponta dos dedos dos usuários. É previsível que, impulsionado por esse grupo de atores pragmáticos, o AIGC possa voar para as casas das pessoas comuns de uma forma mais rica no futuro.