Asli: Teknologi Tencent

Dalam beberapa tahun terakhir, perusahaan induk Facebook Meta telah berinvestasi besar-besaran di Metaverse dan terus mengerjakan pengembangan perangkat keras dan perangkat lunak terkait, bahkan mungkin mengabaikan tren terbaru di bidang kecerdasan buatan untuk tujuan ini. Namun ketika kecerdasan buatan generatif meledak, Meta tampaknya melakukan reorientasi perusahaan dan mulai berupaya di bidang kecerdasan buatan. Pada hari Kamis waktu setempat di Amerika Serikat, Meta merilis dua chip yang dikembangkan sendiri untuk kecerdasan buatan, dan mengungkapkan kemajuan terbarunya dalam superkomputer kecerdasan buatan.

Pada acara virtual pada hari Kamis, Meta mendemonstrasikan infrastruktur internal yang telah dikembangkannya untuk beban kerja kecerdasan buatan, termasuk dukungan untuk menjalankan AI generatif, teknologi baru yang telah diintegrasikan perusahaan ke dalam alat desain dan pembuatan iklan yang baru diluncurkan. . Ini adalah upaya Meta untuk menunjukkan kekuatannya. Sebelumnya, perusahaan lambat dalam mengadopsi sistem perangkat keras yang ramah AI, merusak kemampuannya untuk mengimbangi pesaing seperti Google dan Microsoft.

"Membangun kemampuan perangkat keras kami sendiri memungkinkan kami untuk mengontrol setiap lapisan tumpukan, mulai dari desain pusat data hingga kerangka kerja pelatihan," kata Alexis Bjorling, wakil presiden infrastruktur Meta. "Tingkat integrasi vertikal ini diperlukan untuk memajukan penelitian AI."

Selama kira-kira satu dekade terakhir, Meta telah menghabiskan miliaran untuk merekrut ilmuwan data top dan membangun kecerdasan buatan jenis baru, termasuk kecerdasan buatan yang sekarang mendukung mesin penemuan, filter moderasi, dan rekomendasi iklan di aplikasi dan layanannya yang cerdas. Tetapi perusahaan telah berjuang untuk mengubah banyak inovasi penelitian AI yang ambisius menjadi produk, terutama dalam hal AI generatif.

Hingga 2022, Meta akan menjalankan beban kerja AI-nya dengan menggunakan CPU dan chip khusus yang dirancang untuk mempercepat algoritme AI. Tetapi Meta membatalkan chip khusus yang rencananya akan diluncurkan dalam skala besar pada tahun 2022 karena akan memerlukan desain ulang besar-besaran dari beberapa pusat datanya, dan sebagai gantinya memesan GPU Nvidia bernilai miliaran dolar.

Chip Akselerator AI

Untuk membalikkan keadaan, Meta berencana untuk mulai mengembangkan chip in-house yang lebih ambisius, yang akan diluncurkan pada tahun 2025. Chip ini dapat digunakan untuk melatih model kecerdasan buatan dan juga mendukung menjalankannya.

Meta menyebut chip baru Meta Training and Inference Accelerator, atau singkatnya MTIA, dan mengkategorikannya sebagai "keluarga chip" untuk mempercepat pelatihan AI dan beban kerja inferensi. "Inferensi" mengacu pada menjalankan model terlatih. MTIA adalah sirkuit terintegrasi khusus aplikasi (ASIC), sebuah chip yang menggabungkan sirkuit berbeda pada satu papan sirkuit, memungkinkannya diprogram untuk melakukan satu atau lebih tugas secara paralel.

Gambar 1: Chip AI yang disesuaikan untuk beban kerja AI

Bjorling melanjutkan: "Untuk mencapai efisiensi dan kinerja yang lebih baik dalam beban kerja penting kami, kami memerlukan solusi khusus yang dirancang bersama dengan model, tumpukan perangkat lunak, dan perangkat keras sistem. memberikan pengalaman yang lebih baik."

Chip kecerdasan buatan khusus semakin menjadi bahan pokok perusahaan teknologi besar. Google telah mengembangkan prosesor TPU (Tensor Processing Unit) untuk melatih sistem kecerdasan buatan generatif besar seperti PaLM-2 dan Imagen. Amazon memberi pelanggan AWS chip eksklusif untuk pelatihan (Trainium) dan inferensi (Inferentia). Microsoft dilaporkan bekerja dengan AMD pada chip kecerdasan buatan in-house yang disebut "Athena."

Meta mengatakan perusahaan mengembangkan MTIA generasi pertama (MTIA v1) pada tahun 2020 dan memproduksinya menggunakan proses 7nm. Itu dapat berkembang dari memori 128 MB menjadi 128 GB, dan dalam tolok ukur yang dirancang oleh Meta, Meta mengklaim bahwa MTIA dapat menangani model AI "kompleksitas rendah" dan "kompleksitas sedang" lebih efisien daripada GPU.

Meta mengatakan masih banyak pekerjaan yang harus dilakukan di bidang memori on-chip dan jaringan, keduanya tetap menjadi hambatan karena model AI tumbuh dalam ukuran dan perlu menyebarkan beban kerja di beberapa chip. Secara kebetulan, Meta baru-baru ini mengakuisisi tim teknologi jaringan kecerdasan buatan yang berbasis di Oslo dari chip unicorn Inggris Graphcore. Saat ini, fokus MTIA adalah inferensi yang ketat, bukan pelatihan, pada "beban kerja rekomendasi" untuk keluarga aplikasi Meta.

Tetapi Meta menekankan bahwa peningkatan MTIA telah "secara signifikan" meningkatkan efisiensi perusahaan saat menjalankan beban kerja rekomendasi, memungkinkan Meta untuk menjalankan beban kerja AI yang "lebih ditingkatkan" dan "canggih".

Superkomputer AI

Mungkin suatu hari nanti, Meta akan menyerahkan sebagian besar beban kerja AI-nya ke MTIA. Namun untuk saat ini, raksasa jejaring sosial ini mengandalkan Research SuperCluster miliknya, superkomputer yang berfokus pada penelitian.

Research SuperCluster akan memulai debutnya pada Januari 2022, dirakit oleh Penguin Computing, Nvidia, dan Pure Storage, dan telah menyelesaikan konstruksi tahap kedua. Research SuperCluster sekarang berisi total 2.000 sistem Nvidia DGX A100 dengan 16.000 GPU Nvidia A100, kata Meta.

Jadi mengapa Meta membuat superkomputer sendiri? Pertama, ada tekanan dari raksasa teknologi lainnya. Beberapa tahun yang lalu, Microsoft mengembangkan superkomputer kecerdasan buatannya yang dikembangkan bekerja sama dengan OpenAI, dan baru-baru ini mengatakan akan bekerja sama dengan Nvidia untuk membangun superkomputer kecerdasan buatan baru di cloud Azure. Sementara itu, Google juga menggembar-gemborkan superkomputer kecerdasan buatannya sendiri, yang memiliki 26.000 GPU Nvidia H100, jauh melampaui superkomputer Meta.

Gambar 2: Superkomputer Meta untuk penelitian kecerdasan buatan

Tetapi Meta mengatakan bahwa selain bersaing dengan rekan-rekan lain, Research SuperCluster memungkinkan para penelitinya untuk menggunakan contoh dunia nyata dari sistem Meta untuk melatih model. Ini berbeda dari infrastruktur AI perusahaan sebelumnya, yang hanya dapat memanfaatkan kumpulan data sumber terbuka dan tersedia untuk umum.

Seorang juru bicara Meta mengatakan: "Superkomputer Research SuperCluster AI digunakan untuk memajukan penelitian AI di beberapa bidang, termasuk AI generatif. Ini sebenarnya terkait erat dengan produktivitas penelitian AI. Menyediakan infrastruktur canggih untuk memungkinkan mereka untuk mengembangkan model dan memberi mereka platform pelatihan untuk memajukan pengembangan AI."

Pada puncaknya, Research SuperCluster dapat mencapai daya komputasi 5 exaflops, yang diklaim Meta sebagai salah satu komputer tercepat di dunia. Meta mengatakan menggunakan Research SuperCluster untuk melatih LLaMA, model bahasa yang besar. Awal tahun ini, Meta membuka akses ke peneliti dalam "rilis tertutup" model bahasa besar. Model LLaMA terbesar dilatih pada 2048 GPU A100 dan memakan waktu 21 hari, kata Meta.

"Research SuperCluster akan membantu peneliti Meta AI membangun model AI baru dan lebih baik yang dapat belajar dari triliunan contoh, bekerja di ratusan bahasa yang berbeda, mulus," kata juru bicara Meta.Menganalisis teks, gambar, dan video, mengembangkan augmented reality baru alat, dan lainnya."

Transkoder Video

Selain MTIA, Meta sedang mengembangkan chip lain untuk menangani jenis beban kerja komputasi tertentu. Dijuluki Meta Scalable Video Processor, atau singkatnya MSVP, chip tersebut adalah solusi sirkuit terpadu khusus aplikasi (ASIC) pertama dari Meta yang dikembangkan sendiri dan dirancang khusus untuk menangani tuntutan pemrosesan video-on-demand dan streaming.

Seperti yang mungkin diingat beberapa orang, Meta mulai membuat chip video sisi server khusus bertahun-tahun yang lalu, dan pada 2019 mengumumkan ASIC untuk transcoding dan inferensi video. MSVP adalah salah satu buah dari upaya ini, dan hasil dari persaingan baru di ruang streaming.

"Di Facebook saja, orang menghabiskan 50% waktunya untuk menonton video. Kami perlu Melayani berbagai perangkat di seluruh dunia (seperti perangkat seluler, laptop, TV, dll.), Misalnya, video yang diunggah ke Facebook atau Instagram ditranskode menjadi beberapa bitstream dengan format pengkodean, resolusi, dan kualitas yang berbeda, MSVP dapat diprogram dan dapat diskalakan, dan dapat dikonfigurasi untuk secara efisien mendukung transcoding berkualitas tinggi yang diperlukan untuk VOD, serta latensi rendah dan waktu pemrosesan lebih cepat yang diperlukan untuk siaran langsung."

Gambar 3: Silikon kustom Meta dirancang untuk mempercepat beban kerja video seperti streaming dan transcoding

Meta mengatakan rencana perusahaan adalah untuk akhirnya memindahkan sebagian besar beban kerja pemrosesan video "stabil dan matang" ke MSVP, menggunakan pengkodean video perangkat lunak hanya untuk beban kerja yang memerlukan penyesuaian khusus dan kualitas yang "ditingkatkan secara dramatis". Meta juga mengatakan bahwa pekerjaan MSVP terus meningkatkan kualitas video melalui metode pra-pemrosesan seperti denoising cerdas dan peningkatan gambar, serta metode pasca-pemrosesan seperti penghapusan artefak dan resolusi super.

“Di masa mendatang, MSVP akan memungkinkan kami untuk mendukung lebih banyak kasus penggunaan dan persyaratan Meta yang paling penting, termasuk video pendek, yang memungkinkan penyampaian kecerdasan buatan generatif, AR/VR, dan konten realitas virtual lainnya secara efisien,” kata Reddy dan Chen Yunqing.

Fokus AI

Jika ada satu benang merah di antara pengumuman perangkat keras terbaru, Meta berusaha mati-matian untuk mempercepat laju pengembangan AI, terutama dalam hal AI generatif.

Pada bulan Februari tahun ini, CEO Meta Mark Zuckerberg dikatakan telah menjadikan peningkatan daya komputasi AI Meta sebagai prioritas utama, mengumumkan pembentukan tim AI generatif tingkat atas baru yang, menurutnya, akan memberi perusahaan pengembangan "pengisian turbo". Meta CTO Andrew Bosworth juga mengatakan baru-baru ini bahwa AI generatif adalah area di mana dia dan Zuckerberg menghabiskan waktu paling banyak. Menurut Yang Likun, kepala ilmuwan Meta, perusahaan berencana untuk menggunakan alat kecerdasan buatan generatif untuk membuat objek dalam realitas virtual.

Pada bulan April, Zuckerberg mengatakan pada panggilan pendapatan kuartal pertama Meta: "Kami mengeksplorasi pengalaman obrolan di WhatsApp dan Messenger, alat pembuatan visual untuk posting dan iklan di Facebook dan Instagram, dan video dari waktu ke waktu. Dan pengalaman multimodal. Saya harap ini alat akan berharga bagi semua orang, dari orang biasa hingga pembuat konten hingga bisnis. Misalnya, saya memperkirakan bahwa setelah kami mendapatkan pengalaman ini, akan ada banyak orang yang tertarik dengan informasi bisnis. Minat agen AI dalam pengiriman dan dukungan pelanggan. Seiring waktu ini juga akan meluas ke pekerjaan kami di dunia virtual, di mana akan lebih mudah bagi orang untuk membuat avatar, objek, dunia, dan menggabungkan semua itu menjadi kode."

Dalam beberapa hal, Meta merasakan tekanan yang meningkat dari investor yang khawatir bahwa perusahaan tidak bergerak cukup cepat untuk menangkap sebagian dari pasar potensial yang sangat besar untuk kecerdasan buatan generatif. Saat ini perusahaan belum memiliki produk yang dapat bersaing dengan chatbot seperti Bard, Bing, atau ChatGPT. Juga tidak banyak kemajuan yang dibuat dalam pembuatan gambar, area kunci lain dari pertumbuhan eksplosif.

Jika prediksi ini benar, total ukuran pasar yang dapat dialamatkan untuk perangkat lunak AI generatif dapat mencapai $150 miliar. Bank investasi AS Goldman Sachs memperkirakan bahwa ini akan meningkatkan PDB sebesar 7%.

Bahkan jika beberapa prediksinya menjadi kenyataan, itu bisa menggantikan miliaran yang hilang dalam investasi Metaverse dalam headset augmented reality, perangkat lunak konferensi, dan teknologi Metaverse seperti Horizon Worlds. Reality Labs, divisi augmented-reality Meta, membukukan kerugian bersih sebesar $4 miliar pada kuartal terakhir dan memperkirakan kerugian operasional akan terus meningkat sepanjang tahun 2023.