Tác giả: Quách Hiểu Kinh

Nguồn: Tin tức Tencent

Năm 2017, một bài báo mang tính bước ngoặt - "Attention is All You Need" đã được xuất bản, lần đầu tiên giới thiệu mô hình Transformer dựa trên cơ chế tự chú ý. Kiến trúc sáng tạo này đã thoát khỏi những hạn chế của RNN và CNN truyền thống. Thông qua cơ chế chú ý xử lý song song, vấn đề phụ thuộc vào khoảng cách xa được khắc phục một cách hiệu quả và tốc độ xử lý dữ liệu theo trình tự được cải thiện đáng kể. Cấu trúc mã hóa-giải mã và cơ chế chú ý nhiều đầu của Transformer đã gây bão trong lĩnh vực trí tuệ nhân tạo, ChatGPT phổ biến được xây dựng dựa trên kiến trúc này.

Hãy tưởng tượng mô hình Transformer giống như bộ não của bạn đang nói chuyện với một người bạn, chú ý đến từng từ người kia nói cùng lúc và hiểu được mối liên hệ giữa những từ đó. Nó mang lại cho máy tính khả năng hiểu ngôn ngữ giống như con người. Trước đó, RNN là phương pháp xử lý ngôn ngữ phổ biến nhưng tốc độ xử lý thông tin của nó rất chậm, giống như một máy nghe băng kiểu cũ phải phát từng chữ. Model Transformer giống như một DJ hiệu quả, có thể điều khiển nhiều bản nhạc cùng lúc và nhanh chóng nắm bắt được những thông tin quan trọng.

Sự xuất hiện của mô hình Transformer đã cải thiện đáng kể khả năng xử lý ngôn ngữ của máy tính, giúp các công việc như dịch máy, nhận dạng giọng nói, tóm tắt văn bản trở nên hiệu quả và chính xác hơn, đây là bước nhảy vọt của toàn ngành.

Sự đổi mới này là kết quả của nỗ lực chung của tám nhà khoa học AI từng làm việc tại Google. Mục tiêu ban đầu của họ rất đơn giản: cải thiện dịch vụ dịch máy của Google. Họ muốn máy móc có thể hiểu và đọc đầy đủ toàn bộ câu, thay vì dịch chúng từng chữ một cách riêng biệt. Khái niệm này đã trở thành điểm khởi đầu của kiến trúc “Transformer”—cơ chế “tự chú ý”. Trên cơ sở đó, tám tác giả này đã sử dụng kiến thức chuyên môn tương ứng của mình và xuất bản bài báo "Tất cả những gì bạn cần là sự chú ý" vào tháng 12 năm 2017, mô tả chi tiết về kiến trúc Transformer và mở ra một chương mới về AI tổng hợp.

Trong thế giới AI sáng tạo, Luật mở rộng quy mô là nguyên tắc cốt lõi. Nói tóm lại, khi quy mô của mô hình Transformer tăng lên, hiệu suất của nó cũng tăng lên, nhưng điều này cũng có nghĩa là cần có nhiều tài nguyên điện toán mạnh hơn để hỗ trợ các mô hình lớn hơn và mạng sâu hơn cũng như cần có các dịch vụ điện toán hiệu năng cao. nhân vật chủ chốt trong làn sóng AI này.

Tại hội nghị GTC năm nay, Jen-Hsun Huang của Nvidia đã mời bảy tác giả của Transformer (Niki Parmar tạm thời không thể tham dự vì lý do nào đó) tham gia thảo luận bàn tròn theo nghi thức. thảo luận về công việc của họ trước công chúng.

Họ cũng đưa ra một số điểm ấn tượng trong cuộc trò chuyện:

• Thế giới cần thứ gì đó tốt hơn Transformer, và tôi nghĩ tất cả chúng ta ở đây đều hy vọng rằng nó sẽ được thay thế bằng thứ gì đó sẽ đưa chúng ta đến một đỉnh cao hiệu suất mới.
• Mục tiêu ban đầu của chúng tôi đã không thành công. Mục đích ban đầu của chúng tôi khi khởi động Transformer là mô phỏng quá trình tiến hóa của Token. Nó không chỉ là một quá trình tạo tuyến tính mà còn là sự phát triển từng bước của văn bản hoặc mã.
• Các bài toán đơn giản như 2+2, có thể sử dụng hàng nghìn tỷ tài nguyên tham số của các mô hình lớn. Tôi nghĩ điện toán thích ứng là một trong những điều tiếp theo phải xảy ra, nơi chúng ta biết nên sử dụng bao nhiêu tài nguyên máy tính cho một vấn đề cụ thể.
• Tôi cho rằng mô hình hiện tại quá bình dân và quy mô quá nhỏ, giá khoảng 1 triệu USD rẻ hơn 100 lần so với việc ra ngoài mua sách bìa mềm.

Sau đây là nội dung thực tế:

Jensen Huang: Trong sáu mươi năm qua, công nghệ máy tính dường như không trải qua những thay đổi cơ bản, ít nhất là từ thời điểm tôi sinh ra. Các hệ thống máy tính mà chúng ta hiện đang sử dụng, dù là đa tác vụ, tách biệt phần cứng và phần mềm, khả năng tương thích phần mềm, khả năng sao lưu dữ liệu và kỹ năng lập trình của các kỹ sư phần mềm, về cơ bản đều dựa trên các nguyên tắc thiết kế của IBM 360 - Bộ xử lý trung tâm, Bio. hệ thống con, đa nhiệm, phần cứng và phần mềm, khả năng tương thích hệ thống phần mềm, v.v.

Tôi không nghĩ điện toán hiện đại đã thay đổi căn bản kể từ năm 1964. Mặc dù trong những năm 1980 và 1990, máy tính đã trải qua một sự chuyển đổi lớn thành dạng mà chúng ta quen thuộc ngày nay. Nhưng theo thời gian, chi phí cận biên của máy tính tiếp tục giảm, giảm giá thành mười lần trong mỗi mười năm, một nghìn lần trong mười lăm năm và mười nghìn lần trong hai mươi năm. Trong cuộc cách mạng máy tính này, chi phí giảm mạnh đến mức trong hai thập kỷ, giá thành máy tính đã giảm gần 10.000 lần, sự thay đổi này đã mang lại sức mạnh to lớn cho xã hội.

Hãy thử tưởng tượng nếu tất cả những món đồ đắt tiền trong cuộc đời bạn giảm xuống còn 1/10 nghìn giá trị ban đầu, chẳng hạn chiếc ô tô bạn mua với giá 200.000 USD cách đây 20 năm giờ chỉ còn 1 USD. Bạn có tưởng tượng được sự thay đổi không? ? Tuy nhiên, việc giảm chi phí máy tính không xảy ra trong một sớm một chiều mà dần dần đạt đến điểm tới hạn, sau đó xu hướng giảm chi phí đột ngột dừng lại, tiếp tục cải thiện một chút mỗi năm nhưng tốc độ thay đổi lại bị đình trệ.

Chúng tôi bắt đầu khám phá điện toán tăng tốc, nhưng việc sử dụng điện toán tăng tốc không phải là điều dễ dàng, bạn cần phải thiết kế nó từ đầu từng chút một. Trước đây, chúng ta có thể tuân theo các bước đã được thiết lập để giải quyết vấn đề từng bước một, nhưng bây giờ chúng ta cần thiết kế lại các bước đó. Đây là một lĩnh vực khoa học hoàn toàn mới, cải tổ các quy tắc trước đó thành các thuật toán song song.

Chúng tôi nhận ra điều này và tin rằng nếu chúng tôi có thể tăng tốc dù chỉ 1% mã và tiết kiệm 99% thời gian chạy thì sẽ có những ứng dụng được hưởng lợi từ điều đó. Mục tiêu của chúng tôi là biến những điều không thể thành có thể, hoặc biến những điều có thể thành không thể, hoặc làm cho những điều đã có thể trở nên hiệu quả hơn.

Nhìn lại lịch sử của công ty, chúng tôi thấy khả năng tăng tốc nhiều ứng dụng của mình. Ban đầu, chúng tôi đã đạt được sự tăng tốc đáng kể trong lĩnh vực trò chơi, hiệu quả đến mức mọi người lầm tưởng chúng tôi là một công ty trò chơi. Nhưng trên thực tế, mục tiêu của chúng tôi còn hơn thế nữa, bởi vì thị trường này rất lớn và đủ lớn để thúc đẩy những tiến bộ công nghệ đáng kinh ngạc. Tình huống này không phổ biến nhưng chúng tôi đã tìm thấy một trường hợp đặc biệt.

Nói ngắn gọn lại một câu chuyện dài, vào năm 2012, AlexNet đã châm ngòi cho một tia lửa, đó là vụ va chạm đầu tiên giữa trí tuệ nhân tạo và GPU NVIDIA. Điều này đánh dấu sự khởi đầu của cuộc hành trình tuyệt vời của chúng tôi trong lĩnh vực này. Vài năm sau, chúng tôi phát hiện ra một kịch bản ứng dụng hoàn hảo đã đặt nền móng cho chúng tôi ngày nay.

Nói tóm lại, những thành tựu này đặt nền tảng cho sự phát triển của trí tuệ nhân tạo tổng hợp. AI sáng tạo không chỉ có thể nhận dạng hình ảnh mà còn chuyển đổi văn bản thành hình ảnh và thậm chí tạo ra nội dung hoàn toàn mới. Bây giờ chúng tôi có đủ khả năng kỹ thuật để hiểu pixel, xác định chúng và hiểu ý nghĩa đằng sau chúng. Thông qua ý nghĩa đằng sau những điều này, chúng ta có thể tạo ra nội dung mới. Khả năng trí tuệ nhân tạo hiểu được ý nghĩa đằng sau dữ liệu là một sự thay đổi lớn.

Chúng ta có lý do để tin rằng đây là sự khởi đầu của một cuộc cách mạng công nghiệp mới. Trong cuộc cách mạng này, chúng tôi đang tạo ra một điều gì đó chưa từng được thực hiện trước đây. Ví dụ, trong cuộc cách mạng công nghiệp trước đây, nước là nguồn năng lượng và nước đi vào các thiết bị chúng ta tạo ra, và máy phát điện bắt đầu hoạt động, nước vào và điện ra, giống như có phép thuật.

Generative AI là một "phần mềm" hoàn toàn mới có thể tạo ra phần mềm và nó dựa vào nỗ lực chung của nhiều nhà khoa học. Hãy tưởng tượng bạn đưa cho AI những nguyên liệu thô - dữ liệu, và chúng bước vào một "tòa nhà" - một cỗ máy mà chúng ta gọi là GPU, và nó có thể tạo ra những kết quả kỳ diệu. Nó đang định hình lại mọi thứ và chúng ta đang chứng kiến sự ra đời của “các nhà máy AI”.

Sự thay đổi này có thể gọi là một cuộc cách mạng công nghiệp mới. Trước đây, chúng ta chưa bao giờ thực sự trải qua sự thay đổi như thế này, nhưng giờ đây nó đang dần diễn ra trước mắt chúng ta. Đừng bỏ lỡ mười năm tới, vì trong mười năm này chúng ta sẽ tạo ra năng suất rất lớn. Con lắc thời gian đã bắt đầu chuyển động và các nhà nghiên cứu của chúng tôi đã bắt đầu hành động.

Hôm nay, chúng tôi đã mời những người tạo ra Tansformer thảo luận về việc AI có thể tạo ra sẽ đưa chúng ta đến đâu trong tương lai.

họ đang:

Ashish Vaswani: Tham gia nhóm Google Brain vào năm 2016. Vào tháng 4 năm 2022, anh đồng sáng lập Adept AI với Niki Parmar, rời công ty vào tháng 12 cùng năm và đồng sáng lập một công ty khởi nghiệp trí tuệ nhân tạo khác, Essential AI.

Niki Parmar: đã làm việc tại Google Brain trong bốn năm trước khi đồng sáng lập Adept AI và Essential AI với Ashish Vaswani.

Jakob Uszkoreit: Đã làm việc tại Google từ năm 2008 đến năm 2021. Ông rời Google vào năm 2021 và đồng sáng lập Inceptive. Hoạt động kinh doanh chính của công ty là khoa học đời sống trí tuệ nhân tạo và cam kết sử dụng mạng lưới thần kinh và các thí nghiệm thông lượng cao để thiết kế thế hệ phân tử RNA tiếp theo.

Illia Polosukhin: Gia nhập Google vào năm 2014 và là một trong những người đầu tiên rời nhóm trong nhóm 8 người. Năm 2017, anh đồng sáng lập công ty blockchain NEAR Protocol.

Noam Shazeer: làm việc tại Google từ năm 2000 đến năm 2009 và từ năm 2012 đến năm 2021. Năm 2021, Shazeer rời Google và đồng sáng lập Character.AI với cựu kỹ sư Google Daniel De Freitas.

**Llion Jones: **Đã làm việc tại Delcam và YouTube. Gia nhập Google vào năm 2012 với tư cách là kỹ sư phần mềm. Sau đó, anh rời Google và thành lập công ty khởi nghiệp về trí tuệ nhân tạo sakana.ai.

Lukasz Kaiser: Từng là nhà nghiên cứu tại Trung tâm Nghiên cứu Khoa học Quốc gia Pháp. Gia nhập Google vào năm 2013. Năm 2021, anh rời Google và trở thành nhà nghiên cứu tại OpenAI.

Aidan Gomez: tốt nghiệp Đại học Toronto, Canada. Khi bài báo về Transformer được xuất bản, anh vẫn là thực tập sinh trong nhóm Google Brain. Anh ấy là người thứ hai trong nhóm tám người rời Google. Năm 2019, anh đồng sáng lập Cohere.


Renxun Huang: Khi tôi ngồi đây hôm nay, hãy tích cực tranh thủ cơ hội để được phát biểu, không có chủ đề nào là không thể thảo luận ở đây, thậm chí bạn có thể nhảy khỏi ghế để thảo luận các vấn đề. Hãy bắt đầu với câu hỏi cơ bản nhất, lúc đó bạn gặp phải vấn đề gì và điều gì đã truyền cảm hứng cho bạn trở thành Transformer?

Illia Polosukhin: Nếu bạn muốn phát hành các mô hình thực sự có thể đọc kết quả tìm kiếm, chẳng hạn như xử lý hàng đống tài liệu, bạn cần một số mô hình có thể xử lý thông tin này một cách nhanh chóng. Mạng thần kinh tái phát (RNN) vào thời điểm đó không thể đáp ứng được nhu cầu đó.

Thật vậy, mặc dù mạng lưới thần kinh tái phát (RNN) và một số cơ chế chú ý sơ bộ (Arnens) đã thu hút sự chú ý vào thời điểm đó, nhưng chúng vẫn yêu cầu đọc từng từ một, điều này không hiệu quả.

Jakob Uszkoreit: Tốc độ chúng tôi tạo ra dữ liệu đào tạo vượt xa khả năng đào tạo các kiến trúc hiện đại của chúng tôi. Trên thực tế, chúng tôi sử dụng các kiến trúc đơn giản hơn, chẳng hạn như mạng chuyển tiếp nguồn cấp dữ liệu với n-gram làm tính năng đầu vào. Những kiến trúc này thường hoạt động tốt hơn các mô hình phức tạp và nâng cao hơn vì chúng đào tạo nhanh hơn, ít nhất là trên lượng lớn dữ liệu đào tạo ở quy mô Google.

Các RNN mạnh mẽ vào thời điểm đó, đặc biệt là các mạng bộ nhớ ngắn hạn dài (LSTM), đã tồn tại.

Noam Shazeer: Có vẻ như đây là một vấn đề nhức nhối. Chúng tôi bắt đầu nhận thấy những quy luật chia tỷ lệ này vào khoảng năm 2015 và bạn có thể thấy rằng khi kích thước của mô hình tăng lên thì trí thông minh của nó cũng tăng lên. Đây giống như vấn đề hay nhất trong lịch sử thế giới, rất đơn giản: bạn chỉ dự đoán mã thông báo tiếp theo, và nó sẽ rất thông minh và có thể làm được hàng triệu việc khác nhau, và bạn chỉ muốn mở rộng quy mô của nó và lam no tôt hơn.

Một điều đáng thất vọng lớn là RNN quá rắc rối để xử lý. Và sau đó tôi tình cờ nghe được những người này nói về việc này, hãy thay thế nó bằng một cơ chế tích chập hoặc một cơ chế chú ý. Tôi nghĩ, tuyệt vời, hãy làm điều này. Tôi thích so sánh Transformer với bước nhảy vọt từ động cơ hơi nước sang động cơ đốt trong. Chúng ta có thể đã hoàn thành cuộc cách mạng công nghiệp với động cơ hơi nước, nhưng điều đó sẽ rất đau đớn và động cơ đốt trong đã làm mọi thứ tốt hơn.

Ashish Vaswani: Tôi bắt đầu học được một số bài học khó trong những năm học cao học, đặc biệt là khi tôi làm công việc dịch máy. Tôi nhận ra, này, tôi sẽ không học những quy tắc ngôn ngữ phức tạp đó. Tôi nghĩ gradient Descent - cách chúng tôi đào tạo những mô hình này - là một giáo viên giỏi hơn tôi. Vì vậy, tôi sẽ không học các quy tắc, tôi sẽ để gradient Descent làm tất cả công việc cho tôi và đó là bài học thứ hai của tôi.

Điều tôi học được một cách khó khăn là những kiến trúc chung có khả năng mở rộng quy mô cuối cùng sẽ giành chiến thắng về lâu dài. Hôm nay nó có thể là token, ngày mai nó có thể là những hành động chúng ta thực hiện trên máy tính và chúng sẽ bắt đầu bắt chước các hoạt động của chúng ta và có thể tự động hóa rất nhiều công việc chúng ta làm. Như chúng ta đã thảo luận, Transformer, đặc biệt là cơ chế tự chú ý của nó, có khả năng ứng dụng rất rộng và nó cũng giúp giảm độ dốc tốt hơn. Một điều nữa là vật lý, bởi vì một điều tôi học được từ Noam là phép nhân ma trận là một ý tưởng hay.

Noam Shazeer: Mô hình này cứ lặp đi lặp lại. Vì vậy, mỗi khi bạn thêm một loạt quy tắc, việc giảm độ dốc sẽ học các quy tắc đó tốt hơn bạn. Đó là nó. Giống như phương pháp học sâu mà chúng tôi đang thực hiện, chúng tôi đang xây dựng một mô hình AI có hình dạng giống GPU. Và hiện tại, chúng tôi đang xây dựng mô hình AI có hình dáng giống siêu máy tính. Vâng, siêu máy tính hiện nay là mô hình. Đúng vậy đây là sự thật. Đúng. Siêu máy tính Xin thông báo cho các bạn biết, chúng tôi đang xây dựng một siêu máy tính theo hình dạng của mô hình.

** Jen-Hsun Huang: Vậy bạn đang cố gắng giải quyết vấn đề gì? **

Lukasz Kaiser: Dịch máy. Nghĩ lại 5 năm trước, quá trình này có vẻ rất khó khăn, bạn phải thu thập dữ liệu, có thể dịch nó và kết quả có thể chỉ đúng một chút. Trình độ lúc đó vẫn còn rất cơ bản. Nhưng giờ đây, những mô hình này có thể học cách dịch ngay cả khi không có dữ liệu. Bạn chỉ cần cung cấp ngôn ngữ này và ngôn ngữ khác, mô hình sẽ tự học cách dịch và khả năng sẽ đến một cách tự nhiên và thỏa đáng.

Llion Jones: Nhưng trực giác “Chú ý” là tất cả những gì bạn cần. Vì vậy tôi nghĩ ra tựa đề này, và về cơ bản điều xảy ra là khi chúng tôi đang tìm kiếm một tựa đề.

Chúng tôi chỉ tiến hành cắt bỏ và bắt đầu vứt bỏ từng mảnh của mô hình chỉ để xem liệu nó có tệ hơn nữa không. Trước sự ngạc nhiên của chúng tôi, nó bắt đầu trở nên tốt hơn. Sẽ tốt hơn nhiều nếu bạn vứt bỏ tất cả những sự phức tạp như thế này. Vì vậy, đó là nơi tiêu đề đến từ.

Ashish Vaswani: Về cơ bản, điều thú vị là chúng tôi thực sự đã bắt đầu với một khuôn khổ rất cơ bản và sau đó chúng tôi thêm vào các thứ, chúng tôi thêm các phần chập và sau đó tôi đoán là chúng tôi đã loại bỏ chúng. Ngoài ra còn có nhiều điều rất quan trọng khác như sự chú ý của nhiều người.

** Jensen Huang: Ai là người nghĩ ra cái tên Transformer? Tại sao lại gọi là Máy biến áp? **

Jakob Uszkoreit: Chúng tôi thích cái tên này. Chúng tôi chỉ chọn nó một cách ngẫu nhiên và nghĩ rằng nó rất sáng tạo. Nó đã thay đổi mô hình sản xuất dữ liệu của chúng tôi và sử dụng logic như vậy. Tất cả học máy đều là một Máy biến áp và một kẻ gây rối.

Noam Shazeer: Chúng tôi chưa từng nghĩ đến cái tên này trước đây, tôi nghĩ cái tên này rất đơn giản và nhiều người cho rằng cái tên này rất hay. Trước đây tôi đã nghĩ đến nhiều cái tên, chẳng hạn như Yaanov, và cuối cùng quyết định chọn "Transformer", mô tả nguyên lý của mô hình. Nó thực sự biến đổi toàn bộ tín hiệu. Theo logic này, gần như tất cả máy học sẽ được chuyển đổi.

Llion Jones: Sở dĩ Transformer trở thành cái tên quen thuộc như vậy không chỉ vì nội dung bản dịch mà còn vì chúng tôi muốn mô tả sự biến đổi này một cách tổng quát hơn. Tôi không nghĩ chúng tôi đã làm tốt công việc, nhưng với tư cách là người tạo ra sự thay đổi, với tư cách là người lái xe và động cơ, điều đó rất có ý nghĩa. Mọi người đều có thể hiểu được mô hình ngôn ngữ, động cơ và logic lớn như vậy. Từ góc độ kiến trúc, đây là giai đoạn khởi đầu tương đối sớm.

Nhưng chúng tôi nhận ra rằng chúng tôi thực sự đang cố gắng tạo ra thứ gì đó rất, rất linh hoạt, có thể thực sự biến mọi thứ thành bất kỳ thứ gì khác. Và tôi không nghĩ chúng ta đã dự đoán được điều này sẽ thực sự tốt đến mức nào khi Transformers được sử dụng cho hình ảnh, điều này hơi đáng ngạc nhiên. Điều này có vẻ hợp lý với các bạn, nhưng trên thực tế, bạn có thể chia nhỏ hình ảnh và gắn nhãn cho từng dấu chấm nhỏ, đúng không. Tôi nghĩ đây là thứ đã tồn tại từ rất sớm trong kiến trúc.

Vì vậy, khi chúng tôi xây dựng thư viện tensor-to-tensor, điều chúng tôi thực sự tập trung vào là mở rộng quy mô đào tạo tự hồi quy. Nó không chỉ là ngôn ngữ mà còn cả các thành phần hình ảnh, âm thanh.

Vì vậy, Lukasz nói những gì anh ấy đang làm là dịch thuật. Tôi nghĩ anh ấy đã đánh giá thấp bản thân mình, và tất cả những ý tưởng này, chúng ta đang bắt đầu thấy những mô hình này kết hợp với nhau, tất cả đều bổ sung vào mô hình.

Nhưng thực sự, mọi thứ đều đã có từ rất sớm và các ý tưởng đang dần thấm nhuần và phải mất một thời gian. Mục tiêu của Lukasz là chúng tôi có tất cả các tập dữ liệu học thuật chuyển từ hình ảnh sang văn bản, văn bản sang hình ảnh, âm thanh sang văn bản, văn bản sang văn bản. Chúng ta nên rèn luyện mọi thứ.

Ý tưởng này thực sự đã thúc đẩy công việc mở rộng và cuối cùng nó đã thành công và thật thú vị khi chúng tôi có thể dịch hình ảnh thành văn bản, văn bản thành hình ảnh và văn bản thành văn bản.

Bạn đang sử dụng nó để nghiên cứu sinh học hoặc phần mềm sinh học, có thể tương tự như phần mềm máy tính ở chỗ nó khởi động dưới dạng một chương trình và sau đó bạn biên dịch nó thành thứ có thể chạy trên GPU.

Vòng đời của một phần mềm sinh học bắt đầu bằng việc đặc tả các hành vi nhất định. Giả sử bạn muốn in một protein, chẳng hạn như một loại protein cụ thể trong tế bào. Và sau đó, bạn đã học cách sử dụng công nghệ học sâu để chuyển đổi nó thành phân tử RNA, nhưng thực tế lại thể hiện những hành vi này khi nó xâm nhập vào tế bào của bạn. Vì vậy, ý tưởng thực sự không chỉ là dịch sang tiếng Anh.

**Jensen Huang: Bạn đã tạo ra một phòng thí nghiệm lớn để sản xuất tất cả những thứ này phải không? **

Aidan Gomez: Rất nhiều dữ liệu có sẵn và thực tế vẫn được công khai vì những dữ liệu này thường vẫn được tài trợ công. Nhưng trên thực tế, bạn vẫn cần dữ liệu để minh họa rõ ràng hiện tượng mà bạn đang cố gắng đạt được.

Cố gắng lập mô hình trong một sản phẩm nhất định, chẳng hạn như biểu hiện protein và vắc xin mRNA và những thứ tương tự, hoặc vâng, ở Palo Alto, chúng tôi có một loạt robot và người mặc áo khoác phòng thí nghiệm, cả hai đều là nhân viên nghiên cứu đang học tập, bao gồm cả các nhà sinh vật học trước đây.

Giờ đây, chúng tôi tự coi mình là những người tiên phong về điều gì đó mới mẻ, nỗ lực thực sự tạo ra những dữ liệu này và xác nhận các mô hình thiết kế những phân tử này. Nhưng ý tưởng ban đầu là dịch.

** Jen-Hsun Huang: Ý tưởng ban đầu là dịch máy. Điều tôi muốn hỏi là, đâu là điểm mấu chốt trong việc củng cố và đột phá của kiến trúc? Và chúng có tác động gì tới thiết kế của Transformer? **

Aidan Gomez: Trong suốt quá trình, tất cả các bạn đều đã thấy nó. Bạn có nghĩ rằng ngoài thiết kế cơ bản của Transformer thực sự có một đóng góp lớn nào không? Tôi nghĩ về mặt suy luận, đã có rất nhiều việc phải làm để tăng tốc những mô hình này và làm cho chúng hiệu quả hơn.

Tôi vẫn nghĩ điều đó khiến tôi hơi lo lắng vì hình dạng ban đầu của chúng tôi rất giống nhau. Tôi nghĩ thế giới cần thứ gì đó tốt hơn Transformer và tôi nghĩ tất cả chúng ta ở đây đều muốn nó được thay thế bằng thứ gì đó đưa chúng ta đến một đỉnh cao mới về hiệu suất.

Tôi muốn hỏi mọi người ở đây một câu hỏi. Bạn nghĩ điều gì sẽ xảy ra tiếp theo? Giống như đó là một bước đi thú vị vì tôi nghĩ nó rất giống với những thứ từ 6-7 năm trước phải không?

Llion Jones: Vâng, tôi nghĩ mọi người sẽ ngạc nhiên về mức độ giống nhau của bạn, phải không? Mọi người hay hỏi tôi điều gì sẽ xảy ra tiếp theo vì tôi là tác giả của bài báo này. Giống như phép thuật, bạn vẫy chiếc đũa thần và điều gì sẽ xảy ra tiếp theo? Điều tôi muốn chỉ ra là nguyên tắc cụ thể này được thiết kế như thế nào. Chúng ta không chỉ cần trở nên tốt hơn mà còn cần phải tốt hơn một cách rõ ràng.

Bởi nếu chỉ tốt hơn một chút thôi thì điều đó cũng chưa đủ để thúc đẩy toàn bộ ngành AI tiến tới một điều gì đó mới mẻ. Vì vậy, chúng tôi bị mắc kẹt với mô hình ban đầu, mặc dù về mặt kỹ thuật, nó có thể không phải là mô hình mạnh mẽ nhất mà chúng tôi có hiện tại.

Nhưng mọi người đều biết họ muốn loại công cụ cá nhân nào, bạn muốn cửa sổ theo ngữ cảnh tốt hơn, bạn muốn khả năng tạo mã thông báo nhanh hơn. Chà, tôi không chắc bạn có thích câu trả lời này không, nhưng hiện tại họ đang sử dụng quá nhiều tài nguyên máy tính. Tôi nghĩ mọi người thực hiện rất nhiều tính toán lãng phí. Chúng tôi đang làm việc chăm chỉ để nâng cao hiệu quả, cảm ơn bạn.

** Jensen Huang: Tôi nghĩ chúng tôi đang làm việc này hiệu quả hơn, cảm ơn bạn! **

Jakob Uszkoreit: Nhưng tôi nghĩ vấn đề chủ yếu là về cách phân bổ tài nguyên chứ không phải tổng số tài nguyên được tiêu thụ. Ví dụ: chúng ta không muốn chi quá nhiều tiền cho một vấn đề dễ hoặc chi quá ít cho một vấn đề quá khó và cuối cùng không nhận được giải pháp.

Illiya Polosukhin: Ví dụ này giống như 2+2, nếu bạn đưa nó vào mô hình này một cách chính xác, nó sẽ sử dụng hàng nghìn tỷ tham số. Vì vậy, tôi nghĩ điện toán thích ứng là một trong những thứ phải xảy ra tiếp theo, nơi chúng ta biết nên sử dụng bao nhiêu tài nguyên máy tính cho một vấn đề cụ thể.

Aidan Gomez: Chúng tôi biết hiện tại chúng tôi có bao nhiêu khả năng tạo ra máy tính. Tôi nghĩ đây là vấn đề tiếp theo cần được tập trung vào. Tôi nghĩ đây là yếu tố thay đổi cấp độ vũ trụ và đây cũng là xu hướng phát triển trong tương lai.

Lukasz Kaiser: Khái niệm này đã tồn tại trước Transformer và nó được tích hợp vào mô hình Transformer. Trên thực tế, tôi không chắc mọi người ở đây có biết rằng chúng tôi đã không thành công trong mục tiêu ban đầu hay không. Mục đích ban đầu của chúng tôi khi bắt đầu dự án này là mô phỏng quá trình tiến hóa của Token. Nó không chỉ là một quá trình tạo tuyến tính mà còn là sự phát triển từng bước của văn bản hoặc mã. Chúng tôi lặp đi lặp lại, chúng tôi chỉnh sửa, điều này giúp chúng tôi không chỉ bắt chước cách con người phát triển văn bản mà còn sử dụng chúng như một phần của quá trình đó. Bởi vì nếu bạn có thể tạo nội dung một cách tự nhiên như con người thì họ thực sự sẽ có thể đưa ra phản hồi, phải không?

Tất cả chúng tôi đều đã đọc bài báo của Shannon và ý tưởng ban đầu của chúng tôi là chỉ tập trung vào mô hình hóa ngôn ngữ và sự phức tạp, nhưng điều đó đã không xảy ra. Tôi nghĩ đây cũng là nơi chúng ta có thể phát triển hơn nữa. Đó cũng là về cách chúng ta sắp xếp các tài nguyên máy tính một cách thông minh và cách tổ chức này hiện cũng áp dụng cho việc xử lý hình ảnh. Ý tôi là, các mô hình khuếch tán có một đặc tính thú vị là có thể liên tục tinh chỉnh và cải thiện chất lượng của chúng thông qua việc lặp lại. Và hiện tại chúng tôi không có khả năng như vậy.

Ý tôi là, câu hỏi cơ bản này: Kiến thức nào nên được tích hợp vào mô hình và kiến thức nào nên nằm ngoài mô hình? Bạn có đang sử dụng mô hình truy xuất không? Mô hình RAG (Retri-Augmented Generation) là một ví dụ. Tương tự như vậy, điều này cũng liên quan đến câu hỏi về suy luận, tức là nhiệm vụ suy luận nào nên được thực hiện bên ngoài thông qua hệ thống ký hiệu và nhiệm vụ suy luận nào nên được thực hiện trực tiếp trong mô hình. Đây là một cuộc thảo luận rất nhiều về hiệu quả. Tôi tin rằng các mô hình lớn cuối cùng sẽ học cách thực hiện các phép tính như 2+2, nhưng nếu bạn muốn tính 2+2 và thực hiện bằng cách cộng các số thì điều đó rõ ràng là không hiệu quả.

** Jen-Hsun Huang: Nếu AI chỉ cần tính 2+2 thì nó nên sử dụng trực tiếp máy tính để hoàn thành nhiệm vụ này với ít năng lượng nhất, vì chúng ta biết rằng máy tính là công cụ hiệu quả nhất để thực hiện phép tính 2+2. Tuy nhiên, nếu ai đó hỏi AI, làm thế nào bạn đi đến quyết định 2+2? Bạn có biết rằng 2+2 là câu trả lời đúng? Việc này có tiêu tốn nhiều tài nguyên không? **


Noam Shazeer: Chính xác. Bạn đã đề cập đến một ví dụ trước đây, nhưng tôi cũng tin rằng hệ thống trí tuệ nhân tạo mà mọi người ở đây phát triển đủ thông minh để tích cực sử dụng máy tính.

Hàng hóa công cộng toàn cầu (GPP) hiện đang làm được điều đó. Tôi nghĩ rằng mô hình hiện tại là quá hợp lý và quá nhỏ. Sở dĩ nó rẻ là do công nghệ như NV, nhờ vào sản lượng của nó.

Chi phí tính toán cho mỗi hoạt động là khoảng $10 đến $18. Nói cách khác, đại khái là ở mức độ này. Cảm ơn bạn đã tạo ra rất nhiều tài nguyên máy tính. Nhưng nếu bạn nhìn vào một mô hình có 500 tỷ tham số và một nghìn tỷ phép tính trên mỗi mã thông báo, thì đó là khoảng một đô la trên một triệu mã thông báo, rẻ hơn 100 lần so với việc đi ra ngoài và mua một cuốn sách bìa mềm và đọc nó. Ứng dụng của chúng tôi có giá trị gấp hàng triệu lần hoặc hơn khả năng tính toán hiệu quả trên các mạng lưới thần kinh khổng lồ. Ý tôi là, chúng chắc chắn có giá trị hơn những thứ như chữa bệnh ung thư, nhưng nó còn hơn thế nữa.

Ashish Vaswani: Tôi nghĩ làm cho thế giới thông minh hơn có nghĩa là làm thế nào để nhận được phản hồi từ thế giới và liệu chúng ta có thể đạt được sự song song hóa đa tác vụ và đa dòng hay không. Nếu bạn thực sự muốn xây dựng một mô hình như vậy thì đây là một cách tuyệt vời để giúp chúng tôi thiết kế một mô hình như vậy.

** Jensen Huang: Bạn có thể chia sẻ nhanh lý do tại sao bạn thành lập công ty của mình không? **

Ashish Vaswani: Trong công ty của chúng tôi, mục tiêu của chúng tôi là xây dựng các mô hình và giải quyết các nhiệm vụ mới. Công việc của chúng tôi là hiểu mục tiêu và nội dung của nhiệm vụ và điều chỉnh những nội dung đó để đáp ứng nhu cầu của khách hàng. Trên thực tế, bắt đầu từ năm 2021, tôi thấy rằng vấn đề lớn nhất với các mô hình là bạn không thể chỉ làm cho các mô hình thông minh hơn mà còn cần tìm đúng người để diễn giải các mô hình này. Chúng tôi hy vọng có thể làm cho thế giới và mô hình hòa quyện vào nhau, làm cho mô hình ngày càng lớn hơn và tốt hơn. Có một mức độ tiến bộ nhất định cần thiết trong quá trình học tập mà ban đầu không thể đạt được trong môi trường chân không của phòng thí nghiệm.

Noam Shazeer: Năm 2021, chúng tôi đồng sáng lập công ty này. Chúng ta có công nghệ tuyệt vời nhưng nó chưa đến được với nhiều người. Hãy tưởng tượng nếu tôi là một bệnh nhân nghe bạn nói điều này, tôi sẽ nghĩ có hàng chục tỷ người với những nhiệm vụ khác nhau mà họ cần phải hoàn thành. Đây chính là nội dung của deep learning, chúng tôi cải tiến công nghệ thông qua so sánh. Trên thực tế, do sự phát triển không ngừng của công nghệ, do Jensen Huang thúc đẩy, mục tiêu cuối cùng của chúng tôi là giúp đỡ mọi người trên toàn thế giới. Bạn phải thử nghiệm và bây giờ chúng tôi cần phát triển các giải pháp nhanh hơn cho phép hàng trăm người sử dụng các ứng dụng này. Giống như ban đầu, không phải ai cũng sử dụng những ứng dụng này, rất nhiều người sử dụng chúng chỉ để giải trí, nhưng chúng đã hoạt động, chúng đã hoạt động.

Jakob Uszkoreit: Cảm ơn. Tôi muốn nói về hệ thống phần mềm sinh thái mà chúng tôi đã tạo ra. Vào năm 2021, tôi đồng sáng lập công ty này và mục tiêu của chúng tôi là giải quyết một số vấn đề có tác động khoa học thực sự. Trước đây, chúng tôi đã xử lý nội dung khá phức tạp. Nhưng khi tôi có đứa con đầu lòng, cách tôi nhìn thế giới đã thay đổi. Chúng tôi hy vọng có thể làm cho cuộc sống con người trở nên thuận tiện hơn và đóng góp vào việc nghiên cứu protein. Đặc biệt là sau khi có con, tôi mong muốn thay đổi cơ cấu y tế hiện có, đồng thời mong rằng sự phát triển của khoa học công nghệ có thể tác động tích cực đến sự tồn tại và phát triển của con người. Ví dụ, cấu trúc và sự phân hủy protein đã bị ảnh hưởng ở một mức độ nào đó, nhưng hiện tại chúng tôi thiếu dữ liệu. Chúng ta phải nỗ lực dựa trên dữ liệu, không chỉ với tư cách là nghĩa vụ mà còn với tư cách là một người cha.

** Jen-Hsun Huang: Tôi thích quan điểm của bạn, tôi luôn quan tâm đến việc thiết kế các loại thuốc mới và quá trình cho phép máy tính học cách phát triển và tạo ra các loại thuốc mới. Nếu các loại thuốc mới có thể được nghiên cứu và thiết kế cũng như một phòng thí nghiệm có thể thử nghiệm chúng thì có thể xác định được liệu mô hình đó có hoạt động hay không. **

Llion JonesLlion Jones: Vâng, tôi là người cuối cùng chia sẻ. Công ty chúng tôi đồng sáng lập có tên là Sakana AI, có nghĩa là "cá". Lý do tại sao chúng tôi đặt tên công ty của mình theo tên "con cá" Nhật Bản là vì chúng tôi giống như một đàn cá, điều này truyền cảm hứng cho chúng tôi tìm kiếm trí thông minh một cách tự nhiên. Nếu chúng ta có thể kết hợp nhiều yếu tố đã được kiểm tra, chúng ta có thể tạo ra thứ gì đó phức tạp và đẹp đẽ. Nhiều người có thể không hiểu chi tiết cụ thể về quy trình và nội dung, nhưng triết lý cốt lõi trong nội bộ của chúng tôi là "Học tập luôn thành công".

Cho dù bạn muốn giải quyết một vấn đề hay muốn học bất cứ điều gì, việc học sẽ luôn giúp bạn chiến thắng. Trong quá trình tạo ra AI, nội dung học tập cũng sẽ giúp chúng ta giành chiến thắng. Với tư cách là một nhà nghiên cứu có mặt, tôi muốn nhắc nhở mọi người rằng chúng ta mang lại ý nghĩa thực sự cho các mô hình AI máy tính, để chúng có thể thực sự giúp chúng ta hiểu được những bí ẩn của vũ trụ. Trên thực tế, tôi cũng muốn nói với bạn rằng chúng tôi sắp công bố một bước phát triển mới mà chúng tôi rất vui mừng. Mặc dù hiện tại chúng tôi có một nhóm nghiên cứu đóng vai trò là khối xây dựng nhưng chúng tôi đang trải qua quá trình phát triển mang tính chuyển đổi, nơi việc quản lý mô hình hiện tại được tổ chức và cho phép mọi người thực sự tham gia. Chúng tôi làm cho những mô hình này trở nên khả thi hơn bằng cách sử dụng những mô hình lớn và mô hình biến đổi này để thay đổi cách mọi người hiểu về thế giới và vũ trụ. đây là mục tiêu của chúng tôi

Aidan Gomez: Ý định thành lập công ty ban đầu của tôi cũng tương tự như Noam Shazeer. Tôi nghĩ điện toán đang bước vào một mô hình mới đang thay đổi các sản phẩm hiện có và cách chúng ta làm việc. Mọi thứ đều dựa trên máy tính và nó thay đổi trong công nghệ ở một mức độ nhất định. Vai trò của chúng tôi là gì? Thực ra tôi đang thu hẹp khoảng cách, thu hẹp khoảng cách. Chúng ta có thể thấy các công ty khác nhau tạo ra những nền tảng như vậy, cho phép mỗi công ty điều chỉnh và tích hợp sản phẩm, đây là một cách đối mặt trực tiếp với người dùng. Đây là cách chúng tôi cải tiến công nghệ và làm cho nó có giá cả phải chăng hơn và phổ biến hơn.

** Jensen Huang: Điều tôi đặc biệt đánh giá cao là khi Noam Shazeer có vẻ đặc biệt bình tĩnh, bạn trông rất phấn khích. Sự khác biệt trong tính cách của các bạn quá rõ ràng. Bây giờ tôi nhường quyền phát biểu cho Lukasz Kaiser. **

Lukasz Kaiser: Trải nghiệm của tôi tại OpenAI rất khó khăn. Ở công ty có rất nhiều điều thú vị và chúng tôi xử lý rất nhiều dữ liệu để tính toán, nhưng suy cho cùng, vai trò của tôi vẫn là người xử lý dữ liệu.

Illiya Polosukhin: Tôi là người đầu tiên rời đi. Tôi tin chắc rằng chúng ta sẽ đạt được tiến bộ đáng kể và phần mềm sẽ thay đổi toàn bộ thế giới. Cách trực tiếp nhất là dạy máy viết mã và làm cho mọi người có thể lập trình được.

Tại NEAR, mặc dù tiến độ của chúng tôi còn hạn chế nhưng chúng tôi cam kết tích hợp trí tuệ của con người và thu thập dữ liệu liên quan, chẳng hạn như truyền cảm hứng hơn nữa để mọi người nhận ra rằng chúng tôi cần một phương pháp cơ bản. Mô hình này là một sự phát triển cơ bản. Mô hình lớn này được sử dụng rộng rãi trên toàn thế giới. Nó có nhiều ứng dụng trong hàng không vũ trụ và các lĩnh vực khác. Nó liên quan đến giao tiếp và tương tác trong nhiều lĩnh vực khác nhau và thực sự cung cấp cho chúng ta những khả năng. Với việc sử dụng ngày càng sâu hơn, chúng tôi nhận thấy nó mang lại nhiều mô hình hơn và hiện tại không có nhiều tranh chấp về bản quyền.

Chúng ta hiện đang ở trong một kỷ nguyên sáng tạo mới, một kỷ nguyên tôn vinh sự đổi mới và đổi mới, đồng thời chúng tôi muốn tích cực tham gia và đón nhận sự thay đổi, vì vậy chúng tôi đã tìm kiếm những cách khác nhau để giúp xây dựng một mô hình thực sự thú vị.

** Jensen Huang: Hệ thống phản hồi tích cực này rất có lợi cho nền kinh tế tổng thể của chúng ta. Bây giờ chúng ta có khả năng thiết kế nền kinh tế tốt hơn. Có người hỏi, trong thời đại mà các mô hình GPT đang đào tạo hàng tỷ cơ sở dữ liệu có quy mô token, bước tiếp theo là gì? Công nghệ mô hình mới sẽ là gì? Bạn muốn khám phá điều gì? Nguồn dữ liệu của bạn là gì? **

Illia Polosukhin: Điểm khởi đầu của chúng ta là vectơ và chuyển vị. Chúng tôi cần những mô hình có giá trị kinh tế thực sự mà mọi người có thể đánh giá và cuối cùng áp dụng các kỹ thuật cũng như công cụ của bạn vào thực tế để làm cho toàn bộ mô hình trở nên tốt hơn.

** Jen-Hsun Huang: Bạn đào tạo mô hình như thế nào? Các tương tác ban đầu và mô hình tương tác là gì? Đó có phải là sự giao tiếp và tương tác giữa các mô hình? Hoặc có những mô hình và kỹ thuật sáng tạo nào không? **

Illia Polosukhin: Trong nhóm của chúng tôi, mọi người đều có chuyên môn kỹ thuật riêng.

Jakob Uszkoreit: Bước tiếp theo là lý luận. Tất cả chúng ta đều nhận ra tầm quan trọng của lý luận, nhưng rất nhiều công việc vẫn được các kỹ sư thực hiện thủ công. Trên thực tế, chúng tôi đang dạy các em trả lời theo dạng câu hỏi và câu trả lời mang tính tương tác và chúng tôi muốn các em cùng nhau hiểu lý do tại sao và cùng nhau đưa ra một mô hình lập luận vững chắc. Chúng tôi hy vọng rằng mô hình có thể tạo ra nội dung mà chúng tôi muốn và phương pháp tạo này là điều chúng tôi đang theo đuổi. Cho dù đó là video, văn bản hay thông tin 3D, tất cả chúng đều phải được tích hợp.

Lukasz Kaiser: Tôi nghĩ, mọi người có hiểu rằng suy luận thực sự đến từ dữ liệu không? Nếu chúng ta bắt đầu suy luận, chúng ta có một bộ dữ liệu và chúng ta nghĩ xem tại sao dữ liệu này lại khác? Sau đó, chúng ta sẽ biết rằng các ứng dụng khác nhau thực sự dựa trên quá trình suy luận dữ liệu. Nhờ sức mạnh của máy tính, nhờ những hệ thống như thế này, chúng ta có thể bắt đầu phát triển hơn nữa từ đó. Chúng ta có thể suy luận về nội dung liên quan và tiến hành thí nghiệm.

Nhiều khi, những điều này bắt nguồn từ dữ liệu. Tôi nghĩ suy luận đang phát triển rất nhanh, mô hình dữ liệu rất quan trọng và sẽ có nhiều nội dung tương tác hơn trong tương lai gần. Chúng tôi chưa đào tạo đầy đủ, đó không phải là nội dung và yếu tố chính, chúng tôi cần làm cho dữ liệu trở nên xác thực hơn.

Noam Shazeer: Việc thiết kế một số dữ liệu, chẳng hạn như thiết kế máy dạy học, có thể liên quan đến hàng trăm hoặc hàng trăm triệu mã thông báo khác nhau.

Ashish Vaswani: Điểm tôi muốn nhấn mạnh là trong lĩnh vực này, chúng tôi có nhiều đối tác đã đạt được một số cột mốc quan trọng. Thuật toán tự động tốt nhất là gì? Trên thực tế, đó là chia nhỏ các nhiệm vụ trong thế giới thực thành các nội dung khác nhau. Mô hình của chúng tôi cũng rất quan trọng, nó giúp chúng tôi lấy dữ liệu và xem liệu dữ liệu có ở đúng nơi hay không. Một mặt, nó giúp chúng ta tập trung vào dữ liệu, mặt khác, dữ liệu đó cung cấp cho chúng ta các mô hình chất lượng cao để hoàn thành các nhiệm vụ trừu tượng. Vì vậy, chúng tôi tin rằng việc đo lường sự tiến bộ này cũng là một cách sáng tạo, một cách phát triển khoa học và một cách phát triển tự động hóa của chúng tôi.

** Jen-Hsun Huang: Bạn không thể thực hiện những dự án lớn nếu không có hệ thống đo lường tốt. Bạn có câu hỏi nào dành cho nhau không? **

Illia Polosukhin: Không ai thực sự muốn biết họ đã thực hiện những bước nào. Nhưng trên thực tế, chúng tôi hy vọng có thể hiểu và khám phá những gì chúng tôi đang làm, thu thập đủ dữ liệu và thông tin cũng như đưa ra những suy luận hợp lý. Ví dụ, nếu bạn có sáu bước, nhưng bạn thực sự có thể bỏ qua một bước bằng cách suy luận qua năm bước. Đôi khi bạn không cần sáu bước và đôi khi bạn cần nhiều bước hơn, vậy làm cách nào để bạn tái tạo một kịch bản như thế này? Bạn cần gì để tiến xa hơn từ Token?

Lukasz Kaiser: Cá nhân tôi tin rằng làm thế nào để tái tạo một mô hình lớn như vậy là một quá trình rất phức tạp. Các hệ thống sẽ phát triển, nhưng về cơ bản bạn cần nghĩ ra một phương pháp. Con người là sinh vật giỏi tái diễn, trong suốt lịch sử loài người, chúng ta đã nhiều lần tái hiện những cảnh thành công.

** Jen-Hsun Huang: Tôi rất vui được giao tiếp với bạn và tôi hy vọng các bạn sẽ có cơ hội giao tiếp với nhau và tạo ra những điều kỳ diệu không thể diễn tả được. Cảm ơn các bạn đã tham gia buổi gặp mặt này, xin chân thành cảm ơn! **