Tôi chưa làm lay chuyển cú lỡ lớn này.
Nó vẫn ám ảnh tôi vì đó là cú đặt cược rõ ràng nhất đối với bất kỳ ai chú ý, nhưng tôi không đầu tư một đồng nào.
Không, đó không phải là kẻ giết Solana tiếp theo hoặc một đồng tiền meme với một con chó đang đội một chiếc mũ vui nhộn.
Đó là … NVIDIA.
Giá cổ phiếu NVDA từ đầu năm đến nay. Nguồn: Google
Chỉ trong một năm, NVDA tăng gấp 3 lần, vươn lên từ vốn hóa thị trường 1 nghìn tỷ đô la lên 3 nghìn tỷ đô la. Thậm chí nó còn vượt qua Bitcoin trong cùng thời kỳ.
Chắc chắn, một phần trên đó là sự thổi phồng AI. Nhưng một phần lớn chắc chắn dựa trên thực tế. NVIDIA báo cáo 60 tỷ đô la doanh thu cho năm tài chính 2024, tăng đáng kể 126% so với 2023. Sự tăng trưởng này được thúc đẩy bởi các công ty công nghệ lớn chạy mua GPU trong cuộc chạy đua toàn cầu với AGI.
Vậy tại sao tôi lại bỏ lỡ nó?
Hai năm trời, tôi tập trung mạnh vào tiền điện tử và không quan tâm đến những gì đang diễn ra trong lĩnh vực Trí tuệ Nhân tạo. Đó là một sai lầm lớn và nó vẫn ảnh hưởng đến tôi.
Nhưng tôi không mắc phải sai lầm cùng một lần nữa.
Hôm nay, Trí tuệ nhân tạo về tiền điện tử cảm thấy kỳ lạ giống như vậy. Chúng ta đang ở bên bờ của một cuộc bùng nổ đổi mới. Những điểm tương đồng với Đợt Vàng California vào giữa thế kỷ 19 khó mà có thể bỏ qua - các ngành công nghiệp và thành phố mọc lên qua đêm, cơ sở hạ tầng tiến triển với tốc độ chóng mặt, và những gia sản đã được tạo ra bởi những người dám nhảy mình.
Giống như NVIDIA trong những ngày đầu, Crypto AI sẽ trở nên rõ ràng khi nhìn lại.
In Phần I của luận văn của tôi, Tôi đã giải thích tại sao Tiền điện tử AI là cơ hội ngựa ô hấp dẫn nhất cho nhà đầu tư và người xây dựng ngày nay.
Đây là một bản tóm tắt nhanh:
Ở bản chất, Crypto AI là trí tuệ nhân tạo với cơ sở hạ tầng tiền điện tử được xếp lớp phía trên. Điều này có nghĩa là nó có khả năng theo dõi quỹ đạo tăng trưởng mũi tên của trí tuệ nhân tạo hơn là thị trường tiền điện tử rộng lớn hơn. Vì vậy, để duy trì vị thế hàng đầu, bạn phải theo dõi các nghiên cứu trí tuệ nhân tạo mới nhất trên Arxiv và trò chuyện với những người sáng lập tin rằng họ đang xây dựng điều lớn lao tiếp theo.
Trong Phần II của luận văn của tôi, tôi sẽ đào sâu vào bốn phân ngành triển vọng nhất trong Tiền điện tử AI:
Mảnh này đại diện cho kết quả của tuần nghiên cứu sâu và cuộc trò chuyện với các nhà sáng lập và đội ngũ trên toàn cảnh Crypto AI. Nó không được thiết kế để là một cuộc phiêu lưu sâu rộng trong mọi lĩnh vực - đó là một cái hố thỏ cho một ngày khác.
Thay vào đó, xem nó như một bản đồ tương lai cấp cao được tạo ra để khơi dậy sự tò mò, mài giũa nghiên cứu của bạn và hướng dẫn suy nghĩ đầu tư.
Tôi hình dung ngăn xếp trí tuệ nhân tạo phi tập trung như một hệ sinh thái lớp lớp: nó bắt đầu bằng tính toán phi tập trung và mạng dữ liệu mở ở một đầu, là nguồn năng lượng cho việc huấn luyện mô hình trí tuệ nhân tạo phi tập trung.
Mọi suy luận sau đó được xác minh - cả đầu vào và đầu ra - bằng cách sử dụng một sự kết hợp của mật mã, động lực kinh tế tiền điện tử và mạng lưới đánh giá. Các đầu ra đã được xác minh này trôi vào các đại lý Trí tuệ Nhân tạo (AI) có thể hoạt động tự động trên chuỗi, cũng như các ứng dụng Trí tuệ Nhân tạo (AI) dành cho người tiêu dùng và doanh nghiệp mà người dùng thực sự có thể tin cậy.
Mạng lưới phối hợp kết nối tất cả mọi thứ lại với nhau, cho phép giao tiếp và hợp tác mượt mà trên toàn bộ hệ sinh thái.
Trên tầm nhìn này, bất kỳ ai xây dựng trong lĩnh vực trí tuệ nhân tạo đều có thể tiếp cận một hoặc nhiều tầng của ngăn xếp này, tùy thuộc vào nhu cầu cụ thể của họ. Cho dù sử dụng tính toán phi tập trung cho việc huấn luyện mô hình hoặc sử dụng các mạng đánh giá để đảm bảo đầu ra chất lượng cao, ngăn xếp cung cấp một loạt các lựa chọn.
Nhờ vào tính tương hợp bẩm sinh của blockchain, tôi tin rằng chúng ta đang tự nhiên tiến đến một tương lai modular. Mỗi lớp đều trở nên siêu chuyên biệt, với các giao thức được tối ưu hóa cho các chức năng cụ thể thay vì một phương pháp tích hợp all-in-one.
Nguồn: topology.vc
Đã có một cuộc nổ ra của các doanh nghiệp khởi nghiệp xây dựng trên mọi tầng của ngăn xếp trí tuệ nhân tạo phi tập trung, hầu hết được thành lập chỉ trong 1 - 3 năm qua. Rõ ràng: chúng ta vẫn còn sớm.
Bản đồ toàn cảnh và cập nhật nhất về cảnh quan khởi nghiệp AI Crypto mà tôi từng thấy được duy trì bởi Casey và đội ngũ của cô ấy tại topology.vc. Đó là một nguồn tài nguyên vô giá cho bất kỳ ai theo dõi không gian.
Khi tôi đào sâu vào các phân ngành Crypto AI, tôi luôn tự đặt câu hỏi: cơ hội ở đây có lớn không? Tôi không quan tâm đến các cược nhỏ - tôi đang tìm kiếm các thị trường có thể mở rộng lên hàng trăm tỷ.
Hãy bắt đầu với quy mô thị trường. Khi đánh giá một phân ngành con, tôi tự hỏi: liệu nó có tạo ra một thị trường hoàn toàn mới hay là đang gây rối trong một thị trường đã tồn tại?
Ví dụ, hãy xem xét tính toán phi tập trung. Đó là một danh mục gây chấn động, tiềm năng của nó có thể được ước lượng bằng cách nhìn vào thị trường máy chủ đám mây đã được xác định, trị giá ~$680 tỷ hôm nay và dự kiến đạt 2.5T đô la vào năm 2032.
Các thị trường mới không có tiền lệ, như các đại lý AI, khó định lượng hơn. Mà không có dữ liệu lịch sử, việc đánh giá chúng bao gồm một sự kết hợp của những phỏng đoán có căn cứ và kiểm tra cảm giác về các vấn đề mà chúng đang giải quyết. Và điều nguy hiểm là đôi khi, điều có vẻ như một thị trường mới thực sự chỉ là một giải pháp tìm kiếm vấn đề.
Thời gian là tất cả. Công nghệ có xu hướng cải thiện và trở nên rẻ hơn theo thời gian, nhưng tốc độ tiến bộ thay đổi.
Công nghệ trưởng thành như thế nào trong một phân ngành nhất định? Nó đã sẵn sàng để mở rộng quy mô, hay nó vẫn đang trong giai đoạn nghiên cứu, với các ứng dụng thực tế nhiều năm nữa? Thời gian xác định liệu một lĩnh vực có đáng được chú ý ngay lập tức hay nên được để lại trong danh mục “chờ xem”.
Cầm Fully Homomorphic Encryption (FHE) làm ví dụ: tiềm năng không thể phủ nhận, nhưng hiện nay nó vẫn quá chậm để sử dụng rộng rãi. Có lẽ còn vài năm nữa chúng ta mới thấy nó trở nên phổ biến. Bằng cách tập trung vào các lĩnh vực gần gũi với việc mở rộng trước tiên, tôi có thể dành thời gian và năng lượng của mình vào nơi đang có đà tăng trưởng và cơ hội.
Nếu tôi phải ánh xạ các danh mục này lên biểu đồ kích thước so với thời gian, nó sẽ trông giống như thế này. Hãy nhớ rằng đây chỉ là một phác thảo khái niệm hơn là một hướng dẫn cứng nhắc. Có rất nhiều sự tinh vi—ví dụ, trong suy luận có thể xác minh, các phương pháp khác như zkML và opML có các mức độ sẵn sàng khác nhau để sử dụng.
Tuy nhiên, tôi tin rằng quy mô của trí tuệ nhân tạo sẽ rất lớn đến mức ngay cả những gì ngày nay dường như chỉ là “hẹp hòi” cũng có thể phát triển thành một thị trường quan trọng.
Đáng chú ý rằng tiến bộ công nghệ không luôn diễn ra theo một đường thẳng - đôi khi nó xảy ra theo những bước nhảy. Quan điểm của tôi về thời điểm và quy mô thị trường sẽ thay đổi khi những đột phá mới nảy sinh.
Với khung này trong tâm trí, hãy phân tích từng phân ngành.
Một số nhóm Crypto AI đang định vị bản thân để tận dụng sự thiếu hụt GPU so với nhu cầu bằng cách xây dựng các mạng phân cấp tận dụng nguồn sức mạnh tính toán tiềm ẩn toàn cầu.
Mục tiêu giá trị cốt lõi cho các sàn giao dịch GPU là 3 mục:
Để giải quyết phía cung của thị trường, các thị trường này tính toán từ:
Mặt khác, hiện nay, phía yêu cầu cho tính toán phi tập trung đến từ:
Điều quan trọng cần nhớ: nhà phát triển luôn ưu tiên chi phí và độ tin cậy.
Các công ty khởi nghiệp trong lĩnh vực này thường quảng bá kích thước mạng lưới cung cấp GPU của họ như một dấu hiệu của sự thành công. Nhưng điều này là gây nhầm lẫn - đây chỉ là một chỉ số vô nghĩa tại điểm cao nhất.
Ràng buộc thực sự không phải là nguồn cung mà là nhu cầu. Các chỉ số quan trọng cần theo dõi không phải là số lượng GPU có sẵn, mà là tỷ lệ sử dụng và số lượng GPU thực sự được cho thuê.
Token là cực kỳ xuất sắc trong việc khởi động phía cung ứng, tạo ra những động cơ cần thiết để mở rộng nhanh chóng. Tuy nhiên, chúng không giải quyết vấn đề cầu hỏi theo bản năng. Bài kiểm tra thực sự là khi sản phẩm đạt đến trạng thái đủ tốt để nhu cầu tiềm ẩn trở nên rõ ràng.
Haseeb Qureshi (Dragonfly) đặt tốt nhất:
Ngược lại với quan điểm phổ biến, rào cản lớn nhất đối với các thị trường GPU phân phối web3 hiện nay đơn giản chỉ là làm cho chúng hoạt động đúng cách.
Đây không phải là một vấn đề nhỏ.
Điều phối GPU trên mạng phân tán là phức tạp, với nhiều thách thức - phân bổ tài nguyên, tỷ lệ công việc động, cân bằng tải trên các nút và GPU, quản lý độ trễ, truyền dữ liệu, khả năng chịu lỗi và xử lý phần cứng đa dạng phân tán trên các địa điểm khác nhau. Tôi có thể tiếp tục mãi mãi.
Để đạt được điều này, yêu cầu kỹ sư nghiêm túc và một kiến trúc mạng mạnh mẽ, được thiết kế đúng cách.
Để đặt nó vào bối cảnh, hãy xem xét Kubernetes của Google. Nó được coi là tiêu chuẩn vàng cho việc triển khai các container, tự động hóa quy trình như cân bằng tải và tỷ lệ mở rộng trong môi trường phân tán - những thách thức rất tương tự với những gì mà các mạng GPU phân tán phải đối mặt. Kubernetes được xây dựng dựa trên hơn một thập kỷ kinh nghiệm của Google, và ngay cả sau đó, nó cũng mất nhiều năm để hoàn thiện.
Một số chợ máy tính GPU đã hoạt động hiện nay có thể xử lý các khối lượng công việc quy mô nhỏ, nhưng những vấn đề bắt đầu xuất hiện ngay khi họ cố gắng mở rộng. Tôi nghi ngờ rằng điều này là do họ được xây dựng trên cơ sở kiến trúc thiết kế kém cỏi.
Một thách thức / cơ hội khác cho các mạng tính toán phi tập trung là đảm bảo tính đáng tin cậy: xác minh rằng mỗi node đang cung cấp công suất tính toán mà nó tuyên bố. Hiện tại, điều này phụ thuộc vào danh tiếng của mạng và trong một số trường hợp, nhà cung cấp tính toán được xếp hạng theo điểm danh tiếng. Công nghệ blockchain có vẻ là một lựa chọn tự nhiên cho các hệ thống xác minh không đáng tin cậy. Các startup như GensynvàSpheron đang đẩy mạnh một phương pháp không đáng tin cậy để giải quyết vấn đề này.
Hôm nay, nhiều nhóm web3 vẫn đang vật lộn với những thách thức này, điều đó có nghĩa là cơ hội vẫn rất rộng mở.
Thị trường mạng tính toán phi tập trung có quy mô như thế nào?
Hiện nay, thị trường máy chủ ảo dựa trên blockchain chỉ chiếm một khoảng rất nhỏ so với ngành công nghiệp đám mây trị giá từ 680 tỷ đến 2,5 nghìn tỷ USD. Tuy nhiên, bất chấp sự cản trở đối với người dùng, luôn có những nhu cầu sử dụng miễn là chi phí vẫn thấp hơn so với những nhà cung cấp truyền thống.
Tôi tin rằng chi phí sẽ duy trì ở mức thấp trong tương lai gần đến trung hạn do sự kết hợp của các khoản trợ cấp token và việc mở khóa nguồn cung từ người dùng không nhạy cảm với giá (ví dụ, nếu tôi có thể cho thuê laptop chơi game của mình để kiếm thêm tiền, tôi sẽ hạnh phúc dù mỗi tháng là 20 đô la hay 50 đô la).
Nhưng tiềm năng tăng trưởng thực sự cho các mạng tính toán phi tập trung - và sự mở rộng thực sự của TAM của họ - sẽ đến khi:
Tính toán phi tập trung, không cần phép mà đứng như một lớp cơ sở - cơ sở hạ tầng cơ bản - cho một hệ sinh thái trí tuệ nhân tạo phi tập trung.
Bất chấp sự mở rộng liên tục trong chuỗi cung ứng silicon (tức là GPU), tôi tin rằng chúng ta chỉ mới ở buổi bình minh của kỷ nguyên Trí tuệ nhân loại. Sẽ có một nhu cầu vô độ về tính toán.
Hãy chú ý đến điểm phát xảy sự kiện có thể kích hoạt một sự đánh giá lại lớn của tất cả các chợ GPU hoạt động. Có lẽ nó sẽ sớm đến.
Hãy tưởng tượng: một mô hình trí tuệ nhân tạo to lớn, thay đổi thế giới, không được phát triển trong các phòng thí nghiệm tinh vi và bí mật mà được tạo ra bởi hàng triệu người thông thường. Người chơi game, những người GPU của họ thường sản xuất những cảnh nổ điện ảnh trong Call of Duty, bây giờ sẽ sử dụng thiết bị của họ cho một mục tiêu cao cả hơn - một mô hình trí tuệ nhân tạo mã nguồn mở, thuộc sở hữu của cộng đồng và không có bất kỳ cổng thông tin tâm trí trung tâm nào.
Trong tương lai này, các mô hình quy mô cơ bản không chỉ thuộc về lĩnh vực của các phòng thí nghiệm trí tuệ nhân tạo hàng đầu.
Nhưng hãy đặt tầm nhìn này vào hiện thực ngày hôm nay. Hiện tại, hầu hết việc đào tạo trí tuệ nhân tạo nặng ký vẫn được gắn liền với các trung tâm dữ liệu tập trung, và điều này có thể sẽ là quy tắc trong một thời gian dài.
Các công ty như OpenAI đang mở rộng các cụm máy chủ khổng lồ của họ. Elon Musk gần đây công bốrằng xAI sắp hoàn thành một trung tâm dữ liệu với sức mạnh tương đương 200,000 GPU H100.
Nhưng điều này không chỉ liên quan đến số lượng GPU thô. Sử dụng FLOPS mô hình (MFU)—một chỉ số được giới thiệu trong Bài báo PaLM của Googletrong năm 2022—theo dõi cách mà dung lượng tối đa của GPU được sử dụng một cách hiệu quả. Ngạc nhiên, MFU thường dao động khoảng 35-40%.
Tại sao lại thấp như vậy? Trong khi hiệu suất GPU đã tăng vọt theo đúng luật Moore trong nhiều năm qua, cải tiến mạng, bộ nhớ và lưu trữ đã đứng sau rất nhiều, tạo ra các bottleneck. Kết quả là, GPU thường ngồi im, chờ dữ liệu.
Đào tạo trí tuệ nhân tạo vẫn rất tập trung ngày nay vì một lý do - Hiệu quả.
Đào tạo các mô hình lớn phụ thuộc vào các kỹ thuật như:
• Data parallelism: Chia tập dữ liệu thành nhiều GPU để thực hiện các hoạt động song song, tăng tốc quá trình đào tạo.
• Phân chia mô hình: Phân phối các phần của mô hình qua các GPU để vượt qua hạn chế bộ nhớ.
Các phương pháp này đòi hỏi GPU để trao đổi dữ liệu liên tục, làm tốc độ kết nối mạng - tốc độ dữ liệu được chuyển qua các máy tính trong mạng - hoàn toàn quan trọng.
Khi việc đào tạo mô hình trí tuệ nhân tạo đầu tư có thể lên đến 1 tỷ đô la, mọi lợi ích về hiệu quả đều quan trọng.
Với các kết nối tốc độ cao của trung tâm dữ liệu tập trung, cho phép chuyển dữ liệu nhanh chóng giữa các GPU và tạo ra sự tiết kiệm chi phí đáng kể trong quá trình đào tạo mà cài đặt phi tập trung không thể sánh kịp… nhưng.
Nếu bạn nói chuyện với những người làm việc trong lĩnh vực AI, nhiều người sẽ nói với bạn rằng việc đào tạo phi tập trung không hoạt động.
Trong các thiết lập phi tập trung, các cụm GPU không được đặt cùng vật lý, vì vậy việc truyền dữ liệu giữa chúng chậm hơn và trở thành điểm hạn chế. Việc huấn luyện yêu cầu các GPU đồng bộ hóa và trao đổi dữ liệu ở mỗi bước. Càng xa nhau, độ trễ càng cao. Độ trễ cao có nghĩa là tốc độ huấn luyện chậm hơn và chi phí cao hơn.
Những gì có thể mất một vài ngày trong một trung tâm dữ liệu tập trung có thể kéo dài đến hai tuần với cách tiếp cận phi tập trung với chi phí cao hơn. Điều đó đơn giản là không khả thi.
Nhưng điều này được thiết lập để thay đổi.
Thông tin tốt là có một sự bùng nổ lớn về sự quan tâm vào nghiên cứu về đào tạo phân tán. Các nhà nghiên cứu đang khám phá nhiều phương pháp cùng một lúc, như được chứng minh bằng sự hối hả của các nghiên cứu và bài báo được công bố. Những tiến bộ này sẽ chồng chất và tăng cường, đẩy nhanh tiến triển trong lĩnh vực này.
Điều này cũng liên quan đến việc thử nghiệm trong quá trình sản xuất và xem chúng ta có thể đẩy ranh giới đến đâu.
Một số kỹ thuật đào tạo phi tập trung đã có thể xử lý các mô hình nhỏ trong môi trường kết nối chậm. Hiện nay, nghiên cứu tiên phong đang đẩy mạnh để mở rộng các phương pháp này sang các mô hình ngày càng lớn hơn.
Một thách thức khác là quản lý một loạt phong phú các phần cứng GPU, bao gồm các GPU cấp tiêu dùng có bộ nhớ hạn chế, điều này thường xảy ra trong các mạng phân tán. Các kỹ thuật như song song hóa mô hình (chia các lớp mô hình qua các thiết bị) có thể giúp làm cho điều này trở nên khả thi.
Phương pháp đào tạo phi tập trung hiện tại vẫn giới hạn ở các kích thước mô hình dưới mức tiên tiến (GPT-4 được cho là gần đạt tới một nghìn tham số, lớn gấp 100 lần so với mô hình 10 tỷ tham số của Prime Intellect). Để thực sự mở rộng, chúng ta sẽ cần những đột phá trong kiến trúc mô hình, cơ sở hạ tầng mạng tốt hơn và phân chia công việc thông minh hơn trên các thiết bị.
Và chúng ta có thể mơ lớn. Hãy tưởng tượng một thế giới nơi đào tạo phi tập trung tổng hợp nhiều sức mạnh tính toán GPU hơn cả các trung tâm dữ liệu tập trung lớn nhất có thể tập hợp.
Pluralis Research(một nhóm sắc bén trong đào tạo phi tập trung, một nhóm cần theo dõi sát sao) cho rằng điều này không chỉ có thể xảy ra - nó là điều không thể tránh khỏi. Trung tâm dữ liệu tập trung bị ràng buộc bởi các hạn chế vật lý như không gian và khả năng cung cấp điện, trong khi các mạng phi tập trung có thể tận dụng vào một nguồn tài nguyên toàn cầu vô hạn một cách hiệu quả.
Ngay cả Jensen Huang của NVIDIA cũng đã công nhận rằng đào tạo phi tập trung không đồng bộ có thể mở khóa tiềm năng thực sự của việc mở rộng quy mô AI. Mạng lưới đào tạo phân tán cũng có khả năng chịu lỗi cao hơn.
Vì vậy, trong một tương lai tiềm năng, các mô hình AI mạnh nhất của thế giới sẽ được đào tạo theo cách phi tập trung.
Đó là một triển vọng thú vị, nhưng tôi vẫn chưa hoàn toàn tin tưởng. Chúng ta cần có bằng chứng mạnh mẽ hơn rằng việc đào tạo phi tập trung các mô hình lớn là kỹ thuật và kinh tế khả thi.
Đây là nơi tôi thấy nhiều hứa hẹn: Điểm ngọt ngào của đào tạo phi tập trung có thể nằm ở các mô hình mã nguồn mở nhỏ hơn, chuyên biệt, được thiết kế cho các trường hợp sử dụng được nhắm mục tiêu, thay vì cạnh tranh với các mô hình biên giới cực lớn, do AGI điều khiển. Một số kiến trúc nhất định, đặc biệt là các mô hình không biến áp, đã chứng minh sự phù hợp tự nhiên cho các thiết lập phi tập trung.
Và còn một phần khác của câu đố này: token. Khi đào tạo phi tập trung trở nên khả thi ở quy mô lớn, token có thể đóng vai trò quan trọng trong việc khuyến khích và thưởng cho người đóng góp, hiệu quả khởi động mạng lưới này.
Con đường đến tầm nhìn này rất dài, nhưng tiến bộ đang đem lại sự động viên sâu sắc. Các tiến bộ trong việc đào tạo phi tập trung sẽ mang lại lợi ích cho tất cả mọi người - kể cả công nghệ lớn và các phòng nghiên cứu trí tuệ nhân tạo hàng đầu - khi quy mô của các mô hình tương lai sẽ vượt quá khả năng của một trung tâm dữ liệu đơn lẻ.
Tương lai được phân phối. Và khi một công nghệ nắm giữ tiềm năng rộng lớn như vậy, lịch sử cho thấy nó luôn trở nên tốt hơn, nhanh hơn bất cứ ai mong đợi.
Hiện tại, hầu hết sức mạnh tính toán trong lĩnh vực Trí tuệ nhân tạo đang được đổ vào việc huấn luyện các mô hình lớn. Các phòng thí nghiệm Trí tuệ nhân tạo hàng đầu đều đang trong cuộc đua vũ trang để phát triển các mô hình cơ bản tốt nhất và cuối cùng là đạt được Trí tuệ Nhân tạo tự động (AGI).
Nhưng đây là quan điểm của tôi: sự tập trung mạnh mẽ vào việc tính toán huấn luyện sẽ dịch chuyển sang việc suy luận trong những năm sắp tới. Khi trí tuệ nhân tạo ngày càng được tích hợp vào các ứng dụng mà chúng ta sử dụng hàng ngày—từ lĩnh vực chăm sóc sức khỏe đến giải trí—nguồn tài nguyên tính toán cần thiết để hỗ trợ suy luận sẽ là một điều đáng kinh ngạc.
Và đó không chỉ là sự suy đoán. Việc mở rộng tính toán thời gian suy luận là một từ ngữ mới nhất trong lĩnh vực Trí tuệ Nhân tạo. Gần đây, OpenAI đã phát hành một phiên bản xem trước/mini của mô hình mới nhất của mình, o1 (tên mã: Strawberry), và sự chuyển đổi lớn đó là gì? Nó mất thời gian để suy nghĩ bằng cách đầu tiên hỏi bản thân những bước nên thực hiện để trả lời câu hỏi, sau đó đi qua từng bước đó.
Mô hình này được thiết kế cho các nhiệm vụ phức tạp hơn, đòi hỏi nhiều kế hoạch - như giải các câu đố chữ—và giải quyết các vấn đề đòi hỏi tư duy sâu hơn. Bạn sẽ nhận thấy nó chậm hơn, mất nhiều thời gian hơn để tạo ra phản hồi, nhưng kết quả lại sâu sắc và tinh vi hơn. Nó cũng tốn kém hơn để vận hành (25x chi phí của GPT-4)
Sự chuyển đổi tập trung rõ ràng: bước nhảy tiếp theo trong hiệu suất AI sẽ không chỉ đến từ việc huấn luyện mô hình lớn hơn mà còn từ việc tăng cường việc sử dụng tính toán trong suy luận.
Nếu bạn muốn đọc nhiều hơn, một số nghiên cứuGiấy tờdemonstrate:
Khi mô hình mạnh mẽ đã được huấn luyện, nhiệm vụ suy luận của chúng - nơi mà các mô hình thực hiện các hoạt động - có thể được chuyển giao cho các mạng tính toán phân tán. Điều này rất hợp lý vì:
Hãy nghĩ về việc suy diễn phi tập trung như một CDN (mạng phân phối nội dung) cho AI: thay vì nhanh chóng giao nội dung web bằng cách kết nối với các máy chủ gần đó, suy diễn phi tập trung tận dụng năng lực tính toán cục bộ để cung cấp phản hồi AI trong thời gian ngắn. Bằng cách chấp nhận suy diễn phi tập trung, ứng dụng AI trở nên hiệu quả, có khả năng phản ứng và đáng tin cậy hơn.
Xu hướng là rõ ràng. Chip M4 Pro mới của Apple đối thủ của NVIDIA RTX 3070 Ti — một GPU mà cho đến gần đây, vẫn là lĩnh vực của những game thủ khó tính. Phần cứng chúng ta đã có ngày càng có khả năng xử lý khối lượng công việc AI nâng cao.
Để mạng lưới suy diễn phi tập trung thành công, phải có động lực kinh tế hấp dẫn để tham gia. Các nút trong mạng cần được bồi thường cho đóng góp tính toán của họ. Hệ thống phải đảm bảo phân phối phần thưởng công bằng và hiệu quả. Đa dạng địa lý là điều cần thiết, giảm độ trễ cho các nhiệm vụ suy diễn và nâng cao khả năng chống lỗi.
Và cách tốt nhất để xây dựng mạng lưới phi tập trung? Tiền điện tử.
Tokens cung cấp cơ chế mạnh mẽ để điều chỉnh lợi ích của các thành viên, đảm bảo mọi người đang làm việc với cùng một mục tiêu: mở rộng mạng lưới và tăng giá trị của token.
Token cũng thúc đẩy tăng trưởng mạng. Chúng giúp giải quyết vấn đề gà và trứng cổ điển khiến hầu hết các mạng lưới đình trệ bằng cách thưởng cho những người chấp nhận sớm và thúc đẩy sự tham gia ngay từ ngày đầu tiên.
Sự thành công của Bitcoin và Ethereum đã chứng minh điểm này – họ đã tổng hợp các nhóm sức mạnh tính toán lớn nhất trên hành tinh.
Các mạng suy luận phi tập trung là dòng tiếp theo. Với sự đa dạng về địa lý, chúng làm giảm độ trễ, cải thiện khả năng chịu lỗi và đưa AI đến gần hơn với người dùng. Và với các ưu đãi được hỗ trợ bởi tiền điện tử, chúng sẽ mở rộng nhanh hơn và tốt hơn so với các mạng truyền thống có thể.
Tôi chưa làm lay chuyển cú lỡ lớn này.
Nó vẫn ám ảnh tôi vì đó là cú đặt cược rõ ràng nhất đối với bất kỳ ai chú ý, nhưng tôi không đầu tư một đồng nào.
Không, đó không phải là kẻ giết Solana tiếp theo hoặc một đồng tiền meme với một con chó đang đội một chiếc mũ vui nhộn.
Đó là … NVIDIA.
Giá cổ phiếu NVDA từ đầu năm đến nay. Nguồn: Google
Chỉ trong một năm, NVDA tăng gấp 3 lần, vươn lên từ vốn hóa thị trường 1 nghìn tỷ đô la lên 3 nghìn tỷ đô la. Thậm chí nó còn vượt qua Bitcoin trong cùng thời kỳ.
Chắc chắn, một phần trên đó là sự thổi phồng AI. Nhưng một phần lớn chắc chắn dựa trên thực tế. NVIDIA báo cáo 60 tỷ đô la doanh thu cho năm tài chính 2024, tăng đáng kể 126% so với 2023. Sự tăng trưởng này được thúc đẩy bởi các công ty công nghệ lớn chạy mua GPU trong cuộc chạy đua toàn cầu với AGI.
Vậy tại sao tôi lại bỏ lỡ nó?
Hai năm trời, tôi tập trung mạnh vào tiền điện tử và không quan tâm đến những gì đang diễn ra trong lĩnh vực Trí tuệ Nhân tạo. Đó là một sai lầm lớn và nó vẫn ảnh hưởng đến tôi.
Nhưng tôi không mắc phải sai lầm cùng một lần nữa.
Hôm nay, Trí tuệ nhân tạo về tiền điện tử cảm thấy kỳ lạ giống như vậy. Chúng ta đang ở bên bờ của một cuộc bùng nổ đổi mới. Những điểm tương đồng với Đợt Vàng California vào giữa thế kỷ 19 khó mà có thể bỏ qua - các ngành công nghiệp và thành phố mọc lên qua đêm, cơ sở hạ tầng tiến triển với tốc độ chóng mặt, và những gia sản đã được tạo ra bởi những người dám nhảy mình.
Giống như NVIDIA trong những ngày đầu, Crypto AI sẽ trở nên rõ ràng khi nhìn lại.
In Phần I của luận văn của tôi, Tôi đã giải thích tại sao Tiền điện tử AI là cơ hội ngựa ô hấp dẫn nhất cho nhà đầu tư và người xây dựng ngày nay.
Đây là một bản tóm tắt nhanh:
Ở bản chất, Crypto AI là trí tuệ nhân tạo với cơ sở hạ tầng tiền điện tử được xếp lớp phía trên. Điều này có nghĩa là nó có khả năng theo dõi quỹ đạo tăng trưởng mũi tên của trí tuệ nhân tạo hơn là thị trường tiền điện tử rộng lớn hơn. Vì vậy, để duy trì vị thế hàng đầu, bạn phải theo dõi các nghiên cứu trí tuệ nhân tạo mới nhất trên Arxiv và trò chuyện với những người sáng lập tin rằng họ đang xây dựng điều lớn lao tiếp theo.
Trong Phần II của luận văn của tôi, tôi sẽ đào sâu vào bốn phân ngành triển vọng nhất trong Tiền điện tử AI:
Mảnh này đại diện cho kết quả của tuần nghiên cứu sâu và cuộc trò chuyện với các nhà sáng lập và đội ngũ trên toàn cảnh Crypto AI. Nó không được thiết kế để là một cuộc phiêu lưu sâu rộng trong mọi lĩnh vực - đó là một cái hố thỏ cho một ngày khác.
Thay vào đó, xem nó như một bản đồ tương lai cấp cao được tạo ra để khơi dậy sự tò mò, mài giũa nghiên cứu của bạn và hướng dẫn suy nghĩ đầu tư.
Tôi hình dung ngăn xếp trí tuệ nhân tạo phi tập trung như một hệ sinh thái lớp lớp: nó bắt đầu bằng tính toán phi tập trung và mạng dữ liệu mở ở một đầu, là nguồn năng lượng cho việc huấn luyện mô hình trí tuệ nhân tạo phi tập trung.
Mọi suy luận sau đó được xác minh - cả đầu vào và đầu ra - bằng cách sử dụng một sự kết hợp của mật mã, động lực kinh tế tiền điện tử và mạng lưới đánh giá. Các đầu ra đã được xác minh này trôi vào các đại lý Trí tuệ Nhân tạo (AI) có thể hoạt động tự động trên chuỗi, cũng như các ứng dụng Trí tuệ Nhân tạo (AI) dành cho người tiêu dùng và doanh nghiệp mà người dùng thực sự có thể tin cậy.
Mạng lưới phối hợp kết nối tất cả mọi thứ lại với nhau, cho phép giao tiếp và hợp tác mượt mà trên toàn bộ hệ sinh thái.
Trên tầm nhìn này, bất kỳ ai xây dựng trong lĩnh vực trí tuệ nhân tạo đều có thể tiếp cận một hoặc nhiều tầng của ngăn xếp này, tùy thuộc vào nhu cầu cụ thể của họ. Cho dù sử dụng tính toán phi tập trung cho việc huấn luyện mô hình hoặc sử dụng các mạng đánh giá để đảm bảo đầu ra chất lượng cao, ngăn xếp cung cấp một loạt các lựa chọn.
Nhờ vào tính tương hợp bẩm sinh của blockchain, tôi tin rằng chúng ta đang tự nhiên tiến đến một tương lai modular. Mỗi lớp đều trở nên siêu chuyên biệt, với các giao thức được tối ưu hóa cho các chức năng cụ thể thay vì một phương pháp tích hợp all-in-one.
Nguồn: topology.vc
Đã có một cuộc nổ ra của các doanh nghiệp khởi nghiệp xây dựng trên mọi tầng của ngăn xếp trí tuệ nhân tạo phi tập trung, hầu hết được thành lập chỉ trong 1 - 3 năm qua. Rõ ràng: chúng ta vẫn còn sớm.
Bản đồ toàn cảnh và cập nhật nhất về cảnh quan khởi nghiệp AI Crypto mà tôi từng thấy được duy trì bởi Casey và đội ngũ của cô ấy tại topology.vc. Đó là một nguồn tài nguyên vô giá cho bất kỳ ai theo dõi không gian.
Khi tôi đào sâu vào các phân ngành Crypto AI, tôi luôn tự đặt câu hỏi: cơ hội ở đây có lớn không? Tôi không quan tâm đến các cược nhỏ - tôi đang tìm kiếm các thị trường có thể mở rộng lên hàng trăm tỷ.
Hãy bắt đầu với quy mô thị trường. Khi đánh giá một phân ngành con, tôi tự hỏi: liệu nó có tạo ra một thị trường hoàn toàn mới hay là đang gây rối trong một thị trường đã tồn tại?
Ví dụ, hãy xem xét tính toán phi tập trung. Đó là một danh mục gây chấn động, tiềm năng của nó có thể được ước lượng bằng cách nhìn vào thị trường máy chủ đám mây đã được xác định, trị giá ~$680 tỷ hôm nay và dự kiến đạt 2.5T đô la vào năm 2032.
Các thị trường mới không có tiền lệ, như các đại lý AI, khó định lượng hơn. Mà không có dữ liệu lịch sử, việc đánh giá chúng bao gồm một sự kết hợp của những phỏng đoán có căn cứ và kiểm tra cảm giác về các vấn đề mà chúng đang giải quyết. Và điều nguy hiểm là đôi khi, điều có vẻ như một thị trường mới thực sự chỉ là một giải pháp tìm kiếm vấn đề.
Thời gian là tất cả. Công nghệ có xu hướng cải thiện và trở nên rẻ hơn theo thời gian, nhưng tốc độ tiến bộ thay đổi.
Công nghệ trưởng thành như thế nào trong một phân ngành nhất định? Nó đã sẵn sàng để mở rộng quy mô, hay nó vẫn đang trong giai đoạn nghiên cứu, với các ứng dụng thực tế nhiều năm nữa? Thời gian xác định liệu một lĩnh vực có đáng được chú ý ngay lập tức hay nên được để lại trong danh mục “chờ xem”.
Cầm Fully Homomorphic Encryption (FHE) làm ví dụ: tiềm năng không thể phủ nhận, nhưng hiện nay nó vẫn quá chậm để sử dụng rộng rãi. Có lẽ còn vài năm nữa chúng ta mới thấy nó trở nên phổ biến. Bằng cách tập trung vào các lĩnh vực gần gũi với việc mở rộng trước tiên, tôi có thể dành thời gian và năng lượng của mình vào nơi đang có đà tăng trưởng và cơ hội.
Nếu tôi phải ánh xạ các danh mục này lên biểu đồ kích thước so với thời gian, nó sẽ trông giống như thế này. Hãy nhớ rằng đây chỉ là một phác thảo khái niệm hơn là một hướng dẫn cứng nhắc. Có rất nhiều sự tinh vi—ví dụ, trong suy luận có thể xác minh, các phương pháp khác như zkML và opML có các mức độ sẵn sàng khác nhau để sử dụng.
Tuy nhiên, tôi tin rằng quy mô của trí tuệ nhân tạo sẽ rất lớn đến mức ngay cả những gì ngày nay dường như chỉ là “hẹp hòi” cũng có thể phát triển thành một thị trường quan trọng.
Đáng chú ý rằng tiến bộ công nghệ không luôn diễn ra theo một đường thẳng - đôi khi nó xảy ra theo những bước nhảy. Quan điểm của tôi về thời điểm và quy mô thị trường sẽ thay đổi khi những đột phá mới nảy sinh.
Với khung này trong tâm trí, hãy phân tích từng phân ngành.
Một số nhóm Crypto AI đang định vị bản thân để tận dụng sự thiếu hụt GPU so với nhu cầu bằng cách xây dựng các mạng phân cấp tận dụng nguồn sức mạnh tính toán tiềm ẩn toàn cầu.
Mục tiêu giá trị cốt lõi cho các sàn giao dịch GPU là 3 mục:
Để giải quyết phía cung của thị trường, các thị trường này tính toán từ:
Mặt khác, hiện nay, phía yêu cầu cho tính toán phi tập trung đến từ:
Điều quan trọng cần nhớ: nhà phát triển luôn ưu tiên chi phí và độ tin cậy.
Các công ty khởi nghiệp trong lĩnh vực này thường quảng bá kích thước mạng lưới cung cấp GPU của họ như một dấu hiệu của sự thành công. Nhưng điều này là gây nhầm lẫn - đây chỉ là một chỉ số vô nghĩa tại điểm cao nhất.
Ràng buộc thực sự không phải là nguồn cung mà là nhu cầu. Các chỉ số quan trọng cần theo dõi không phải là số lượng GPU có sẵn, mà là tỷ lệ sử dụng và số lượng GPU thực sự được cho thuê.
Token là cực kỳ xuất sắc trong việc khởi động phía cung ứng, tạo ra những động cơ cần thiết để mở rộng nhanh chóng. Tuy nhiên, chúng không giải quyết vấn đề cầu hỏi theo bản năng. Bài kiểm tra thực sự là khi sản phẩm đạt đến trạng thái đủ tốt để nhu cầu tiềm ẩn trở nên rõ ràng.
Haseeb Qureshi (Dragonfly) đặt tốt nhất:
Ngược lại với quan điểm phổ biến, rào cản lớn nhất đối với các thị trường GPU phân phối web3 hiện nay đơn giản chỉ là làm cho chúng hoạt động đúng cách.
Đây không phải là một vấn đề nhỏ.
Điều phối GPU trên mạng phân tán là phức tạp, với nhiều thách thức - phân bổ tài nguyên, tỷ lệ công việc động, cân bằng tải trên các nút và GPU, quản lý độ trễ, truyền dữ liệu, khả năng chịu lỗi và xử lý phần cứng đa dạng phân tán trên các địa điểm khác nhau. Tôi có thể tiếp tục mãi mãi.
Để đạt được điều này, yêu cầu kỹ sư nghiêm túc và một kiến trúc mạng mạnh mẽ, được thiết kế đúng cách.
Để đặt nó vào bối cảnh, hãy xem xét Kubernetes của Google. Nó được coi là tiêu chuẩn vàng cho việc triển khai các container, tự động hóa quy trình như cân bằng tải và tỷ lệ mở rộng trong môi trường phân tán - những thách thức rất tương tự với những gì mà các mạng GPU phân tán phải đối mặt. Kubernetes được xây dựng dựa trên hơn một thập kỷ kinh nghiệm của Google, và ngay cả sau đó, nó cũng mất nhiều năm để hoàn thiện.
Một số chợ máy tính GPU đã hoạt động hiện nay có thể xử lý các khối lượng công việc quy mô nhỏ, nhưng những vấn đề bắt đầu xuất hiện ngay khi họ cố gắng mở rộng. Tôi nghi ngờ rằng điều này là do họ được xây dựng trên cơ sở kiến trúc thiết kế kém cỏi.
Một thách thức / cơ hội khác cho các mạng tính toán phi tập trung là đảm bảo tính đáng tin cậy: xác minh rằng mỗi node đang cung cấp công suất tính toán mà nó tuyên bố. Hiện tại, điều này phụ thuộc vào danh tiếng của mạng và trong một số trường hợp, nhà cung cấp tính toán được xếp hạng theo điểm danh tiếng. Công nghệ blockchain có vẻ là một lựa chọn tự nhiên cho các hệ thống xác minh không đáng tin cậy. Các startup như GensynvàSpheron đang đẩy mạnh một phương pháp không đáng tin cậy để giải quyết vấn đề này.
Hôm nay, nhiều nhóm web3 vẫn đang vật lộn với những thách thức này, điều đó có nghĩa là cơ hội vẫn rất rộng mở.
Thị trường mạng tính toán phi tập trung có quy mô như thế nào?
Hiện nay, thị trường máy chủ ảo dựa trên blockchain chỉ chiếm một khoảng rất nhỏ so với ngành công nghiệp đám mây trị giá từ 680 tỷ đến 2,5 nghìn tỷ USD. Tuy nhiên, bất chấp sự cản trở đối với người dùng, luôn có những nhu cầu sử dụng miễn là chi phí vẫn thấp hơn so với những nhà cung cấp truyền thống.
Tôi tin rằng chi phí sẽ duy trì ở mức thấp trong tương lai gần đến trung hạn do sự kết hợp của các khoản trợ cấp token và việc mở khóa nguồn cung từ người dùng không nhạy cảm với giá (ví dụ, nếu tôi có thể cho thuê laptop chơi game của mình để kiếm thêm tiền, tôi sẽ hạnh phúc dù mỗi tháng là 20 đô la hay 50 đô la).
Nhưng tiềm năng tăng trưởng thực sự cho các mạng tính toán phi tập trung - và sự mở rộng thực sự của TAM của họ - sẽ đến khi:
Tính toán phi tập trung, không cần phép mà đứng như một lớp cơ sở - cơ sở hạ tầng cơ bản - cho một hệ sinh thái trí tuệ nhân tạo phi tập trung.
Bất chấp sự mở rộng liên tục trong chuỗi cung ứng silicon (tức là GPU), tôi tin rằng chúng ta chỉ mới ở buổi bình minh của kỷ nguyên Trí tuệ nhân loại. Sẽ có một nhu cầu vô độ về tính toán.
Hãy chú ý đến điểm phát xảy sự kiện có thể kích hoạt một sự đánh giá lại lớn của tất cả các chợ GPU hoạt động. Có lẽ nó sẽ sớm đến.
Hãy tưởng tượng: một mô hình trí tuệ nhân tạo to lớn, thay đổi thế giới, không được phát triển trong các phòng thí nghiệm tinh vi và bí mật mà được tạo ra bởi hàng triệu người thông thường. Người chơi game, những người GPU của họ thường sản xuất những cảnh nổ điện ảnh trong Call of Duty, bây giờ sẽ sử dụng thiết bị của họ cho một mục tiêu cao cả hơn - một mô hình trí tuệ nhân tạo mã nguồn mở, thuộc sở hữu của cộng đồng và không có bất kỳ cổng thông tin tâm trí trung tâm nào.
Trong tương lai này, các mô hình quy mô cơ bản không chỉ thuộc về lĩnh vực của các phòng thí nghiệm trí tuệ nhân tạo hàng đầu.
Nhưng hãy đặt tầm nhìn này vào hiện thực ngày hôm nay. Hiện tại, hầu hết việc đào tạo trí tuệ nhân tạo nặng ký vẫn được gắn liền với các trung tâm dữ liệu tập trung, và điều này có thể sẽ là quy tắc trong một thời gian dài.
Các công ty như OpenAI đang mở rộng các cụm máy chủ khổng lồ của họ. Elon Musk gần đây công bốrằng xAI sắp hoàn thành một trung tâm dữ liệu với sức mạnh tương đương 200,000 GPU H100.
Nhưng điều này không chỉ liên quan đến số lượng GPU thô. Sử dụng FLOPS mô hình (MFU)—một chỉ số được giới thiệu trong Bài báo PaLM của Googletrong năm 2022—theo dõi cách mà dung lượng tối đa của GPU được sử dụng một cách hiệu quả. Ngạc nhiên, MFU thường dao động khoảng 35-40%.
Tại sao lại thấp như vậy? Trong khi hiệu suất GPU đã tăng vọt theo đúng luật Moore trong nhiều năm qua, cải tiến mạng, bộ nhớ và lưu trữ đã đứng sau rất nhiều, tạo ra các bottleneck. Kết quả là, GPU thường ngồi im, chờ dữ liệu.
Đào tạo trí tuệ nhân tạo vẫn rất tập trung ngày nay vì một lý do - Hiệu quả.
Đào tạo các mô hình lớn phụ thuộc vào các kỹ thuật như:
• Data parallelism: Chia tập dữ liệu thành nhiều GPU để thực hiện các hoạt động song song, tăng tốc quá trình đào tạo.
• Phân chia mô hình: Phân phối các phần của mô hình qua các GPU để vượt qua hạn chế bộ nhớ.
Các phương pháp này đòi hỏi GPU để trao đổi dữ liệu liên tục, làm tốc độ kết nối mạng - tốc độ dữ liệu được chuyển qua các máy tính trong mạng - hoàn toàn quan trọng.
Khi việc đào tạo mô hình trí tuệ nhân tạo đầu tư có thể lên đến 1 tỷ đô la, mọi lợi ích về hiệu quả đều quan trọng.
Với các kết nối tốc độ cao của trung tâm dữ liệu tập trung, cho phép chuyển dữ liệu nhanh chóng giữa các GPU và tạo ra sự tiết kiệm chi phí đáng kể trong quá trình đào tạo mà cài đặt phi tập trung không thể sánh kịp… nhưng.
Nếu bạn nói chuyện với những người làm việc trong lĩnh vực AI, nhiều người sẽ nói với bạn rằng việc đào tạo phi tập trung không hoạt động.
Trong các thiết lập phi tập trung, các cụm GPU không được đặt cùng vật lý, vì vậy việc truyền dữ liệu giữa chúng chậm hơn và trở thành điểm hạn chế. Việc huấn luyện yêu cầu các GPU đồng bộ hóa và trao đổi dữ liệu ở mỗi bước. Càng xa nhau, độ trễ càng cao. Độ trễ cao có nghĩa là tốc độ huấn luyện chậm hơn và chi phí cao hơn.
Những gì có thể mất một vài ngày trong một trung tâm dữ liệu tập trung có thể kéo dài đến hai tuần với cách tiếp cận phi tập trung với chi phí cao hơn. Điều đó đơn giản là không khả thi.
Nhưng điều này được thiết lập để thay đổi.
Thông tin tốt là có một sự bùng nổ lớn về sự quan tâm vào nghiên cứu về đào tạo phân tán. Các nhà nghiên cứu đang khám phá nhiều phương pháp cùng một lúc, như được chứng minh bằng sự hối hả của các nghiên cứu và bài báo được công bố. Những tiến bộ này sẽ chồng chất và tăng cường, đẩy nhanh tiến triển trong lĩnh vực này.
Điều này cũng liên quan đến việc thử nghiệm trong quá trình sản xuất và xem chúng ta có thể đẩy ranh giới đến đâu.
Một số kỹ thuật đào tạo phi tập trung đã có thể xử lý các mô hình nhỏ trong môi trường kết nối chậm. Hiện nay, nghiên cứu tiên phong đang đẩy mạnh để mở rộng các phương pháp này sang các mô hình ngày càng lớn hơn.
Một thách thức khác là quản lý một loạt phong phú các phần cứng GPU, bao gồm các GPU cấp tiêu dùng có bộ nhớ hạn chế, điều này thường xảy ra trong các mạng phân tán. Các kỹ thuật như song song hóa mô hình (chia các lớp mô hình qua các thiết bị) có thể giúp làm cho điều này trở nên khả thi.
Phương pháp đào tạo phi tập trung hiện tại vẫn giới hạn ở các kích thước mô hình dưới mức tiên tiến (GPT-4 được cho là gần đạt tới một nghìn tham số, lớn gấp 100 lần so với mô hình 10 tỷ tham số của Prime Intellect). Để thực sự mở rộng, chúng ta sẽ cần những đột phá trong kiến trúc mô hình, cơ sở hạ tầng mạng tốt hơn và phân chia công việc thông minh hơn trên các thiết bị.
Và chúng ta có thể mơ lớn. Hãy tưởng tượng một thế giới nơi đào tạo phi tập trung tổng hợp nhiều sức mạnh tính toán GPU hơn cả các trung tâm dữ liệu tập trung lớn nhất có thể tập hợp.
Pluralis Research(một nhóm sắc bén trong đào tạo phi tập trung, một nhóm cần theo dõi sát sao) cho rằng điều này không chỉ có thể xảy ra - nó là điều không thể tránh khỏi. Trung tâm dữ liệu tập trung bị ràng buộc bởi các hạn chế vật lý như không gian và khả năng cung cấp điện, trong khi các mạng phi tập trung có thể tận dụng vào một nguồn tài nguyên toàn cầu vô hạn một cách hiệu quả.
Ngay cả Jensen Huang của NVIDIA cũng đã công nhận rằng đào tạo phi tập trung không đồng bộ có thể mở khóa tiềm năng thực sự của việc mở rộng quy mô AI. Mạng lưới đào tạo phân tán cũng có khả năng chịu lỗi cao hơn.
Vì vậy, trong một tương lai tiềm năng, các mô hình AI mạnh nhất của thế giới sẽ được đào tạo theo cách phi tập trung.
Đó là một triển vọng thú vị, nhưng tôi vẫn chưa hoàn toàn tin tưởng. Chúng ta cần có bằng chứng mạnh mẽ hơn rằng việc đào tạo phi tập trung các mô hình lớn là kỹ thuật và kinh tế khả thi.
Đây là nơi tôi thấy nhiều hứa hẹn: Điểm ngọt ngào của đào tạo phi tập trung có thể nằm ở các mô hình mã nguồn mở nhỏ hơn, chuyên biệt, được thiết kế cho các trường hợp sử dụng được nhắm mục tiêu, thay vì cạnh tranh với các mô hình biên giới cực lớn, do AGI điều khiển. Một số kiến trúc nhất định, đặc biệt là các mô hình không biến áp, đã chứng minh sự phù hợp tự nhiên cho các thiết lập phi tập trung.
Và còn một phần khác của câu đố này: token. Khi đào tạo phi tập trung trở nên khả thi ở quy mô lớn, token có thể đóng vai trò quan trọng trong việc khuyến khích và thưởng cho người đóng góp, hiệu quả khởi động mạng lưới này.
Con đường đến tầm nhìn này rất dài, nhưng tiến bộ đang đem lại sự động viên sâu sắc. Các tiến bộ trong việc đào tạo phi tập trung sẽ mang lại lợi ích cho tất cả mọi người - kể cả công nghệ lớn và các phòng nghiên cứu trí tuệ nhân tạo hàng đầu - khi quy mô của các mô hình tương lai sẽ vượt quá khả năng của một trung tâm dữ liệu đơn lẻ.
Tương lai được phân phối. Và khi một công nghệ nắm giữ tiềm năng rộng lớn như vậy, lịch sử cho thấy nó luôn trở nên tốt hơn, nhanh hơn bất cứ ai mong đợi.
Hiện tại, hầu hết sức mạnh tính toán trong lĩnh vực Trí tuệ nhân tạo đang được đổ vào việc huấn luyện các mô hình lớn. Các phòng thí nghiệm Trí tuệ nhân tạo hàng đầu đều đang trong cuộc đua vũ trang để phát triển các mô hình cơ bản tốt nhất và cuối cùng là đạt được Trí tuệ Nhân tạo tự động (AGI).
Nhưng đây là quan điểm của tôi: sự tập trung mạnh mẽ vào việc tính toán huấn luyện sẽ dịch chuyển sang việc suy luận trong những năm sắp tới. Khi trí tuệ nhân tạo ngày càng được tích hợp vào các ứng dụng mà chúng ta sử dụng hàng ngày—từ lĩnh vực chăm sóc sức khỏe đến giải trí—nguồn tài nguyên tính toán cần thiết để hỗ trợ suy luận sẽ là một điều đáng kinh ngạc.
Và đó không chỉ là sự suy đoán. Việc mở rộng tính toán thời gian suy luận là một từ ngữ mới nhất trong lĩnh vực Trí tuệ Nhân tạo. Gần đây, OpenAI đã phát hành một phiên bản xem trước/mini của mô hình mới nhất của mình, o1 (tên mã: Strawberry), và sự chuyển đổi lớn đó là gì? Nó mất thời gian để suy nghĩ bằng cách đầu tiên hỏi bản thân những bước nên thực hiện để trả lời câu hỏi, sau đó đi qua từng bước đó.
Mô hình này được thiết kế cho các nhiệm vụ phức tạp hơn, đòi hỏi nhiều kế hoạch - như giải các câu đố chữ—và giải quyết các vấn đề đòi hỏi tư duy sâu hơn. Bạn sẽ nhận thấy nó chậm hơn, mất nhiều thời gian hơn để tạo ra phản hồi, nhưng kết quả lại sâu sắc và tinh vi hơn. Nó cũng tốn kém hơn để vận hành (25x chi phí của GPT-4)
Sự chuyển đổi tập trung rõ ràng: bước nhảy tiếp theo trong hiệu suất AI sẽ không chỉ đến từ việc huấn luyện mô hình lớn hơn mà còn từ việc tăng cường việc sử dụng tính toán trong suy luận.
Nếu bạn muốn đọc nhiều hơn, một số nghiên cứuGiấy tờdemonstrate:
Khi mô hình mạnh mẽ đã được huấn luyện, nhiệm vụ suy luận của chúng - nơi mà các mô hình thực hiện các hoạt động - có thể được chuyển giao cho các mạng tính toán phân tán. Điều này rất hợp lý vì:
Hãy nghĩ về việc suy diễn phi tập trung như một CDN (mạng phân phối nội dung) cho AI: thay vì nhanh chóng giao nội dung web bằng cách kết nối với các máy chủ gần đó, suy diễn phi tập trung tận dụng năng lực tính toán cục bộ để cung cấp phản hồi AI trong thời gian ngắn. Bằng cách chấp nhận suy diễn phi tập trung, ứng dụng AI trở nên hiệu quả, có khả năng phản ứng và đáng tin cậy hơn.
Xu hướng là rõ ràng. Chip M4 Pro mới của Apple đối thủ của NVIDIA RTX 3070 Ti — một GPU mà cho đến gần đây, vẫn là lĩnh vực của những game thủ khó tính. Phần cứng chúng ta đã có ngày càng có khả năng xử lý khối lượng công việc AI nâng cao.
Để mạng lưới suy diễn phi tập trung thành công, phải có động lực kinh tế hấp dẫn để tham gia. Các nút trong mạng cần được bồi thường cho đóng góp tính toán của họ. Hệ thống phải đảm bảo phân phối phần thưởng công bằng và hiệu quả. Đa dạng địa lý là điều cần thiết, giảm độ trễ cho các nhiệm vụ suy diễn và nâng cao khả năng chống lỗi.
Và cách tốt nhất để xây dựng mạng lưới phi tập trung? Tiền điện tử.
Tokens cung cấp cơ chế mạnh mẽ để điều chỉnh lợi ích của các thành viên, đảm bảo mọi người đang làm việc với cùng một mục tiêu: mở rộng mạng lưới và tăng giá trị của token.
Token cũng thúc đẩy tăng trưởng mạng. Chúng giúp giải quyết vấn đề gà và trứng cổ điển khiến hầu hết các mạng lưới đình trệ bằng cách thưởng cho những người chấp nhận sớm và thúc đẩy sự tham gia ngay từ ngày đầu tiên.
Sự thành công của Bitcoin và Ethereum đã chứng minh điểm này – họ đã tổng hợp các nhóm sức mạnh tính toán lớn nhất trên hành tinh.
Các mạng suy luận phi tập trung là dòng tiếp theo. Với sự đa dạng về địa lý, chúng làm giảm độ trễ, cải thiện khả năng chịu lỗi và đưa AI đến gần hơn với người dùng. Và với các ưu đãi được hỗ trợ bởi tiền điện tử, chúng sẽ mở rộng nhanh hơn và tốt hơn so với các mạng truyền thống có thể.