Đề xuất AI Crypto của chúng tôi (Phần II): Tính toán phi tập trung là Vua

Nâng cao12/17/2024, 7:17:28 AM
Trong Phần II của luận văn của tôi, tôi sẽ đi sâu vào bốn ngành con tiềm năng nhất trong Crypto AI: Decentralised Compute: Training, Inference & GPU marketplaces, Data networks, Verifiable AI, AI Agents living on-chain. Bài viết này đại diện cho kết quả của tuần tra cứu sâu và cuộc trò chuyện với những người sáng lập và nhóm làm việc trên toàn cảnh Crypto AI. Nó không được thiết kế để làm một cuộc đào sâu toàn diện vào mọi ngành—đó là một cái hố thỏ cho một ngày khác.

Tôi chưa làm lay chuyển cú lỡ lớn này.

Nó vẫn ám ảnh tôi vì đó là cú đặt cược rõ ràng nhất đối với bất kỳ ai chú ý, nhưng tôi không đầu tư một đồng nào.

Không, đó không phải là kẻ giết Solana tiếp theo hoặc một đồng tiền meme với một con chó đang đội một chiếc mũ vui nhộn.

Đó là … NVIDIA.

Giá cổ phiếu NVDA từ đầu năm đến nay. Nguồn: Google

Chỉ trong một năm, NVDA tăng gấp 3 lần, vươn lên từ vốn hóa thị trường 1 nghìn tỷ đô la lên 3 nghìn tỷ đô la. Thậm chí nó còn vượt qua Bitcoin trong cùng thời kỳ.

Chắc chắn, một phần trên đó là sự thổi phồng AI. Nhưng một phần lớn chắc chắn dựa trên thực tế. NVIDIA báo cáo 60 tỷ đô la doanh thu cho năm tài chính 2024, tăng đáng kể 126% so với 2023. Sự tăng trưởng này được thúc đẩy bởi các công ty công nghệ lớn chạy mua GPU trong cuộc chạy đua toàn cầu với AGI.

Vậy tại sao tôi lại bỏ lỡ nó?

Hai năm trời, tôi tập trung mạnh vào tiền điện tử và không quan tâm đến những gì đang diễn ra trong lĩnh vực Trí tuệ Nhân tạo. Đó là một sai lầm lớn và nó vẫn ảnh hưởng đến tôi.

Nhưng tôi không mắc phải sai lầm cùng một lần nữa.

Hôm nay, Trí tuệ nhân tạo về tiền điện tử cảm thấy kỳ lạ giống như vậy. Chúng ta đang ở bên bờ của một cuộc bùng nổ đổi mới. Những điểm tương đồng với Đợt Vàng California vào giữa thế kỷ 19 khó mà có thể bỏ qua - các ngành công nghiệp và thành phố mọc lên qua đêm, cơ sở hạ tầng tiến triển với tốc độ chóng mặt, và những gia sản đã được tạo ra bởi những người dám nhảy mình.

Giống như NVIDIA trong những ngày đầu, Crypto AI sẽ trở nên rõ ràng khi nhìn lại.

In Phần I của luận văn của tôi, Tôi đã giải thích tại sao Tiền điện tử AI là cơ hội ngựa ô hấp dẫn nhất cho nhà đầu tư và người xây dựng ngày nay.

Đây là một bản tóm tắt nhanh:

  • Nhiều người vẫn coi nó như là “vật liệu hư vô.”
  • Tiền điện tử AI đang ở giai đoạn đầu của nó—có thể cách đỉnh hứng thú cao nhất khoảng 1-2 năm.
  • Có cơ hội tăng trưởng hơn 230 tỷ đô la trong lĩnh vực này, ít nhất.

Ở bản chất, Crypto AI là trí tuệ nhân tạo với cơ sở hạ tầng tiền điện tử được xếp lớp phía trên. Điều này có nghĩa là nó có khả năng theo dõi quỹ đạo tăng trưởng mũi tên của trí tuệ nhân tạo hơn là thị trường tiền điện tử rộng lớn hơn. Vì vậy, để duy trì vị thế hàng đầu, bạn phải theo dõi các nghiên cứu trí tuệ nhân tạo mới nhất trên Arxiv và trò chuyện với những người sáng lập tin rằng họ đang xây dựng điều lớn lao tiếp theo.

Trong Phần II của luận văn của tôi, tôi sẽ đào sâu vào bốn phân ngành triển vọng nhất trong Tiền điện tử AI:

  1. Máy tính phi tập trung: Đào tạo, suy luận & Thị trường GPU
  2. Mạng dữ liệu
  3. AI có thể xác minh
  4. Các Đại lý AI sống trên chuỗi

Mảnh này đại diện cho kết quả của tuần nghiên cứu sâu và cuộc trò chuyện với các nhà sáng lập và đội ngũ trên toàn cảnh Crypto AI. Nó không được thiết kế để là một cuộc phiêu lưu sâu rộng trong mọi lĩnh vực - đó là một cái hố thỏ cho một ngày khác.

Thay vào đó, xem nó như một bản đồ tương lai cấp cao được tạo ra để khơi dậy sự tò mò, mài giũa nghiên cứu của bạn và hướng dẫn suy nghĩ đầu tư.

Định vị cảnh quan

Tôi hình dung ngăn xếp trí tuệ nhân tạo phi tập trung như một hệ sinh thái lớp lớp: nó bắt đầu bằng tính toán phi tập trung và mạng dữ liệu mở ở một đầu, là nguồn năng lượng cho việc huấn luyện mô hình trí tuệ nhân tạo phi tập trung.

Mọi suy luận sau đó được xác minh - cả đầu vào và đầu ra - bằng cách sử dụng một sự kết hợp của mật mã, động lực kinh tế tiền điện tử và mạng lưới đánh giá. Các đầu ra đã được xác minh này trôi vào các đại lý Trí tuệ Nhân tạo (AI) có thể hoạt động tự động trên chuỗi, cũng như các ứng dụng Trí tuệ Nhân tạo (AI) dành cho người tiêu dùng và doanh nghiệp mà người dùng thực sự có thể tin cậy.

Mạng lưới phối hợp kết nối tất cả mọi thứ lại với nhau, cho phép giao tiếp và hợp tác mượt mà trên toàn bộ hệ sinh thái.

Trên tầm nhìn này, bất kỳ ai xây dựng trong lĩnh vực trí tuệ nhân tạo đều có thể tiếp cận một hoặc nhiều tầng của ngăn xếp này, tùy thuộc vào nhu cầu cụ thể của họ. Cho dù sử dụng tính toán phi tập trung cho việc huấn luyện mô hình hoặc sử dụng các mạng đánh giá để đảm bảo đầu ra chất lượng cao, ngăn xếp cung cấp một loạt các lựa chọn.

Nhờ vào tính tương hợp bẩm sinh của blockchain, tôi tin rằng chúng ta đang tự nhiên tiến đến một tương lai modular. Mỗi lớp đều trở nên siêu chuyên biệt, với các giao thức được tối ưu hóa cho các chức năng cụ thể thay vì một phương pháp tích hợp all-in-one.

Nguồn: topology.vc

Đã có một cuộc nổ ra của các doanh nghiệp khởi nghiệp xây dựng trên mọi tầng của ngăn xếp trí tuệ nhân tạo phi tập trung, hầu hết được thành lập chỉ trong 1 - 3 năm qua. Rõ ràng: chúng ta vẫn còn sớm.

Bản đồ toàn cảnh và cập nhật nhất về cảnh quan khởi nghiệp AI Crypto mà tôi từng thấy được duy trì bởi Casey và đội ngũ của cô ấy tại topology.vc. Đó là một nguồn tài nguyên vô giá cho bất kỳ ai theo dõi không gian.

Khi tôi đào sâu vào các phân ngành Crypto AI, tôi luôn tự đặt câu hỏi: cơ hội ở đây có lớn không? Tôi không quan tâm đến các cược nhỏ - tôi đang tìm kiếm các thị trường có thể mở rộng lên hàng trăm tỷ.

1. Kích thước thị trường

Hãy bắt đầu với quy mô thị trường. Khi đánh giá một phân ngành con, tôi tự hỏi: liệu nó có tạo ra một thị trường hoàn toàn mới hay là đang gây rối trong một thị trường đã tồn tại?

Ví dụ, hãy xem xét tính toán phi tập trung. Đó là một danh mục gây chấn động, tiềm năng của nó có thể được ước lượng bằng cách nhìn vào thị trường máy chủ đám mây đã được xác định, trị giá ~$680 tỷ hôm nay và dự kiến đạt 2.5T đô la vào năm 2032.

Các thị trường mới không có tiền lệ, như các đại lý AI, khó định lượng hơn. Mà không có dữ liệu lịch sử, việc đánh giá chúng bao gồm một sự kết hợp của những phỏng đoán có căn cứ và kiểm tra cảm giác về các vấn đề mà chúng đang giải quyết. Và điều nguy hiểm là đôi khi, điều có vẻ như một thị trường mới thực sự chỉ là một giải pháp tìm kiếm vấn đề.

2. Thời gian

Thời gian là tất cả. Công nghệ có xu hướng cải thiện và trở nên rẻ hơn theo thời gian, nhưng tốc độ tiến bộ thay đổi.

Công nghệ trưởng thành như thế nào trong một phân ngành nhất định? Nó đã sẵn sàng để mở rộng quy mô, hay nó vẫn đang trong giai đoạn nghiên cứu, với các ứng dụng thực tế nhiều năm nữa? Thời gian xác định liệu một lĩnh vực có đáng được chú ý ngay lập tức hay nên được để lại trong danh mục “chờ xem”.

Cầm Fully Homomorphic Encryption (FHE) làm ví dụ: tiềm năng không thể phủ nhận, nhưng hiện nay nó vẫn quá chậm để sử dụng rộng rãi. Có lẽ còn vài năm nữa chúng ta mới thấy nó trở nên phổ biến. Bằng cách tập trung vào các lĩnh vực gần gũi với việc mở rộng trước tiên, tôi có thể dành thời gian và năng lượng của mình vào nơi đang có đà tăng trưởng và cơ hội.

Nếu tôi phải ánh xạ các danh mục này lên biểu đồ kích thước so với thời gian, nó sẽ trông giống như thế này. Hãy nhớ rằng đây chỉ là một phác thảo khái niệm hơn là một hướng dẫn cứng nhắc. Có rất nhiều sự tinh vi—ví dụ, trong suy luận có thể xác minh, các phương pháp khác như zkML và opML có các mức độ sẵn sàng khác nhau để sử dụng.

Tuy nhiên, tôi tin rằng quy mô của trí tuệ nhân tạo sẽ rất lớn đến mức ngay cả những gì ngày nay dường như chỉ là “hẹp hòi” cũng có thể phát triển thành một thị trường quan trọng.

Đáng chú ý rằng tiến bộ công nghệ không luôn diễn ra theo một đường thẳng - đôi khi nó xảy ra theo những bước nhảy. Quan điểm của tôi về thời điểm và quy mô thị trường sẽ thay đổi khi những đột phá mới nảy sinh.

Với khung này trong tâm trí, hãy phân tích từng phân ngành.

Khu vực 1: Tính toán phi tập trung

TL;dr

  • Tính toán phi tập trung là cột sống của trí tuệ nhân tạo phi tập trung.
  • Các thị trường GPU, đào tạo phi tập trung và suy luận phi tập trung mật thiết liên kết và phát triển cùng nhau.
  • Bên cung cấp thường đến từ các trung tâm dữ liệu cỡ nhỏ-trung và GPU người tiêu dùng.
  • Bên cung ứng nhỏ nhưng đang phát triển. Ngày nay, nhu cầu đến từ người dùng nhạy cảm với giá cả, không cần độ trễ và các start-up trí tuệ nhân tạo nhỏ hơn.
  • Thách thức lớn nhất cho các sàn giao dịch GPU Web3 ngày nay là thực sự làm cho chúng hoạt động.
  • Tổ chức GPUs trên một mạng lưới phi tập trung yêu cầu kỹ thuật chuyên sâu và một kiến trúc mạng vững chắc, được thiết kế tốt.

1.1. Chợ trao đổi GPU / Mạng máy tính

Một số nhóm Crypto AI đang định vị bản thân để tận dụng sự thiếu hụt GPU so với nhu cầu bằng cách xây dựng các mạng phân cấp tận dụng nguồn sức mạnh tính toán tiềm ẩn toàn cầu.

Mục tiêu giá trị cốt lõi cho các sàn giao dịch GPU là 3 mục:

  1. Bạn có thể truy cập vào tính toán với giá rẻ hơn tới 90% so với AWS, điều này đến từ việc (1) loại bỏ các trung gian và (2) mở cửa phía cung cấp. Cơ bản, các thị trường này cho phép bạn tiếp cận với chi phí biên thấp nhất của tính toán trên toàn cầu.
  2. Tính linh hoạt cao hơn: Không có hợp đồng bị khóa, không cần KYC, không có thời gian chờ đợi.
  3. Không thể kiểm duyệt

Để giải quyết phía cung của thị trường, các thị trường này tính toán từ:

  • Các GPU cấp doanh nghiệp (ví dụ: A100s, H100s) từ các trung tâm dữ liệu cỡ nhỏ-trung cấp đang gặp khó khăn trong việc tìm kiếm nhu cầu riêng của họ hoặc các nhà đào Bitcoin muốn đa dạng hóa. Tôi cũng biết về các nhóm tiếp cận các dự án hạ tầng chính phủ lớn, nơi các trung tâm dữ liệu đã được xây dựng như một phần của các chương trình phát triển công nghệ. Những nhà cung cấp này thường được khuyến khích để giữ các GPU của họ trên mạng, giúp họ bù đắp các chi phí phân bổ của GPU.
  • Các GPU dành cho người tiêu dùng từ hàng triệu game thủ và người dùng gia đình kết nối máy tính của họ vào mạng để đổi lấy động cơ khích lệ

Mặt khác, hiện nay, phía yêu cầu cho tính toán phi tập trung đến từ:

  1. Người dùng nhạy cảm với giá, không cần quá quan trọng đến độ trễ. Đoạn này ưu tiên tính khả chấp hơn là tốc độ. Hãy nghĩ đến những nhà nghiên cứu khám phá lĩnh vực mới, những nhà phát triển trí tuệ nhân tạo độc lập và những người dùng khác có ý thức về chi phí không cần xử lý thời gian thực. Do hạn chế về ngân sách, nhiều người trong số họ có thể gặp khó khăn với các dịch vụ hyperscalers truyền thống như AWS hoặc Azure. Bởi vì họ phân tán khá rộng rãi trên dân số, tiếp thị định tuyến là rất quan trọng để thu hút nhóm người này tham gia.
  2. Các công ty khởi nghiệp AI nhỏ hơn đối mặt với những thách thức trong việc đảm bảo các nguồn tài nguyên tính toán linh hoạt, có khả năng mở rộng mà không bị ràng buộc vào hợp đồng dài hạn với các nhà cung cấp đám mây lớn. Việc phát triển kinh doanh là vô cùng quan trọng trong việc thu hút đối tượng này, vì họ đang tích cực tìm kiếm những lựa chọn thay thế cho việc bị ràng buộc bởi các nhà cung cấp siêu quy mô.
  3. Các công ty khởi nghiệp Crypto AI xây dựng các sản phẩm trí tuệ nhân tạo phi tập trung nhưng không có nguồn cung cấp tính toán riêng của mình sẽ cần tận dụng các nguồn tài nguyên của một trong những mạng này.
  4. Cloud gaming: Mặc dù không phải là do trí tuệ nhân tạo trực tiếp, nhưng cloud gaming đang trở thành nguồn cung cấp tài nguyên GPU đang tăng lên.

Điều quan trọng cần nhớ: nhà phát triển luôn ưu tiên chi phí và độ tin cậy.

Thách thức thực sự: Cầu, không phải cung

Các công ty khởi nghiệp trong lĩnh vực này thường quảng bá kích thước mạng lưới cung cấp GPU của họ như một dấu hiệu của sự thành công. Nhưng điều này là gây nhầm lẫn - đây chỉ là một chỉ số vô nghĩa tại điểm cao nhất.

Ràng buộc thực sự không phải là nguồn cung mà là nhu cầu. Các chỉ số quan trọng cần theo dõi không phải là số lượng GPU có sẵn, mà là tỷ lệ sử dụng và số lượng GPU thực sự được cho thuê.

Token là cực kỳ xuất sắc trong việc khởi động phía cung ứng, tạo ra những động cơ cần thiết để mở rộng nhanh chóng. Tuy nhiên, chúng không giải quyết vấn đề cầu hỏi theo bản năng. Bài kiểm tra thực sự là khi sản phẩm đạt đến trạng thái đủ tốt để nhu cầu tiềm ẩn trở nên rõ ràng.

Haseeb Qureshi (Dragonfly) đặt tốt nhất:

Làm cho Mạng tính có thể hoạt động thực sự

Ngược lại với quan điểm phổ biến, rào cản lớn nhất đối với các thị trường GPU phân phối web3 hiện nay đơn giản chỉ là làm cho chúng hoạt động đúng cách.

Đây không phải là một vấn đề nhỏ.

Điều phối GPU trên mạng phân tán là phức tạp, với nhiều thách thức - phân bổ tài nguyên, tỷ lệ công việc động, cân bằng tải trên các nút và GPU, quản lý độ trễ, truyền dữ liệu, khả năng chịu lỗi và xử lý phần cứng đa dạng phân tán trên các địa điểm khác nhau. Tôi có thể tiếp tục mãi mãi.

Để đạt được điều này, yêu cầu kỹ sư nghiêm túc và một kiến trúc mạng mạnh mẽ, được thiết kế đúng cách.

Để đặt nó vào bối cảnh, hãy xem xét Kubernetes của Google. Nó được coi là tiêu chuẩn vàng cho việc triển khai các container, tự động hóa quy trình như cân bằng tải và tỷ lệ mở rộng trong môi trường phân tán - những thách thức rất tương tự với những gì mà các mạng GPU phân tán phải đối mặt. Kubernetes được xây dựng dựa trên hơn một thập kỷ kinh nghiệm của Google, và ngay cả sau đó, nó cũng mất nhiều năm để hoàn thiện.

Một số chợ máy tính GPU đã hoạt động hiện nay có thể xử lý các khối lượng công việc quy mô nhỏ, nhưng những vấn đề bắt đầu xuất hiện ngay khi họ cố gắng mở rộng. Tôi nghi ngờ rằng điều này là do họ được xây dựng trên cơ sở kiến trúc thiết kế kém cỏi.

Một thách thức / cơ hội khác cho các mạng tính toán phi tập trung là đảm bảo tính đáng tin cậy: xác minh rằng mỗi node đang cung cấp công suất tính toán mà nó tuyên bố. Hiện tại, điều này phụ thuộc vào danh tiếng của mạng và trong một số trường hợp, nhà cung cấp tính toán được xếp hạng theo điểm danh tiếng. Công nghệ blockchain có vẻ là một lựa chọn tự nhiên cho các hệ thống xác minh không đáng tin cậy. Các startup như GensynSpheron đang đẩy mạnh một phương pháp không đáng tin cậy để giải quyết vấn đề này.

Hôm nay, nhiều nhóm web3 vẫn đang vật lộn với những thách thức này, điều đó có nghĩa là cơ hội vẫn rất rộng mở.

Kích thước thị trường tính toán phi tập trung

Thị trường mạng tính toán phi tập trung có quy mô như thế nào?

Hiện nay, thị trường máy chủ ảo dựa trên blockchain chỉ chiếm một khoảng rất nhỏ so với ngành công nghiệp đám mây trị giá từ 680 tỷ đến 2,5 nghìn tỷ USD. Tuy nhiên, bất chấp sự cản trở đối với người dùng, luôn có những nhu cầu sử dụng miễn là chi phí vẫn thấp hơn so với những nhà cung cấp truyền thống.

Tôi tin rằng chi phí sẽ duy trì ở mức thấp trong tương lai gần đến trung hạn do sự kết hợp của các khoản trợ cấp token và việc mở khóa nguồn cung từ người dùng không nhạy cảm với giá (ví dụ, nếu tôi có thể cho thuê laptop chơi game của mình để kiếm thêm tiền, tôi sẽ hạnh phúc dù mỗi tháng là 20 đô la hay 50 đô la).

Nhưng tiềm năng tăng trưởng thực sự cho các mạng tính toán phi tập trung - và sự mở rộng thực sự của TAM của họ - sẽ đến khi:

  1. Huấn luyện phân tán của các mô hình trí tuệ nhân tạo trở nên thực tế
  2. Nhu cầu về suy luận tăng mạnh và các trung tâm dữ liệu hiện có không đáp ứng được. Điều này đã bắt đầu diễn ra. Jensen Huang nói rằng nhu cầu suy luận đang tăng lên.tăng “một tỷ lần”.
  3. Các Thỏa thuận Cấp dịch vụ (SLA) chính thức trở nên có sẵn, giải quyết một rào cản quan trọng đối với việc doanh nghiệp áp dụng. Hiện tại, tính toán phi tập trung hoạt động dựa trên nỗ lực tốt nhất, khiến người dùng phải chịu đựng các cấp độ chất lượng dịch vụ khác nhau (ví dụ: % thời gian hoạt động). Với SLA có sẵn, các mạng này có thể cung cấp các chỉ số đáng tin cậy và hiệu suất chuẩn hóa, khiến cho tính toán phi tập trung trở thành một lựa chọn thay thế khả thi so với các nhà cung cấp tính toán đám mây truyền thống.

Tính toán phi tập trung, không cần phép mà đứng như một lớp cơ sở - cơ sở hạ tầng cơ bản - cho một hệ sinh thái trí tuệ nhân tạo phi tập trung.

Bất chấp sự mở rộng liên tục trong chuỗi cung ứng silicon (tức là GPU), tôi tin rằng chúng ta chỉ mới ở buổi bình minh của kỷ nguyên Trí tuệ nhân loại. Sẽ có một nhu cầu vô độ về tính toán.

Hãy chú ý đến điểm phát xảy sự kiện có thể kích hoạt một sự đánh giá lại lớn của tất cả các chợ GPU hoạt động. Có lẽ nó sẽ sớm đến.

Ghi chú khác:

  • Thị trường GPU đơn chức năng đang đông đúc, cạnh tranh giữa các nền tảng phi tập trung và cũng có sự nổi lên của web2 AI neocloudsnhư Vast.ai và Lambda.
  • Các nút nhỏ (ví dụ, 4 x H100) không được yêu cầu nhiều vì sử dụng hạn chế, nhưng may mắn là tìm thấy ai đó bán các cụm lớn - chúng vẫn đang được yêu cầu nghiêm túc.
  • Một người chơi chiếm ưu thế sẽ tổng hợp tất cả nguồn cung cấp tính toán cho các giao protocal phi tập trung, hay nó sẽ vẫn phân tán giữa nhiều thị trường khác nhau? Tôi đang nghiêng về cái đầu tiên và một phân phối luật lực trong kết quả, vì sáp nhập thường thúc đẩy hiệu quả trong cơ sở hạ tầng. Nhưng nó sẽ mất thời gian để diễn ra, và trong khi đó, sự phân tán và lộn xộn tiếp tục.
  • Nhà phát triển muốn tập trung vào việc xây dựng ứng dụng, chứ không phải là xử lý triển khai và cấu hình. Các thị trường phải trừu tượng hóa đi những phức tạp này, tạo điều kiện tiếp cận máy tính một cách mượt mà nhất có thể.

1.2. Đào tạo phi tập trung

TL;dr

  • Nếu luật tỷ lệ tăng trưởng được duy trì, việc đào tạo thế hệ tiếp theo của các mô hình trí tuệ nhân tạo tiên tiến trong một trung tâm dữ liệu duy nhất một ngày nào đó sẽ trở nên không thể, về mặt vật lý.
  • Huấn luyện mô hình AI đòi hỏi rất nhiều dữ liệu được chuyển đổi giữa các GPU. Tốc độ chuyển đổi dữ liệu (liên kết) thấp giữa các GPU phân tán thường là rào cản lớn nhất.
  • Các nhà nghiên cứu đồng thời đang khám phá nhiều phương pháp, và những bước đột phá đang diễn ra (ví dụ: Open DiLoCo, DisTrO). Những tiến bộ này sẽ chồng chất và kết hợp, tăng tốc tiến triển trong lĩnh vực này.
  • Tương lai của đào tạo phi tập trung có lẽ nằm ở các mô hình nhỏ hơn, chuyên biệt được thiết kế cho các ứng dụng đặc thù thay vì các mô hình tập trung vào AGI tiên tiến.
  • Nhu cầu suy luận đang sẵn sàng bùng nổ với sự chuyển đổi sang mô hình như o1 của OpenAI, tạo ra cơ hội cho các mạng suy luận phi tập trung.

Hãy tưởng tượng: một mô hình trí tuệ nhân tạo to lớn, thay đổi thế giới, không được phát triển trong các phòng thí nghiệm tinh vi và bí mật mà được tạo ra bởi hàng triệu người thông thường. Người chơi game, những người GPU của họ thường sản xuất những cảnh nổ điện ảnh trong Call of Duty, bây giờ sẽ sử dụng thiết bị của họ cho một mục tiêu cao cả hơn - một mô hình trí tuệ nhân tạo mã nguồn mở, thuộc sở hữu của cộng đồng và không có bất kỳ cổng thông tin tâm trí trung tâm nào.

Trong tương lai này, các mô hình quy mô cơ bản không chỉ thuộc về lĩnh vực của các phòng thí nghiệm trí tuệ nhân tạo hàng đầu.

Nhưng hãy đặt tầm nhìn này vào hiện thực ngày hôm nay. Hiện tại, hầu hết việc đào tạo trí tuệ nhân tạo nặng ký vẫn được gắn liền với các trung tâm dữ liệu tập trung, và điều này có thể sẽ là quy tắc trong một thời gian dài.

Các công ty như OpenAI đang mở rộng các cụm máy chủ khổng lồ của họ. Elon Musk gần đây công bốrằng xAI sắp hoàn thành một trung tâm dữ liệu với sức mạnh tương đương 200,000 GPU H100.

Nhưng điều này không chỉ liên quan đến số lượng GPU thô. Sử dụng FLOPS mô hình (MFU)—một chỉ số được giới thiệu trong Bài báo PaLM của Googletrong năm 2022—theo dõi cách mà dung lượng tối đa của GPU được sử dụng một cách hiệu quả. Ngạc nhiên, MFU thường dao động khoảng 35-40%.

Tại sao lại thấp như vậy? Trong khi hiệu suất GPU đã tăng vọt theo đúng luật Moore trong nhiều năm qua, cải tiến mạng, bộ nhớ và lưu trữ đã đứng sau rất nhiều, tạo ra các bottleneck. Kết quả là, GPU thường ngồi im, chờ dữ liệu.

Đào tạo trí tuệ nhân tạo vẫn rất tập trung ngày nay vì một lý do - Hiệu quả.

Đào tạo các mô hình lớn phụ thuộc vào các kỹ thuật như:

• Data parallelism: Chia tập dữ liệu thành nhiều GPU để thực hiện các hoạt động song song, tăng tốc quá trình đào tạo.

• Phân chia mô hình: Phân phối các phần của mô hình qua các GPU để vượt qua hạn chế bộ nhớ.

Các phương pháp này đòi hỏi GPU để trao đổi dữ liệu liên tục, làm tốc độ kết nối mạng - tốc độ dữ liệu được chuyển qua các máy tính trong mạng - hoàn toàn quan trọng.

Khi việc đào tạo mô hình trí tuệ nhân tạo đầu tư có thể lên đến 1 tỷ đô la, mọi lợi ích về hiệu quả đều quan trọng.

Với các kết nối tốc độ cao của trung tâm dữ liệu tập trung, cho phép chuyển dữ liệu nhanh chóng giữa các GPU và tạo ra sự tiết kiệm chi phí đáng kể trong quá trình đào tạo mà cài đặt phi tập trung không thể sánh kịp… nhưng.

Vượt qua tốc độ kết nối chậm

Nếu bạn nói chuyện với những người làm việc trong lĩnh vực AI, nhiều người sẽ nói với bạn rằng việc đào tạo phi tập trung không hoạt động.

Trong các thiết lập phi tập trung, các cụm GPU không được đặt cùng vật lý, vì vậy việc truyền dữ liệu giữa chúng chậm hơn và trở thành điểm hạn chế. Việc huấn luyện yêu cầu các GPU đồng bộ hóa và trao đổi dữ liệu ở mỗi bước. Càng xa nhau, độ trễ càng cao. Độ trễ cao có nghĩa là tốc độ huấn luyện chậm hơn và chi phí cao hơn.

Những gì có thể mất một vài ngày trong một trung tâm dữ liệu tập trung có thể kéo dài đến hai tuần với cách tiếp cận phi tập trung với chi phí cao hơn. Điều đó đơn giản là không khả thi.

Nhưng điều này được thiết lập để thay đổi.

Thông tin tốt là có một sự bùng nổ lớn về sự quan tâm vào nghiên cứu về đào tạo phân tán. Các nhà nghiên cứu đang khám phá nhiều phương pháp cùng một lúc, như được chứng minh bằng sự hối hả của các nghiên cứu và bài báo được công bố. Những tiến bộ này sẽ chồng chất và tăng cường, đẩy nhanh tiến triển trong lĩnh vực này.

Điều này cũng liên quan đến việc thử nghiệm trong quá trình sản xuất và xem chúng ta có thể đẩy ranh giới đến đâu.

Một số kỹ thuật đào tạo phi tập trung đã có thể xử lý các mô hình nhỏ trong môi trường kết nối chậm. Hiện nay, nghiên cứu tiên phong đang đẩy mạnh để mở rộng các phương pháp này sang các mô hình ngày càng lớn hơn.

  • Ví dụ, Prime Intellect’s mở tài liệu DiCoLo thể hiện một cách tiếp cận thực tế liên quan đến “đảo” GPU thực hiện 500 bước cục bộ trước khi đồng bộ hóa, cắt giảm yêu cầu băng thông lên đến 500x. Những gì bắt đầu khi nghiên cứu của Google DeepMind về các mô hình nhỏ hơn hiện đã được mở rộng để đào tạo một mô hình 10 tỷ tham số vào tháng 11 và hoàn toàn có nguồn mở ngày hôm nay.
  • Nous Research đang nâng tầm với DisTrO framework của họ, sử dụng bộ tối ưu hóa để giảm yêu cầu giao tiếp giữa các GPU lên đến 10.000 lần trong quá trình huấn luyện một mô hình có 1.2 tỷ tham số, đến mức khiến bạn tròn mắt.
  • Và động lực tiếp tục được xây dựng. Vào tháng Mười Hai, Nous đã công bố việc đào tạo trước mô hình tham số 15B với đường cong tổn thất (cách sai số của mô hình giảm theo thời gian) và tốc độ hội tụ (tốc độ mà hiệu suất của mô hình ổn định) khớp hoặc vượt qua kết quả thường thấy với các thiết lập đào tạo tập trung. Có, tốt hơn so với tập trung.
  • SWARM Parallelism và DTFMHE là những phương pháp khác để huấn luyện các mô hình AI rất lớn trên các loại thiết bị khác nhau, ngay cả khi những thiết bị đó có tốc độ và kết nối khác nhau.

Một thách thức khác là quản lý một loạt phong phú các phần cứng GPU, bao gồm các GPU cấp tiêu dùng có bộ nhớ hạn chế, điều này thường xảy ra trong các mạng phân tán. Các kỹ thuật như song song hóa mô hình (chia các lớp mô hình qua các thiết bị) có thể giúp làm cho điều này trở nên khả thi.

Tương lai của Đào tạo Phi tập trung

Phương pháp đào tạo phi tập trung hiện tại vẫn giới hạn ở các kích thước mô hình dưới mức tiên tiến (GPT-4 được cho là gần đạt tới một nghìn tham số, lớn gấp 100 lần so với mô hình 10 tỷ tham số của Prime Intellect). Để thực sự mở rộng, chúng ta sẽ cần những đột phá trong kiến trúc mô hình, cơ sở hạ tầng mạng tốt hơn và phân chia công việc thông minh hơn trên các thiết bị.

Và chúng ta có thể mơ lớn. Hãy tưởng tượng một thế giới nơi đào tạo phi tập trung tổng hợp nhiều sức mạnh tính toán GPU hơn cả các trung tâm dữ liệu tập trung lớn nhất có thể tập hợp.

Pluralis Research(một nhóm sắc bén trong đào tạo phi tập trung, một nhóm cần theo dõi sát sao) cho rằng điều này không chỉ có thể xảy ra - nó là điều không thể tránh khỏi. Trung tâm dữ liệu tập trung bị ràng buộc bởi các hạn chế vật lý như không gian và khả năng cung cấp điện, trong khi các mạng phi tập trung có thể tận dụng vào một nguồn tài nguyên toàn cầu vô hạn một cách hiệu quả.

Ngay cả Jensen Huang của NVIDIA cũng đã công nhận rằng đào tạo phi tập trung không đồng bộ có thể mở khóa tiềm năng thực sự của việc mở rộng quy mô AI. Mạng lưới đào tạo phân tán cũng có khả năng chịu lỗi cao hơn.

Vì vậy, trong một tương lai tiềm năng, các mô hình AI mạnh nhất của thế giới sẽ được đào tạo theo cách phi tập trung.

Đó là một triển vọng thú vị, nhưng tôi vẫn chưa hoàn toàn tin tưởng. Chúng ta cần có bằng chứng mạnh mẽ hơn rằng việc đào tạo phi tập trung các mô hình lớn là kỹ thuật và kinh tế khả thi.

Đây là nơi tôi thấy nhiều hứa hẹn: Điểm ngọt ngào của đào tạo phi tập trung có thể nằm ở các mô hình mã nguồn mở nhỏ hơn, chuyên biệt, được thiết kế cho các trường hợp sử dụng được nhắm mục tiêu, thay vì cạnh tranh với các mô hình biên giới cực lớn, do AGI điều khiển. Một số kiến trúc nhất định, đặc biệt là các mô hình không biến áp, đã chứng minh sự phù hợp tự nhiên cho các thiết lập phi tập trung.

Và còn một phần khác của câu đố này: token. Khi đào tạo phi tập trung trở nên khả thi ở quy mô lớn, token có thể đóng vai trò quan trọng trong việc khuyến khích và thưởng cho người đóng góp, hiệu quả khởi động mạng lưới này.

Con đường đến tầm nhìn này rất dài, nhưng tiến bộ đang đem lại sự động viên sâu sắc. Các tiến bộ trong việc đào tạo phi tập trung sẽ mang lại lợi ích cho tất cả mọi người - kể cả công nghệ lớn và các phòng nghiên cứu trí tuệ nhân tạo hàng đầu - khi quy mô của các mô hình tương lai sẽ vượt quá khả năng của một trung tâm dữ liệu đơn lẻ.

Tương lai được phân phối. Và khi một công nghệ nắm giữ tiềm năng rộng lớn như vậy, lịch sử cho thấy nó luôn trở nên tốt hơn, nhanh hơn bất cứ ai mong đợi.

1.3. Suy luận Phi tập trung

Hiện tại, hầu hết sức mạnh tính toán trong lĩnh vực Trí tuệ nhân tạo đang được đổ vào việc huấn luyện các mô hình lớn. Các phòng thí nghiệm Trí tuệ nhân tạo hàng đầu đều đang trong cuộc đua vũ trang để phát triển các mô hình cơ bản tốt nhất và cuối cùng là đạt được Trí tuệ Nhân tạo tự động (AGI).

Nhưng đây là quan điểm của tôi: sự tập trung mạnh mẽ vào việc tính toán huấn luyện sẽ dịch chuyển sang việc suy luận trong những năm sắp tới. Khi trí tuệ nhân tạo ngày càng được tích hợp vào các ứng dụng mà chúng ta sử dụng hàng ngày—từ lĩnh vực chăm sóc sức khỏe đến giải trí—nguồn tài nguyên tính toán cần thiết để hỗ trợ suy luận sẽ là một điều đáng kinh ngạc.

Và đó không chỉ là sự suy đoán. Việc mở rộng tính toán thời gian suy luận là một từ ngữ mới nhất trong lĩnh vực Trí tuệ Nhân tạo. Gần đây, OpenAI đã phát hành một phiên bản xem trước/mini của mô hình mới nhất của mình, o1 (tên mã: Strawberry), và sự chuyển đổi lớn đó là gì? Nó mất thời gian để suy nghĩ bằng cách đầu tiên hỏi bản thân những bước nên thực hiện để trả lời câu hỏi, sau đó đi qua từng bước đó.

Mô hình này được thiết kế cho các nhiệm vụ phức tạp hơn, đòi hỏi nhiều kế hoạch - như giải các câu đố chữ—và giải quyết các vấn đề đòi hỏi tư duy sâu hơn. Bạn sẽ nhận thấy nó chậm hơn, mất nhiều thời gian hơn để tạo ra phản hồi, nhưng kết quả lại sâu sắc và tinh vi hơn. Nó cũng tốn kém hơn để vận hành (25x chi phí của GPT-4)

Sự chuyển đổi tập trung rõ ràng: bước nhảy tiếp theo trong hiệu suất AI sẽ không chỉ đến từ việc huấn luyện mô hình lớn hơn mà còn từ việc tăng cường việc sử dụng tính toán trong suy luận.

Nếu bạn muốn đọc nhiều hơn, một số nghiên cứuGiấy tờdemonstrate:

  • Mở rộng tính toán suy luận thông qua việc lấy mẫu lặp đi lặp lại dẫn đến cải thiện lớn trên nhiều nhiệm vụ khác nhau.
  • Cũng có một luật nhân lên mũi tên cho suy luận.

Khi mô hình mạnh mẽ đã được huấn luyện, nhiệm vụ suy luận của chúng - nơi mà các mô hình thực hiện các hoạt động - có thể được chuyển giao cho các mạng tính toán phân tán. Điều này rất hợp lý vì:

  • Suy luận ít tốn tài nguyên hơn nhiều so với đào tạo. Sau khi được đào tạo, các mô hình có thể được nén và tối ưu hóa bằng cách sử dụng các kỹ thuật như lượng tử hóa, cắt tỉa hoặc chưng cất. Chúng thậm chí có thể được chia nhỏ với tensor hoặc song song đường ống để chạy trên các thiết bị tiêu dùng hàng ngày. Bạn không cần GPU cao cấp để suy luận mạnh mẽ.
  • Điều đó đã xảy ra.Exo Labsđã tìm ra cách chạy mô hình Llama3 450B tham số trên phần cứng dành cho người tiêu dùng như MacBooks và Mac Minis. Việc phân phối suy luận trên nhiều thiết bị có thể xử lý các khối lượng công việc thậm chí lớn một cách hiệu quả và tiết kiệm chi phí.
  • Trải nghiệm người dùng tốt hơn. Chạy các tính toán gần người dùng sẽ cắt giảm độ trễ, điều quan trọng đối với các ứng dụng thời gian thực như chơi game, AR hoặc xe tự lái. Mỗi mili giây đều quan trọng.

Hãy nghĩ về việc suy diễn phi tập trung như một CDN (mạng phân phối nội dung) cho AI: thay vì nhanh chóng giao nội dung web bằng cách kết nối với các máy chủ gần đó, suy diễn phi tập trung tận dụng năng lực tính toán cục bộ để cung cấp phản hồi AI trong thời gian ngắn. Bằng cách chấp nhận suy diễn phi tập trung, ứng dụng AI trở nên hiệu quả, có khả năng phản ứng và đáng tin cậy hơn.

Xu hướng là rõ ràng. Chip M4 Pro mới của Apple đối thủ của NVIDIA RTX 3070 Ti — một GPU mà cho đến gần đây, vẫn là lĩnh vực của những game thủ khó tính. Phần cứng chúng ta đã có ngày càng có khả năng xử lý khối lượng công việc AI nâng cao.

Giá trị gia tăng của tiền điện tử

Để mạng lưới suy diễn phi tập trung thành công, phải có động lực kinh tế hấp dẫn để tham gia. Các nút trong mạng cần được bồi thường cho đóng góp tính toán của họ. Hệ thống phải đảm bảo phân phối phần thưởng công bằng và hiệu quả. Đa dạng địa lý là điều cần thiết, giảm độ trễ cho các nhiệm vụ suy diễn và nâng cao khả năng chống lỗi.

Và cách tốt nhất để xây dựng mạng lưới phi tập trung? Tiền điện tử.

Tokens cung cấp cơ chế mạnh mẽ để điều chỉnh lợi ích của các thành viên, đảm bảo mọi người đang làm việc với cùng một mục tiêu: mở rộng mạng lưới và tăng giá trị của token.

Token cũng thúc đẩy tăng trưởng mạng. Chúng giúp giải quyết vấn đề gà và trứng cổ điển khiến hầu hết các mạng lưới đình trệ bằng cách thưởng cho những người chấp nhận sớm và thúc đẩy sự tham gia ngay từ ngày đầu tiên.

Sự thành công của Bitcoin và Ethereum đã chứng minh điểm này – họ đã tổng hợp các nhóm sức mạnh tính toán lớn nhất trên hành tinh.

Các mạng suy luận phi tập trung là dòng tiếp theo. Với sự đa dạng về địa lý, chúng làm giảm độ trễ, cải thiện khả năng chịu lỗi và đưa AI đến gần hơn với người dùng. Và với các ưu đãi được hỗ trợ bởi tiền điện tử, chúng sẽ mở rộng nhanh hơn và tốt hơn so với các mạng truyền thống có thể.

Thông báo từ chối trách nhiệm:

  1. Bài viết này được in lại từ [[](https://www.chainofthought.xyz/p/our-crypto-ai-thesis-part-ii-decentralised-compute)[Chuỗi suy nghĩ](https://www.chainofthought.xyz/)\]. Tất cả bản quyền thuộc về tác giả gốc [Teng Yan]. Nếu có ý kiến phản đối bản in lại này, vui lòng liên hệ với Cổng Họcđội ngũ, và họ sẽ xử lý nhanh chóng.
  2. Miễn trừ trách nhiệm: Các quan điểm và ý kiến được thể hiện trong bài viết này chỉ thuộc về tác giả và không đại diện cho bất kỳ lời khuyên đầu tư nào.
  3. Các bản dịch của bài viết sang các ngôn ngữ khác được thực hiện bởi nhóm Gate Learn. Trừ khi có được đề cập, việc sao chép, phân phối hoặc đạo văn các bài viết đã được dịch là cấm.

Đề xuất AI Crypto của chúng tôi (Phần II): Tính toán phi tập trung là Vua

Nâng cao12/17/2024, 7:17:28 AM
Trong Phần II của luận văn của tôi, tôi sẽ đi sâu vào bốn ngành con tiềm năng nhất trong Crypto AI: Decentralised Compute: Training, Inference & GPU marketplaces, Data networks, Verifiable AI, AI Agents living on-chain. Bài viết này đại diện cho kết quả của tuần tra cứu sâu và cuộc trò chuyện với những người sáng lập và nhóm làm việc trên toàn cảnh Crypto AI. Nó không được thiết kế để làm một cuộc đào sâu toàn diện vào mọi ngành—đó là một cái hố thỏ cho một ngày khác.

Tôi chưa làm lay chuyển cú lỡ lớn này.

Nó vẫn ám ảnh tôi vì đó là cú đặt cược rõ ràng nhất đối với bất kỳ ai chú ý, nhưng tôi không đầu tư một đồng nào.

Không, đó không phải là kẻ giết Solana tiếp theo hoặc một đồng tiền meme với một con chó đang đội một chiếc mũ vui nhộn.

Đó là … NVIDIA.

Giá cổ phiếu NVDA từ đầu năm đến nay. Nguồn: Google

Chỉ trong một năm, NVDA tăng gấp 3 lần, vươn lên từ vốn hóa thị trường 1 nghìn tỷ đô la lên 3 nghìn tỷ đô la. Thậm chí nó còn vượt qua Bitcoin trong cùng thời kỳ.

Chắc chắn, một phần trên đó là sự thổi phồng AI. Nhưng một phần lớn chắc chắn dựa trên thực tế. NVIDIA báo cáo 60 tỷ đô la doanh thu cho năm tài chính 2024, tăng đáng kể 126% so với 2023. Sự tăng trưởng này được thúc đẩy bởi các công ty công nghệ lớn chạy mua GPU trong cuộc chạy đua toàn cầu với AGI.

Vậy tại sao tôi lại bỏ lỡ nó?

Hai năm trời, tôi tập trung mạnh vào tiền điện tử và không quan tâm đến những gì đang diễn ra trong lĩnh vực Trí tuệ Nhân tạo. Đó là một sai lầm lớn và nó vẫn ảnh hưởng đến tôi.

Nhưng tôi không mắc phải sai lầm cùng một lần nữa.

Hôm nay, Trí tuệ nhân tạo về tiền điện tử cảm thấy kỳ lạ giống như vậy. Chúng ta đang ở bên bờ của một cuộc bùng nổ đổi mới. Những điểm tương đồng với Đợt Vàng California vào giữa thế kỷ 19 khó mà có thể bỏ qua - các ngành công nghiệp và thành phố mọc lên qua đêm, cơ sở hạ tầng tiến triển với tốc độ chóng mặt, và những gia sản đã được tạo ra bởi những người dám nhảy mình.

Giống như NVIDIA trong những ngày đầu, Crypto AI sẽ trở nên rõ ràng khi nhìn lại.

In Phần I của luận văn của tôi, Tôi đã giải thích tại sao Tiền điện tử AI là cơ hội ngựa ô hấp dẫn nhất cho nhà đầu tư và người xây dựng ngày nay.

Đây là một bản tóm tắt nhanh:

  • Nhiều người vẫn coi nó như là “vật liệu hư vô.”
  • Tiền điện tử AI đang ở giai đoạn đầu của nó—có thể cách đỉnh hứng thú cao nhất khoảng 1-2 năm.
  • Có cơ hội tăng trưởng hơn 230 tỷ đô la trong lĩnh vực này, ít nhất.

Ở bản chất, Crypto AI là trí tuệ nhân tạo với cơ sở hạ tầng tiền điện tử được xếp lớp phía trên. Điều này có nghĩa là nó có khả năng theo dõi quỹ đạo tăng trưởng mũi tên của trí tuệ nhân tạo hơn là thị trường tiền điện tử rộng lớn hơn. Vì vậy, để duy trì vị thế hàng đầu, bạn phải theo dõi các nghiên cứu trí tuệ nhân tạo mới nhất trên Arxiv và trò chuyện với những người sáng lập tin rằng họ đang xây dựng điều lớn lao tiếp theo.

Trong Phần II của luận văn của tôi, tôi sẽ đào sâu vào bốn phân ngành triển vọng nhất trong Tiền điện tử AI:

  1. Máy tính phi tập trung: Đào tạo, suy luận & Thị trường GPU
  2. Mạng dữ liệu
  3. AI có thể xác minh
  4. Các Đại lý AI sống trên chuỗi

Mảnh này đại diện cho kết quả của tuần nghiên cứu sâu và cuộc trò chuyện với các nhà sáng lập và đội ngũ trên toàn cảnh Crypto AI. Nó không được thiết kế để là một cuộc phiêu lưu sâu rộng trong mọi lĩnh vực - đó là một cái hố thỏ cho một ngày khác.

Thay vào đó, xem nó như một bản đồ tương lai cấp cao được tạo ra để khơi dậy sự tò mò, mài giũa nghiên cứu của bạn và hướng dẫn suy nghĩ đầu tư.

Định vị cảnh quan

Tôi hình dung ngăn xếp trí tuệ nhân tạo phi tập trung như một hệ sinh thái lớp lớp: nó bắt đầu bằng tính toán phi tập trung và mạng dữ liệu mở ở một đầu, là nguồn năng lượng cho việc huấn luyện mô hình trí tuệ nhân tạo phi tập trung.

Mọi suy luận sau đó được xác minh - cả đầu vào và đầu ra - bằng cách sử dụng một sự kết hợp của mật mã, động lực kinh tế tiền điện tử và mạng lưới đánh giá. Các đầu ra đã được xác minh này trôi vào các đại lý Trí tuệ Nhân tạo (AI) có thể hoạt động tự động trên chuỗi, cũng như các ứng dụng Trí tuệ Nhân tạo (AI) dành cho người tiêu dùng và doanh nghiệp mà người dùng thực sự có thể tin cậy.

Mạng lưới phối hợp kết nối tất cả mọi thứ lại với nhau, cho phép giao tiếp và hợp tác mượt mà trên toàn bộ hệ sinh thái.

Trên tầm nhìn này, bất kỳ ai xây dựng trong lĩnh vực trí tuệ nhân tạo đều có thể tiếp cận một hoặc nhiều tầng của ngăn xếp này, tùy thuộc vào nhu cầu cụ thể của họ. Cho dù sử dụng tính toán phi tập trung cho việc huấn luyện mô hình hoặc sử dụng các mạng đánh giá để đảm bảo đầu ra chất lượng cao, ngăn xếp cung cấp một loạt các lựa chọn.

Nhờ vào tính tương hợp bẩm sinh của blockchain, tôi tin rằng chúng ta đang tự nhiên tiến đến một tương lai modular. Mỗi lớp đều trở nên siêu chuyên biệt, với các giao thức được tối ưu hóa cho các chức năng cụ thể thay vì một phương pháp tích hợp all-in-one.

Nguồn: topology.vc

Đã có một cuộc nổ ra của các doanh nghiệp khởi nghiệp xây dựng trên mọi tầng của ngăn xếp trí tuệ nhân tạo phi tập trung, hầu hết được thành lập chỉ trong 1 - 3 năm qua. Rõ ràng: chúng ta vẫn còn sớm.

Bản đồ toàn cảnh và cập nhật nhất về cảnh quan khởi nghiệp AI Crypto mà tôi từng thấy được duy trì bởi Casey và đội ngũ của cô ấy tại topology.vc. Đó là một nguồn tài nguyên vô giá cho bất kỳ ai theo dõi không gian.

Khi tôi đào sâu vào các phân ngành Crypto AI, tôi luôn tự đặt câu hỏi: cơ hội ở đây có lớn không? Tôi không quan tâm đến các cược nhỏ - tôi đang tìm kiếm các thị trường có thể mở rộng lên hàng trăm tỷ.

1. Kích thước thị trường

Hãy bắt đầu với quy mô thị trường. Khi đánh giá một phân ngành con, tôi tự hỏi: liệu nó có tạo ra một thị trường hoàn toàn mới hay là đang gây rối trong một thị trường đã tồn tại?

Ví dụ, hãy xem xét tính toán phi tập trung. Đó là một danh mục gây chấn động, tiềm năng của nó có thể được ước lượng bằng cách nhìn vào thị trường máy chủ đám mây đã được xác định, trị giá ~$680 tỷ hôm nay và dự kiến đạt 2.5T đô la vào năm 2032.

Các thị trường mới không có tiền lệ, như các đại lý AI, khó định lượng hơn. Mà không có dữ liệu lịch sử, việc đánh giá chúng bao gồm một sự kết hợp của những phỏng đoán có căn cứ và kiểm tra cảm giác về các vấn đề mà chúng đang giải quyết. Và điều nguy hiểm là đôi khi, điều có vẻ như một thị trường mới thực sự chỉ là một giải pháp tìm kiếm vấn đề.

2. Thời gian

Thời gian là tất cả. Công nghệ có xu hướng cải thiện và trở nên rẻ hơn theo thời gian, nhưng tốc độ tiến bộ thay đổi.

Công nghệ trưởng thành như thế nào trong một phân ngành nhất định? Nó đã sẵn sàng để mở rộng quy mô, hay nó vẫn đang trong giai đoạn nghiên cứu, với các ứng dụng thực tế nhiều năm nữa? Thời gian xác định liệu một lĩnh vực có đáng được chú ý ngay lập tức hay nên được để lại trong danh mục “chờ xem”.

Cầm Fully Homomorphic Encryption (FHE) làm ví dụ: tiềm năng không thể phủ nhận, nhưng hiện nay nó vẫn quá chậm để sử dụng rộng rãi. Có lẽ còn vài năm nữa chúng ta mới thấy nó trở nên phổ biến. Bằng cách tập trung vào các lĩnh vực gần gũi với việc mở rộng trước tiên, tôi có thể dành thời gian và năng lượng của mình vào nơi đang có đà tăng trưởng và cơ hội.

Nếu tôi phải ánh xạ các danh mục này lên biểu đồ kích thước so với thời gian, nó sẽ trông giống như thế này. Hãy nhớ rằng đây chỉ là một phác thảo khái niệm hơn là một hướng dẫn cứng nhắc. Có rất nhiều sự tinh vi—ví dụ, trong suy luận có thể xác minh, các phương pháp khác như zkML và opML có các mức độ sẵn sàng khác nhau để sử dụng.

Tuy nhiên, tôi tin rằng quy mô của trí tuệ nhân tạo sẽ rất lớn đến mức ngay cả những gì ngày nay dường như chỉ là “hẹp hòi” cũng có thể phát triển thành một thị trường quan trọng.

Đáng chú ý rằng tiến bộ công nghệ không luôn diễn ra theo một đường thẳng - đôi khi nó xảy ra theo những bước nhảy. Quan điểm của tôi về thời điểm và quy mô thị trường sẽ thay đổi khi những đột phá mới nảy sinh.

Với khung này trong tâm trí, hãy phân tích từng phân ngành.

Khu vực 1: Tính toán phi tập trung

TL;dr

  • Tính toán phi tập trung là cột sống của trí tuệ nhân tạo phi tập trung.
  • Các thị trường GPU, đào tạo phi tập trung và suy luận phi tập trung mật thiết liên kết và phát triển cùng nhau.
  • Bên cung cấp thường đến từ các trung tâm dữ liệu cỡ nhỏ-trung và GPU người tiêu dùng.
  • Bên cung ứng nhỏ nhưng đang phát triển. Ngày nay, nhu cầu đến từ người dùng nhạy cảm với giá cả, không cần độ trễ và các start-up trí tuệ nhân tạo nhỏ hơn.
  • Thách thức lớn nhất cho các sàn giao dịch GPU Web3 ngày nay là thực sự làm cho chúng hoạt động.
  • Tổ chức GPUs trên một mạng lưới phi tập trung yêu cầu kỹ thuật chuyên sâu và một kiến trúc mạng vững chắc, được thiết kế tốt.

1.1. Chợ trao đổi GPU / Mạng máy tính

Một số nhóm Crypto AI đang định vị bản thân để tận dụng sự thiếu hụt GPU so với nhu cầu bằng cách xây dựng các mạng phân cấp tận dụng nguồn sức mạnh tính toán tiềm ẩn toàn cầu.

Mục tiêu giá trị cốt lõi cho các sàn giao dịch GPU là 3 mục:

  1. Bạn có thể truy cập vào tính toán với giá rẻ hơn tới 90% so với AWS, điều này đến từ việc (1) loại bỏ các trung gian và (2) mở cửa phía cung cấp. Cơ bản, các thị trường này cho phép bạn tiếp cận với chi phí biên thấp nhất của tính toán trên toàn cầu.
  2. Tính linh hoạt cao hơn: Không có hợp đồng bị khóa, không cần KYC, không có thời gian chờ đợi.
  3. Không thể kiểm duyệt

Để giải quyết phía cung của thị trường, các thị trường này tính toán từ:

  • Các GPU cấp doanh nghiệp (ví dụ: A100s, H100s) từ các trung tâm dữ liệu cỡ nhỏ-trung cấp đang gặp khó khăn trong việc tìm kiếm nhu cầu riêng của họ hoặc các nhà đào Bitcoin muốn đa dạng hóa. Tôi cũng biết về các nhóm tiếp cận các dự án hạ tầng chính phủ lớn, nơi các trung tâm dữ liệu đã được xây dựng như một phần của các chương trình phát triển công nghệ. Những nhà cung cấp này thường được khuyến khích để giữ các GPU của họ trên mạng, giúp họ bù đắp các chi phí phân bổ của GPU.
  • Các GPU dành cho người tiêu dùng từ hàng triệu game thủ và người dùng gia đình kết nối máy tính của họ vào mạng để đổi lấy động cơ khích lệ

Mặt khác, hiện nay, phía yêu cầu cho tính toán phi tập trung đến từ:

  1. Người dùng nhạy cảm với giá, không cần quá quan trọng đến độ trễ. Đoạn này ưu tiên tính khả chấp hơn là tốc độ. Hãy nghĩ đến những nhà nghiên cứu khám phá lĩnh vực mới, những nhà phát triển trí tuệ nhân tạo độc lập và những người dùng khác có ý thức về chi phí không cần xử lý thời gian thực. Do hạn chế về ngân sách, nhiều người trong số họ có thể gặp khó khăn với các dịch vụ hyperscalers truyền thống như AWS hoặc Azure. Bởi vì họ phân tán khá rộng rãi trên dân số, tiếp thị định tuyến là rất quan trọng để thu hút nhóm người này tham gia.
  2. Các công ty khởi nghiệp AI nhỏ hơn đối mặt với những thách thức trong việc đảm bảo các nguồn tài nguyên tính toán linh hoạt, có khả năng mở rộng mà không bị ràng buộc vào hợp đồng dài hạn với các nhà cung cấp đám mây lớn. Việc phát triển kinh doanh là vô cùng quan trọng trong việc thu hút đối tượng này, vì họ đang tích cực tìm kiếm những lựa chọn thay thế cho việc bị ràng buộc bởi các nhà cung cấp siêu quy mô.
  3. Các công ty khởi nghiệp Crypto AI xây dựng các sản phẩm trí tuệ nhân tạo phi tập trung nhưng không có nguồn cung cấp tính toán riêng của mình sẽ cần tận dụng các nguồn tài nguyên của một trong những mạng này.
  4. Cloud gaming: Mặc dù không phải là do trí tuệ nhân tạo trực tiếp, nhưng cloud gaming đang trở thành nguồn cung cấp tài nguyên GPU đang tăng lên.

Điều quan trọng cần nhớ: nhà phát triển luôn ưu tiên chi phí và độ tin cậy.

Thách thức thực sự: Cầu, không phải cung

Các công ty khởi nghiệp trong lĩnh vực này thường quảng bá kích thước mạng lưới cung cấp GPU của họ như một dấu hiệu của sự thành công. Nhưng điều này là gây nhầm lẫn - đây chỉ là một chỉ số vô nghĩa tại điểm cao nhất.

Ràng buộc thực sự không phải là nguồn cung mà là nhu cầu. Các chỉ số quan trọng cần theo dõi không phải là số lượng GPU có sẵn, mà là tỷ lệ sử dụng và số lượng GPU thực sự được cho thuê.

Token là cực kỳ xuất sắc trong việc khởi động phía cung ứng, tạo ra những động cơ cần thiết để mở rộng nhanh chóng. Tuy nhiên, chúng không giải quyết vấn đề cầu hỏi theo bản năng. Bài kiểm tra thực sự là khi sản phẩm đạt đến trạng thái đủ tốt để nhu cầu tiềm ẩn trở nên rõ ràng.

Haseeb Qureshi (Dragonfly) đặt tốt nhất:

Làm cho Mạng tính có thể hoạt động thực sự

Ngược lại với quan điểm phổ biến, rào cản lớn nhất đối với các thị trường GPU phân phối web3 hiện nay đơn giản chỉ là làm cho chúng hoạt động đúng cách.

Đây không phải là một vấn đề nhỏ.

Điều phối GPU trên mạng phân tán là phức tạp, với nhiều thách thức - phân bổ tài nguyên, tỷ lệ công việc động, cân bằng tải trên các nút và GPU, quản lý độ trễ, truyền dữ liệu, khả năng chịu lỗi và xử lý phần cứng đa dạng phân tán trên các địa điểm khác nhau. Tôi có thể tiếp tục mãi mãi.

Để đạt được điều này, yêu cầu kỹ sư nghiêm túc và một kiến trúc mạng mạnh mẽ, được thiết kế đúng cách.

Để đặt nó vào bối cảnh, hãy xem xét Kubernetes của Google. Nó được coi là tiêu chuẩn vàng cho việc triển khai các container, tự động hóa quy trình như cân bằng tải và tỷ lệ mở rộng trong môi trường phân tán - những thách thức rất tương tự với những gì mà các mạng GPU phân tán phải đối mặt. Kubernetes được xây dựng dựa trên hơn một thập kỷ kinh nghiệm của Google, và ngay cả sau đó, nó cũng mất nhiều năm để hoàn thiện.

Một số chợ máy tính GPU đã hoạt động hiện nay có thể xử lý các khối lượng công việc quy mô nhỏ, nhưng những vấn đề bắt đầu xuất hiện ngay khi họ cố gắng mở rộng. Tôi nghi ngờ rằng điều này là do họ được xây dựng trên cơ sở kiến trúc thiết kế kém cỏi.

Một thách thức / cơ hội khác cho các mạng tính toán phi tập trung là đảm bảo tính đáng tin cậy: xác minh rằng mỗi node đang cung cấp công suất tính toán mà nó tuyên bố. Hiện tại, điều này phụ thuộc vào danh tiếng của mạng và trong một số trường hợp, nhà cung cấp tính toán được xếp hạng theo điểm danh tiếng. Công nghệ blockchain có vẻ là một lựa chọn tự nhiên cho các hệ thống xác minh không đáng tin cậy. Các startup như GensynSpheron đang đẩy mạnh một phương pháp không đáng tin cậy để giải quyết vấn đề này.

Hôm nay, nhiều nhóm web3 vẫn đang vật lộn với những thách thức này, điều đó có nghĩa là cơ hội vẫn rất rộng mở.

Kích thước thị trường tính toán phi tập trung

Thị trường mạng tính toán phi tập trung có quy mô như thế nào?

Hiện nay, thị trường máy chủ ảo dựa trên blockchain chỉ chiếm một khoảng rất nhỏ so với ngành công nghiệp đám mây trị giá từ 680 tỷ đến 2,5 nghìn tỷ USD. Tuy nhiên, bất chấp sự cản trở đối với người dùng, luôn có những nhu cầu sử dụng miễn là chi phí vẫn thấp hơn so với những nhà cung cấp truyền thống.

Tôi tin rằng chi phí sẽ duy trì ở mức thấp trong tương lai gần đến trung hạn do sự kết hợp của các khoản trợ cấp token và việc mở khóa nguồn cung từ người dùng không nhạy cảm với giá (ví dụ, nếu tôi có thể cho thuê laptop chơi game của mình để kiếm thêm tiền, tôi sẽ hạnh phúc dù mỗi tháng là 20 đô la hay 50 đô la).

Nhưng tiềm năng tăng trưởng thực sự cho các mạng tính toán phi tập trung - và sự mở rộng thực sự của TAM của họ - sẽ đến khi:

  1. Huấn luyện phân tán của các mô hình trí tuệ nhân tạo trở nên thực tế
  2. Nhu cầu về suy luận tăng mạnh và các trung tâm dữ liệu hiện có không đáp ứng được. Điều này đã bắt đầu diễn ra. Jensen Huang nói rằng nhu cầu suy luận đang tăng lên.tăng “một tỷ lần”.
  3. Các Thỏa thuận Cấp dịch vụ (SLA) chính thức trở nên có sẵn, giải quyết một rào cản quan trọng đối với việc doanh nghiệp áp dụng. Hiện tại, tính toán phi tập trung hoạt động dựa trên nỗ lực tốt nhất, khiến người dùng phải chịu đựng các cấp độ chất lượng dịch vụ khác nhau (ví dụ: % thời gian hoạt động). Với SLA có sẵn, các mạng này có thể cung cấp các chỉ số đáng tin cậy và hiệu suất chuẩn hóa, khiến cho tính toán phi tập trung trở thành một lựa chọn thay thế khả thi so với các nhà cung cấp tính toán đám mây truyền thống.

Tính toán phi tập trung, không cần phép mà đứng như một lớp cơ sở - cơ sở hạ tầng cơ bản - cho một hệ sinh thái trí tuệ nhân tạo phi tập trung.

Bất chấp sự mở rộng liên tục trong chuỗi cung ứng silicon (tức là GPU), tôi tin rằng chúng ta chỉ mới ở buổi bình minh của kỷ nguyên Trí tuệ nhân loại. Sẽ có một nhu cầu vô độ về tính toán.

Hãy chú ý đến điểm phát xảy sự kiện có thể kích hoạt một sự đánh giá lại lớn của tất cả các chợ GPU hoạt động. Có lẽ nó sẽ sớm đến.

Ghi chú khác:

  • Thị trường GPU đơn chức năng đang đông đúc, cạnh tranh giữa các nền tảng phi tập trung và cũng có sự nổi lên của web2 AI neocloudsnhư Vast.ai và Lambda.
  • Các nút nhỏ (ví dụ, 4 x H100) không được yêu cầu nhiều vì sử dụng hạn chế, nhưng may mắn là tìm thấy ai đó bán các cụm lớn - chúng vẫn đang được yêu cầu nghiêm túc.
  • Một người chơi chiếm ưu thế sẽ tổng hợp tất cả nguồn cung cấp tính toán cho các giao protocal phi tập trung, hay nó sẽ vẫn phân tán giữa nhiều thị trường khác nhau? Tôi đang nghiêng về cái đầu tiên và một phân phối luật lực trong kết quả, vì sáp nhập thường thúc đẩy hiệu quả trong cơ sở hạ tầng. Nhưng nó sẽ mất thời gian để diễn ra, và trong khi đó, sự phân tán và lộn xộn tiếp tục.
  • Nhà phát triển muốn tập trung vào việc xây dựng ứng dụng, chứ không phải là xử lý triển khai và cấu hình. Các thị trường phải trừu tượng hóa đi những phức tạp này, tạo điều kiện tiếp cận máy tính một cách mượt mà nhất có thể.

1.2. Đào tạo phi tập trung

TL;dr

  • Nếu luật tỷ lệ tăng trưởng được duy trì, việc đào tạo thế hệ tiếp theo của các mô hình trí tuệ nhân tạo tiên tiến trong một trung tâm dữ liệu duy nhất một ngày nào đó sẽ trở nên không thể, về mặt vật lý.
  • Huấn luyện mô hình AI đòi hỏi rất nhiều dữ liệu được chuyển đổi giữa các GPU. Tốc độ chuyển đổi dữ liệu (liên kết) thấp giữa các GPU phân tán thường là rào cản lớn nhất.
  • Các nhà nghiên cứu đồng thời đang khám phá nhiều phương pháp, và những bước đột phá đang diễn ra (ví dụ: Open DiLoCo, DisTrO). Những tiến bộ này sẽ chồng chất và kết hợp, tăng tốc tiến triển trong lĩnh vực này.
  • Tương lai của đào tạo phi tập trung có lẽ nằm ở các mô hình nhỏ hơn, chuyên biệt được thiết kế cho các ứng dụng đặc thù thay vì các mô hình tập trung vào AGI tiên tiến.
  • Nhu cầu suy luận đang sẵn sàng bùng nổ với sự chuyển đổi sang mô hình như o1 của OpenAI, tạo ra cơ hội cho các mạng suy luận phi tập trung.

Hãy tưởng tượng: một mô hình trí tuệ nhân tạo to lớn, thay đổi thế giới, không được phát triển trong các phòng thí nghiệm tinh vi và bí mật mà được tạo ra bởi hàng triệu người thông thường. Người chơi game, những người GPU của họ thường sản xuất những cảnh nổ điện ảnh trong Call of Duty, bây giờ sẽ sử dụng thiết bị của họ cho một mục tiêu cao cả hơn - một mô hình trí tuệ nhân tạo mã nguồn mở, thuộc sở hữu của cộng đồng và không có bất kỳ cổng thông tin tâm trí trung tâm nào.

Trong tương lai này, các mô hình quy mô cơ bản không chỉ thuộc về lĩnh vực của các phòng thí nghiệm trí tuệ nhân tạo hàng đầu.

Nhưng hãy đặt tầm nhìn này vào hiện thực ngày hôm nay. Hiện tại, hầu hết việc đào tạo trí tuệ nhân tạo nặng ký vẫn được gắn liền với các trung tâm dữ liệu tập trung, và điều này có thể sẽ là quy tắc trong một thời gian dài.

Các công ty như OpenAI đang mở rộng các cụm máy chủ khổng lồ của họ. Elon Musk gần đây công bốrằng xAI sắp hoàn thành một trung tâm dữ liệu với sức mạnh tương đương 200,000 GPU H100.

Nhưng điều này không chỉ liên quan đến số lượng GPU thô. Sử dụng FLOPS mô hình (MFU)—một chỉ số được giới thiệu trong Bài báo PaLM của Googletrong năm 2022—theo dõi cách mà dung lượng tối đa của GPU được sử dụng một cách hiệu quả. Ngạc nhiên, MFU thường dao động khoảng 35-40%.

Tại sao lại thấp như vậy? Trong khi hiệu suất GPU đã tăng vọt theo đúng luật Moore trong nhiều năm qua, cải tiến mạng, bộ nhớ và lưu trữ đã đứng sau rất nhiều, tạo ra các bottleneck. Kết quả là, GPU thường ngồi im, chờ dữ liệu.

Đào tạo trí tuệ nhân tạo vẫn rất tập trung ngày nay vì một lý do - Hiệu quả.

Đào tạo các mô hình lớn phụ thuộc vào các kỹ thuật như:

• Data parallelism: Chia tập dữ liệu thành nhiều GPU để thực hiện các hoạt động song song, tăng tốc quá trình đào tạo.

• Phân chia mô hình: Phân phối các phần của mô hình qua các GPU để vượt qua hạn chế bộ nhớ.

Các phương pháp này đòi hỏi GPU để trao đổi dữ liệu liên tục, làm tốc độ kết nối mạng - tốc độ dữ liệu được chuyển qua các máy tính trong mạng - hoàn toàn quan trọng.

Khi việc đào tạo mô hình trí tuệ nhân tạo đầu tư có thể lên đến 1 tỷ đô la, mọi lợi ích về hiệu quả đều quan trọng.

Với các kết nối tốc độ cao của trung tâm dữ liệu tập trung, cho phép chuyển dữ liệu nhanh chóng giữa các GPU và tạo ra sự tiết kiệm chi phí đáng kể trong quá trình đào tạo mà cài đặt phi tập trung không thể sánh kịp… nhưng.

Vượt qua tốc độ kết nối chậm

Nếu bạn nói chuyện với những người làm việc trong lĩnh vực AI, nhiều người sẽ nói với bạn rằng việc đào tạo phi tập trung không hoạt động.

Trong các thiết lập phi tập trung, các cụm GPU không được đặt cùng vật lý, vì vậy việc truyền dữ liệu giữa chúng chậm hơn và trở thành điểm hạn chế. Việc huấn luyện yêu cầu các GPU đồng bộ hóa và trao đổi dữ liệu ở mỗi bước. Càng xa nhau, độ trễ càng cao. Độ trễ cao có nghĩa là tốc độ huấn luyện chậm hơn và chi phí cao hơn.

Những gì có thể mất một vài ngày trong một trung tâm dữ liệu tập trung có thể kéo dài đến hai tuần với cách tiếp cận phi tập trung với chi phí cao hơn. Điều đó đơn giản là không khả thi.

Nhưng điều này được thiết lập để thay đổi.

Thông tin tốt là có một sự bùng nổ lớn về sự quan tâm vào nghiên cứu về đào tạo phân tán. Các nhà nghiên cứu đang khám phá nhiều phương pháp cùng một lúc, như được chứng minh bằng sự hối hả của các nghiên cứu và bài báo được công bố. Những tiến bộ này sẽ chồng chất và tăng cường, đẩy nhanh tiến triển trong lĩnh vực này.

Điều này cũng liên quan đến việc thử nghiệm trong quá trình sản xuất và xem chúng ta có thể đẩy ranh giới đến đâu.

Một số kỹ thuật đào tạo phi tập trung đã có thể xử lý các mô hình nhỏ trong môi trường kết nối chậm. Hiện nay, nghiên cứu tiên phong đang đẩy mạnh để mở rộng các phương pháp này sang các mô hình ngày càng lớn hơn.

  • Ví dụ, Prime Intellect’s mở tài liệu DiCoLo thể hiện một cách tiếp cận thực tế liên quan đến “đảo” GPU thực hiện 500 bước cục bộ trước khi đồng bộ hóa, cắt giảm yêu cầu băng thông lên đến 500x. Những gì bắt đầu khi nghiên cứu của Google DeepMind về các mô hình nhỏ hơn hiện đã được mở rộng để đào tạo một mô hình 10 tỷ tham số vào tháng 11 và hoàn toàn có nguồn mở ngày hôm nay.
  • Nous Research đang nâng tầm với DisTrO framework của họ, sử dụng bộ tối ưu hóa để giảm yêu cầu giao tiếp giữa các GPU lên đến 10.000 lần trong quá trình huấn luyện một mô hình có 1.2 tỷ tham số, đến mức khiến bạn tròn mắt.
  • Và động lực tiếp tục được xây dựng. Vào tháng Mười Hai, Nous đã công bố việc đào tạo trước mô hình tham số 15B với đường cong tổn thất (cách sai số của mô hình giảm theo thời gian) và tốc độ hội tụ (tốc độ mà hiệu suất của mô hình ổn định) khớp hoặc vượt qua kết quả thường thấy với các thiết lập đào tạo tập trung. Có, tốt hơn so với tập trung.
  • SWARM Parallelism và DTFMHE là những phương pháp khác để huấn luyện các mô hình AI rất lớn trên các loại thiết bị khác nhau, ngay cả khi những thiết bị đó có tốc độ và kết nối khác nhau.

Một thách thức khác là quản lý một loạt phong phú các phần cứng GPU, bao gồm các GPU cấp tiêu dùng có bộ nhớ hạn chế, điều này thường xảy ra trong các mạng phân tán. Các kỹ thuật như song song hóa mô hình (chia các lớp mô hình qua các thiết bị) có thể giúp làm cho điều này trở nên khả thi.

Tương lai của Đào tạo Phi tập trung

Phương pháp đào tạo phi tập trung hiện tại vẫn giới hạn ở các kích thước mô hình dưới mức tiên tiến (GPT-4 được cho là gần đạt tới một nghìn tham số, lớn gấp 100 lần so với mô hình 10 tỷ tham số của Prime Intellect). Để thực sự mở rộng, chúng ta sẽ cần những đột phá trong kiến trúc mô hình, cơ sở hạ tầng mạng tốt hơn và phân chia công việc thông minh hơn trên các thiết bị.

Và chúng ta có thể mơ lớn. Hãy tưởng tượng một thế giới nơi đào tạo phi tập trung tổng hợp nhiều sức mạnh tính toán GPU hơn cả các trung tâm dữ liệu tập trung lớn nhất có thể tập hợp.

Pluralis Research(một nhóm sắc bén trong đào tạo phi tập trung, một nhóm cần theo dõi sát sao) cho rằng điều này không chỉ có thể xảy ra - nó là điều không thể tránh khỏi. Trung tâm dữ liệu tập trung bị ràng buộc bởi các hạn chế vật lý như không gian và khả năng cung cấp điện, trong khi các mạng phi tập trung có thể tận dụng vào một nguồn tài nguyên toàn cầu vô hạn một cách hiệu quả.

Ngay cả Jensen Huang của NVIDIA cũng đã công nhận rằng đào tạo phi tập trung không đồng bộ có thể mở khóa tiềm năng thực sự của việc mở rộng quy mô AI. Mạng lưới đào tạo phân tán cũng có khả năng chịu lỗi cao hơn.

Vì vậy, trong một tương lai tiềm năng, các mô hình AI mạnh nhất của thế giới sẽ được đào tạo theo cách phi tập trung.

Đó là một triển vọng thú vị, nhưng tôi vẫn chưa hoàn toàn tin tưởng. Chúng ta cần có bằng chứng mạnh mẽ hơn rằng việc đào tạo phi tập trung các mô hình lớn là kỹ thuật và kinh tế khả thi.

Đây là nơi tôi thấy nhiều hứa hẹn: Điểm ngọt ngào của đào tạo phi tập trung có thể nằm ở các mô hình mã nguồn mở nhỏ hơn, chuyên biệt, được thiết kế cho các trường hợp sử dụng được nhắm mục tiêu, thay vì cạnh tranh với các mô hình biên giới cực lớn, do AGI điều khiển. Một số kiến trúc nhất định, đặc biệt là các mô hình không biến áp, đã chứng minh sự phù hợp tự nhiên cho các thiết lập phi tập trung.

Và còn một phần khác của câu đố này: token. Khi đào tạo phi tập trung trở nên khả thi ở quy mô lớn, token có thể đóng vai trò quan trọng trong việc khuyến khích và thưởng cho người đóng góp, hiệu quả khởi động mạng lưới này.

Con đường đến tầm nhìn này rất dài, nhưng tiến bộ đang đem lại sự động viên sâu sắc. Các tiến bộ trong việc đào tạo phi tập trung sẽ mang lại lợi ích cho tất cả mọi người - kể cả công nghệ lớn và các phòng nghiên cứu trí tuệ nhân tạo hàng đầu - khi quy mô của các mô hình tương lai sẽ vượt quá khả năng của một trung tâm dữ liệu đơn lẻ.

Tương lai được phân phối. Và khi một công nghệ nắm giữ tiềm năng rộng lớn như vậy, lịch sử cho thấy nó luôn trở nên tốt hơn, nhanh hơn bất cứ ai mong đợi.

1.3. Suy luận Phi tập trung

Hiện tại, hầu hết sức mạnh tính toán trong lĩnh vực Trí tuệ nhân tạo đang được đổ vào việc huấn luyện các mô hình lớn. Các phòng thí nghiệm Trí tuệ nhân tạo hàng đầu đều đang trong cuộc đua vũ trang để phát triển các mô hình cơ bản tốt nhất và cuối cùng là đạt được Trí tuệ Nhân tạo tự động (AGI).

Nhưng đây là quan điểm của tôi: sự tập trung mạnh mẽ vào việc tính toán huấn luyện sẽ dịch chuyển sang việc suy luận trong những năm sắp tới. Khi trí tuệ nhân tạo ngày càng được tích hợp vào các ứng dụng mà chúng ta sử dụng hàng ngày—từ lĩnh vực chăm sóc sức khỏe đến giải trí—nguồn tài nguyên tính toán cần thiết để hỗ trợ suy luận sẽ là một điều đáng kinh ngạc.

Và đó không chỉ là sự suy đoán. Việc mở rộng tính toán thời gian suy luận là một từ ngữ mới nhất trong lĩnh vực Trí tuệ Nhân tạo. Gần đây, OpenAI đã phát hành một phiên bản xem trước/mini của mô hình mới nhất của mình, o1 (tên mã: Strawberry), và sự chuyển đổi lớn đó là gì? Nó mất thời gian để suy nghĩ bằng cách đầu tiên hỏi bản thân những bước nên thực hiện để trả lời câu hỏi, sau đó đi qua từng bước đó.

Mô hình này được thiết kế cho các nhiệm vụ phức tạp hơn, đòi hỏi nhiều kế hoạch - như giải các câu đố chữ—và giải quyết các vấn đề đòi hỏi tư duy sâu hơn. Bạn sẽ nhận thấy nó chậm hơn, mất nhiều thời gian hơn để tạo ra phản hồi, nhưng kết quả lại sâu sắc và tinh vi hơn. Nó cũng tốn kém hơn để vận hành (25x chi phí của GPT-4)

Sự chuyển đổi tập trung rõ ràng: bước nhảy tiếp theo trong hiệu suất AI sẽ không chỉ đến từ việc huấn luyện mô hình lớn hơn mà còn từ việc tăng cường việc sử dụng tính toán trong suy luận.

Nếu bạn muốn đọc nhiều hơn, một số nghiên cứuGiấy tờdemonstrate:

  • Mở rộng tính toán suy luận thông qua việc lấy mẫu lặp đi lặp lại dẫn đến cải thiện lớn trên nhiều nhiệm vụ khác nhau.
  • Cũng có một luật nhân lên mũi tên cho suy luận.

Khi mô hình mạnh mẽ đã được huấn luyện, nhiệm vụ suy luận của chúng - nơi mà các mô hình thực hiện các hoạt động - có thể được chuyển giao cho các mạng tính toán phân tán. Điều này rất hợp lý vì:

  • Suy luận ít tốn tài nguyên hơn nhiều so với đào tạo. Sau khi được đào tạo, các mô hình có thể được nén và tối ưu hóa bằng cách sử dụng các kỹ thuật như lượng tử hóa, cắt tỉa hoặc chưng cất. Chúng thậm chí có thể được chia nhỏ với tensor hoặc song song đường ống để chạy trên các thiết bị tiêu dùng hàng ngày. Bạn không cần GPU cao cấp để suy luận mạnh mẽ.
  • Điều đó đã xảy ra.Exo Labsđã tìm ra cách chạy mô hình Llama3 450B tham số trên phần cứng dành cho người tiêu dùng như MacBooks và Mac Minis. Việc phân phối suy luận trên nhiều thiết bị có thể xử lý các khối lượng công việc thậm chí lớn một cách hiệu quả và tiết kiệm chi phí.
  • Trải nghiệm người dùng tốt hơn. Chạy các tính toán gần người dùng sẽ cắt giảm độ trễ, điều quan trọng đối với các ứng dụng thời gian thực như chơi game, AR hoặc xe tự lái. Mỗi mili giây đều quan trọng.

Hãy nghĩ về việc suy diễn phi tập trung như một CDN (mạng phân phối nội dung) cho AI: thay vì nhanh chóng giao nội dung web bằng cách kết nối với các máy chủ gần đó, suy diễn phi tập trung tận dụng năng lực tính toán cục bộ để cung cấp phản hồi AI trong thời gian ngắn. Bằng cách chấp nhận suy diễn phi tập trung, ứng dụng AI trở nên hiệu quả, có khả năng phản ứng và đáng tin cậy hơn.

Xu hướng là rõ ràng. Chip M4 Pro mới của Apple đối thủ của NVIDIA RTX 3070 Ti — một GPU mà cho đến gần đây, vẫn là lĩnh vực của những game thủ khó tính. Phần cứng chúng ta đã có ngày càng có khả năng xử lý khối lượng công việc AI nâng cao.

Giá trị gia tăng của tiền điện tử

Để mạng lưới suy diễn phi tập trung thành công, phải có động lực kinh tế hấp dẫn để tham gia. Các nút trong mạng cần được bồi thường cho đóng góp tính toán của họ. Hệ thống phải đảm bảo phân phối phần thưởng công bằng và hiệu quả. Đa dạng địa lý là điều cần thiết, giảm độ trễ cho các nhiệm vụ suy diễn và nâng cao khả năng chống lỗi.

Và cách tốt nhất để xây dựng mạng lưới phi tập trung? Tiền điện tử.

Tokens cung cấp cơ chế mạnh mẽ để điều chỉnh lợi ích của các thành viên, đảm bảo mọi người đang làm việc với cùng một mục tiêu: mở rộng mạng lưới và tăng giá trị của token.

Token cũng thúc đẩy tăng trưởng mạng. Chúng giúp giải quyết vấn đề gà và trứng cổ điển khiến hầu hết các mạng lưới đình trệ bằng cách thưởng cho những người chấp nhận sớm và thúc đẩy sự tham gia ngay từ ngày đầu tiên.

Sự thành công của Bitcoin và Ethereum đã chứng minh điểm này – họ đã tổng hợp các nhóm sức mạnh tính toán lớn nhất trên hành tinh.

Các mạng suy luận phi tập trung là dòng tiếp theo. Với sự đa dạng về địa lý, chúng làm giảm độ trễ, cải thiện khả năng chịu lỗi và đưa AI đến gần hơn với người dùng. Và với các ưu đãi được hỗ trợ bởi tiền điện tử, chúng sẽ mở rộng nhanh hơn và tốt hơn so với các mạng truyền thống có thể.

Thông báo từ chối trách nhiệm:

  1. Bài viết này được in lại từ [[](https://www.chainofthought.xyz/p/our-crypto-ai-thesis-part-ii-decentralised-compute)[Chuỗi suy nghĩ](https://www.chainofthought.xyz/)\]. Tất cả bản quyền thuộc về tác giả gốc [Teng Yan]. Nếu có ý kiến phản đối bản in lại này, vui lòng liên hệ với Cổng Họcđội ngũ, và họ sẽ xử lý nhanh chóng.
  2. Miễn trừ trách nhiệm: Các quan điểm và ý kiến được thể hiện trong bài viết này chỉ thuộc về tác giả và không đại diện cho bất kỳ lời khuyên đầu tư nào.
  3. Các bản dịch của bài viết sang các ngôn ngữ khác được thực hiện bởi nhóm Gate Learn. Trừ khi có được đề cập, việc sao chép, phân phối hoặc đạo văn các bài viết đã được dịch là cấm.
Nu Starten
Meld Je Aan En Ontvang
$100
Voucher!
It seems that you are attempting to access our services from a Restricted Location where Gate.io is unable to provide services. We apologize for any inconvenience this may cause. Currently, the Restricted Locations include but not limited to: the United States of America, Canada, Cambodia, Cuba, Iran, North Korea and so on. For more information regarding the Restricted Locations, please refer to the User Agreement. Should you have any other questions, please contact our Customer Support Team.