เนื่องจากแอปพลิเคชัน AIGC เช่น ChatGPT ก่อให้เกิดโมเดลขนาดใหญ่ เลเยอร์พลังการประมวลผลซึ่งเป็นโครงสร้างพื้นฐาน จึงกลายเป็นอุตสาหกรรมกลุ่มแรกที่ได้รับประโยชน์

อย่างไรก็ตาม ปัญหาต่างๆ เช่น ความต้องการพลังการประมวลผลที่สูงและต้นทุนที่สูง กลายเป็นปัญหาที่พบบ่อยสำหรับองค์กรในการใช้โมเดลขนาดใหญ่ และมีแนวโน้มที่จะจำกัดการพัฒนา AI มากขึ้น: พารามิเตอร์ของโมเดลขนาดใหญ่เพิ่มขึ้นทุกวัน และการประมวลผล คอขวดของแหล่งจ่ายไฟกำลังใกล้เข้ามา ทำให้เกิดความขัดแย้งอย่างมากระหว่างทั้งสอง

วิธีสำรวจโซลูชันพลังงานการประมวลผลแบบจำลองขนาดใหญ่ที่ดีกว่าเป็นจุดสนใจทั่วไปในอุตสาหกรรม

ล่าสุด MLPerf การประเมินที่เชื่อถือได้ของโลกได้ประกาศผลการประเมินการอนุมานล่าสุด นับเป็นครั้งแรกที่ MLPerf ได้เปิดตัวการทดสอบอนุมานแบบจำลองขนาดใหญ่ GPT อัตราการมีส่วนร่วมทำสถิติใหม่โดย NVIDIA, Intel ส่งผลการปฏิบัติงานมากกว่า 13,500 รายการ , Google, Qualcomm และบริษัทอื่นๆ

ใน MLPerf Inference 3.1 การ์ดประมวลผล Moffet AI S30 ครองอันดับหนึ่งในด้านพลังการประมวลผลของการ์ดใบเดียว การ์ด 4 ใบ และการ์ด 8 ใบในรุ่นขนาดใหญ่ GPT-J (พารามิเตอร์ 6 พันล้านพารามิเตอร์)

นี่คือการป้องกันตำแหน่งครั้งที่สามติดต่อกันของ Mo Xin ที่ MMLPerf

ก่อนหน้านี้ Ink core ได้รับรางวัลชนะเลิศใน MPerf Inference 2.0 และ 2.1 เป็นเวลาสองปีติดต่อกัน

การ์ดประมวลผล Ink core S30

ความสำเร็จของแกนหมึกได้นำทิศทางนวัตกรรมที่เป็นไปได้มาสู่โซลูชันพลังการประมวลผลแบบจำลองขนาดใหญ่

ข้อเท็จจริงได้พิสูจน์แล้วว่านวัตกรรมการทำงานร่วมกันของฮาร์ดแวร์และซอฟต์แวร์ที่รวมโมเดล AI เข้ากับแพลตฟอร์มการประมวลผลสามารถปลดปล่อยศักยภาพของพลังการประมวลผลที่มากขึ้น นอกจากนี้ยังพิสูจน์ให้เห็นอีกครั้งว่าเทคโนโลยีที่เป็นนวัตกรรมซึ่งแสดงโดยการประมวลผลแบบกระจัดกระจายจะเป็นกุญแจสำคัญในการพัฒนาพลังการประมวลผลในยุคของโมเดลขนาดใหญ่

Ink Core เข้าร่วมในแผนกเปิดของ MLPerf ซึ่งตามข้อมูลของผู้จัดงาน MLCommons มีเป้าหมายเพื่อส่งเสริมนวัตกรรม ดังนั้นผู้เข้าแข่งขันสามารถสำรวจวิธีการปรับปรุงพลังการประมวลผลผ่านการทำงานร่วมกันของซอฟต์แวร์และฮาร์ดแวร์

ในรุ่นใหญ่ GPT-J ใน MLPerf เมื่อเปรียบเทียบกับโซลูชันการเร่งความเร็วด้วยฮาร์ดแวร์ H100 ของกระบวนการ 4 นาโนเมตร การ์ดประมวลผล Ink Core S30 ของกระบวนการ 12 นาโนเมตรมีความเร็วเพิ่มขึ้นถึง 1.8 เท่าผ่าน "อัลกอริธึม dual sparse ดั้งเดิม + การทำงานร่วมกันของฮาร์ดแวร์ " วิธีการ ข้อได้เปรียบ

โมเดล GPT-J สำหรับการประเมินนี้เป็นโมเดล AI ทั่วไป ในโหมด 8 การ์ด 4 การ์ด และการ์ดเดี่ยว ประสิทธิภาพของการ์ดประมวลผล Ink Core S30 คือ 170.59, 91.57 และ 23.28 (ตัวอย่าง/วินาที) ตามลำดับ เข้าถึงประสิทธิภาพของ NVIDIA H100 1.6 เท่า, 1.8 เท่า และ 1.8 เท่า แสดงให้เห็นถึงความสามารถของผลิตภัณฑ์แกนหมึกในงาน AIGC

ชนะการแข่งขันชิงแชมป์ถึงสามครั้ง พลังการประมวลผลของโมเดลขนาดใหญ่เป็นคนแรกที่ "ส่งการทดสอบ" และการทำงานร่วมกันของซอฟต์แวร์และฮาร์ดแวร์ยังคงสร้างสรรค์สิ่งใหม่ๆ อย่างต่อเนื่อง - จุดแข็งของผลิตภัณฑ์ของ Ink Core ได้รับการทดสอบอย่างเข้มงวดโดย MLPerf หลายครั้ง และยังได้สำรวจอีกด้วย เส้นทางใหม่สำหรับการพัฒนาพลังการประมวลผลแบบจำลองขนาดใหญ่

Sparse Computing——โมเดลขนาดใหญ่ "หุ้นที่มีศักยภาพ" ได้รับการยอมรับจากตลาด

ผลลัพธ์ที่ยอดเยี่ยมอย่างต่อเนื่องของแกนหมึกส่วนใหญ่เนื่องมาจากการออกแบบซอฟต์แวร์และฮาร์ดแวร์ร่วมกันโดยใช้อัลกอริธึมการกระจายตัว

ในยุคของโมเดลขนาดใหญ่ ความสำคัญของการประมวลผลแบบกระจายนั้นเห็นได้ชัดเจนในตัวเอง ขนาดของโมเดล AI จะเป็นสัดส่วนโดยตรงกับศักยภาพในการกระจายตัวของโมเดล

กล่าวอีกนัยหนึ่ง เมื่อโมเดลมีขนาดใหญ่ขึ้น ก็มีโอกาสที่อัลกอริธึมจะกระจัดกระจายมากขึ้น และระดับความเร่งของการคำนวณแบบกระจัดกระจายก็จะสูงขึ้นเช่นกัน สำหรับโมเดลภาษาขนาดใหญ่ทั่วไป การประมวลผลแบบกระจัดกระจายสามารถเร่งความเร็วได้หลายสิบเท่า

อัลกอริธึมแบบกระจายคู่ดั้งเดิมของ Inkcore ผสมผสานกับการออกแบบการทำงานร่วมกันของซอฟต์แวร์และฮาร์ดแวร์ ทำให้ชิป Antoum® ของ Inkcore เป็นชิป AI ที่มีกำลังขยายสูงตัวแรกของโลก ซึ่งรองรับความกระจัดกระจายได้มากถึง 32 เท่า ซึ่งเป็นสิ่งที่ Inkcore สร้างสถิติใหม่ในคีย์ MLPerf นี้

ยิ่งโมเดลมีขนาดใหญ่เท่าใด ข้อดีของการประมวลผลแบบกระจายก็จะยิ่งชัดเจนมากขึ้น โดยเฉพาะในสถานการณ์ปัจจุบันที่พารามิเตอร์ของโมเดลขนาดใหญ่ เช่น GPT มักจะสูงถึงหลายหมื่นล้านหรือหลายแสนล้าน ซึ่งทำให้คูน้ำของแกนหมึกมีเสถียรภาพมากขึ้น

จุดแข็งของผลิตภัณฑ์ Ink Core และแนวโน้มทั่วไปของการประมวลผลแบบกระจัดกระจายยังได้รับการยอมรับจากอุตสาหกรรมเช่นกัน โดยกระบวนการเชิงพาณิชย์ของ Ink Core ได้ก่อให้เกิดความก้าวหน้าครั้งสำคัญครั้งแล้วครั้งเล่า ช่วยให้องค์กรต่างๆ เร่งการใช้งาน AI ได้

เมื่อเร็วๆ นี้ Ink Core ได้กลายเป็นหนึ่งในซัพพลายเออร์ที่สนับสนุน Byte MPerf อย่างเป็นทางการ

ที่มา: เว็บไซต์ Byte MLPerf

ที่อยู่โครงการ:

ปัจจุบัน แพลตฟอร์มคอมพิวเตอร์ Ink Core AI สามารถรองรับโมเดลขนาดใหญ่ที่มีระดับพารามิเตอร์ต่างๆ ได้ เช่น BLOOM, OPT, GPT-J, LLaMA, StableDiffusion เป็นต้น

ในขณะเดียวกันก็มีลักษณะของปริมาณงานสูง ความหน่วงต่ำ และการใช้พลังงานต่ำ ซึ่งช่วยลดความยุ่งยากในการใช้พลังงานในการประมวลผล และนำโซลูชันพลังงานการประมวลผลขนาดใหญ่ที่ "ใช้งานง่าย" และ "ราคาไม่แพง" มาสู่องค์กรอย่างแท้จริง .

การนำการเปลี่ยนแปลงขั้นพื้นฐานในพลังการประมวลผล คอมพิวเตอร์แบบกระจัดกระจายช่วยในการพัฒนาโมเดลขนาดใหญ่

โซลูชันการประมวลผลแบบกระจัดกระจายของ Ink Core ไม่เพียงแต่ช่วยบรรเทาปัญหาด้านพลังการประมวลผลในปัจจุบันเท่านั้น แต่ยังเปิดพื้นที่ใหม่สำหรับการพัฒนา AI อย่างต่อเนื่องอีกด้วย

การประมวลผลแบบกระจายจะช่วยลดจำนวนการคำนวณของโมเดล AI ซึ่งหมายความว่าโมเดลขนาดใหญ่สามารถเพิ่มจำนวนพารามิเตอร์ได้หลายขนาดโดยไม่สร้างจำนวนการคำนวณมากเกินไป ความขัดแย้งระหว่างการเติบโตของพารามิเตอร์และคอขวดของพลังการประมวลผลของโมเดลขนาดใหญ่คาดว่าจะถูกกำจัดออกไป . แก้ไขโดยพื้นฐาน

ในเวลาเดียวกัน เนื่องจากปริมาณการคำนวณที่ลดลง จุดปวดของโมเดลขนาดใหญ่ เช่น ความต้องการพลังงานการประมวลผลสูง การใช้พลังงานสูง และต้นทุนสูงก็ได้รับการแก้ไขเช่นกัน โดยบรรลุผล "win-win"

ชิป Antoum: ชิป AI อัตรากระจัดกระจายสูงตัวแรกของโลก รองรับกระจัดกระจายสูงสุดถึง 32 เท่า

ผลลัพธ์อันยอดเยี่ยมของ MLPerfs สามครั้งติดต่อกันไม่เพียงแต่พิสูจน์ความแข็งแกร่งของผลิตภัณฑ์แกนหมึกเท่านั้น แต่ยังนำมาซึ่งการเปิดเผยใหม่ๆ ให้กับอุตสาหกรรมด้วยความช่วยเหลือจากเทคโนโลยี เช่น คอมพิวเตอร์แบบกระจัดกระจาย การพัฒนาและการประยุกต์ใช้โมเดลขนาดใหญ่คาดว่าจะนำมาสู่วงกว้างยิ่งขึ้น พื้นที่สำหรับการพัฒนา แอปพลิเคชัน เช่น AIGC แบบเร่งความเร็วกำลังเบ่งบานในทุกสาขาอาชีพ

เกี่ยวกับ MLPerf

MLPerf ก่อตั้งขึ้นโดย David Patterson ผู้ชนะรางวัล Turing Award ร่วมกับสถาบันการศึกษาชั้นนำ เช่น Google, Stanford และ Harvard University เป็นการทดสอบเกณฑ์มาตรฐานประสิทธิภาพ AI ระดับนานาชาติที่เชื่อถือได้และมีอิทธิพลมากที่สุดในการวัดการดำเนินการที่เติบโตอย่างรวดเร็ว การติดตามและประเมินผลอย่างทันท่วงทีของ AI ข้อกำหนดและประสิทธิภาพของคอมพิวเตอร์