ผู้เขียนต้นฉบับ: Steven Wang

“สิ่งที่ฉันสร้างไม่ได้ ฉันไม่เข้าใจ”

-ริชาร์ด ไฟน์แมน

คำนำ

คุณใช้ Stable Diffusion และ MidJourney เพื่อสร้างภาพที่น่าทึ่ง

คุณมีความเชี่ยวชาญในการใช้ ChatGPT และ LLaMa เพื่อสร้างคำที่สละสลวย

คุณสลับไปมาระหว่าง MuseNet และ MuseGAN เพื่อสร้างเพลงภูเขา

ไม่ต้องสงสัยเลยว่าความสามารถเฉพาะตัวที่สุดของมนุษย์คือการสร้างสรรค์ แต่ในปัจจุบันเทคโนโลยีที่เปลี่ยนแปลงตลอดเวลา เราสร้างโดยการสร้างเครื่องจักร! เครื่องจักรสามารถวาดงานศิลปะต้นฉบับ (วาด) เขียนบทความยาวต่อเนื่องกัน (เขียน) แต่งเพลงไพเราะ (แต่ง) และกำหนดกลยุทธ์การชนะสำหรับเกมที่ซับซ้อน (เล่น) โดยกำหนดสไตล์ เทคโนโลยีนี้คือ Generative Artificial Intelligence (Generative Artificial Intelligence, GenAI) ตอนนี้เป็นเพียงจุดเริ่มต้นของการปฏิวัติ GenAI และตอนนี้เป็นเวลาที่ดีที่สุดในการเรียนรู้ GenAI

1. การสร้างและการเลือกปฏิบัติแบบจำลอง

GenAI เป็นศัพท์เฉพาะ สาระสำคัญเบื้องหลังคือ เจเนอเรทีฟโมเดล (เจเนอเรทีฟโมเดล) ซึ่งเป็นสาขาหนึ่งของแมชชีนเลิร์นนิง เป้าหมายคือฝึกโมเดลเพื่อสร้างข้อมูลใหม่ที่คล้ายกับชุดข้อมูลที่กำหนด

สมมติว่าเรามีชุดข้อมูลของม้า ขั้นแรก เราสามารถฝึกโมเดลเชิงกำเนิดในชุดข้อมูลนี้เพื่อจับกฎที่ควบคุมความสัมพันธ์ที่ซับซ้อนระหว่างพิกเซลในภาพม้า โมเดลนี้จะถูกสุ่มตัวอย่างเพื่อสร้างภาพจริงของม้าที่ไม่มีอยู่ในชุดข้อมูลดั้งเดิม ดังแสดงในรูปด้านล่าง

เพื่อให้เข้าใจเป้าหมายและความสำคัญของแบบจำลองเชิงกำเนิดอย่างแท้จริง จำเป็นต้องเปรียบเทียบกับแบบจำลองเชิงเลือกปฏิบัติ ในความเป็นจริง ปัญหาส่วนใหญ่ในการเรียนรู้ของเครื่องจะแก้ไขได้ด้วยแบบจำลองการเลือกปฏิบัติ ดูตัวอย่างต่อไปนี้

สมมติว่าเรามีชุดข้อมูลของภาพวาด บางส่วนเป็นผลงานของแวนโก๊ะ และบางส่วนเป็นของศิลปินคนอื่นๆ ด้วยข้อมูลที่เพียงพอ เราสามารถฝึกแบบจำลองการเลือกปฏิบัติเพื่อทำนายว่าภาพวาดที่กำหนดนั้นเป็นผลงานของแวนโก๊ะหรือไม่ ดังแสดงในรูปด้านล่าง

แต่ละตัวอย่างในชุดการฝึกจะมีป้ายกำกับ (label) สำหรับปัญหา 2 หมวดหมู่ข้างต้น ป้ายกำกับของภาพวาดของ Van Gogh มักจะเป็น 1 และป้ายกำกับของภาพวาดที่ไม่ใช่ของ Van Gogh คือ 0 ในรูปด้านบน ความน่าจะเป็นที่คาดการณ์สุดท้ายของแบบจำลองคือ 0.83 ดังนั้นจึงเป็นไปได้มากว่าแบบจำลองนี้สร้างโดยแวนโก๊ะ แบบจำลองเชิงกำเนิดไม่ต้องการให้ตัวอย่างมีป้ายกำกับเนื่องจากเป้าหมายคือการสร้างข้อมูลใหม่ ไม่ใช่การคาดการณ์ป้ายกำกับสำหรับข้อมูล ซึ่งแตกต่างจากแบบจำลองการเลือกปฏิบัติ

หลังจากอ่านตัวอย่างแล้ว ให้เราใช้สัญกรณ์ทางคณิตศาสตร์เพื่อกำหนดแบบจำลองการกำเนิดและแบบจำลองการจำแนกอย่างแม่นยำ:

• โมเดลแบบจำลองการเลือกปฏิบัติ P(y|x) ให้คุณสมบัติ x เพื่อประเมินความน่าจะเป็นตามเงื่อนไขของป้ายกำกับ y
• โมเดลรุ่น P(x) ประเมินโดยตรงถึงความน่าจะเป็นของคุณลักษณะ x และตัวอย่างจากการแจกแจงความน่าจะเป็นนี้เพื่อสร้างคุณลักษณะใหม่

โปรดทราบว่าแม้ว่าเราจะสามารถสร้างแบบจำลองการเลือกปฏิบัติที่สมบูรณ์แบบสำหรับการระบุภาพวาดของแวนโก๊ะ แต่ก็ยังไม่ทราบวิธีสร้างภาพวาดที่ดูเหมือนแวนโก๊ะ แต่จะแสดงเพียงความน่าจะเป็นว่าภาพนั้นมาจากแวนโก๊ะหรือไม่ ความเป็นไปได้ของมือ จะเห็นได้ว่าแบบจำลองเชิงกำเนิดนั้นยากกว่าแบบจำลองเชิงเลือกปฏิบัติมาก

2. สร้างกรอบของแบบจำลอง

ก่อนจะเข้าสู่กรอบการสร้างโมเดล เรามาเล่นเกมกันก่อน สมมติว่าจุดในรูปด้านล่างสร้างโดยกฎบางประเภท เราเรียกกฎนี้ว่า Pdata ตอนนี้ให้คุณสร้าง x = (x 1, x 2) ที่แตกต่างกันเพื่อให้จุดนี้ ดูเหมือนว่าสร้างโดยกฎเดียวกัน Pdata

คุณจะสร้างจุดนี้ได้อย่างไร? คุณอาจใช้คะแนนที่กำหนดเพื่อสร้างโมเดล P ในใจของคุณ และอาจสร้างคะแนนที่คุณต้องการในตำแหน่งที่โมเดลนี้ครอบครอง จะเห็นได้ว่าแบบจำลอง P แบบจำลองเป็นค่าประมาณของข้อมูล P จากนั้นโมเดลที่ง่ายที่สุด Pmodel คือกล่องสีส้มในรูปด้านล่าง Points สามารถสร้างได้ภายในกล่องเท่านั้นแต่ไม่สามารถอยู่นอกกล่องได้

ในการสร้างจุดใหม่ เราสามารถสุ่มเลือกจุดจากกล่อง หรืออย่างเข้มงวดกว่านั้น ตัวอย่างจากการกระจายแบบจำลอง P นี่คือแบบจำลองการกำเนิดที่เรียบง่าย คุณสร้างแบบจำลอง (กล่องสีส้ม) จากข้อมูลการฝึกอบรม (จุดสีดำ) จากนั้นคุณสุ่มตัวอย่างจากแบบจำลอง โดยหวังว่าจุดที่สร้างขึ้นจะมีลักษณะคล้ายกับจุดในชุดการฝึก

ตอนนี้เราสามารถเสนอกรอบการเรียนรู้เชิงกำเนิดอย่างเป็นทางการได้แล้ว

ให้เราเปิดเผยการกระจายการสร้างข้อมูลจริง ข้อมูล P และดูว่าเฟรมเวิร์กข้างต้นสามารถนำไปใช้กับตัวอย่างนี้ได้อย่างไร จากรูปด้านล่าง เราจะเห็นว่ากฎการสร้างข้อมูล Pdata คือจุดต่างๆ จะกระจายอย่างสม่ำเสมอบนบกเท่านั้น และจะไม่ปรากฏในมหาสมุทร

เห็นได้ชัดว่าโมเดล Pmodel ของเราเป็นการทำให้กฎ Pdata ง่ายขึ้น การตรวจสอบจุด A, B และ C ในรูปด้านบนสามารถช่วยให้เราเข้าใจว่าโมเดล Pmodel เลียนแบบกฎ Pdata สำเร็จหรือไม่

• จุด A ไม่เป็นไปตามกฎ Pdata เนื่องจากปรากฏในทะเล แต่อาจสร้างโดยโมเดล Pmodel เนื่องจากปรากฏในกล่องสีส้ม
• โมเดล Pmodel ไม่สามารถสร้างจุด B ได้เนื่องจากปรากฏนอกกรอบสีส้ม แต่เป็นไปตามกฎ Pdata เนื่องจากปรากฏบนพื้นดิน
• จุด C สร้างขึ้นโดยโมเดล Pmodel และเป็นไปตามกฎ Pdata

ตัวอย่างนี้แสดงแนวคิดพื้นฐานเบื้องหลังการสร้างแบบจำลองเชิงกำเนิด แม้ว่าในความเป็นจริงแล้วการใช้แบบจำลองเชิงกำเนิดจะซับซ้อนกว่ามาก แต่กรอบพื้นฐานก็เหมือนกัน

3. รุ่นแรก

สมมติว่าคุณเป็นหัวหน้าเจ้าหน้าที่ฝ่ายแฟชั่น (CFO) ของบริษัท และงานของคุณคือสร้างเสื้อผ้าอินเทรนด์ใหม่ๆ ปีนี้ คุณได้รับชุดข้อมูล 50 ชุดเกี่ยวกับการจัดวางแฟชั่น (ตามที่แสดงด้านล่าง) และคุณต้องสร้างการจัดวางแฟชั่นใหม่ 10 ชุด

แม้ว่าคุณจะเป็นหัวหน้าเจ้าหน้าที่ด้านแฟชั่น แต่คุณก็เป็นนักวิทยาศาสตร์ข้อมูลด้วย ดังนั้นคุณจึงตัดสินใจใช้โมเดลเชิงกำเนิดเพื่อแก้ปัญหานี้ หลังจากอ่านรูปภาพ 50 ภาพข้างต้นแล้ว คุณตัดสินใจใช้คุณสมบัติ 5 อย่าง ประเภทอุปกรณ์เสริม (ประเภทอุปกรณ์เสริม), สีเสื้อผ้า (สีเสื้อผ้า), ประเภทเสื้อผ้า (ประเภทเสื้อผ้า), ผม สี (สีผม) และ ประเภทผม (ประเภทผม) เพื่ออธิบายการจัดวางตามแฟชั่น

คุณสมบัติข้อมูลรูปภาพ 10 อันดับแรกมีดังนี้

คุณลักษณะแต่ละอย่างมีจำนวนค่าเฉพาะที่แตกต่างกัน:

• อุปกรณ์เสริม 3 ประเภท (ประเภทอุปกรณ์เสริม):

ว่างเปล่า, กลม, แว่นกันแดด

• 8 สีเสื้อผ้า:

ดำ, น้ำเงิน 01, เทา 01, เขียวพาสเทล, ส้มพาสเทล, ชมพู, แดง, ขาว

• 4 ประเภทเสื้อผ้า:

เสื้อฮู้ด, โดยรวม, เชิ้ตสกู๊ปเนค, เชิ้ตวีเน็ค

• 6 สีผม:

ดำ, บลอนด์, น้ำตาล, พาสเทลชมพู, แดง, เทาเงิน

• 7 ประเภทผม:

ไม่มีผม, ผมยาวบัน, ผมยาว, ผมยาวตรง, ผมสั้น, ผมสั้นหยัก, ผมสั้น, ผมสั้นแบน, ผมสั้นชี้ฟู

ด้วยวิธีนี้ จะมีชุดคุณลักษณะ 3 * 8 * 4 * 6 * 7 = 4032 ดังนั้นจึงสามารถจินตนาการได้ว่าพื้นที่ตัวอย่างมี 4032 จุด จากจุดข้อมูล 50 จุด จะเห็นได้ว่า ข้อมูล P ต้องการค่าคุณสมบัติบางอย่างสำหรับคุณสมบัติที่แตกต่างกัน จะเห็นได้จากตารางด้านบนว่าในภาพมีสีเสื้อผ้าสีขาวและสีผมสีเทาเงินมากขึ้น เนื่องจากเราไม่ทราบข้อมูล P ที่แท้จริง เราจึงใช้ข้อมูล 50 รายการเหล่านี้เพื่อสร้างแบบจำลอง P เพื่อให้คล้ายกับข้อมูล P ได้

3.1 โมเดลมินิมอล

วิธีที่ง่ายที่สุดวิธีหนึ่งคือการกำหนดพารามิเตอร์ความน่าจะเป็นให้กับแต่ละจุดในชุดคุณลักษณะ 4032 จากนั้นโมเดลจะมีพารามิเตอร์ 4031 เนื่องจากผลรวมของพารามิเตอร์ความน่าจะเป็นทั้งหมดเท่ากับ 1 ตอนนี้มาตรวจสอบ 50 ข้อมูลทีละรายการ จากนั้นอัปเดตพารามิเตอร์ของโมเดล **(**θ 1 , θ 2 ,...,θ 4031 ) นิพจน์ของแต่ละรายการ พารามิเตอร์คือ:

ในหมู่พวกเขา N คือจำนวนข้อมูลที่สังเกตได้ ซึ่งก็คือ 50 และ nj คือจำนวนของชุดค่าผสมคุณลักษณะที่ jth ที่ปรากฏในข้อมูล 50 รายการ

ตัวอย่างเช่น คุณลักษณะ (เรียกว่าชุดค่าผสม 1) ของ (LongHairStraight, Red, Round, ShirtScoopNeck, White) ปรากฏขึ้นสองครั้ง จากนั้น

ตัวอย่างเช่น หากการรวมคุณลักษณะ (เรียกว่าการรวมกัน 2) ของ (LongHairStraight, Red, Round, ShirtScoopNeck, Blue 01) ไม่ปรากฏขึ้น ดังนั้น

ตามกฎข้างต้น เราคำนวณค่า θ สำหรับชุดค่าผสมทั้ง 4031 ทั้งหมด ไม่ยากที่จะดูว่ามีค่า θ หลายค่าที่เป็น 0 อะไรแย่กว่านั้น คือเราไม่สามารถสร้างภาพ Unseen ขึ้นมาใหม่ได้ ( θ = 0 หมายความว่าไม่เคยพบภาพที่มีคุณลักษณะดังกล่าวรวมกัน) ในการแก้ไขปัญหานี้ เพียงเพิ่มจำนวนคุณลักษณะทั้งหมด d ให้กับตัวส่วนและ 1 ให้กับตัวเศษ ซึ่งเป็นเทคนิคที่เรียกว่า Laplace smoothing

ตอนนี้ ทุกชุดค่าผสม (รวมถึงชุดค่าผสมที่ไม่ได้อยู่ในชุดข้อมูลดั้งเดิม) มีความน่าจะเป็นในการสุ่มตัวอย่างที่ไม่เป็นศูนย์ อย่างไรก็ตาม นี่ก็ยังไม่ใช่รูปแบบการสร้างที่น่าพอใจ เนื่องจากความน่าจะเป็นของจุดที่ไม่ได้อยู่ในชุดข้อมูลดั้งเดิมนั้นเป็นค่าคงที่ หากเราพยายามใช้แบบจำลองดังกล่าวเพื่อสร้างภาพวาดของแวนโก๊ะ มันจะทำงานกับภาพวาดสองภาพต่อไปนี้ด้วยความน่าจะเป็นที่เท่ากัน:

1. การทำสำเนาภาพวาดต้นฉบับของ Van Gogh (ไม่ได้อยู่ในชุดข้อมูลต้นฉบับ)
2. ภาพวาดที่สร้างจากพิกเซลแบบสุ่ม (ไม่ได้อยู่ในชุดข้อมูลต้นฉบับ)

เห็นได้ชัดว่านี่ไม่ใช่โมเดลการกำเนิดที่เราต้องการ เราหวังว่ามันจะสามารถเรียนรู้โครงสร้างโดยธรรมชาติบางอย่างจากข้อมูล เพื่อที่จะสามารถเพิ่มน้ำหนักความน่าจะเป็นของภูมิภาคในพื้นที่ตัวอย่างที่คิดว่าน่าจะเป็นไปได้มากกว่า แทนที่จะใส่ทั้งหมด น้ำหนักความน่าจะเป็นในชุดข้อมูลจุดที่มีอยู่

3.2 แบบจำลองย่อย

โมเดล Naive Bayes (ไร้เดียงสา Bayes) สามารถลดจำนวนชุดค่าผสมของคุณสมบัติข้างต้นได้อย่างมาก และตามรุ่นของมัน คุณลักษณะแต่ละอย่างจะถือว่าเป็นอิสระจากกัน ย้อนกลับไปที่ข้อมูลข้างต้น สีผมของบุคคล (คุณลักษณะ xj ) ไม่เกี่ยวข้องกับสีเสื้อผ้าของเขา (คุณลักษณะ xk ) ซึ่งแสดงในนิพจน์ทางคณิตศาสตร์คือ:

p(xj | xk) = p(xk)

ด้วยสมมติฐานนี้เราสามารถคำนวณได้

โมเดล Naive Bayesian ช่วยลดความซับซ้อนของปัญหาเดิม "การประมาณความน่าจะเป็นสำหรับแต่ละคุณลักษณะรวมกัน" เป็น "การประมาณความน่าจะเป็นสำหรับแต่ละคุณลักษณะ" ปรากฎว่าเราจำเป็นต้องใช้พารามิเตอร์ 4031 ( 3 * 8 * 4 * 6 * 7) ตอนนี้ต้องการพารามิเตอร์เพียง 23 ตัว ( 3 + 8 + 4 + 6 + 7) และนิพจน์ของแต่ละพารามิเตอร์คือ:

ในหมู่พวกเขา N คือจำนวนข้อมูลที่สังเกตได้ นั่นคือ 50, n*kl คือจำนวนของคุณลักษณะ kth และ ****l *** ค่าลักษณะเฉพาะที่ต่ำกว่าตัวเลข

ผ่านสถิติ 50 ข้อมูล ตารางต่อไปนี้แสดงค่าพารามิเตอร์ของโมเดล Naive Bayesian

ในการคำนวณความน่าจะเป็นของแบบจำลองที่สร้างคุณลักษณะข้อมูล เพียงคูณความน่าจะเป็นในตารางด้านบน ตัวอย่างเช่น:

ชุดค่าผสมข้างต้นไม่ปรากฏในชุดข้อมูลดั้งเดิม แต่แบบจำลองยังคงกำหนดความน่าจะเป็นที่ไม่เป็นศูนย์ ดังนั้นแบบจำลองจึงยังคงสามารถสร้างได้ ดังนั้น แบบจำลอง Naive Bayesian จึงสามารถเรียนรู้โครงสร้างบางอย่างจากข้อมูล และใช้เพื่อสร้างตัวอย่างใหม่ที่ไม่เห็นในชุดข้อมูลดั้งเดิม รูปภาพด้านล่างคือรูปภาพของการจัดวางแฟชั่นใหม่ 10 รายการที่สร้างโดยนางแบบ

ในปัญหานี้ คุณลักษณะเพียง 5 ประการเป็นของข้อมูลมิติต่ำ แบบจำลอง Naive Bayesian มีเหตุผลที่จะถือว่าทั้งสองเป็นอิสระจากกัน ดังนั้น ผลลัพธ์ที่สร้างโดยแบบจำลองจึงไม่เลว ลองดูตัวอย่างแบบจำลอง ทรุด.

4. ความยากลำบากในการสร้างแบบจำลอง

4.1 ข้อมูลมิติสูง

ในฐานะหัวหน้าเจ้าหน้าที่ด้านแฟชั่น คุณได้สร้างคอลโลชันแฟชั่นใหม่ 10 ชุดกับ Naive Bayesian ได้สำเร็จ คุณมั่นใจมากว่าโมเดลของคุณจะอยู่ยงคงกระพันจนกว่าคุณจะพบกับชุดข้อมูลต่อไปนี้

ชุดข้อมูลไม่ได้แสดงด้วยคุณลักษณะห้าอย่างอีกต่อไป แต่แทนด้วย 32* 32 = 1024 พิกเซล ค่าพิกเซลแต่ละค่าสามารถไปที่ค่าใดค่าหนึ่งจาก 0 ถึง 255 โดย 0 หมายถึงสีขาว 255 หมายถึงสีดำ ตารางต่อไปนี้แสดงค่าพิกเซล 1 ถึง 5 สำหรับ 10 ภาพแรก

ใช้โมเดลเดียวกันเพื่อสร้างคอลโลเคชั่นแฟชั่นใหม่ล่าสุด 10 ชุด ต่อไปนี้คือผลลัพธ์ของการสร้างโมเดล แต่ละอันน่าเกลียดและคล้ายกัน และคุณสมบัติที่แตกต่างกันไม่สามารถแยกแยะได้ ทำไมจึงเป็นเช่นนี้?

ประการแรก เนื่องจากแบบจำลอง Naive Bayesian สุ่มตัวอย่างพิกเซลโดยอิสระ พิกเซลที่อยู่ติดกันจึงคล้ายกันมาก สำหรับเสื้อผ้า อันที่จริง พิกเซลควรจะเท่ากันโดยประมาณ แต่นางแบบสุ่มตัวอย่าง ดังนั้นเสื้อผ้าในภาพด้านบนจึงมีสีสันทั้งหมด ประการที่สอง มีความเป็นไปได้มากเกินไปในพื้นที่ตัวอย่างที่มีมิติสูง ซึ่งมีเพียงเศษเสี้ยวเท่านั้นที่สามารถระบุได้ หากโมเดล Naive Bayesian เกี่ยวข้องโดยตรงกับค่าพิกเซลที่สัมพันธ์กันสูงเช่นนี้ โอกาสที่จะพบค่าผสมที่น่าพอใจนั้นมีน้อยมาก

กล่าวโดยสรุป สำหรับพื้นที่ตัวอย่างที่มีขนาดต่ำและความสัมพันธ์ของคุณลักษณะต่ำ เอฟเฟกต์ Naive Bayesian นั้นดีมากผ่านการสุ่มตัวอย่างอิสระ แต่สำหรับพื้นที่ตัวอย่างที่มีขนาดสูงและความสัมพันธ์ของคุณลักษณะสูง พิกเซลสุ่มตัวอย่างอิสระจะใช้เพื่อค้นหาใบหน้ามนุษย์ที่มีประสิทธิภาพ แทบจะเป็นไปไม่ได้

ตัวอย่างนี้เน้นความยากสองประการที่โมเดลเชิงกำเนิดต้องเอาชนะเพื่อให้ประสบความสำเร็จ:

1. โมเดลจัดการกับการพึ่งพาแบบมีเงื่อนไขระหว่างคุณสมบัติมิติสูงอย่างไร
2. แบบจำลองค้นหาสัดส่วนการสังเกตที่น้อยมากที่ตรงตามเงื่อนไขจากพื้นที่ตัวอย่างที่มีมิติสูงได้อย่างไร

เพื่อให้โมเดลเชิงกำเนิดประสบความสำเร็จในพื้นที่ตัวอย่างที่มีมิติสูงและสัมพันธ์กันสูง ต้องใช้โมเดลการเรียนรู้เชิงลึก เราต้องการแบบจำลองที่สามารถอนุมานโครงสร้างที่เกี่ยวข้องจากข้อมูล แทนที่จะบอกว่าควรตั้งสมมติฐานใดล่วงหน้า การเรียนรู้เชิงลึกสามารถสร้างคุณลักษณะของตัวเองในพื้นที่มิติต่ำ และนี่คือรูปแบบหนึ่งของ การเรียนรู้การเป็นตัวแทน (การเรียนรู้การเป็นตัวแทน)

4.2 การเรียนรู้การเป็นตัวแทน

การเรียนรู้การเป็นตัวแทนคือการเรียนรู้ความหมายของการเป็นตัวแทนของข้อมูลมิติสูง

สมมติว่าคุณไปเจอชาวเน็ตที่ไม่เคยเจอมาก่อน และมีคนมากมายที่หาเธอไม่เจอในที่นัดพบ ดังนั้นคุณจึงโทรหาเธอเพื่ออธิบายรูปร่างหน้าตาของคุณ ฉันเชื่อว่าคุณจะไม่พูดว่าสีของพิกเซล 1 ในภาพของคุณเป็นสีดำ สีของพิกเซล 2 เป็นสีดำอ่อน สีของพิกเซล 3 เป็นสีเทา เป็นต้น ในทางตรงกันข้าม คุณจะคิดว่าชาวเน็ตจะมีความเข้าใจโดยทั่วไปเกี่ยวกับรูปลักษณ์ของคนธรรมดา จากนั้นให้ความเข้าใจนี้เพื่ออธิบายลักษณะของกลุ่มพิกเซล เช่น คุณมีผมสั้นสีดำสวย สวมชุด แว่นตาทองและอื่น ๆ โดยปกติแล้วจะมีคำอธิบายไม่เกิน 10 รายการ ชาวเน็ตสามารถสร้างภาพของคุณจากความคิดของเขาได้ ภาพอาจหยาบ แต่ก็ไม่ได้ขัดขวางไม่ให้ชาวเน็ตค้นหาคุณท่ามกลางคนหลายร้อยคนแม้ว่าเธอจะไม่เคยเห็นคุณก็ตาม

นี่คือแนวคิดหลักที่อยู่เบื้องหลังการเรียนรู้การเป็นตัวแทน แทนที่จะพยายามจำลอง พื้นที่ตัวอย่างมิติสูง (พื้นที่ตัวอย่างมิติสูง) โดยตรง แต่ใช้ พื้นที่แฝงมิติต่ำ (พื้นที่แฝงมิติต่ำ) ช่องว่าง ) เพื่ออธิบายข้อสังเกตแต่ละข้อในชุดการฝึก จากนั้นเรียนรู้ ฟังก์ชันการทำแผนที่ (ฟังก์ชันการทำแผนที่) ซึ่งสามารถระบุจุดในพื้นที่แฝงและจับคู่กับพื้นที่ตัวอย่างดั้งเดิม กล่าวอีกนัยหนึ่ง แต่ละจุดในพื้นที่แฝงแสดงถึงคุณลักษณะของข้อมูลมิติสูง

หากคำข้างต้นไม่สามารถเข้าใจได้ง่าย โปรดดูชุดการฝึกอบรมด้านล่างซึ่งประกอบด้วยภาพโถสีเทาบางภาพ

เห็นได้ไม่ยากว่าไหเหล่านี้สามารถอธิบายได้ด้วยสองลักษณะเท่านั้น คือ ความสูงและความกว้าง ดังนั้น เราสามารถแปลงพื้นที่พิกเซลสูงของภาพให้เป็นพื้นที่แฝงสองมิติได้ดังแสดงในรูปด้านล่าง วิธีนี้ทำให้เราสามารถสุ่มตัวอย่าง (จุดสีน้ำเงิน) จากพื้นที่แฝง แล้วแปลงเป็นภาพผ่านฟังก์ชันการแมป f

ไม่ใช่เรื่องง่ายที่เครื่องจักรจะรู้ว่าชุดข้อมูลดั้งเดิมสามารถแสดงด้วยพื้นที่แฝงที่เรียบง่ายกว่าได้ ขั้นแรก เครื่องจักรจำเป็นต้องกำหนดว่าความสูงและความกว้างเป็นมิติพื้นที่แฝงสองมิติที่อธิบายชุดข้อมูลได้ดีที่สุด จากนั้น เรียนรู้ ฟังก์ชันการแมป f สามารถจับจุดในพื้นที่นี้และแมปกับสเกลสีเทาได้ การเรียนรู้เชิงลึกช่วยให้เราสามารถฝึกเครื่องจักรให้ค้นหาความสัมพันธ์ที่ซับซ้อนเหล่านี้โดยไม่ต้องอาศัยคำแนะนำจากมนุษย์

5. การจำแนกประเภทของแบบจำลองที่สร้างขึ้น

โมเดลเชิงกำเนิดทุกประเภทมีเป้าหมายเพื่อแก้ปัญหาเดียวกันในท้ายที่สุด แต่ความหนาแน่นของโมเดลทั้งหมดทำงานในรูปแบบที่แตกต่างกันเล็กน้อย และโดยทั่วไปจะแบ่งออกเป็นสองประเภท:

• การสร้างแบบจำลองอย่างชัดเจน (การสร้างแบบจำลองอย่างชัดเจน) ฟังก์ชันความหนาแน่น

แต่อย่างใดอย่างหนึ่งที่จำกัดโมเดลเพื่อคำนวณฟังก์ชันความหนาแน่น เช่น การปรับโมเดล FLOW ให้เป็นมาตรฐาน(การปรับโมเดล FLOW ให้เป็นมาตรฐาน)

แต่เพื่อประมาณฟังก์ชันความหนาแน่น เช่น ตัวเข้ารหัสอัตโนมัติแบบแปรผัน (iational autoencoder, VAE) และ แบบจำลองการแพร่กระจาย (แบบจำลองการแพร่กระจาย)

• การสร้างแบบจำลองโดยปริยาย (การสร้างแบบจำลองโดยนัย) ฟังก์ชันความหนาแน่น ผ่านกระบวนการสุ่มที่สร้างข้อมูลโดยตรง ตัวอย่างเช่น เครือข่ายคู่อริกำเนิด (เครือข่ายคู่อริกำเนิด, GAN)

##สรุป

ปัญญาประดิษฐ์เชิงกำเนิด (GenAI) เป็นปัญญาประดิษฐ์ประเภทหนึ่งที่สามารถใช้สร้างเนื้อหาและแนวคิดใหม่ๆ รวมถึงข้อความ รูปภาพ วิดีโอ และเพลง เช่นเดียวกับปัญญาประดิษฐ์ทั่วไป GenAI เป็นโมเดลขนาดใหญ่พิเศษที่ได้รับการฝึกอบรมล่วงหน้าโดยโมเดลการเรียนรู้เชิงลึกที่อิงตามข้อมูลจำนวนมาก ซึ่งมักเรียกว่า โมเดลพื้นฐาน (FM) ด้วย GenAI เราสามารถวาดภาพเจ๋งๆ ได้มากขึ้น เขียนข้อความที่สวยงามขึ้น และแต่งเพลงที่เคลื่อนไหวได้มากขึ้น แต่ขั้นตอนแรกเราต้องเข้าใจว่า GenAI สร้างสิ่งใหม่ๆ ได้อย่างไร ดังที่หัวหน้าบทความ Richard Feynman กล่าวว่า "ฉันจะไม่เข้าใจ สิ่งที่ฉันสร้างไม่ได้"