NVDIA Lyra 2.0 เปลี่ยนภาพเป็นโลก 3D สามารถเดินสำรวจได้ พร้อมจดจำสถานที่เดิม

4 hours ago 1

NVIDIA โชว์ความสามารถ Lyra 2.0 เทคโนโลยี AI ที่สามารถเปลี่ยนภาพนิ่งเพียง 1 ภาพ ให้กลายเป็นโลกเสมือน 3D ที่ผู้ใช้สามารถควบคุมมุมกล้องเพื่อสำรวจพื้นที่ต่าง ๆ ได้อย่างอิสระ โดย AI สามารถสร้างสภาพแวดล้อมเพิ่มเติมจากภาพต้นฉบับ พร้อมจดจำโครงสร้างของสถานที่ที่เคยสร้างขึ้นมา เพื่อให้โลกเสมือนมีความต่อเนื่องและสมจริงมากขึ้น

NVDIA Lyra 2.0 คืออะไร?

NVIDIA Lyra 2.0 เป็นเทคโนโลยี AI ที่พัฒนาโดยทีมวิจัย Spatial Intelligence Lab (SIL) ของ NVIDIA ซึ่งออกแบบมาเพื่อสร้างสภาพแวดล้อม 3D จากภาพนิ่งเพียงภาพเดียว โดยผสมผสานความสามารถของ AI สร้างวิดีโอเข้ากับเทคโนโลยีสร้างโมเดล 3D

ซึ่ง Lyra 2.0 แตกต่างจาก AI สร้างวิดีโอทั่วไป คือผู้ใช้สามารถกำหนดทิศทางการเคลื่อนที่ของกล้องได้เอง

Turn a single image into a 3D world you can explore with Lyra 2.0.

By combining video generation with 3D reconstruction, our researchers create environments along a camera path you choose. Lyra draws on earlier views and learns to correct accumulating visual errors, helping the… pic.twitter.com/F0elZTWzad

— NVIDIA AI (@NVIDIAAI) November 6, 2026

Lyra 2.0 มีระบบจดจำสถานที่ ทำให้ฉากยังคงเหมือนเดิม

จุดเด่นของ Lyra 2.0 คือมีความสามารถในการรักษาความต่อเนื่องของสภาพแวดล้อม 3D โดย NVIDIA พัฒนาระบบขึ้นมาเพื่อจัดการปัญหาสำคัญ 2 อย่างของ AI สร้างวิดีโอ ได้แก่

Spatial Forgetting คือ ปัญหาที่ AI ลืมโครงสร้างของสถานที่ที่เคยสร้างขึ้นก่อนหน้านี้ ทำให้เมื่อผู้ใช้ย้อนกลับไปมองพื้นที่เดิม รายละเอียดของอาคาร ถนน หรือวัตถุต่าง ๆ อาจเปลี่ยนไปจากครั้งแรก
Temporal drifting คือ สร้างวิดีโอเป็นเวลานาน เมื่อ AI สร้างวิดีโอต่อเนื่องเป็นเวลานาน โดยความผิดพลาดเล็ก ๆ ของภาพและโครงสร้างจะค่อย ๆ สะสม จนทำให้สภาพแวดล้อมผิดเพี้ยนไปจากเดิม

Lyra 2.0 แปลงโลกที่ AI สร้างให้เป็นโมเดล 3D ได้

นอกจากการสร้างภาพจากมุมมองต่าง ๆ แล้ว Lyra 2.0 ยังสามารถนำวิดีโอที่สร้างขึ้นมาแปลงเป็นข้อมูลโครงสร้าง 3D สำหรับการเรนเดอร์และใช้งานในโปรแกรมอื่นได้ โดยระบบรองรับการสร้างโมเดล 3D ในรูปแบบสำคัญ ได้แก่

3D Gaussian Splatting (3DGS) เทคโนโลยีที่ใช้ข้อมูลจุดและคุณสมบัติของภาพมาสร้างฉาก 3D ที่มีรายละเอียดสูง และสามารถเรนเดอร์จากมุมมองต่าง ๆ ได้แบบ Real-time
3D Mesh โมเดล 3D ที่ประกอบด้วยพื้นผิวและรูปทรงเรขาคณิต สามารถนำไปใช้เป็นส่วนหนึ่งของฉากในระบบจำลองหรือโปรแกรม 3D ได้

สร้างวิดีโอเร็วขึ้นประมาณ 13 เท่า

NVIDIA ยังปรับปรุงความเร็วในการประมวลผลของ Lyra 2.0 ซึ่งช่วยลดจำนวนขั้นตอนในการสร้างวิดีโอจากเดิม 35 ขั้นตอน เหลือเพียง 4 ขั้นตอน และมีผลการทดสอบจากงานวิจัยบน GPU NVIDIA GB200 จำนวน 1 ตัว พบว่า

โมเดลปกติ: ใช้เวลาประมาณ 194 วินาที ในการสร้างวิดีโอ 80 เฟรม
โมเดลที่ปรับปรุงความเร็ว: ใช้เวลาประมาณ 15 วินาที ในการสร้างวิดีโอ 80 เฟรม

Lyra 2.0 ใช้ทำอะไร แล้วเปิดให้ใช้หรือยัง?

ความสามารถของ Lyra 2.0 มีแนวโน้มที่จะนำไปต่อยอดกับงานที่ต้องใช้สภาพแวดล้อม 3D เช่น การสร้างฉากเกม การพัฒนาโลกเสมือนจริง (VR) และการจำลองสภาพแวดล้อมสำหรับฝึกหุ่นยนต์ ส่วนสำหรับวงการเกมช่วยให้นักพัฒนาสามารถนำภาพแนวคิดหรือภาพตัวอย่างมาใช้สร้างฉาก 3D เบื้องต้น เพื่อลดขั้นตอนการขึ้นโครงสร้างสภาพแวดล้อมด้วยตัวเองได้

สามารถศึกษาโครงการและตัวอย่างการทำงานได้จากเว็บไซต์ NVIDIA รวมถึงเข้าถึงโค้ดบน GitHub และไฟล์โมเดลบน Hugging Face แต่ไฟล์โมเดลยังอยู่ภายใต้เงื่อนไขการใช้งานเพื่อการวิจัย ตามข้อกำหนดของ NVIDIA

ที่มา NVIDIA, wcctftech

Read Entire Article