Gaussian Splatting: เปลี่ยนภาพความทรงจำสู่โลก 3D เสมือนจริง

ในโลกที่เทคโนโลยีความเป็นจริงเสมือน (VR) กำลังเติบโต คำถามที่หลายคนตั้งคือ “มันมีไว้ทำอะไรกันแน่?” วันนี้เรามีคำตอบที่น่าสนใจอย่างยิ่งกับ Gaussian Splatting ซึ่งกำลังเข้ามาพลิกโฉมวิธีการที่เราบันทึกและหวนรำลึกถึงความทรงจำส่วนตัว จากเดิมที่เราจำกัดอยู่กับการดูภาพถ่ายหรือวิดีโอแบบ 2 มิติบนจอเดียว ตอนนี้เทคโนโลยีนี้ทำให้เราสามารถสร้างโมเดล 3D ที่สมจริงของวัตถุ ผู้คน หรือแม้แต่พื้นที่ต่างๆ ได้อย่างเป็นรูปธรรม ให้คุณสำรวจทุกมุมมองได้อย่างที่ไม่เคยเป็นมาก่อน ด้วยความสามารถในการประมวลผลที่เข้าถึงได้ง่าย แม้แต่บนสมาร์ทโฟนทั่วไป

ทำความรู้จัก Gaussian Splatting: นวัตกรรมพลิกโฉมการสร้างภาพ 3D

Gaussian Splatting คือเทคโนโลยีใหม่ล่าสุดที่ถูกนำเสนอครั้งแรกในงานวิจัยปี 2023 โดย Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler และ George Drettakis นับเป็นการเปลี่ยนแปลงพื้นฐานจากวิธีการสร้างโมเดล 3D แบบดั้งเดิมที่ใช้รูปทรงสามเหลี่ยมทึบแสง (solid triangles) เทคโนโลยีนี้สร้างโมเดล 3D ขึ้นจากกลุ่มก้อนโปร่งแสงนับล้านที่เรียกว่า “Gaussians”

หลักการทำงานคือ เมื่อคำนวณเสร็จแล้ว กลุ่มก้อน Gaussians เหล่านี้จะถูก “Splatted” ลงบนระนาบ 2 มิติโดยคอมพิวเตอร์ และจัดเรียงซ้อนกันเพื่อให้แสดงผลที่ถูกต้องจากทุกมุมมองภายใน Splat ด้วยคุณสมบัติโปร่งแสง ทำให้แต่ละก้อนไม่บดบังกัน แต่จะผสมผสานกันอย่างเป็นธรรมชาติคล้ายกับการลงสีด้วยพู่กัน

ข้อดีที่สำคัญของ Gaussian Splatting คือสามารถให้รายละเอียดที่สูงขึ้นมากเมื่อเทียบกับขนาดไฟล์ เมื่อเทียบกับวิธีการสแกนแบบเก่าที่ใช้หลักการทางเรขาคณิตด้วยการสร้างผิวหนังเสมือนจริงจากรูปสามเหลี่ยม ซึ่งการสแกนที่ละเอียดมากๆ อาจต้องใช้รูปสามเหลี่ยมเป็นพันล้านรูป ทำให้ได้ไฟล์ขนาดมหาศาลที่ยากต่อการจัดการ แต่ Gaussian Splatting อาศัยหลักการทางคณิตศาสตร์แบบความน่าจะเป็น แทนที่จะเป็นรูปทรงที่ตายตัว แต่ละ “ก้อน” จะเป็นเหมือนเมฆเล็กๆ ที่บอกคอมพิวเตอร์ถึงความเป็นไปได้ของสีในจุดนั้นๆ โดยจะจัดเก็บเพียงแค่ตำแหน่ง สี และความโปร่งใสของพื้นที่สำคัญนับล้านจุดในอวกาศ รวมถึงวิธีการสะท้อนแสงจากมุมต่างๆ ผลลัพธ์ที่ได้คือไฟล์ที่มีขนาดใหญ่กว่าเอกสาร Word แต่ก็ไม่ใหญ่จนเกินไปจนไม่สามารถทำงานร่วมกับมันบนโทรศัพท์ได้

Gaussian Splatting นำความทรงจำกลับมามีชีวิตได้อย่างไร?

เทคโนโลยีนี้ได้ย้ายจากการเป็นทฤษฎีสู่การใช้งานจริงอย่างรวดเร็ว ปัจจุบัน Splats สามารถสร้างและเรนเดอร์ได้ด้วยสมาร์ทโฟนที่มีประสิทธิภาพพอสมควร ทำให้เข้าถึงได้ง่ายกว่าวิธีเก่าๆ ที่บางครั้งต้องใช้อุปกรณ์สแกนด้วยเลเซอร์หรืออุปกรณ์เฉพาะทาง

การสแกน 3D ถูกนำไปใช้ในระดับมืออาชีพอยู่แล้ว เช่น การสร้างแผนที่อสังหาริมทรัพย์สำหรับทัวร์เสมือนจริง หรือการสร้างวัตถุเสมือนจริงสำหรับวิดีโอเกม แต่ Gaussian Splatting มีความเข้าถึงได้ง่ายพอที่ใครๆ ก็สามารถนำมาใช้เก็บรักษาความทรงจำส่วนตัวได้ Splat ช่วยให้ตัวคุณในอนาคต (หรือลูกหลาน) สามารถ “เยี่ยมชม” ชีวิตปัจจุบันของคุณได้ด้วยระดับความสมจริงที่น่าทึ่ง มันช่วยให้คุณสามารถ “เก็บใส่ขวด” รูปแบบและปริมาตรที่แน่นอนของช่วงเวลาหนึ่ง และรักษามันไว้ในรูปแบบดิจิทัล

หากพ่อแม่ของคุณมีเทคโนโลยีนี้ คุณอาจจะสามารถเดินสำรวจห้องนอนในวัยเด็กของคุณ หรือตรวจสอบทุกมุมและรายละเอียดของรถคันแรกที่คุณเคยซื้อได้ ขณะที่การถ่ายภาพจับแสงได้เพียงมุมเดียวในห้อง Gaussian Splatting สามารถจับพฤติกรรมของแสงได้จากทุกมุม ผลลัพธ์ที่ได้จึงไม่ใช่แค่ว่าอดีตดูเป็นอย่างไร แต่เป็น “ความรู้สึก” ของอดีตที่ถ่ายทอดออกมาได้อย่างลึกซึ้ง

เริ่มต้นสร้าง Splat ของคุณเองง่ายๆ ด้วยสมาร์ทโฟน

การเริ่มต้นใช้งาน Gaussian Splatting เพียงแค่คุณใช้เวลาทำความเข้าใจการทำงานของมัน ไม่จำเป็นต้องมีเครื่องสแกน LiDAR พิเศษ หรือคอมพิวเตอร์ที่มีประสิทธิภาพสูงมาก เพียงแค่สมาร์ทโฟนรุ่นใหม่ๆ ก็เพียงพอแล้ว

เลือกแอปพลิเคชันที่ใช่

Scaniverse: ยอดเยี่ยมสำหรับผู้ใช้ iPhone และฟรี สามารถประมวลผล Splats บนอุปกรณ์ของคุณโดยใช้เวลาเพียง 1-2 นาที
Luma 3D Capture: มีให้ใช้ทั้งบน Android และ iPhone เหมาะสำหรับผู้เริ่มต้น มีขั้นตอนการสแกนที่แนะนำคุณตลอดการสร้าง Splat ครั้งแรก

ขั้นตอนการจับภาพ (Capture)

นี่คือสิ่งที่ควรพิจารณาเมื่อทำการจับภาพ:

เริ่มต้นจากสิ่งเล็กๆ: ก่อนสแกนสถานที่หรือวัตถุขนาดใหญ่ ให้เลือกสิ่งเล็กๆ ง่ายๆ เพื่อทำความเข้าใจแนวคิดก่อน (แต่ไม่ใช่สัตว์เลี้ยง เพราะวัตถุต้องอยู่นิ่งสนิทตลอดกระบวนการ)
จัดแสงให้เหมาะสม: วางวัตถุของคุณในห้องที่มีแสงสว่างสม่ำเสมอและมีพื้นที่เพียงพอที่จะเดินวนรอบวัตถุได้
ทำการบันทึก: กดบันทึกและเดินเป็นวงกลมช้าๆ รอบวัตถุ โดยรักษากล้องให้ชี้ไปที่จุดศูนย์กลาง ทำสองรอบ โดยรอบแรกจากมุมสูงมองลงมา และอีกรอบจากมุมต่ำมองขึ้นไป
หลีกเลี่ยงพื้นผิวที่เรียบง่าย: Gaussian Splats ไม่ชอบความเรียบง่าย โดยเฉพาะผนังสีขาวเรียบๆ พยายามคิดถึงพื้นผิวที่มีลวดลาย และหลีกเลี่ยงกระจกใสและเงาสะท้อนที่อาจทำให้การคำนวณความลึกสับสน

รอประมวลผลและเพลิดเพลิน

หลังจากที่คุณจับภาพ Splat เสร็จแล้ว ก็ถึงเวลาให้คอมพิวเตอร์ทำงาน เวลาที่ใช้ในการประมวลผลจะขึ้นอยู่กับแอปพลิเคชันที่คุณใช้ โทรศัพท์ของคุณ และความละเอียดของการสแกน สำหรับ Scaniverse จะประมวลผล Splats บนโทรศัพท์ของคุณโดยตรง สำหรับวัตถุง่ายๆ เช่น กีตาร์ตัวหนึ่ง ใช้เวลาประมาณสองนาทีในการเรนเดอร์บน iPhone 17 Pro ส่วน Luma 3D Capture จะประมวลผลไฟล์ในระบบคลาวด์ ดังนั้นเวลาที่ใช้จะขึ้นอยู่กับจำนวนผู้ใช้ในคิว อาจใช้เวลาไม่กี่นาทีหรือหลายชั่วโมง ซึ่งแอปจะแจ้งเตือนเมื่อภาพของคุณประมวลผลเสร็จ

เมื่อการคำนวณเสร็จสิ้น คุณสามารถดูผลงานของคุณได้ทันทีบนหน้าจอสมาร์ทโฟนหรือคอมพิวเตอร์ เพียงแค่ใช้นิ้วหนีบเพื่อซูม ลากเพื่อหมุน และตื่นตาตื่นใจกับความสมบูรณ์แบบที่การสแกนจับบรรยากาศของวัตถุหรือพื้นที่นั้นๆ และยังสามารถแบ่งปันความทรงจำ 3D ของคุณได้อย่างง่ายดายผ่าน:

วิดีโอ: คุณสามารถกำหนดเส้นทางกล้องผ่าน Splat ของคุณเพื่อส่งออกเป็นวิดีโอ 2 มิติแบบ “fly-through” ได้
ลิงก์เว็บ: คุณสามารถสร้างลิงก์เว็บง่ายๆ แล้วส่งข้อความให้เพื่อนหรือครอบครัวผ่านแอปพลิเคชันทั้งสอง เมื่อพวกเขาแตะลิงก์นั้น จะเป็นการเปิดโปรแกรมดู 3D แบบโต้ตอบในเบราว์เซอร์ โดยไม่จำเป็นต้องมีแอปพลิเคชันพิเศษ บัญชี หรือการดาวน์โหลดไฟล์ขนาดใหญ่

สัมผัสประสบการณ์เต็มอิ่มในโลกเสมือนจริง (VR)

การดูการสแกน 3D บนโทรศัพท์หรือคอมพิวเตอร์ก็เจ๋งอยู่แล้ว แต่คุณจะเข้าใจว่ามันน่าทึ่งแค่ไหนจนกว่าจะได้ลองสัมผัสในอุปกรณ์ VR ที่คุณสามารถเดินไปรอบๆ โต๊ะอาหารค่ำในวันขอบคุณพระเจ้า หรือเอนตัวเข้าไปตรวจสอบพื้นผิวบนโซฟาได้อย่างแท้จริง

Apple Vision Pro: อุปกรณ์ Apple Vision Pro ที่ทรงพลังถูกสร้างมาเพื่อสิ่งนี้โดยเฉพาะ Apple ได้รวม “Spatial Scenes” เข้าไว้ในระบบปฏิบัติการ ซึ่งให้ภาพ 2D มีมิติ 3D เล็กน้อย แต่คุณสามารถก้าวไปอีกขั้นด้วยแอปพลิเคชันเช่น Splat Studio ที่จะสร้างฉาก 3D ที่ลึกขึ้นจากภาพ 2D และให้คุณปรับแต่งการตั้งค่าเพื่อปรับปรุงได้ นอกจากนี้ยังมี Spatial Media Toolkit ที่ช่วยให้คุณแปลงวิดีโอ 2D เป็นวิดีโอ 3D แบบ stereoscopic แต่ที่สุดยอดคือการดู Splats เต็มรูปแบบที่คุณสร้างเองด้วยแอปพลิเคชันอย่าง Luma 3D Capture หรือ Polycam หากคุณทำตามขั้นตอนข้างต้น คุณจะสามารถส่งออกไฟล์ Splat ที่สร้างขึ้น (.ply หรือ .spz) จากโทรศัพท์ของคุณไปยัง Vision Pro ได้โดยตรง และก้าวเข้าไปใน Splat หรือเดินสำรวจวัตถุที่คุณสแกน
Meta Quest 3 และ 3S: Meta ได้เปิดรับการปฏิวัติของ Gaussian Splatting อย่างเต็มที่ แอปพลิเคชันอย่าง AirVis (มีบน Vision Pro ด้วย) ช่วยให้คุณตรวจสอบ Splats ที่สร้างบนโทรศัพท์ของคุณ และยังมี 4D Splats ให้ใช้งานบน Quest อีกด้วย (ซึ่งจะกล่าวถึงด้านล่าง) Meta กำลังก้าวแรกในการตัดตัวกลางอย่างโทรศัพท์ออกไปทั้งหมด Hyperscape Capture เป็นแอปพลิเคชันที่ยังอยู่ในช่วงเบต้าซึ่งใช้กล้องที่มีอยู่ของ Quest ในการสแกนห้องของคุณ แล้วบันทึกเวอร์ชัน 3D ของพื้นที่ของคุณ Meta สัญญาว่าในไม่ช้าคุณจะสามารถส่งลิงก์ให้เพื่อนที่มีชุดหูฟัง เพื่อให้พวกเขา “มาเยี่ยม” ได้

ก้าวต่อไปสู่ 4D Splatting: ความจริงเสมือนที่เคลื่อนไหวได้

แม้ว่า Gaussian Splatting จะน่าตื่นเต้น แต่เทคโนโลยีนี้ยังอยู่ในช่วง “เวอร์ชัน 1.0” การจับภาพ Splat ที่ดีต้องใช้เวลาและความอดทน และวัตถุต้องอยู่นิ่งสนิท ผลลัพธ์ที่ได้ก็อาจไม่สมบูรณ์แบบเสมอไป แต่เทคโนโลยีกำลังพัฒนาอย่างรวดเร็ว และสิ่งถัดไปกำลังจะปรากฏขึ้นแล้ว นั่นคือ 4D Splatting ซึ่งมิติที่สี่คือเวลา

4D Splats คือวิดีโอ 3D แบบ volumetric ซึ่งเป็นฉากเคลื่อนไหวที่คุณสามารถรับชมได้จากทุกจุดทั้งภายในและภายนอกฉาก ไม่เหมือนภาพยนตร์ 3D แบบ stereoscopic ที่ให้คุณรับชมได้จากจุดเดียว แต่นี่คือโฮโลแกรมที่แท้จริง อย่างน้อยก็ในอุปกรณ์ VR เทคโนโลยีนี้ถูกนำไปใช้ในเชิงพาณิชย์แล้ว โดยเฉพาะในมิวสิกวิดีโอ “Helicopter” ของ A$AP Rocky ซึ่งศิลปินถูกจับภาพด้วยกล้อง 56 ตัว และฟุตเทจถูกแปลงเป็น 4D Splats ทำให้สามารถใช้มุมกล้องหรือการเคลื่อนไหวของกล้องที่ไม่น่าจะเป็นไปได้

มี 4D Splats บางส่วนที่คุณสามารถตรวจสอบได้ในชุดหูฟัง VR ของคุณ แอปพลิเคชัน Gracia บน Quest 3 มีวิดีโอ volumetric ที่น่าประทับใจหลายรายการ Gracia ช่วยให้คุณสามารถสตรีมหรือดาวน์โหลด 4D Splats ของผู้คน และวางไว้ที่ใดก็ได้ในความเป็นจริงเสริม (augmented reality) จากนั้นคุณสามารถกด “เล่น” และมองดูพวกเขาได้จากทุกมุม หรือแม้แต่เดินวนรอบพวกเขาได้

แม้ว่าคุณอาจจะไม่มีชุดกล้อง GoPro จำนวน 20 ตัวเพื่อสร้างเนื้อหาแบบ Gracia แต่ก็มีเครื่องมือทดลองบางอย่างสำหรับผู้บริโภคในการสร้าง 4D Splats เช่น KIRI Engine ที่ใช้เครื่องมือ ML-Sharp แบบโอเพนซอร์สของ Apple เพื่อแปลงวิดีโอเลนส์เดี่ยวมาตรฐานให้เป็น 4D splat ซึ่งแตกต่างจากการสร้างภาพ 3D แบบ stereoscopic ด้วย AI ของ Splat Studio โดย KIRI Engine จะแปลงแต่ละเฟรมแยกกันให้เป็น Splat แต่ละอัน

มุมมองจากบรรณาธิการ: ทำไม Gaussian Splatting ถึงน่าจับตา?

สำหรับเราแล้ว Gaussian Splatting เปรียบเสมือนการปฏิวัติวงการภาพถ่ายอย่างที่ภาพ Polaroid เคยทำไว้ในช่วงปี 1960s ในยุคเริ่มต้นนี้ แม้การใช้งานอาจจะยังต้องอาศัยความพยายามบ้าง และผลลัพธ์ที่ได้บางครั้งอาจดูหยาบหรือมีลักษณะเหมือนภาพวาดแบบจุด แต่มันได้มอบมิติใหม่ในการมองเห็นอดีตที่ส่งผลกระทบทางอารมณ์ได้อย่างทรงพลัง มันไม่ใช่แค่การบันทึกภาพ แต่เป็นการ “เก็บความรู้สึก” ของช่วงเวลานั้นๆ ไว้ในรูปแบบที่สมจริงจนน่าทึ่ง หากคุณเป็นคนที่ชื่นชอบเทคโนโลยีใหม่ๆ หรือต้องการเก็บความทรงจำให้คงอยู่ไปอีกนานแสนนาน เราขอแนะนำให้ลองเริ่มต้นใช้งาน Splatting ตั้งแต่วันนี้ เพราะตัวคุณในอนาคตจะต้องขอบคุณอย่างแน่นอน

ที่มา: lifehacker.com

Gaussian Splatting: เทคโนโลยีปฏิวัติวงการบันทึกภาพ 3D เปลี่ยนความทรงจำให้กลับมามีชีวิต