ความเข้าใจอย่างถ่องแท้เกี่ยวกับหลักการของการสร้างภาพสามมิติ

การถ่ายภาพด้วยการมองเห็น 3 มิติเป็นหนึ่งในวิธีการที่สำคัญที่สุดสำหรับการรับรู้ข้อมูลของหุ่นยนต์อุตสาหกรรม ซึ่งสามารถแบ่งออกเป็นวิธีการถ่ายภาพด้วยแสงและไม่ใช่แสง ปัจจุบันวิธีการทางแสงที่ใช้กันมากที่สุด ได้แก่ วิธีเวลาบิน วิธีโครงสร้างแสง วิธีสแกนด้วยเลเซอร์ วิธีขอบมัวร์ วิธีจุดด้วยเลเซอร์ อินเตอร์เฟอโรเมทรี่ วิธีโฟโตแกรมเมทรี วิธีติดตามด้วยเลเซอร์ รูปร่างจากการเคลื่อนไหว รูปร่างจากเงา และ ShapefromX อื่นๆ บทความนี้จะแนะนำโครงร่างทั่วไปหลายประการ

1. เวลาบินด้วยภาพ 3 มิติ

แต่ละพิกเซลของกล้อง Time-of-Flight (TOF) ใช้ความแตกต่างของเวลาในการบินของแสงเพื่อให้ได้ความลึกของวัตถุ

ในวิธีการวัด TOF แบบคลาสสิก ระบบเครื่องตรวจจับจะเริ่มหน่วยตรวจจับและรับตามเวลาที่มีการปล่อยพัลส์แสง เมื่อเครื่องตรวจจับได้รับเสียงสะท้อนจากเป้าหมาย เครื่องตรวจจับจะบันทึกเวลาไปกลับโดยตรง

หรือที่รู้จักในชื่อ Direct TOF (DTOF) D-TOF มักใช้ในระบบกำหนดขอบเขตจุดเดียว ซึ่งมักต้องใช้เทคโนโลยีการสแกนเพื่อให้ได้ภาพ 3 มิติทั่วทั้งพื้นที่

เทคโนโลยีการถ่ายภาพ TOF 3D ไร้การสแกนยังไม่เกิดขึ้นจริงจนกระทั่งไม่กี่ปีที่ผ่านมา เนื่องจากเป็นเรื่องยากมากที่จะใช้การจับเวลาอิเล็กทรอนิกส์ระดับนาโนวินาทีในระดับพิกเซล

อีกทางเลือกหนึ่งนอกเหนือจาก D-TOF แบบกำหนดเวลาโดยตรงคือ TOF ทางอ้อม (I-TOF) ซึ่งการเดินทางแบบไปกลับตามเวลาจะถูกคาดการณ์โดยอ้อมจากการวัดความเข้มของแสงแบบจำกัดเวลา I-TOF ไม่ต้องการการกำหนดเวลาที่แม่นยำ แต่ใช้ตัวนับโฟตอนแบบจำกัดเวลาหรือตัวรวมประจุแทน ซึ่งสามารถใช้งานได้ในระดับพิกเซล I-TOF เป็นโซลูชันเชิงพาณิชย์ในปัจจุบันสำหรับเครื่องผสมแบบอิเล็กทรอนิกส์และแบบออปติคัลที่ใช้กล้อง TOF

การถ่ายภาพ TOF สามารถใช้สำหรับมุมมองภาพขนาดใหญ่ ระยะไกล ความแม่นยำต่ำ และการรับภาพ 3D ราคาประหยัด คุณลักษณะของมันคือ: ความเร็วในการตรวจจับที่รวดเร็ว, มุมมองที่กว้าง, ระยะการทำงานที่ยาวนาน, ราคาถูก แต่มีความแม่นยำต่ำ, ง่ายต่อการถูกรบกวนจากแสงโดยรอบ

2. สแกนหาภาพ 3 มิติ

วิธีการสแกนภาพ 3 มิติสามารถแบ่งได้เป็นช่วงการสแกน สามเหลี่ยมที่ใช้งานอยู่ วิธีการกระจายคอนโฟคอล และอื่นๆ ในความเป็นจริง วิธีการกระจายคอนโฟคอลเป็นวิธีการสแกนและกำหนดขอบเขต เมื่อพิจารณาว่าปัจจุบันมีการใช้กันอย่างแพร่หลายในอุตสาหกรรมการผลิต เช่น โทรศัพท์มือถือและจอแบน จึงได้มีการแนะนำวิธีดังกล่าวแยกต่างหากที่นี่

1. การสแกนและการกำหนดระยะ

การวัดระยะการสแกนคือการใช้ลำแสงคอลลิเมตเพื่อสแกนพื้นผิวเป้าหมายทั้งหมดผ่านการวัดระยะทางแบบหนึ่งมิติเพื่อให้ได้การวัดแบบ 3 มิติ วิธีการสแกนโดยทั่วไปคือ:

1, เวลาจุดเดียวของวิธีการบิน เช่นการปรับความถี่คลื่นอย่างต่อเนื่อง (FM-CW) ช่วง, ช่วงพัลส์ (LiDAR) ฯลฯ ;

2, อินเตอร์เฟอโรเมทแบบกระเจิงด้วยเลเซอร์ เช่น อินเตอร์เฟอโรมิเตอร์ตามหลักการของการรบกวนแบบหลายความยาวคลื่น, การรบกวนแบบโฮโลแกรม, การรบกวนด้วยแสงสีขาว, การรบกวนจุด ฯลฯ

3 วิธีคอนโฟคอล เช่นคอนโฟคอลการกระจายตัว การโฟกัสตัวเอง ฯลฯ

ในวิธีสแกน 3 มิติแบบจุดเดียว เวลาจุดเดียวของวิธีการบินเหมาะสำหรับการสแกนระยะไกล และความแม่นยำในการวัดต่ำ โดยทั่วไปจะอยู่ในลำดับมิลลิเมตร วิธีการสแกนจุดเดียวอื่น ๆ ได้แก่ อินเตอร์เฟอโรเมทเลเซอร์จุดเดียว วิธีคอนโฟคอล และวิธีการสามเหลี่ยมที่ใช้งานเลเซอร์จุดเดียว ความแม่นยำในการวัดจะสูงกว่า แต่แบบแรกมีข้อกำหนดด้านสิ่งแวดล้อมสูง ความแม่นยำในการสแกนเส้นปานกลาง ประสิทธิภาพสูง วิธีการสร้างสามเหลี่ยมด้วยเลเซอร์แบบแอคทีฟและวิธีการกระจายคอนโฟคอลเหมาะสำหรับการวัดแบบ 3 มิติที่ปลายแขนหุ่นยนต์มากกว่า

2. สามเหลี่ยมที่ใช้งานอยู่

วิธีการแสดงตำแหน่งสามเหลี่ยมแบบแอ็คทีฟนั้นใช้หลักการของรูปสามเหลี่ยม โดยใช้คานคอลลิเมต คานระนาบอย่างน้อย 1 ลำในการสแกนพื้นผิวเป้าหมายเพื่อทำการวัดแบบ 3 มิติให้เสร็จสมบูรณ์

โดยปกติแล้วลำแสงจะได้มาด้วยวิธีต่อไปนี้: การคอลลิเมชันด้วยเลเซอร์, การขยายลำแสงเชิงมุมทรงกระบอกหรือกำลังสอง, แสงที่ไม่ต่อเนื่องกัน (เช่น แสงสีขาว, แหล่งกำเนิดแสง LED) ผ่านรู, การฉายช่องสลิท (ตะแกรง) หรือการเลี้ยวเบนของแสงที่สอดคล้องกัน

สามเหลี่ยมที่ใช้งานอยู่สามารถแบ่งออกเป็นสามประเภท: การสแกนจุดเดียว การสแกนบรรทัดเดียว และการสแกนหลายบรรทัด ผลิตภัณฑ์ส่วนใหญ่ที่ใช้ในเชิงพาณิชย์ในปัจจุบันสำหรับใช้งานที่ส่วนท้ายของแขนหุ่นยนต์คือเครื่องสแกนแบบจุดเดียวและแบบบรรทัดเดียว

ในวิธีการสแกนแบบหลายบรรทัด การระบุหมายเลขเสาขอบได้อย่างน่าเชื่อถือเป็นเรื่องยาก เพื่อที่จะระบุหมายเลขแถบได้อย่างแม่นยำ โดยทั่วไปจะใช้การถ่ายภาพสลับความเร็วสูงของระนาบแสงแนวตั้งสองชุด ซึ่งสามารถสแกน "FlyingTriangulation" ได้ด้วย กระบวนการสแกนและการสร้างใหม่สามมิติจะแสดงในรูปต่อไปนี้ มุมมอง 3 มิติแบบกระจายถูกสร้างขึ้นโดยการถ่ายภาพสโตรโบสโคปแบบฉายหลายเส้น และลำดับมุมมอง 3 มิติหลายลำดับถูกสร้างขึ้นโดยการสแกนการฉายภาพขอบตามยาวและแนวนอน จากนั้นแบบจำลองพื้นผิว 3 มิติที่สมบูรณ์และกะทัดรัดที่มีความละเอียดสูงจะถูกสร้างขึ้นโดยการจับคู่ภาพ 3 มิติ

3. วิธีการกระจายคอนโฟคอล

ดูเหมือนว่าคอนโฟคอลการกระจายตัวจะสามารถสแกนและวัดวัตถุทึบแสงและโปร่งใสที่หยาบและเรียบได้ เช่น กระจกสะท้อนแสง พื้นผิวกระจกใส ฯลฯ และในปัจจุบันได้รับความนิยมอย่างกว้างขวางในด้านการตรวจจับแผ่นฝาครอบโทรศัพท์มือถือสามมิติ

การสแกนคอนโฟคอลแบบกระจายมีสามประเภท: การสแกนช่วงสัมบูรณ์มิติเดียวจุดเดียว การสแกนอาเรย์หลายจุด และการสแกนเส้นต่อเนื่อง รูปภาพต่อไปนี้แสดงตัวอย่างของการสแกนเส้นช่วงสัมบูรณ์และการสแกนเส้นต่อเนื่องสองประเภทตามลำดับ ในหมู่พวกเขา การสแกนเส้นอย่างต่อเนื่องก็เป็นการสแกนอาเรย์เช่นกัน แต่อาเรย์นั้นมีโครงตาข่ายที่หนาแน่นกว่า

ในผลิตภัณฑ์เชิงพาณิชย์ เซ็นเซอร์คอนโฟคอลสเปกตรัมการสแกนที่เป็นที่รู้จักมากกว่าคือ STILMPLS180 ของฝรั่งเศส ซึ่งใช้จุดอาร์เรย์ 180 จุดเพื่อสร้างเส้นที่มีความยาวเส้นสูงสุด 4.039 มม. (วัดจุด 23.5 น. ระยะห่างระหว่างจุด 22.5 น.) สินค้าอีกตัวหนึ่งคือ FOCALSPECULA ของฟินแลนด์ นำเทคนิคการกระจายตัวของสามเหลี่ยมคอนโฟคอลมาใช้

3. การสร้างภาพ 3 มิติพร้อมการฉายแสงแบบมีโครงสร้าง

ปัจจุบันการฉายแสงที่มีโครงสร้างเป็นวิธีการหลักของการรับรู้ภาพ 3 มิติของหุ่นยนต์ ระบบการถ่ายภาพด้วยแสงที่มีโครงสร้างประกอบด้วยโปรเจ็กเตอร์และกล้องหลายตัว รูปแบบโครงสร้างที่ใช้กันทั่วไปคือ: โปรเจ็กเตอร์เดี่ยว - กล้องเดี่ยว, โปรเจ็กเตอร์เดี่ยว - กล้องคู่, โปรเจ็กเตอร์เดี่ยว - หลายตัว กล้อง กล้องเดี่ยว - โปรเจ็กเตอร์คู่ และกล้องเดี่ยว - โปรเจ็กเตอร์หลายตัว และรูปแบบโครงสร้างทั่วไปอื่นๆ

หลักการทำงานพื้นฐานของการถ่ายภาพ 3 มิติของการฉายแสงที่มีโครงสร้างคือโปรเจ็กเตอร์ฉายรูปแบบแสงที่มีโครงสร้างเฉพาะไปยังวัตถุเป้าหมาย และภาพที่ปรับโดยเป้าหมายจะถูกจับโดยกล้อง จากนั้นข้อมูล 3 มิติของวัตถุเป้าหมายจะได้รับผ่านภาพ การประมวลผลและแบบจำลองภาพ

โปรเจ็กเตอร์ที่ใช้กันทั่วไปส่วนใหญ่มีประเภทดังต่อไปนี้: การฉายภาพคริสตัลเหลว (LCD), การฉายภาพการปรับแสงดิจิทัล (DLP: เช่นอุปกรณ์ไมโครมิเรอร์ดิจิทัล (DMD)), การฉายภาพโดยตรงด้วยรูปแบบเลเซอร์ LED

ตามจำนวนของการฉายแสงที่มีโครงสร้าง การถ่ายภาพ 3 มิติของการฉายแสงที่มีโครงสร้างสามารถแบ่งออกเป็นวิธีการฉายภาพ 3 มิติแบบฉายเดี่ยวและวิธีการฉายภาพ 3 มิติหลายรูปแบบ

1. การฉายภาพเดี่ยว

แสงที่มีโครงสร้างการฉายภาพเดี่ยวส่วนใหญ่รับรู้ได้จากการเข้ารหัสช่องมัลติเพล็กซ์และการเข้ารหัสความถี่มัลติเพล็กซ์ รูปแบบการเข้ารหัสทั่วไป ได้แก่ การเข้ารหัสสี ดัชนีสีเทา การเข้ารหัสรูปทรงเรขาคณิต และจุดสุ่ม

ในปัจจุบัน ในการประยุกต์ใช้ระบบตามือของหุ่นยนต์ สำหรับโอกาสที่ความแม่นยำในการวัด 3 มิติไม่สูง เช่น การจัดวางบนพาเลท การนำออกจากพาเลท การจับ 3 มิติ ฯลฯ เป็นที่นิยมมากขึ้นในการฉายจุดสุ่มหลอกเพื่อให้ได้ ข้อมูล 3 มิติของเป้าหมาย หลักการถ่ายภาพ 3 มิติจะแสดงในรูปต่อไปนี้

2. การฉายภาพหลายภาพ

วิธีการฉายภาพ 3 มิติแบบหลายภาพส่วนใหญ่จะนำมาใช้โดยการเข้ารหัสแบบมัลติเพล็กซ์ รูปแบบการเข้ารหัสรูปแบบที่ใช้กันทั่วไป ได้แก่ การเข้ารหัสแบบไบนารี การเข้ารหัสการเปลี่ยนเฟสแบบหลายความถี่ τ35 และการเข้ารหัสแบบผสม (เช่น การเข้ารหัสสีเทาขอบการเปลี่ยนเฟสสิบเฟส)

หลักการพื้นฐานของการถ่ายภาพ 3 มิติด้วยการฉายขอบจะแสดงอยู่ในภาพด้านล่าง รูปแบบแสงที่มีโครงสร้างถูกสร้างขึ้นโดยคอมพิวเตอร์หรือสร้างขึ้นโดยอุปกรณ์ออพติคอลพิเศษ ซึ่งฉายลงบนพื้นผิวของวัตถุที่วัดได้ผ่านระบบการฉายภาพด้วยแสง จากนั้นอุปกรณ์รับภาพ (เช่น กล้อง CCD หรือ CMOS) จะถูกนำมาใช้เพื่อรวบรวม ภาพแสงที่มีโครงสร้างผิดรูปซึ่งปรับตามพื้นผิวของวัตถุ อัลกอริธึมการประมวลผลภาพใช้ในการคำนวณความสัมพันธ์ที่สอดคล้องกันระหว่างแต่ละพิกเซลในภาพและจุดบนโครงร่างของวัตถุ สุดท้ายนี้ ข้อมูลรูปร่างสามมิติของวัตถุที่วัดจะถูกคำนวณผ่านแบบจำลองโครงสร้างระบบและเทคโนโลยีการสอบเทียบ

ในการใช้งานจริง มักใช้การฉายภาพรหัสสีเทา การฉายภาพขอบเฟสชิฟต์ไซน์ หรือรหัสสีเทาสิบเทคโนโลยีการฉายภาพเฟสชิฟต์เฟสชิฟต์แบบผสม 3 มิติ

3. การถ่ายภาพการโก่งตัว

สำหรับพื้นผิวที่ขรุขระ แสงที่มีโครงสร้างสามารถฉายลงบนพื้นผิวของวัตถุได้โดยตรงเพื่อการวัดด้วยภาพ อย่างไรก็ตาม สำหรับการวัด 3 มิติของพื้นผิวเรียบที่มีการสะท้อนแสงขนาดใหญ่และวัตถุกระจก การฉายแสงที่มีโครงสร้างไม่สามารถฉายลงบนพื้นผิวที่วัดได้โดยตรง และการวัด 3 มิติยังต้องใช้เทคโนโลยีการโก่งตัวของกระจก ดังแสดงในรูปต่อไปนี้

ในรูปแบบนี้ ขอบจะไม่ถูกฉายโดยตรงไปยังรูปร่างที่วัด แต่จะถูกฉายลงบนหน้าจอกระจาย หรือใช้หน้าจอ LCD แทนหน้าจอกระจายเพื่อแสดงขอบโดยตรง กล้องจะย้อนเส้นทางแสงผ่านพื้นผิวที่สว่าง รับข้อมูลขอบที่ปรับตามการเปลี่ยนแปลงความโค้งของพื้นผิวที่สว่าง จากนั้นจึงแก้ไขโปรไฟล์ 3D

4. ภาพสามมิติวิสัยทัศน์สเตอริโอ

Stereovision หมายถึงการรับรู้โครงสร้างสามมิติด้วยตาข้างเดียวหรือทั้งสองข้าง และโดยทั่วไปหมายถึงการสร้างโครงสร้าง 3 มิติขึ้นมาใหม่หรือข้อมูลเชิงลึกของวัตถุเป้าหมายโดยการรับภาพสองภาพขึ้นไปจากมุมมองที่ต่างกัน

ตัวชี้นำการมองเห็นการรับรู้เชิงลึกสามารถแบ่งออกเป็นตัวชี้นำตาและตัวชี้นำกล้องส่องทางไกล (พารัลแลกซ์สองตา) ในปัจจุบัน สามมิติสามมิติสามารถทำได้ผ่านการมองเห็นตาข้างเดียว การมองเห็นสองตา การมองเห็นหลายตา การถ่ายภาพสามมิติในสนามแสง (ตาแบบอิเล็กทรอนิกส์หรือกล้องอาเรย์)

1. การถ่ายภาพด้วยตาข้างเดียว

การรับรู้เชิงลึกแบบตาข้างเดียวมักจะรวมถึงเปอร์สเปคทีฟ ความแตกต่างของความยาวโฟกัส การถ่ายภาพแบบหลายวิชัน ความครอบคลุม เงา พารัลแลกซ์ของการเคลื่อนไหว ฯลฯ ในการมองเห็นของหุ่นยนต์ยังสามารถใช้กระจก 1 และรูปร่างอื่น ๆ จาก X10 และวิธีการอื่น ๆ เพื่อให้บรรลุผล

2. การถ่ายภาพด้วยกล้องสองตา

สัญญาณที่มองเห็นได้ของการรับรู้เชิงลึกของกล้องสองตา ได้แก่ ตำแหน่งที่ดวงตาบรรจบกันและพารัลแลกซ์ของกล้องสองตา ในวิชันซิสเต็ม กล้องสองตัวถูกใช้เพื่อให้ได้ภาพสองมุมมองจากสองมุมมองไปยังฉากเป้าหมายเดียวกัน จากนั้นคำนวณพารัลแลกซ์ของจุดเดียวกันในภาพมุมมองทั้งสองเพื่อรับข้อมูลความลึก 3 มิติของฉากเป้าหมาย กระบวนการคำนวณภาพสามมิติแบบสองตาโดยทั่วไปประกอบด้วยสี่ขั้นตอนต่อไปนี้: การแก้ไขภาพบิดเบี้ยว การแก้ไขคู่ภาพสเตอริโอ การลงทะเบียนภาพ และการคำนวณแผนที่พารัลแลกซ์การฉายภาพสามเหลี่ยมอีกครั้ง