A flow chart of the object detection

A flow chart of the object detection and recognition method is shown in Figure 3.2. First of all, I acquireaakinectimagetogetapointcloud. IremoveoutlierpointsusingthePCLstatisticaloutliers removal algorithm.
Next, I detect and subtract any large planar surface in order to segment objects from the background
13
Figure3.4: Screenshot of a simple application for capturing and uploading object templates as well as requesting recognition of an object currently in the fielf of view.
(usually a table or other flat surface). Finally, I identify specific objects using template matching followtheapproachof Rusuetal. (R.Rusuetal., 2007). Forrecognitionusingtemplatematching, I computes the point cloud surface normals and store it in kd-tree for search.
Finally,Iperformtemplatealignment,alsoknownastemplatematching/fitting/registration,usingthe newly acquired data. A template is a small group of pixels or points that show a known part of a larger object or scene. By aligning a template to a new image or point cloud, I can find the position and orientation of the object that the template represents. I start by defining a structure to store the alignment results. It contains a floating point value that give score as the fitness of the alignment (lowerthefitnessmeansabettermatchofthealignmentandatransformationmatrixthatexplainhow template points should translated and rotated in order to get the best alignment with the points in the target cloud.)
For calculating the fitness score, I use the sample consensus initial alignment algorithm to get the alignments fitness score and final transformation matrix. First, I select the sample point where the pairwise distance is greater than minimum distance. For each of them, I find which histogram is similar to the sample histogram. Then compute the rigit transformation from the sample point and correspondences. ThenIcomputetherigiterrormatrixfromthepointcloud. Therigidtransformation can be decomposed into a 3-dimensional translation vector (tx, ty, tz) and a 3 x 3 rotation matrix R as follows:

ผลลัพธ์ (ไทย) 1:

flow แผนภูมิของวัตถุตรวจจับและรู้วิธีจะแสดงในรูปที่ 3.2 แรกของทั้งหมด ฉัน acquireaakinectimagetogetapointcloud เอา IremoveoutlierpointsusingthePCLstatisticaloutliers อัลกอริทึมถัดไป ฉันตรวจสอบ และลบพื้นผิวระนาบใด ๆ ขนาดใหญ่ตามลำดับส่วนวัตถุจากพื้นหลัง13Figure3.4: ที่ภาพหน้าจอที่ใช้งานง่ายสำหรับการจับภาพ และอัปโหลดแม่แบบของวัตถุ ตลอดจนขอรับรู้วัตถุใน fielf ของมุมมองปัจจุบัน(โดยปกติแล้วตารางหรือพื้นผิวอื่น ๆ flat) ในที่สุด ฉันระบุวัตถุ specific ที่ใช้แม่แบบที่ตรงกัน followtheapproachof Rusuetal (R.Rusuetal. 2007) Forrecognitionusingtemplatematching ฉันจะจุดเมฆ normals ผิว และเก็บไว้ใน kd-ทรีค้นหาสุดท้าย Iperformtemplatealignment, usingthe alsoknownastemplatematching/fitting/ลง ทะเบียน เพิ่งได้รับข้อมูล แบบเป็นกลุ่มเล็ก ๆ ของพิกเซลหรือจุดที่แสดงส่วนของวัตถุหรือฉากใหญ่ชื่อดัง โดยแบบการเมฆภาพหรือจุดใหม่ ได้ find ตำแหน่งและการวางแนวของวัตถุที่แสดงแบบ ฉันเริ่ม ด้วย defining โครงสร้างเพื่อเก็บผลลัพธ์ตำแหน่ง ประกอบด้วยค่าจุด floating ที่ให้คะแนนเป็น fitness ของตำแหน่ง (lowerthefitnessmeansabettermatchofthealignmentandatransformationmatrixthatexplainhow ต้นแบบจุดควรแปล และหมุนเพื่อให้ได้ตำแหน่งที่ดีที่สุดจุดในเมฆเป้าหมาย)สำหรับการคำนวณคะแนน fitness ฉันใช้ตัวอย่างมติการจัดตำแหน่งเริ่มต้นอัลกอริทึมจัดแนว fitness คะแนนและเมตริกซ์การแปลง final ผมเลือกจุดตัวอย่างสูงกว่าระยะต่ำสุดจากแพร์ไวส์ก่อน สำหรับแต่ละของพวกเขา ฉัน find ฮิสโตแกรมที่มีลักษณะคล้ายกับตัวอย่างฮิสโตแกรม คำนวณการแปลง rigit จากจุดตัวอย่างและตอบกลับ ThenIcomputetherigiterrormatrixfromthepointcloud Therigidtransformation สามารถจะย่อยสลายไปเป็นเวกเตอร์ 3 มิติแปล (tx, ty, tz) และเมทริกซ์ 3 x 3 หมุน R เป็นดังนี้:

ผลลัพธ์ (ไทย) 2:

แผนภูมิโอ๊ยชั้นของวิธีการตรวจสอบวัตถุและการรับรู้ที่ถูกแสดงในรูปที่ 3.2 แรกของทั้งหมดที่ฉัน acquireaakinectimagetogetapointcloud . IremoveoutlierpointsusingthePCLstatisticaloutliers ขั้นตอนวิธีการกำจัด
ต่อไปผมจะตรวจสอบและลบพื้นผิวระนาบขนาดใหญ่ใด ๆ เพื่อวัตถุส่วนจากพื้นหลัง
13
Figure3.4: ภาพหน้าจอของโปรแกรมที่ง่ายสำหรับการจับวัตถุและการอัปโหลดแม่แบบเช่นเดียวกับการขอการรับรู้ของวัตถุในปัจจุบันเอลฟ์ไฟ ในมุมมองของ.
(มักจะเป็นโต๊ะหรือชั้นอื่น ๆ ที่ผิว) สุดท้ายผมระบุวัตถุคที่ระบุไว้ใช้แม่แบบการจับคู่ followtheapproachof Rusuetal (R.Rusuetal. 2007) Forrecognitionusingtemplatematching ผมคำนวณจุดปกติพื้นผิวเมฆและเก็บไว้ในต้นไม้ kd สำหรับการค้นหา.
สุดท้าย Iperformtemplatealignment, alsoknownastemplatematching / fi ระบบ / ลงทะเบียน usingthe ข้อมูลที่ได้มาใหม่ แม่แบบเป็นกลุ่มเล็ก ๆ ของพิกเซลหรือจุดที่แสดงเป็นส่วนหนึ่งที่เป็นที่รู้จักกันของวัตถุขนาดใหญ่หรือฉาก โดยสอดคล้องแม่แบบเพื่อภาพใหม่หรือเมฆจุดที่ฉันสามารถ fi ครั้งที่ตำแหน่งและทิศทางของวัตถุที่แสดงให้เห็นถึงแม่แบบ ฉันเริ่มต้นด้วยการหนิงเด Fi โครงสร้างการจัดเก็บผลการจัดตำแหน่ง มันมีค่าจุด oating ชั้นที่ให้คะแนนเป็นไฟ tness สุขภาพของการจัดตำแหน่ง (lowerthe จุดไฟแม่แบบ tnessmeansabettermatchofthealignmentandatransformationmatrixthatexplainhow ควรแปลและหมุนเพื่อให้ได้รับการจัดตำแหน่งที่ดีที่สุดกับจุดในเมฆเป้าหมาย.)
สำหรับการคำนวณคะแนน Fi tness สุขภาพผมใช้ฉันทามติของกลุ่มตัวอย่าง ขั้นตอนวิธีการจัดตำแหน่งเริ่มต้นที่จะได้รับการจัดแนว Fi คะแนน tness สุขภาพและไฟเมทริกซ์การเปลี่ยนแปลงขั้นสุดท้าย ครั้งแรกผมเลือกจุดตัวอย่างที่ระยะทางคู่เป็นมากกว่าระยะทางขั้นต่ำ สำหรับแต่ละของพวกเขาผม fi ครั้งซึ่ง histogram จะคล้ายกับ histogram ตัวอย่าง จากนั้นคำนวณการเปลี่ยนแปลง Rigit จากจุดตัวอย่างและจดหมาย ThenIcomputetherigiterrormatrixfromthepointcloud Therigidtransformation สามารถย่อยสลายเป็นเวกเตอร์แปล 3 มิติ (TX ไท, TZ) และ 3 x 3 เมทริกซ์หมุน R ดังต่อไปนี้:

ผลลัพธ์ (ไทย) 3:

เป็นflโอ๊ยแผนภูมิของการตรวจจับวัตถุและวิธีการรับรู้ที่แสดงในรูปที่ 3.2 . acquireaakinectimagetogetapointcloud ครั้งแรกทั้งหมดของ ฉัน . iremoveoutlierpointsusingthepclstatisticaloutliers ขั้นตอนวิธีการกำจัด .
ต่อไป ตรวจจับและลบพื้นผิวระนาบขนาดใหญ่ใด ๆเพื่อให้กลุ่มวัตถุจากพื้นหลัง

figure3.4 13 :ภาพหน้าจอของโปรแกรมอย่างง่ายสำหรับการจับภาพและการอัปโหลดแม่แบบวัตถุ รวมทั้งขอให้รับรู้ของวัตถุในปัจจุบันในเอลฟ์จึงดู .
( มักจะเป็นตารางหรือพื้นผิวอื่น ๆที่fl ) สุดท้าย ผมจึงระบุประเภท C วัตถุโดยใช้แม่แบบการจับคู่ followtheapproachof rusuetal . ( r.rusuetal . , 2007 ) forrecognitionusingtemplatematching ,ฉันคำนวณเมฆจุดผิวปกติ และจัดเก็บไว้ในต้นไม้ค้นหา KD .
ในที่สุด iperformtemplatealignment alsoknownastemplatematching / ตัด / การลงทะเบียน , ถ่ายทอด , ได้มาใหม่โดยใช้ข้อมูล แม่แบบคือ กลุ่มเล็ก ๆของพิกเซลหรือจุดที่แสดงรู้จักส่วนหนึ่งของขนาดใหญ่วัตถุหรือฉาก โดยจัดแม่แบบภาพใหม่หรือจุดเมฆผมจึงหาตำแหน่งและทิศทางของวัตถุที่แม่แทน ผมเริ่มจาก เดอ จึงเป็นโครงสร้างแนวหนิงเก็บผลลัพธ์มันมีfl oating แต้มที่ให้คะแนนเป็น tness จึงของแนวร่วม ( lowerthe จึง tnessmeansabettermatchofthealignmentandatransformationmatrixthatexplainhow แม่แบบจุดควรแปลและหมุนได้เพื่อให้ได้ตำแหน่งที่ดีที่สุดที่มีคะแนนในเมฆ เป้าหมาย )
การคำนวณ จึง tness คะแนนผมใช้ตัวอย่างจากแนวเริ่มต้นขั้นตอนวิธีที่จะได้รับการถ่ายทอด tness คะแนน และจึง นาล การแปลงเมทริกซ์ ครั้งแรก ผมเลือกตัวอย่างจุดที่ระยะห่างคู่มากกว่าระยะทางน้อยที่สุด สำหรับแต่ละของพวกเขา ฉันจึงและที่คล้ายกับตัวอย่างกราฟฮิสโตแกรม แล้วคำนวณ rigit แปลงจากตัวอย่างจุด และโต้ตอบได้thenicomputetherigiterrormatrixfromthepointcloud . therigidtransformation สามารถย่อยสลายลงในเวกเตอร์ 3 มิติ ( TX , แปลภาษาไท TZ ) และ 3 x 3 การหมุนเมทริกซ์ r ดังนี้