Histogram of Oriented Gradients and Object Detection
I’m not going to review the entire detailed process of training an object detector using Histogram of Oriented Gradients (yet), simply because each step can be fairly detailed. But I wanted to take a minute and detail the general algorithm for training an object detector using Histogram of Oriented Gradients. It goes a little something like this:
Step 1:
Sample P positive samples from your training data of the object(s) you want to detect and extract HOG descriptors from these samples.
Step 2:
Sample N negative samples from a negative training set that does not contain any of the objects you want to detect and extract HOG descriptors from these samples as well. In practice N >> P.
Step 3:
Train a Linear Support Vector Machine on your positive and negative samples.
Step 4:
Figure 2: Example of the sliding a window approach, where we slide a window from left-to-right and top-to-bottom.
Figure 2: Example of the sliding a window approach, where we slide a window from left-to-right and top-to-bottom. Note: Only a single scale is sown. In practice this window would be applied to multiple scales of the image.
Apply hard-negative mining. For each image and each possible scale of each image in your negative training set, apply the sliding window technique and slide your window across the image. At each window compute your HOG descriptors and apply your classifier. If your classifier (incorrectly) classifies a given window as an object (and it will, there will absolutely be false-positives), record the feature vector associated with the false-positive patch along with the probability of the classification. This approach is called hard-negative mining.
Step 5:
Take the false-positive samples found during the hard-negative mining stage, sort them by their confidence (i.e. probability) and re-train your classifier using these hard-negative samples. (Note: You can iteratively apply steps 4-5, but in practice one stage of hard-negative mining usually [not not always] tends to be enough. The gains in accuracy on subsequent runs of hard-negative mining tend to be minimal.)
Step 6:
Your classifier is now trained and can be applied to your test dataset. Again, just like in Step 4, for each image in your test set, and for each scale of the image, apply the sliding window technique. At each window extract HOG descriptors and apply your classifier. If your classifier detects an object with sufficiently large probability, record the bounding box of the window. After you have finished scanning the image, apply non-maximum suppression to remove redundant and overlapping bounding boxes.
These are the bare minimum steps required, but by using this 6-step process you can train and build object detection classifiers of your own! Extensions to this approach include a deformable parts model and Exemplar SVMs, where you train a classifier for each positive instance rather than a collection of them.
However, if you’ve ever worked with object detection in images you’ve likely ran into the problem of detecting multiple bounding boxes around the object you want to detect in the image.
Here’s an example of this overlapping bounding box problem:
Figure 3: (Left) Detecting multiple overlapping bounding boxes around the face we want to detect. (Right) Applying non-maximum suppression to remove the redundant bounding boxes.
Figure 3: (Left) Detecting multiple overlapping bounding boxes around the face we want to detect. (Right) Applying non-maximum suppression to remove the redundant bounding boxes.
Notice on the left we have 6 overlapping bounding boxes that have correctly detected Audrey Hepburn’s face. However, these 6 bounding boxes all refer to the same face — we need a method to suppress the 5 smallest bounding boxes in the region, keeping only the largest one, as seen on the right.
This is a common problem, no matter if you are using the Viola-Jones based method or following the Dalal-Triggs paper.
There are multiple ways to remedy this problem. Triggs et al. suggests to use the Mean-Shift algorithm to detect multiple modes in the bounding box space by utilizing the (x, y) coordinates of the bounding box as well as the logarithm of the current scale of the image.
I’ve personally tried this method and wasn’t satisfied with the results. Instead, you’re much better off relying on a strong classifier with higher accuracy (meaning there are very few false positives) and then applying non-maximum suppression to the bounding boxes.
I spent some time looking for a good non-maximum suppression (sometimes called non-maxima suppression) implementation in Python. When I couldn’t find one, I chatted with my friend Dr. Tomasz Malisiewicz, who has spent his entire career working with object detector algorithms and the HOG descriptor. There is literally no one that I know who has more experience in this area than Tomasz. And if you’ve ever read any of his papers, you’ll know why. His work is fantastic.
Anyway, after chatting with him, he pointed me to two MATLAB implementations. The first is based on the work by Felzenszwalb et al. and their deformable parts model.
The second method is implemented by Tomasz himself for his Exemplar SVM project which he used for his dissertation and his ICCV 2011 paper, Ensemble of Exemplar-SVMs for Object Detection and Beyond. It’s important to note that Tomasz’s method is over 100x faster than the Felzenszwalb et al. method. And when you’re executing your non-maximum suppression function millions of times, that 100x speedup really matters.
I’ve implemented both the Felzenszwalb et al. and Tomasz et al. methods, porting them from MATLAB to Python. Next week we’ll start with the Felzenszwalb method, then the following week I’ll cover Tomasz’s method. While Tomasz’s method is substantially faster, I think it’s important to see both implementations so we can understand exactly why his method obtains such drastic speedups.
Be sure to stick around and check out these posts! These are absolutely critical steps to building object detectors of your own!
ฮิสโตแกรมวางไล่ระดับสีและตรวจจับวัตถุที่ฉันกำลังไปตรวจสอบทั้งรายละเอียดขั้นตอนการฝึกอบรมเป็นเครื่องตรวจจับวัตถุโดยใช้ฮิสโตแกรมของเน้นไล่ระดับสี (ยัง), เพียง เพราะแต่ละขั้นตอนสามารถค่อนข้างรายละเอียด แต่อยากจะใช้เวลาหนึ่งนาที และรายละเอียดขั้นตอนวิธีทั่วไปในการฝึกอบรมเป็นเครื่องตรวจจับวัตถุโดยใช้ฮิสโตแกรมของเน้นไล่ระดับสี มันไปสิ่งเล็กน้อยเช่นนี้:ขั้นตอนที่ 1:ตัวอย่างตัวอย่างบวก P จากข้อมูลฝึกอบรมของวัตถุที่คุณต้องการตรวจสอบ และแยกตัวบอกหมูจากตัวอย่างเหล่านี้ขั้นตอนที่ 2:ตัวอย่างตัวอย่างลบ N จากชุดฝึกค่าลบที่ไม่ประกอบด้วยวัตถุที่คุณต้องการตรวจสอบ และแยกตัวบอกหมูจากตัวอย่างเหล่านี้เป็นอย่างดี ในทางปฏิบัติ N >> พีขั้นตอนที่ 3:รถไฟเครื่องจักรเวกเตอร์สนับสนุนเชิงบนตัวอย่างการบวก และลบขั้นตอนที่ 4:รูปที่ 2: ตัวอย่างการเลื่อนเป็นหน้าต่างวิธี ที่เราเลื่อนหน้าต่างจากซ้ายไปขวาและบนลงล่างรูปที่ 2: ตัวอย่างการเลื่อนเป็นหน้าต่างวิธี ที่เราเลื่อนหน้าต่างจากซ้ายไปขวาและบนลงล่าง หมายเหตุ: จะหว่านเพียงสเกลเดียว ในทางปฏิบัติ จะใช้หน้าต่างนี้เพื่อหลายสเกลของภาพใช้ลบยากทำเหมืองแร่ สำหรับแต่ละรูปและแต่ละขนาดได้ของแต่ละภาพในชุดฝึกลบ ใช้เทคนิคหน้าต่างบานเลื่อน และหน้าต่างภาพนิ่งทั้งภาพ ในแต่ละหน้าต่างคำนวณตัวบอกคุณหมู และใช้ของ classifier ถ้าของ classifier (ถูก) แบ่งประเภทของหน้าต่างกำหนดเป็นวัตถุ (และ จะ มีจริง ๆ จะไม่ทำงานผิดพลาด), บันทึกเวกเตอร์คุณลักษณะที่เกี่ยวข้องกับแพทช์เท็จบวกกับความเป็นไปได้ของการจัดประเภท วิธีการนี้เรียกว่าเหมืองลบยากขั้นตอนที่ 5:ใช้ตัวอย่างบวกเท็จพบในระหว่างขั้นตอนยากลบเหมือง เรียง โดยความเชื่อมั่นของตน (เช่นความน่าเป็น) และรถไฟ classifier ของคุณโดยใช้ตัวอย่างลบยากเหล่านี้อีกครั้ง (หมายเหตุ: คุณสามารถใช้ขั้นตอนที่ 4-5 ซ้ำ ๆ แต่ในการฝึกระยะหนึ่งของฮาร์ดดิสก์ลบทำเหมืองแร่มักจะมีแนวโน้มจะพอ [ไม่ไม่เสมอ] กำไรในความถูกต้องบนรันต่อมาของเหมืองยากลบมักจะ มี)ขั้นตอนที่ 6:Classifier ของคุณขณะนี้มีการฝึกอบรม และสามารถใช้กับชุดข้อมูลทดสอบของคุณ อีก เพียงเช่นในขั้นตอนที่ 4 สำหรับแต่ละภาพในชุดทดสอบ และแต่ละขนาดของภาพ ใช้เทคนิคหน้าต่างเลื่อน ที่หน้าต่างแต่ละแยกตัวบอกหมู และใช้ของ classifier ถ้าคุณ classifier ตรวจพบวัตถุ มีขนาดใหญ่เพียงพอน่าเป็น บันทึกกล่อง bounding ของหน้าต่าง หลังจากที่คุณเสร็จสิ้นการสแกนภาพ ใช้ปราบปรามเกินไม่เอาซ้ำซ้อน และทับซ้อนกันขอบกล่องThese are the bare minimum steps required, but by using this 6-step process you can train and build object detection classifiers of your own! Extensions to this approach include a deformable parts model and Exemplar SVMs, where you train a classifier for each positive instance rather than a collection of them.However, if you’ve ever worked with object detection in images you’ve likely ran into the problem of detecting multiple bounding boxes around the object you want to detect in the image.Here’s an example of this overlapping bounding box problem:Figure 3: (Left) Detecting multiple overlapping bounding boxes around the face we want to detect. (Right) Applying non-maximum suppression to remove the redundant bounding boxes.Figure 3: (Left) Detecting multiple overlapping bounding boxes around the face we want to detect. (Right) Applying non-maximum suppression to remove the redundant bounding boxes.Notice on the left we have 6 overlapping bounding boxes that have correctly detected Audrey Hepburn’s face. However, these 6 bounding boxes all refer to the same face — we need a method to suppress the 5 smallest bounding boxes in the region, keeping only the largest one, as seen on the right.This is a common problem, no matter if you are using the Viola-Jones based method or following the Dalal-Triggs paper.There are multiple ways to remedy this problem. Triggs et al. suggests to use the Mean-Shift algorithm to detect multiple modes in the bounding box space by utilizing the (x, y) coordinates of the bounding box as well as the logarithm of the current scale of the image.I’ve personally tried this method and wasn’t satisfied with the results. Instead, you’re much better off relying on a strong classifier with higher accuracy (meaning there are very few false positives) and then applying non-maximum suppression to the bounding boxes.I spent some time looking for a good non-maximum suppression (sometimes called non-maxima suppression) implementation in Python. When I couldn’t find one, I chatted with my friend Dr. Tomasz Malisiewicz, who has spent his entire career working with object detector algorithms and the HOG descriptor. There is literally no one that I know who has more experience in this area than Tomasz. And if you’ve ever read any of his papers, you’ll know why. His work is fantastic.Anyway, after chatting with him, he pointed me to two MATLAB implementations. The first is based on the work by Felzenszwalb et al. and their deformable parts model.The second method is implemented by Tomasz himself for his Exemplar SVM project which he used for his dissertation and his ICCV 2011 paper, Ensemble of Exemplar-SVMs for Object Detection and Beyond. It’s important to note that Tomasz’s method is over 100x faster than the Felzenszwalb et al. method. And when you’re executing your non-maximum suppression function millions of times, that 100x speedup really matters.I’ve implemented both the Felzenszwalb et al. and Tomasz et al. methods, porting them from MATLAB to Python. Next week we’ll start with the Felzenszwalb method, then the following week I’ll cover Tomasz’s method. While Tomasz’s method is substantially faster, I think it’s important to see both implementations so we can understand exactly why his method obtains such drastic speedups.Be sure to stick around and check out these posts! These are absolutely critical steps to building object detectors of your own!
การแปล กรุณารอสักครู่..