Human Emotion Detection from ImageI

Human Emotion Detection from Image
Introduction
This code can detect human emotion from image. First, it takes an image, then by skin color segmentation, it detects human skin color, then it detect human face. Then it separates the eyes & lip from the face. Then it draws bezier curve for eyes & lips. Then it compares the bezier curve of eyes and lips to the bezier curves of eyes & lips that are stored in the data base. Then it finds the nearest bezier curse from the data base & gives that data base stored bezier curve emotion as this image emotion.

How Does It Work?
Skin Color Segmentation
For skin color segmentation, first we contrast the image. Then we perform skin color segmentation.

Pic-1.PNG
Then, we have to find the largest connected region. Then we have to check the probability to become a face of the largest connected region. If the largest connected region has the probability to become a face, then it will open a new form with the largest connected region. If the largest connected regions height & width is larger or equal than 50 and the ratio of height/width is between 1 to 2, then it may be face.

Pic-2.PNG
Face Detection
For face detection, first we convert binary image from RGB image. For converting binary image, we calculate the average value of RGB for each pixel and if the average value is below than 110, we replace it by black pixel and otherwise we replace it by white pixel. By this method, we get a binary image from RGB image.

pic-10.PNG
Then, we try to find the forehead from the binary image. We start scan from the middle of the image, then want to find a continuous white pixels after a continuous black pixel. Then we want to find the maximum width of the white pixel by searching vertical both left and right site. Then, if the new width is smaller half of the previous maximum width, then we break the scan because if we reach the eyebrow then this situation will arise. Then we cut the face from the starting position of the forehead and its high will be 1.5 multiply of its width.

pic-11.PNG pic-12.PNG
In the figure, X will be equal to the maximum width of the forehead. Then we will have an image which will contain only eyes, nose and lip. Then we will cut the RGB image according to the binary image.

Eyes Detection
For eyes detection, we convert the RGB face to the binary face. Now, we consider the face width by W. We scan from the W/4 to (W-W/4) to find the middle position of the two eyes. The highest white continuous pixel along the height between the ranges is the middle position of the two eyes.

pic-13.PNG
Then we find the starting high or upper position of the two eyebrows by searching vertical. For left eye, we search w/8 to mid and for right eye we search mid to w – w/8. Here w is the width of the image and mid is the middle position of the two eyes. There may be some white pixels between the eyebrow and the eye. To make the eyebrow and eye connected, we place some continuous black pixels vertically from eyebrow to the eye. For left eye, the vertical black pixel-lines are placed in between mid/2 to mid/4 and for right eye the lines are in between mid+(w-mid)/ 4 to mid+3*(w-mid)/ 4 and height of the black pixel-lines are from the eyebrow starting height to (h- eyebrow starting position)/4. Here w is the width of the image and mid is the middle position of the two eyes and h is the height of the image. Then we find the lower position of the two eyes by searching black pixel vertically. For left eye, we search from the mid/4 to mid - mid/4 width. And for right eye, we search mid + (w-mid)/ 4 to mid+3*(w- mid)/ 4 width from image lower end to starting position of the eyebrow. Then we find the right side of the left eye by searching black pixel horizontally from the mid position to the starting position of black pixels in between the upper position and lower position of the left eye. And left side for right eye we search mid to the starting position of black pixels in between the upper position and lower position of right eye. The left side of the left eye is the starting width of the image and the right side of the right eye is the ending width of the image. Then we cut the upper position, lower position, left side and the right side of the two eyes from the RGB image.

pic-14.PNG
Lip Detection
For lip detection, we determine the lip box. And we consider that lip must be inside the lip box. So, first we determine the distance between the forehead and eyes. Then we add the distance with the lower height of the eye to determine the upper height of the box which will contain the lip. Now, the starting point of the box will be the ¼ position of the left eye box and ending point will be the ¾ position of the right eye box. And the ending height of the box will be the lower end of the face image. So, this box will contain only lip and may some part of the nose. Then we will cut the RGB image according the box.

pic-15.PNG
So, for detection eyes and lip, we only need to convert binary image from RGB image and some searching among the binary image.

pic-16.PNG
Apply Bezier Curve on Lip
In the lip box, there is lip and may be some part of nose. So, around the box there is skin color or the skin. So, we convert the skin pixel to white pixel and other pixel as black. We also find those pixels which are similar to skin pixels and convert them to white pixel. Here, if two pixels RGB values difference is less than or equal 10, then we called them similar pixel. Here, we use histogram for finding the distance between the lower average RGB value and higher average RGB value. If the distance is less than 70, then we use 7 for finding similar pixel and if the distance is getter than or equal 70 then we use 10 for finding similar pixel. So, the value for finding similar pixel depends on the quality of the image. If the image quality is high, we use 7 for finding similar pixel and if the image quality is low, we use 10.

pic-17.PNG
So, in the binary image, there are black regions on lip, nose and may some other little part which have a little different than skin color. Then we apply big connected region for finding the black region which contain lip in binary image. And we are sure that the big connected region is the lip because in the lip box, lip is the largest thing which is different than skin.

pic-18.PNG
Then we have to apply Bezier curve on the binary lip. For apply Bezier curve, we find the starting and ending pixel of the lip in horizontal. Then we draw two tangents on upper lip from the starting and ending pixel and also find two points on the tangent which is not the part of the lip. For the lower lip, we find two point similar process of the upper lip. We use Cubic Bezier curves for draw the Bezier curve of the lip. We draw two Bezier curve for the lip, one for upper lip and one for lower lip.

pic-19.PNG
Apply Bezier Curve on Eye
For apply Bezier curve on eyes, first we have to remove eyebrow from eye. For remove eyebrow, we search 1st continuous black pixel then continuous white pixel and then continuous black pixel from the binary image of the eye box. Then we remove the 1st continuous black pixel from the box and then we get the box which only contains the eye.

pic-20.PNG pic-21.PNG
Now, the eye box which contains only eye, has some skin or skin color around the box. So, we apply similar skin color like the lip for finding the region of eye. Then we apply big connect for finding the highest connected region and this is the eye because in the eye box, eye is the biggest thing which is not similar to the skin color.

pic-22.PNG pic-23.PNG
Then we apply the Bezier curve on the eye box, similar to the lip. Then we get the shape of the eye.

pic-24.PNG
Database and Training
In our database, there are two tables. One table “Person” is for storing the name of people and their index of 4 kinds of emotion which are stored in other table “Position”. In the “Position” table, for each index, there are 6 control points for lip Bezier curve, 6 control points for left eye Bezier curve, 6 control points for right eye Bezier curve, lip height and width, left eye height and width and right eye height and width. So, by this method, the program learns the emotion of the people.

pic-25.PNG
Emotion Detection
For emotion detection of an image, we have to find the Bezier curve of the lip, left eye and right eye. Then we convert each width of the Bezier curve to 100 and height according to its width. If the person’s emotion information is available in the database, then the program will match which emotion’s height is nearest the current height and the program will give the nearest emotion as output.

pic-26.PNG
If the person’s emotion information is not available in the database, then the program calculates the average height for each emotion in the database for all people and then get a decision according to the average height.

pic-27.PNG

ผลลัพธ์ (ไทย) 1:

ตรวจสอบอารมณ์มนุษย์จากภาพแนะนำรหัสนี้สามารถตรวจพบอารมณ์มนุษย์จากภาพ ครั้งแรก ใช้ภาพ แล้ว โดยแบ่งสีผิว ตรวจพบสีผิวมนุษย์ แล้วก็ตรวจพบใบหน้ามนุษย์ แล้ว ก็แยกตาและลิจากหน้า จากนั้น จะวาดเส้นโค้ง bezier สำหรับตาและริมฝีปาก จากนั้น จึงเปรียบเทียบเส้นโค้ง bezier ของดวงตาและริมฝีปากกับเส้นโค้ง bezier ของดวงตาและริมฝีปากที่เก็บอยู่ในฐานข้อมูล แล้วจะพบคำสาป bezier ที่ใกล้ที่สุดจากฐานข้อมูล และให้อารมณ์ที่เส้นโค้ง bezier เก็บฐานข้อมูลเป็นอารมณ์รูปนี้การทำงานหรือไม่แบ่งสีผิวการแบ่งสีผิว ก่อนเราความคมชัดภาพ เราดำเนินการแบ่งสีผิวรูปภาพ-1.PNGจากนั้น เราต้องค้นหาเชื่อมต่อภูมิภาคที่ใหญ่ที่สุด แล้ว เราต้องตรวจสอบความเป็นไปได้จะกลายเป็น ใบหน้าของภูมิภาคที่ใหญ่ที่สุดเชื่อมต่อ ถ้าเชื่อมต่อภูมิภาคที่ใหญ่ที่สุดมีความเป็นไปได้จะกลายเป็น ใบหน้า แล้วมันจะเปิดแบบฟอร์มใหม่ในภูมิภาคที่เชื่อมต่อที่ใหญ่ที่สุด ถ้าเชื่อมต่อภูมิภาคความสูง และความกว้างจะเท่า หรือใหญ่กว่า 50 และอัตราส่วนของความสูง/ความกว้างอยู่ระหว่าง 1-2 มันอาจจะหน้ารูปภาพ-2.PNGตรวจจับใบหน้าสำหรับการตรวจจับใบหน้า เราแปลงภาพไบนารีจากภาพ RGB สำหรับการแปลงรูปแบบไบนารี เราคำนวณค่าเฉลี่ยของ RGB แต่ละพิกเซล และถ้าค่าเฉลี่ยไม่ต่ำกว่า 110 เราแทนพิกเซลสีดำมิฉะนั้น เราแทนพิกเซลสีขาว โดยวิธีนี้ เรารับรูปแบบไบนารีจากภาพ RGBรูปภาพ-10PNGจากนั้น เราพยายามหาหน้าผากจากภาพไบนารี เราเริ่มสแกนจากกลางภาพ นั้นต้องการค้นหาพิกเซลสีขาวต่อเนื่องหลังจากพิกเซลสีดำต่อเนื่อง แล้วเราต้องการหาความกว้างสูงสุดของพิกเซลสีขาว โดยการค้นหาแนวตั้งไซต์ทั้งซ้าย และขวา แล้ว ถ้าความกว้างใหม่ เล็กกว่าครึ่งของความกว้างสูงสุดก่อนหน้านี้ แล้วเราแบ่งการสแกนเนื่องจากถ้าเราเข้าคิ้ว แล้วสถานการณ์นี้จะเกิดขึ้น แล้วเราตัดหน้าจากตำแหน่งเริ่มต้นของหน้าผาก และจะ 1.5 ของความกว้างคูณความสูงรูปภาพ-11รูปภาพ PNG-12PNGในภาพ X จะเท่ากับความกว้างสูงสุดของหน้าผาก แล้ว เราจะมีรูปภาพซึ่งจะประกอบด้วยเฉพาะตา จมูก และลิ แล้ว เราจะตัดภาพ RGB ตามรูปแบบไบนารีตรวจตาตรวจตา เราแปลงหน้าเปลี่ยนไปหน้าไบนารี ตอนนี้ เราพิจารณาความกว้างของใบหน้า โดย W. เราสแกนจาก W/4 (W-W/4) หาตำแหน่งกึ่งกลางของตาทั้งสอง เซลสีขาวต่อเนื่องสูงตามความสูงระหว่างช่วงเป็นตำแหน่งกึ่งกลางของตาทั้งสองรูปภาพ-13PNGแล้ว เราหาตำแหน่งเริ่มต้นสูง หรือบนคิ้วสองโดยค้นหาแนวตั้ง สำหรับตาซ้าย เราค้นหา w/8 ไปกลาง และสำหรับตาขวา เราค้นกลางกับ w-w/8 นี่ w คือ ความกว้าง ของรูป และกลางคือ ตำแหน่งกึ่งกลางของตาทั้งสอง อาจมีบางพิกเซลสีขาวระหว่างคิ้วและตา จะทำให้คิ้วและตาเชื่อม เราทำบางอย่างต่อเนื่องดำพิกเซลในแนวตั้งจากคิ้วตา สำหรับตาซ้าย บรรทัดแนวตั้งสีดำพิกเซลอยู่ในระหว่าง กลาง/2 กลาง/4 และตาขวาที่บรรทัดอยู่ระหว่าง mid+(w-mid) / 4 ไป mid+3*(w-mid) 4 และความสูงของเซลเส้นสีดำได้จากคิ้วที่เริ่มต้นความสูง (h-คิ้วเริ่มต้นตำแหน่ง) / 4 ที่นี่ w คือ ความกว้างของรูปภาพ และกลางคือ ตำแหน่งกึ่งกลางของตาทั้งสอง และ h คือ ความสูงของภาพ แล้ว เราหาตำแหน่งล่างของตาสอง โดยค้นหาพิกเซลสีดำในแนวตั้ง สำหรับตาซ้าย เราค้นหาตัว กลาง/4 กลาง - กลาง/4 ความกว้าง และสำหรับตาขวา เราค้นกลาง + (w-กลาง) / 4 เป็นกลาง + 3 *(w-mid) / 4 ความกว้างจากภาพล่างสุดเพื่อเริ่มต้นตำแหน่งของคิ้ว แล้ว เราพบตาซ้ายขวา โดยการค้นหาพิกเซลสีดำจากตำแหน่งกลางในแนวนอนไปยังตำแหน่งเริ่มต้นของพิกเซลสีดำระหว่างตำแหน่งบนและล่างตำแหน่งของตาซ้าย และด้านซ้ายข้างในตาขวาเราค้นหากลางไปยังตำแหน่งเริ่มต้นของพิกเซลสีดำระหว่างตำแหน่งบนและล่างตำแหน่งของตาขวา ความกว้างเริ่มต้นของรูปคือด้านซ้ายของตาซ้าย และขวาของตาขวาคือ ความกว้างที่สิ้นสุดของรูป แล้ว เราตัดตำแหน่งบน ล่างตำแหน่ง ด้านซ้ายด้านข้างและด้านขวาของตาสองจากภาพ RGBpic-14.PNGLip DetectionFor lip detection, we determine the lip box. And we consider that lip must be inside the lip box. So, first we determine the distance between the forehead and eyes. Then we add the distance with the lower height of the eye to determine the upper height of the box which will contain the lip. Now, the starting point of the box will be the ¼ position of the left eye box and ending point will be the ¾ position of the right eye box. And the ending height of the box will be the lower end of the face image. So, this box will contain only lip and may some part of the nose. Then we will cut the RGB image according the box.pic-15.PNGSo, for detection eyes and lip, we only need to convert binary image from RGB image and some searching among the binary image.pic-16.PNGApply Bezier Curve on LipIn the lip box, there is lip and may be some part of nose. So, around the box there is skin color or the skin. So, we convert the skin pixel to white pixel and other pixel as black. We also find those pixels which are similar to skin pixels and convert them to white pixel. Here, if two pixels RGB values difference is less than or equal 10, then we called them similar pixel. Here, we use histogram for finding the distance between the lower average RGB value and higher average RGB value. If the distance is less than 70, then we use 7 for finding similar pixel and if the distance is getter than or equal 70 then we use 10 for finding similar pixel. So, the value for finding similar pixel depends on the quality of the image. If the image quality is high, we use 7 for finding similar pixel and if the image quality is low, we use 10.pic-17.PNGSo, in the binary image, there are black regions on lip, nose and may some other little part which have a little different than skin color. Then we apply big connected region for finding the black region which contain lip in binary image. And we are sure that the big connected region is the lip because in the lip box, lip is the largest thing which is different than skin.pic-18.PNGThen we have to apply Bezier curve on the binary lip. For apply Bezier curve, we find the starting and ending pixel of the lip in horizontal. Then we draw two tangents on upper lip from the starting and ending pixel and also find two points on the tangent which is not the part of the lip. For the lower lip, we find two point similar process of the upper lip. We use Cubic Bezier curves for draw the Bezier curve of the lip. We draw two Bezier curve for the lip, one for upper lip and one for lower lip.
pic-19.PNG
Apply Bezier Curve on Eye
For apply Bezier curve on eyes, first we have to remove eyebrow from eye. For remove eyebrow, we search 1st continuous black pixel then continuous white pixel and then continuous black pixel from the binary image of the eye box. Then we remove the 1st continuous black pixel from the box and then we get the box which only contains the eye.

pic-20.PNG pic-21.PNG
Now, the eye box which contains only eye, has some skin or skin color around the box. So, we apply similar skin color like the lip for finding the region of eye. Then we apply big connect for finding the highest connected region and this is the eye because in the eye box, eye is the biggest thing which is not similar to the skin color.

pic-22.PNG pic-23.PNG
Then we apply the Bezier curve on the eye box, similar to the lip. Then we get the shape of the eye.

pic-24.PNG
Database and Training
In our database, there are two tables. One table “Person” is for storing the name of people and their index of 4 kinds of emotion which are stored in other table “Position”. In the “Position” table, for each index, there are 6 control points for lip Bezier curve, 6 control points for left eye Bezier curve, 6 control points for right eye Bezier curve, lip height and width, left eye height and width and right eye height and width. So, by this method, the program learns the emotion of the people.

pic-25.PNG
Emotion Detection
For emotion detection of an image, we have to find the Bezier curve of the lip, left eye and right eye. Then we convert each width of the Bezier curve to 100 and height according to its width. If the person’s emotion information is available in the database, then the program will match which emotion’s height is nearest the current height and the program will give the nearest emotion as output.

pic-26.PNG
If the person’s emotion information is not available in the database, then the program calculates the average height for each emotion in the database for all people and then get a decision according to the average height.

pic-27.PNG

ผลลัพธ์ (ไทย) 2:

การตรวจจับอารมณ์มนุษย์จากภาพ
เบื้องต้น
รหัสนี้สามารถตรวจจับอารมณ์ของมนุษย์จากภาพ ครั้งแรกก็จะใช้เวลาภาพแล้วโดยการแบ่งส่วนสีผิวก็จะตรวจจับสีผิวของมนุษย์แล้วมันตรวจจับใบหน้าของมนุษย์ จากนั้นก็จะแยกดวงตาและริมฝีปากจากใบหน้า จากนั้นก็จะดึงเส้นโค้งเบซิเยตาและริมฝีปาก จากนั้นก็จะเปรียบเทียบเส้นโค้ง Bezier ของดวงตาและริมฝีปากจะโค้ง Bezier ของดวงตาและริมฝีปากที่ถูกเก็บไว้ในฐานข้อมูล จากนั้นก็จะพบว่าคำสาปแช่ง Bezier ที่ใกล้ที่สุดจากฐานข้อมูลและให้ว่าฐานข้อมูลที่เก็บอารมณ์โค้งเบซิเยร์เป็นอารมณ์ภาพนี้. วิธีการทำงานหรือไม่แบ่งกลุ่มผิวสีสำหรับการแบ่งส่วนสีผิวแรกที่เราให้ภาพคมชัด จากนั้นเราก็ดำเนินการแบ่งส่วนสีผิว. Pic-1.PNG จากนั้นเราต้องไปหาใหญ่ที่สุดในภูมิภาคที่เชื่อมต่อ จากนั้นเราก็มีการตรวจสอบความเป็นไปได้ที่จะกลายเป็นใบหน้าของภูมิภาคที่ใหญ่ที่สุดในการเชื่อมต่อ หากพื้นที่ที่ใหญ่ที่สุดในการเชื่อมต่อมีความน่าจะเป็นที่จะกลายเป็นใบหน้าแล้วมันจะเปิดรูปแบบใหม่ที่มีการเชื่อมต่อภูมิภาคที่ใหญ่ที่สุด ถ้าภูมิภาคที่ใหญ่ที่สุดในการเชื่อมต่อความสูงและความกว้างมีขนาดใหญ่กว่าหรือเท่ากับ 50 และอัตราส่วนของความสูง / ความกว้างอยู่ระหว่าง 1-2 แล้วมันอาจจะเป็นใบหน้า. Pic-2.PNG มีระบบ Face Detection สำหรับการตรวจหาใบหน้าแรกที่เราแปลงภาพไบนารีจาก ภาพ RGB สำหรับการแปลงภาพไบนารีเราคำนวณค่าเฉลี่ยของ RGB สำหรับแต่ละพิกเซลและถ้าค่าเฉลี่ยอยู่ที่ด้านล่างกว่า 110 เราแทนที่โดยพิกเซลสีดำและอื่น ๆ เราแทนที่โดยพิกเซลสีขาว โดยวิธีการนี้เราได้รับภาพไบนารีจากภาพ RGB. pic-10.png จากนั้นเราพยายามที่จะหาหน้าผากจากภาพไบนารี เราเริ่มต้นการสแกนจากตรงกลางของภาพแล้วต้องการที่จะหาพิกเซลสีขาวอย่างต่อเนื่องหลังจากพิกเซลสีดำอย่างต่อเนื่อง จากนั้นเราก็ต้องการที่จะหาความกว้างสูงสุดของพิกเซลสีขาวโดยการค้นหาแนวตั้งทั้งด้านซ้ายและขวาเว็บไซต์ แล้วถ้าความกว้างของใหม่เป็นครึ่งหนึ่งของขนาดเล็กที่มีความกว้างสูงสุดก่อนหน้านี้แล้วเราทำลายสแกนเพราะถ้าเราไปถึงคิ้วแล้วสถานการณ์เช่นนี้จะเกิดขึ้น จากนั้นเราตัดใบหน้าจากตำแหน่งเริ่มต้นของหน้าผากและสูงของมันจะเป็น 1.5 คูณของความกว้างของมัน. pic-11.png pic-12.png ในรูป, X จะเท่ากับความกว้างสูงสุดของหน้าผาก จากนั้นเราก็จะมีภาพซึ่งจะมีดวงตาเพียงจมูกและริมฝีปาก จากนั้นเราจะตัดภาพ RGB ตามภาพไบนารี. ตรวจจับดวงตาสำหรับการตรวจจับสายตาของเราแปลงใบหน้า RGB เพื่อใบหน้าไบนารี ตอนนี้เราพิจารณาความกว้างของใบหน้าโดย W. เราสแกนจาก W / 4 (WW ​​/ 4) เพื่อหาตำแหน่งที่ตรงกลางของสองตา พิกเซลสีขาวสูงสุดอย่างต่อเนื่องตามความสูงระหว่างช่วงที่เป็นตำแหน่งตรงกลางของสองตา. pic-13.png แล้วเราหาตำแหน่งที่สูงหรือบนเริ่มต้นของทั้งสองคิ้วโดยการค้นหาแนวตั้ง สำหรับตาซ้าย, เราค้นหา w / 8 ถึงกลางเดือนและตาขวาของเราค้นหากลางถึง w - w / 8 นี่ W คือความกว้างของภาพและกลางเป็นตำแหน่งตรงกลางของสองตา อาจจะมีบางพิกเซลสีขาวระหว่างคิ้วและตา เพื่อให้คิ้วและตาที่เชื่อมต่อเราวางพิกเซลสีดำบางอย่างต่อเนื่องในแนวตั้งจากคิ้วตา สำหรับตาซ้าย, แนวตั้งสีดำพิกเซลสายจะอยู่ในระหว่างกลางเดือน / 2 ถึงกลางเดือน / 4 และตาขวาของเส้นที่อยู่ในระหว่างกลางเดือน + (กกลาง) / 4 ถึงกลางเดือน + 3 * (กกลาง) / 4 และความสูงของพิกเซลสีดำเส้นมาจากความสูงเริ่มต้นคิ้วไปที่ (H- คิ้วตำแหน่งเริ่มต้น) / 4 นี่ W คือความกว้างของภาพและกลางเป็นตำแหน่งกลางของทั้งสองตาและ h คือความสูงของภาพ จากนั้นเราจะหาตำแหน่งที่ต่ำกว่าของดวงตาทั้งสองข้างโดยการค้นหาพิกเซลสีดำแนวตั้ง สำหรับตาซ้าย, เราค้นหาจากกลาง / 4 ถึงกลาง - กลาง / 4 ความกว้าง และสำหรับตาขวาของเราค้นหากลาง + (กกลาง) / 4 ถึงกลางเดือน + 3 * (w- กลาง) / 4 ความกว้างจากภาพล่างสุดไปที่ตำแหน่งเริ่มต้นของคิ้ว จากนั้นเราจะพบทางด้านขวาของตาซ้ายโดยการค้นหาพิกเซลสีดำในแนวนอนจากตำแหน่งกลางถึงตำแหน่งเริ่มต้นของพิกเซลสีดำในระหว่างตำแหน่งบนและตำแหน่งที่ต่ำกว่าของตาซ้าย และด้านซ้ายสำหรับตาขวาของเราค้นหากลางไปที่ตำแหน่งเริ่มต้นของพิกเซลสีดำในระหว่างอยู่ในตำแหน่งด้านบนและด้านล่างของตำแหน่งที่ตาขวา ด้านซ้ายของตาซ้ายเป็นความกว้างเริ่มต้นของภาพและด้านขวาของตาขวาจะจบความกว้างของภาพ จากนั้นเราตัดตำแหน่งบนตำแหน่งที่ต่ำกว่าด้านซ้ายและด้านขวาของดวงตาทั้งสองข้างจากภาพ RGB. pic-14.png ตรวจจับปากสำหรับการตรวจจับริมฝีปากเราตรวจสอบกล่องริมฝีปาก และเราพิจารณาว่าริมฝีปากจะต้องเป็นภายในกล่องริมฝีปาก ดังนั้นก่อนที่เรากำหนดระยะห่างระหว่างหน้าผากและดวงตา จากนั้นเราจะเพิ่มระยะทางที่มีความสูงต่ำของตาในการกำหนดความสูงบนของกล่องซึ่งจะมีริมฝีปาก ตอนนี้จุดเริ่มต้นของกล่องจะเป็นตำแหน่ง¼ของช่องตาซ้ายและจุดสิ้นสุดจะเป็นตำแหน่ง¾ของกล่องตาขวา และความสูงที่สิ้นสุดของกล่องจะเป็นระดับล่างสุดของภาพใบหน้า ดังนั้นช่องนี้จะมีริมฝีปากเท่านั้นและอาจเป็นส่วนหนึ่งของจมูกบาง จากนั้นเราจะตัดภาพ RGB ตามกล่อง. pic-15.png ดังนั้นสำหรับดวงตาตรวจสอบและริมฝีปากเราจะต้องแปลงภาพไบนารีจากภาพ RGB และการค้นหาในหมู่ภาพไบนารีบาง. pic-16.png สมัคร Bezier Curve ในปากในช่องปากมีริมฝีปากและอาจเป็นส่วนหนึ่งของจมูกบาง ดังนั้นรอบกล่องมีสีผิวหรือผิว ดังนั้นเราแปลงพิกเซลผิวเพื่อพิกเซลสีขาวและพิกเซลอื่น ๆ ที่เป็นสีดำ นอกจากนี้เรายังพบว่าพิกเซลเหล่านั้นซึ่งมีความคล้ายคลึงกับพิกเซลผิวและแปลงให้เป็นพิกเซลสีขาว นี่ถ้าสองพิกเซล RGB ความแตกต่างค่าน้อยกว่าหรือเท่ากับ 10 แล้วเราเรียกพวกเขาพิกเซลที่คล้ายกัน ที่นี่เราใช้ histogram สำหรับการหาระยะทางระหว่างที่ต่ำกว่าค่า RGB เฉลี่ยและค่า RGB เฉลี่ยที่สูงขึ้น หากระยะทางน้อยกว่า 70 แล้วเราจะใช้ 7 สำหรับการหาพิกเซลที่คล้ายกันและหากระยะทางที่ทะเยอทะยานกว่าหรือเท่ากับ 70 แล้วเราจะใช้ 10 สำหรับการหาพิกเซลที่คล้ายกัน ดังนั้นค่าสำหรับการหาพิกเซลที่คล้ายกันขึ้นอยู่กับคุณภาพของภาพ หากภาพที่มีคุณภาพสูงที่เราใช้ 7 สำหรับการหาพิกเซลที่คล้ายกันและถ้าคุณภาพของภาพที่อยู่ในระดับต่ำที่เราใช้ 10. pic-17.png ดังนั้นในภาพไบนารีมีภูมิภาคสีดำบนริมฝีปากจมูกและอาจอื่น ๆ บาง ส่วนเล็ก ๆ น้อย ๆ ที่มีเล็ก ๆ น้อย ๆ ที่แตกต่างจากสีผิว จากนั้นเราก็ใช้พื้นที่ขนาดใหญ่ที่เชื่อมต่อในการหาพื้นที่สีดำที่มีริมฝีปากในภาพไบนารี และเรามั่นใจว่าว่าพื้นที่ขนาดใหญ่ที่เชื่อมต่อเป็นริมฝีปากเพราะในช่องปากและริมฝีปากเป็นสิ่งที่ใหญ่ที่สุดซึ่งแตกต่างจากผิว. pic-18.png แล้วเราต้องใช้เส้นโค้ง Bezier บนริมฝีปากไบนารี สำหรับใช้เส้นโค้ง Bezier เราพบว่าเริ่มต้นและสิ้นสุดของพิกเซลในแนวนอนริมฝีปาก จากนั้นเราก็วาดสอง tangents บนริมฝีปากบนจากเริ่มต้นและสิ้นสุดพิกเซลและยังพบจุดสองจุดบนสัมผัสกันซึ่งไม่ได้เป็นส่วนหนึ่งของริมฝีปาก สำหรับริมฝีปากล่างเราจะพบสองจุดกระบวนการที่คล้ายกันของริมฝีปากบน เราใช้เส้นโค้ง Bezier Cubic สำหรับวาดเส้นโค้ง Bezier ของริมฝีปาก เราวาดสองเส้นโค้ง Bezier สำหรับริมฝีปากหนึ่งสำหรับริมฝีปากบนและสำหรับริมฝีปากล่าง. pic-19.png สมัคร Bezier Curve ในตาสำหรับใช้เส้นโค้ง Bezier ในสายตาแรกที่เราต้องลบคิ้วจากตา สำหรับคิ้วลบ, เราค้นหาพิกเซลสีดำ 1 อย่างต่อเนื่องจากนั้นพิกเซลสีขาวอย่างต่อเนื่องและจากนั้นพิกเซลสีดำอย่างต่อเนื่องจากภาพไบนารีของช่องตา จากนั้นเราก็เอาพิกเซลสีดำ 1 ต่อเนื่องมาจากกล่องและจากนั้นเราได้รับกล่องซึ่งมีเพียงตา. pic-20.png pic-21.png ตอนนี้กล่องตาซึ่งมีตาเพียง แต่มีผิวหนังบางส่วนกับสีผิวรอบ กล่อง ดังนั้นเราจึงใช้สีผิวริมฝีปากที่คล้ายกันเช่นการหาพื้นที่ของตา จากนั้นเราก็ใช้ขนาดใหญ่เชื่อมต่อสำหรับการหาพื้นที่ที่เชื่อมต่อสูงสุดและนี่คือตาเพราะในกล่องตาตาเป็นสิ่งที่ใหญ่ที่สุดที่ไม่คล้ายกับสีผิว. pic-22.png pic-23.PNG แล้วเราใช้ เส้นโค้ง Bezier บนกล่องตาคล้ายกับริมฝีปาก จากนั้นเราจะได้รูปทรงของตา. pic-24.png ฐานข้อมูลและการฝึกอบรมในฐานข้อมูลของเรามีสองตารางมี ตารางหนึ่ง "คน" เป็นสำหรับการจัดเก็บชื่อของผู้คนและดัชนีของพวกเขาจาก 4 ชนิดของอารมณ์ความรู้สึกที่ถูกเก็บไว้ในตารางอื่น ๆ "ตำแหน่ง" ใน "ตำแหน่ง" ตารางสำหรับดัชนีแต่ละมี 6 จุดควบคุมสำหรับริมฝีปากโค้ง Bezier, 6 จุดควบคุมสำหรับตาซ้ายโค้ง Bezier, 6 จุดควบคุมสำหรับตาขวาโค้ง Bezier สูงริมฝีปากและความกว้างความสูงตาซ้ายและความกว้างและความ ความสูงของตาขวาและความกว้าง ดังนั้นโดยวิธีการนี้โปรแกรมเรียนรู้อารมณ์ความรู้สึกของผู้คน. pic-25.PNG อารมณ์การตรวจสอบสำหรับการตรวจจับอารมณ์ของภาพที่เราต้องไปหาเส้นโค้ง Bezier ของริมฝีปากตาซ้ายและตาขวา จากนั้นเราก็แปลงแต่ละความกว้างของเส้นโค้ง Bezier ถึง 100 และความสูงตามความกว้างของมัน หากข้อมูลอารมณ์ความรู้สึกของคนที่มีอยู่ในฐานข้อมูลแล้วโปรแกรมจะตรงกับที่ความสูงของอารมณ์ความรู้สึกเป็นที่ใกล้ที่สุดอยู่สูงในปัจจุบันและโปรแกรมจะให้อารมณ์ความรู้สึกที่ใกล้เคียงที่สุดเป็นผลผลิต. pic-26.PNG หากข้อมูลอารมณ์ความรู้สึกของบุคคลนั้นไม่สามารถใช้ได้ใน ฐานข้อมูลแล้วโปรแกรมจะคำนวณความสูงเฉลี่ยสำหรับแต่ละอารมณ์ในฐานข้อมูลสำหรับทุกคนแล้วได้รับการตัดสินใจที่เป็นไปตามความสูงเฉลี่ย. pic-27.png

ผลลัพธ์ (ไทย) 3:

ตรวจจับอารมณ์ของมนุษย์จากภาพ

แนะนำรหัสนี้สามารถตรวจจับอารมณ์ของมนุษย์จากภาพ ก่อนจะใช้ภาพนั้นโดยการแบ่งสีผิวมันตรวจจับสีผิวของมนุษย์ ตรวจจับใบหน้าของมนุษย์ แล้วมันแยกตา&ลิปจากใบหน้า แล้วมันวาดเส้นโค้ง Bezier สำหรับดวงตา&ริมฝีปากจากนั้นก็เปรียบเทียบเส้นโค้ง Bezier ของดวงตาและริมฝีปากกับตา&เส้นโค้ง Bezier ริมฝีปากที่ถูกเก็บไว้ในฐานข้อมูล แล้วมันหาที่ใกล้ที่สุด Bezier คำสาปจากฐานข้อมูล&ให้ฐานข้อมูลที่เก็บเป็นเส้นโค้ง Bezier อารมณ์ภาพอารมณ์แบบนี้

มันทำงานอย่างไร

แบ่งสีผิว แบ่งสีผิวก่อนเราความคมชัดของภาพ เราก็ทำการแบ่งสีผิว

pic-1 . png
แล้ว เราต้องหาที่ใหญ่ที่สุดที่เชื่อมต่อภูมิภาค แล้วเราต้องตรวจสอบความเป็นไปได้ที่จะกลายเป็นใบหน้าที่ใหญ่ที่สุดที่เชื่อมต่อภูมิภาค ถ้าเชื่อมต่อภูมิภาคที่ใหญ่ที่สุดมีความน่าจะเป็นที่จะกลายเป็นหน้าก็จะเปิดรูปแบบใหม่กับที่ใหญ่ที่สุดที่เชื่อมต่อภูมิภาคถ้าเชื่อมต่อภูมิภาคที่ใหญ่ที่สุด ความกว้าง ความสูง&มากกว่าหรือเท่ากับ 50 และอัตราส่วนความกว้าง / ความสูงระหว่าง 1 กับ 2 แล้วมันอาจจะหน้า

pic-2 .

สำหรับตรวจจับใบหน้า Face Detection ผลแรกเราแปลงภาพไบนารีจาก RGB ภาพ สำหรับการแปลงภาพไบนารี เราคำนวณค่าเฉลี่ยของ RGB สำหรับแต่ละพิกเซล และถ้าค่าเฉลี่ยคือต่ำกว่า 110เราแทนที่โดยพิกเซลสีดำมิฉะนั้นเราแทนที่โดยพิกเซลสีขาว โดยวิธีนี้ เราเอาภาพไบนารีจาก RGB ภาพ

pic-10 . png
แล้วเราจะพยายามหาหน้าผากจากภาพไบนารี เราเริ่มสแกนจากตรงกลางของภาพ แล้วอยากหาที่พิกเซลพิกเซลสีดำสีขาวอย่างต่อเนื่องหลังอย่างต่อเนื่องแล้วเราต้องการที่จะพบความกว้างสูงสุดของพิกเซลสีขาวโดยการค้นหาแนวตั้งทั้งซ้ายและขวาของเว็บไซต์ ถ้าความกว้างใหม่มีขนาดเล็กครึ่งหนึ่งของความกว้างสูงสุดก่อนหน้านี้แล้ว เราแบ่งสแกนเพราะถ้าเราถึงคิ้วแล้ว สถานการณ์นี้จะเกิดขึ้น แล้วเราตัดหน้าจากตำแหน่งเริ่มต้นของหน้าผากและจะสูง 1.5 คูณความกว้าง


pic-11.png pic-12 . PNGในรูป x จะเท่ากับความกว้างสูงสุดของหน้าผาก เราก็จะได้ภาพซึ่งจะประกอบด้วยเฉพาะตา จมูก และ ริมฝีปาก แล้วเราจะตัดภาพ RGB ตามภาพไบนารี


ตาตรวจจับตรวจจับดวงตา เราแปลง RGB ใบหน้าเพื่อใบหน้าไบนารี ตอนนี้เราพิจารณาใบหน้ากว้างโดย เราสแกนจาก W / 4 ( w-w / 4 ) เพื่อหาตำแหน่งของทั้งสองตาขาวต่อเนื่องสูงสุดพิกเซลตามความสูง ระหว่างช่วงที่เป็นตำแหน่งของตาทั้งสอง

pic-13 . png
แล้วเราจะพบเริ่มสูง หรือ บนตำแหน่งของสองคิ้ว โดยการค้นหาตามแนวตั้ง สำหรับตาซ้าย เราค้นหา w / 8 กลาง และตาขวา เราค้นหา - W ) W / 8 ที่นี่ w คือความกว้างของภาพและกลางเป็นตำแหน่งกลางของทั้งสองตาอาจจะมีบางสีขาวพิกเซลระหว่างคิ้วและตา เพื่อให้คิ้วและตาติดต่อเราสถานที่พิกเซลสีดำบางอย่างต่อเนื่องแนวตั้งจากคิ้วกับตา สำหรับตาซ้าย ,พิกเซลแนวตั้งสีดำเส้นวางอยู่ระหว่างกลางกับกลาง / 2 / 4 และสำหรับตาขวา เส้นระหว่างกลาง ( w-mid ) / 4 กลาง 3 * ( w-mid ) / 4 และความสูงของบรรทัดของพิกเซลสีดำคิ้วเริ่มจากความสูง ( H - คิ้วเริ่มตำแหน่ง ) / 4 ที่นี่ w คือความกว้างของภาพและกลางคือตำแหน่งของตาทั้งสองข้าง และ h คือความสูงของภาพแล้วเราจะพบลดตำแหน่งของตาทั้งสอง โดยค้นหาพิกเซลสีดำแนวตั้ง สำหรับตาซ้าย เราค้นหาจากกลาง / 4 ถึงกลาง - กลาง / 4 ความกว้าง และตาขวาเราค้นหากลาง ( w-mid ) / 4 กลาง 3 * ( w - กลาง ) / 4 ภาพความกว้างจากปลายล่างจะเริ่มตำแหน่งของคิ้วแล้วเราพบว่าด้านขวาของตาซ้าย โดยค้นหาพิกเซลสีดำแนวนอนจากตำแหน่งกลางไปยังตำแหน่งเริ่มต้นของพิกเซลสีดำระหว่างตำแหน่งบนและล่างของตำแหน่งที่ตาซ้าย และ ด้านซ้ายสำหรับตาขวาเราค้นหากลางไปยังตำแหน่งเริ่มต้นของพิกเซลสีดำระหว่างตำแหน่งบนและล่างขวาตำแหน่งของตาด้านซ้ายของตาซ้ายเป็นเริ่มต้นความกว้างของภาพและด้านขวาของตาขวาคือตอนจบ ความกว้างของภาพ แล้วเราตัดบนตำแหน่ง ตำแหน่งล่าง ด้านซ้ายและด้านขวาของดวงตาสองจากภาพ RGB .

pic-14 .

สำหรับตรวจจับตรวจจับการลิปปากริมฝีปากเราตรวจสอบกล่อง และเราพิจารณาว่า ลิป ลิปต้องอยู่ภายในกล่อง ดังนั้นครั้งแรกที่เรากำหนดระยะห่างระหว่างหน้าผากและดวงตา แล้วเราก็เติมกับระยะทางลดความสูงของตาเพื่อตรวจสอบความสูงด้านบนของกล่องซึ่งจะประกอบด้วยปาก ตอนนี้ จุดเริ่มต้นของกล่องจะเป็นตำแหน่ง¼ของกล่อง ( ตาซ้าย ) และสิ้นสุดที่จุดจะเป็นตำแหน่ง¾ของกล่องที่ตาขวาสิ้นสุดและความสูงของกล่องจะเป็นปลายล่างของภาพใบหน้า แล้วกล่องนี้จะมีปากเท่านั้น และอาจเป็นส่วนหนึ่งของจมูก แล้วเราจะตัดภาพ RGB ตามกล่อง

pic-15 . png
ดังนั้น ตาการตรวจจับและริมฝีปาก เราเพียง แต่ต้องแปลงภาพไบนารีจาก RGB ภาพและการค้นหาในรูปแบบไบนารี

pic-16 . png ใช้เส้นโค้ง Bezier

ในริมฝีปากบนปากกล่องมีริมฝีปากและอาจจะบางส่วนของจมูก ดังนั้น รอบกล่องมีสีผิวหรือผิว ดังนั้น เราแปลงพิกเซลพิกเซลพิกเซลเพื่อผิวขาวเป็นดำ เรายังหาพิกเซลซึ่งคล้ายกับเซลผิวหนัง และแปลงพิกเซลสีขาว นี่ถ้าสองพิกเซล RGB ค่าความแตกต่างน้อยกว่าหรือเท่ากับ 10 แล้วเราเรียกว่าพิกเซลที่คล้ายคลึงกัน ที่นี่เราใช้กราฟเพื่อหาระยะห่างระหว่าง RGB และต่ำกว่าค่าเฉลี่ยที่สูงเฉลี่ย RGB ค่า ถ้าระยะต่ำกว่า 70 แล้วเราใช้ 7 สำหรับการค้นหาที่คล้ายกันพิกเซล และถ้าระยะทางเป็นเก็ตเตอร์มากกว่าหรือเท่ากับ 70 แล้วเราใช้ 10 สำหรับการค้นหาพิกเซลที่คล้ายคลึงกัน ดังนั้น ค่าสำหรับการค้นหาพิกเซลที่คล้ายกันขึ้นอยู่กับคุณภาพของภาพ ถ้าคุณภาพของภาพสูงเราใช้ 7 สำหรับการค้นหาที่คล้ายกันพิกเซล และถ้าคุณภาพของภาพต่ำ เราใช้ 10 .

pic-17 . png
ดังนั้นในสภาพไบนารี มีพื้นที่สีดำบนริมฝีปาก จมูก และอาจอื่น ๆบาง ๆส่วนที่แตกต่างกันเล็กน้อยกว่าสีผิว จากนั้นเราใช้ขนาดใหญ่ที่เชื่อมต่อภูมิภาคที่หาสีดำซึ่งประกอบด้วยลิปในรูปไบนารีและเราแน่ใจว่าเชื่อมต่อเขตใหญ่เป็นริมฝีปาก เพราะในกล่อง ลิป ลิปมันที่ใหญ่ที่สุดในสิ่งซึ่งแตกต่างจากผิว

pic-18 . png
แล้วเราต้องใช้เส้นโค้ง Bezier บนริมฝีปากไบนารี การใช้เส้นโค้ง Bezier เราหาที่เริ่มต้นและสิ้นสุดของลิปพิกเซลในแนวนอนเราก็วาดรูปในบนริมฝีปากบน จากการเริ่มต้นและสิ้นสุด พิกเซล และยังพบจุดสองจุดบน tangent ซึ่งไม่ใช่ส่วนหนึ่งของริมฝีปาก สำหรับริมฝีปากล่าง เราพบสองจุดที่คล้ายกันกระบวนการของริมฝีปากบน เราใช้เส้นโค้ง Bezier ลูกบาศก์เพื่อวาดเส้นโค้ง Bezier ของริมฝีปาก เราวาดสองเส้นโค้ง Bezier สำหรับริมฝีปากเพื่อริมฝีปากบนและริมฝีปากล่าง 1 .


pic-19 . PNGใช้เส้นโค้ง Bezier สำหรับใช้เส้นโค้ง Bezier
ตา ตาแรก เราต้องลบคิ้วจากตา สำหรับลบคิ้ว เราค้นหา 1 พิกเซลพิกเซลสีดำสีขาวต่อเนื่องแล้วอย่างต่อเนื่องและอย่างต่อเนื่องดำพิกเซลจากภาพไบนารีของตากล่อง เราก็เอา 1 พิกเซลอย่างต่อเนื่องสีดำจากกล่อง แล้วเราเอากล่องซึ่งมีเพียงสายตา

pic-20.png pic-21 . png
ตอนนี้ตากล่องซึ่งมีเพียงตา มีผิวหนังหรือสีผิวรอบกล่อง ดังนั้น เราใช้เหมือนผิวสีเหมือนปากเพื่อหาขอบเขตของสายตา จากนั้นเราใช้ขนาดใหญ่เชื่อมต่อสำหรับการเชื่อมต่อสูงสุด เขตนี้เป็นตาเพราะตาล่อง ตาเป็นสิ่งสำคัญซึ่งไม่ใกล้เคียงกับสีผิว pic-23 PNG


pic-22.png .จากนั้นเราใช้เส้นโค้ง Bezier ขอบตาบนกล่องคล้ายริมฝีปาก แล้วเราจะได้รูปร่างของตา

pic-24 ฐานข้อมูลผล

และการฝึกอบรมในฐานข้อมูลของเรามีโต๊ะสองโต๊ะ ตารางที่ " คน " คือสำหรับการจัดเก็บชื่อของผู้คนและดัชนีของ 4 ชนิดของอารมณ์ซึ่งจะถูกเก็บไว้ในโต๊ะ " ตำแหน่ง " ใน " ตำแหน่ง " ตารางสำหรับแต่ละดัชนีมี 6 จุดควบคุมปากเส้นโค้ง Bezier , 6 จุดควบคุมเส้นโค้ง Bezier สำหรับตาซ้ายตาขวา 6 จุดควบคุมเส้นโค้ง Bezier ความสูงและความกว้าง ความสูง ริมฝีปาก , ตาซ้ายและตาขวาความกว้างและความสูงและความกว้าง ดังนั้น , โดยวิธีนี้ , โปรแกรมเรียนรู้อารมณ์ของคน

pic-25 .

สำหรับตรวจจับตรวจจับอารมณ์ PNG อารมณ์ของภาพ เราต้องหาเส้นโค้ง Bezier ของริมฝีปากตาซ้ายและตาขวา . แล้วเราแต่ละแปลงความกว้างของเส้นโค้ง Bezier 100 ตามความกว้างและความสูง . ถ้าอารมณ์ของบุคคลเป็นข้อมูลที่มีอยู่ในฐานข้อมูล จากนั้นโปรแกรมจะตรงกับที่อารมณ์ของความสูงที่ความสูงปัจจุบันและโปรแกรมจะให้อารมณ์ที่เป็นผลลัพธ์ ผล

pic-26 .ถ้าข้อมูลอารมณ์ของบุคคลไม่อยู่ในฐานข้อมูล จากนั้นโปรแกรมจะคำนวณความสูงเฉลี่ยของแต่ละอารมณ์ในฐานข้อมูล เพื่อทุกคน และจากนั้นได้รับการตัดสินตาม

pic-27.png ความสูงเฉลี่ย