While new technologies are often us

While new technologies are often used to facilitate regular people’s lives, they

often fail to see their potential in helping disabled people. Augmented reality currently

offers users the opportunity to add virtual information to their real world surroundings in

real time. It also has the opportunity to not only augment the sense of sight, but also other


senses such as hearing.

In this sense, augmented reality could be used to offer the


opportunity to complement a user’s missing sense. For instance, augmented reality can be

used to help deaf people in “hearing” what an interlocutor might be telling them, without

needing to know how to read lips or without needing the interlocutor to need to know

sign language by outputting the person’s speech next to their head in an intuitive, easy to

interact with, and easily understandable way. As an addition, such a system can also be

used as a convenient translator by travelers.

Using an iPad2 with a camera as the interaction device, this thesis introduces a system with speech recognition and optional language translation and display of the resulting string in an easy and natural way to use by detecting a face and its corresponding position present in the frames and outputting the resulting string next to the detected face in a cartoon-like bubble. The use of this system, dubbed iHeAR, consist in having the user simply angles the device towards the person’s face and once both text and face are detected, the final string is outputted on the screen without requiring any additional steps from the user.
This system presents one of the different aspects of augmented reality that does not only involve augmenting the sense of sight, but also involves hearing augmentation. In addition, the following conditions and limitations are assumed:
• The user does not know sign language or how to read lips,
• The environment is quiet and free of background noise,
• The system will be used for one-on-one conversation,
• Speech recognition needs to happen on the device so as to not depend on network availability.

ผลลัพธ์ (ไทย) 1:

ในขณะที่มักจะใช้เทคโนโลยีใหม่เพื่อให้ชีวิตของผู้คนปกติ พวกเขามักไม่เห็นศักยภาพในคนช่วยถูกปิดใช้งาน เติมความเป็นจริงในปัจจุบันมีผู้ใช้เพิ่มข้อมูลเสมือนจริงในพื้นที่ในโอกาสเวลาจริง มีโอกาสที่จะเพิ่มความรู้สึกของสายตา ไม่เพียง แต่ยังอื่น ความรู้สึกเช่นการได้ยิน ในแง่นี้ เติมความเป็นจริงสามารถนำไปใช้เสนอ โอกาสที่จะเติมเต็มผู้ใช้ของขาดความรู้สึก เช่น สามารถเติมความเป็นจริงใช้เพื่อช่วยให้คนหูหนวกใน "ได้ยิน" สิ่งคู่สนทนาอาจจะบอกพวกเขา โดยไม่ต้องต้องการทราบ วิธีการอ่านริมฝีปาก หรือโดยคู่สนทนาจำเป็นต้องรู้ลงภาษา โดยคุณสมบัติของบุคคลพูดถัดจากหัวของพวกเขาในการใช้งานง่าย ง่ายโต้ตอบกับ และวิธีที่เข้าใจได้ง่ายขึ้น เพิ่ม ระบบดังกล่าวยังสามารถใช้เป็นตัวแปลความสะดวกนักเดินทาง ใช้ iPad2 มีกล้องเป็นอุปกรณ์โต้ตอบ วิทยานิพนธ์นี้แนะนำระบบที่ มีการรู้จำเสียง และแปลภาษาไม่จำเป็น และแสดงสายอักขระเป็นผลลัพธ์ในวิธีง่าย และเป็นธรรมชาติในการใช้ โดยการตรวจจับใบหน้าและตำแหน่งที่สอดคล้องกันอยู่ในเฟรม และแสดงผลข้อความผลลัพธ์ถัดจากใบหน้าที่ตรวจพบในฟองเหมือนการ์ตูน การใช้ระบบนี้ ขนาน iHeAR ประกอบมีผู้ใช้เพียงแค่มุมอุปกรณ์ไปทางใบหน้าของบุคคล และเมื่อตรวจพบข้อความและใบหน้า ข้อความสุดท้ายผลิตบนหน้าจอโดยไม่ต้องมีขั้นตอนเพิ่มเติมใด ๆ จากผู้ใช้ระบบนี้แสดงมุมมองต่าง ๆ ของภาพจำลองเสมือนจริงที่ไม่เพียงเกี่ยวข้องกับการเพิ่มความรู้สึกของสายตา แต่ยัง เกี่ยวข้องกับฟังเสริม อย่างใดอย่างหนึ่ง นอกจากนี้ เงื่อนไขและข้อจำกัดต่อไปนี้จะสันนิษฐาน:•ผู้ใช้ไม่ทราบภาษาหรือวิธีการอ่านริมฝีปาก•สภาพแวดล้อมเงียบสงบ และเสียงพื้นหลัง ฟรี•ระบบจะใช้สำหรับการสนทนาแบบตัวต่อตัว•รู้ต้องเกิดขึ้นบนอุปกรณ์เพื่อที่จะไม่ขึ้นกับความพร้อมเครือข่าย

ผลลัพธ์ (ไทย) 2:

ในขณะที่เทคโนโลยีใหม่มักจะใช้เพื่ออำนวยความสะดวกในชีวิตของผู้คนปกติพวกเขา

มักจะไม่ได้เห็นศักยภาพของพวกเขาในการช่วยคนพิการ เติมความเป็นจริงในขณะนี้

มีโอกาสที่จะเพิ่มข้อมูลเสมือนกับสภาพแวดล้อมของโลกแห่งความจริงของพวกเขาในผู้ใช้

เวลาจริง นอกจากนี้ยังมีโอกาสที่จะไม่เพียง แต่เพิ่มความรู้สึกของสายตา แต่ยังอื่น ๆ


ความรู้สึกเช่นการได้ยิน.

ในแง่นี้ความเป็นจริงยิ่งสามารถนำมาใช้เพื่อให้


มีโอกาสที่จะเติมเต็มความรู้สึกที่ขาดหายไปของผู้ใช้ ยกตัวอย่างเช่นเติมความเป็นจริงสามารถ

นำมาใช้เพื่อช่วยให้คนหูหนวกใน "ได้ยิน" สิ่งที่คู่สนทนาอาจจะบอกพวกเขาโดยไม่

ต้องรู้วิธีการอ่านริมฝีปากหรือโดยไม่จำเป็นต้องคู่สนทนาจะต้องรู้

ภาษามือโดยแสดงผลเป็นคำพูดของคนที่อยู่ถัดจาก หัวของพวกเขาในการใช้งานง่ายและง่ายต่อการ

วิธีการโต้ตอบกับและเข้าใจได้ง่าย ในฐานะที่เป็นนอกจากนี้ระบบดังกล่าวยังสามารถนำมา

ใช้เป็นนักแปลที่สะดวกสบายโดยนักเดินทาง.

ใช้ iPad2 กับกล้องเป็นอุปกรณ์ปฏิสัมพันธ์วิทยานิพนธ์ฉบับนี้นำเสนอระบบที่มีการรู้จำเสียงพูดและการแปลภาษาทางเลือกและการแสดงผลของสตริงที่เกิดขึ้นในที่ง่าย และวิธีธรรมชาติในการใช้งานโดยการตรวจจับใบหน้าและตำแหน่งปัจจุบันที่สอดคล้องกันในกรอบและการแสดงผลสตริงส่งผลให้ติดกับใบหน้าที่ตรวจพบในฟองการ์ตูนเหมือน การใช้ระบบนี้ขนานนาม iHear ประกอบด้วยในการมีผู้ใช้เพียงมุมอุปกรณ์ต่อใบหน้าของบุคคลนั้นและเมื่อทั้งข้อความและใบหน้ามีการตรวจพบสตริงสุดท้ายจะออกมาบนหน้าจอโดยไม่ต้องมีขั้นตอนเพิ่มเติมใด ๆ จากผู้ใช้.
ระบบนี้ นำเสนอหนึ่งในด้านที่แตกต่างกันของความเป็นจริงยิ่งที่ไม่ได้มีส่วนเกี่ยวข้องกับการเพิ่มความรู้สึกของสายตา แต่ยังเกี่ยวข้องกับการเสริมการได้ยิน นอกจากนี้เงื่อนไขและข้อ จำกัด ต่อไปจะถือว่า:
•ผู้ใช้ไม่ทราบว่าภาษามือหรือวิธีการอ่านริมฝีปาก
•สภาพแวดล้อมที่เงียบสงบและปราศจากสัญญาณรบกวนพื้นหลัง
•ระบบจะถูกนำมาใช้อย่างใดอย่างหนึ่งต่อหนึ่งการสนทนา
•การจดจำเสียงพูดต้องเกิดขึ้นบนอุปกรณ์เพื่อให้เป็นไปได้ขึ้นอยู่กับความพร้อมเครือข่าย