Smartphone app for visually impaire

Smartphone app for visually impaired users

SCIENTISTS from IBM Research and Carnegie Mellon University have developed an open platform designed to support the creation of smartphone apps to enable visually impaired users to better navigate their surroundings.
The IBM and CMU researchers used the platform to create a pilot app, called NavCog, which draws on existing sensors and cognitive technologies to inform the visually impaired on the Carnegie Mellon campus about their surroundings by "whispering" into their ears through earbuds or by creating vibrations on smartphones.

The app analyses signals from Bluetooth beacons located along walkways and from smartphone sensors to help enable users to move without human assistance, whether inside campus buildings or outdoors. Researchers are exploring additional capabilities for future versions of the app to detect who is approaching and what is their mood. NavCog app is now available at no cost on the App Store.

The first set of cognitive assistance tools for developers is now available via the cloud through IBM Bluemix at http://hulop.mybluemix.net. The open toolkit consists of an app for navigation, a map editing tool and localisation algorithms that can help the blind identify in near real time where they are, which direction they are facing and additional surrounding environmental information. The computer vision navigation application tool turns smartphone images of the surrounding environment into a 3-D space model to help improve localisation and navigation for the visually impaired.

The combination of these multiple technologies is known as "cognitive assistance," an accessibility research field dedicated to helping the visually impaired regain information by augmenting missing or weakened abilities. Researchers plan to add various localisation technologies, including sensor fusion, which integrates data from multiple environmental sensors for highly sophisticated cognitive functioning, such as facial recognition in public places. Researchers also are exploring the use of computer vision to characterise the activities of people in the vicinity and ultrasonic technology to help identify locations more accurately.

Martial Hebert, director of the Robotics Institute at Carnegie Mellon, said that from localisation information to understanding of objects, they have been creating technologies to make the real-world environment more accessible for everyone.

"With our long history of developing technologies for humans and robots that will complement humans’ missing abilities to sense the surrounding world, this open platform will help expand the horizon for global collaboration to open up the new real-world accessibility era for the visually impaired in the near future," said Hebert.

ผลลัพธ์ (ไทย) 2:

แอพพลิเคมาร์ทโฟนสำหรับผู้ใช้ที่พิการทางสายตานักวิทยาศาสตร์จาก IBM วิจัยและ Carnegie Mellon University ได้พัฒนาแพลตฟอร์มเปิดที่ออกแบบมาเพื่อสนับสนุนการสร้างแอพพลิเคมาร์ทโฟนเพื่อให้ผู้พิการทางสายตาที่ดีกว่านำทางสภาพแวดล้อมของพวกเขา. ไอบีเอ็มและนักวิจัยมหาวิทยาลัยเชียงใหม่ใช้แพลตฟอร์มที่จะสร้างนักบิน การตรวจสอบที่เรียกว่า NavCog ซึ่งดึงเซ็นเซอร์ที่มีอยู่และเทคโนโลยีองค์ความรู้ที่จะแจ้งให้ผู้พิการทางสายตาที่มหาวิทยาลัยคาร์เนกีเมลลอนเกี่ยวกับสภาพแวดล้อมของพวกเขาโดย "กระซิบ" ในหูของพวกเขาผ่านหูฟังหรือโดยการสร้างแรงสั่นสะเทือนมาร์ทโฟน. แอปพลิเควิเคราะห์สัญญาณจากบีคอนบลูทู ธ อยู่ ตามทางเดินและจากเซ็นเซอร์มาร์ทโฟนที่จะช่วยให้ผู้ใช้สามารถย้ายโดยความช่วยเหลือของมนุษย์ไม่ว่าจะเป็นอาคารภายในมหาวิทยาลัยหรือกลางแจ้ง นักวิจัยมีการสำรวจความสามารถเพิ่มเติมสำหรับรุ่นอนาคตของ app ที่จะตรวจสอบผู้ที่อยู่ใกล้และสิ่งที่เป็นอารมณ์ แอปพลิเค NavCog อยู่ในขณะนี้ไม่มีค่าใช้จ่ายใน App Store. ชุดแรกของเครื่องมือความช่วยเหลือองค์ความรู้สำหรับนักพัฒนาอยู่ในขณะนี้ผ่านเมฆผ่าน IBM Bluemix ที่ http://hulop.mybluemix.net เครื่องมือที่เปิดประกอบด้วย app สำหรับนำทาง, เครื่องมือแก้ไขแผนที่และขั้นตอนวิธีการแปลที่สามารถช่วยให้คนตาบอดระบุในใกล้เวลาจริงที่พวกเขามีทิศทางที่พวกเขากำลังเผชิญและข้อมูลด้านสิ่งแวดล้อมโดยรอบเพิ่มเติม เครื่องมือนำทางคอมพิวเตอร์วิสัยทัศน์การประยุกต์ใช้จะเปลี่ยนภาพมาร์ทโฟนของสภาพแวดล้อมโดยรอบเป็น 3 มิติแบบจำลองพื้นที่ที่จะช่วยปรับปรุงการแปลและนำทางสำหรับผู้พิการทางสายตา. การรวมกันของเทคโนโลยีหลายเหล่านี้เป็นที่รู้จักกันว่า "ความช่วยเหลือทางปัญญา" สนามการวิจัยการเข้าถึงทุ่มเท ที่จะช่วยให้ข้อมูลความบกพร่องทางสายตาฟื้นจากความสามารถในการเพิ่มหรือลดลงหายไป นักวิจัยวางแผนที่จะเพิ่มเทคโนโลยีการแปลต่าง ๆ รวมทั้งฟิวชั่นเซ็นเซอร์ซึ่งรวมข้อมูลจากเซ็นเซอร์หลายด้านสิ่งแวดล้อมสำหรับการทำงานที่มีความซับซ้อนสูงองค์ความรู้เช่นการจดจำใบหน้าในที่สาธารณะ นักวิจัยยังมีการสำรวจการใช้งานของคอมพิวเตอร์วิสัยทัศน์ในการอธิบายลักษณะกิจกรรมของคนที่อยู่ในบริเวณใกล้เคียงและเทคโนโลยีล้ำที่จะช่วยให้ระบุสถานที่ถูกต้องมากขึ้น. การต่อสู้เบิร์ตผู้อำนวยการสถาบันวิทยาการหุ่นยนต์คาร์เนกีเมลลอนกล่าวว่าจากข้อมูลการแปลความเข้าใจของวัตถุ พวกเขาได้รับการสร้างเทคโนโลยีที่จะทำให้สภาพแวดล้อมจริงเข้าถึงได้มากขึ้นสำหรับทุกคน. "ด้วยประวัติศาสตร์อันยาวนานของเราในการพัฒนาเทคโนโลยีสำหรับมนุษย์และหุ่นยนต์ที่จะเติมเต็มความสามารถที่ขาดหายไปของมนุษย์จะรู้สึกโลกรอบนี้เปิดเวทีจะช่วยขยายขอบฟ้า การทำงานร่วมกันทั่วโลกที่จะเปิดขึ้นในยุคการเข้าถึงโลกแห่งความจริงใหม่สำหรับผู้พิการทางสายตาในอนาคตอันใกล้นี้ "เบิร์ตกล่าวว่า