In human-computer interaction (HCI)

In human-computer interaction (HCI), the audio and visual modalities form the core of the interfaces, a computer with such interface will be able to listen to and see the user and provide the audio visual feedback to the user. To build such bimodal human computer interfaces, the researches on the audio visual integration are very important.

Human speech is bimodal in nature: audio and visual. While the audio speech signal refers to the acoustic waveform produced by the speaker, the visual speech signal refers to the movements of the lips, tongue, and other facial muscles of the speaker.

In this project, We are devoting to develop a new audio-visual bimodal model which will attempt to capture the inter-correlations as well as the loose time synchronicity between audio and visual speeches.

ผลลัพธ์ (ไทย) 1:

ในการโต้ตอบมนุษย์กับคอมพิวเตอร์ (ของ HCI), ภาพ และเสียง modalities ฟอร์มหลักของอินเทอร์เฟซ จะได้ฟัง และดูผู้ใช้ และให้คำติชมภาพเสียงผู้ใช้คอมพิวเตอร์ที่ มีอินเทอร์เฟซ การสร้างอินเทอร์เฟซดังกล่าว bimodal มนุษย์คอมพิวเตอร์ งานวิจัยในการรวมเสียงภาพมีความสำคัญมาก เสียงมนุษย์เป็น bimodal ในธรรมชาติ: ภาพ และเสียง ในขณะที่สัญญาณเสียงพูดถึงรูปคลื่นเสียงที่ผลิต โดยลำโพง สัญญาณเสียงแสดงถึงการเคลื่อนไหวของริมฝีปาก ลิ้น และอื่น ๆ กล้ามเนื้อใบหน้าของลำโพง ในโครงการนี้ เราจะ devoting เพื่อพัฒนาเสียง bimodal แบบใหม่ซึ่งจะพยายามจับความสัมพันธ์ระหว่างเป็น synchronicity หลวมเวลาระหว่างกล่าวสุนทรพจน์ที่ภาพ และเสียง

ผลลัพธ์ (ไทย) 2:

ในคอมพิวเตอร์ปฏิสัมพันธ์ของมนุษย์ (HCI), เสียงและภาพรังสีรูปแบบหลักของอินเตอร์เฟซที่ใช้คอมพิวเตอร์ที่มีอินเตอร์เฟซดังกล่าวจะสามารถฟังและดูผู้ใช้และให้ข้อเสนอแนะในภาพและเสียงให้กับผู้ใช้ เพื่อสร้างการเชื่อมต่อคอมพิวเตอร์ bimodal เช่นมนุษย์งานวิจัยเกี่ยวกับการรวมภาพและเสียงมีความสำคัญมาก. การพูดของมนุษย์เป็น bimodal ในธรรมชาติ: ภาพและเสียง ในขณะที่สัญญาณเสียงพูดเสียงหมายถึงรูปแบบของคลื่นอะคูสติกที่ผลิตโดยลำโพงที่สัญญาณเสียงภาพหมายถึงการเคลื่อนไหวของริมฝีปากลิ้นและกล้ามเนื้อใบหน้าอื่น ๆ ของลำโพง. ในโครงการนี้เราจะยึดมั่นในการพัฒนา audio- ใหม่ รูปแบบ bimodal ภาพซึ่งจะพยายามที่จะจับภาพความสัมพันธ์ระหว่างกันเช่นเดียวกับเวลาที่บังเอิญหลวมระหว่างเสียงและภาพการกล่าวสุนทรพจน์

ผลลัพธ์ (ไทย) 3:

ในการสื่อสารระหว่างมนุษย์กับคอมพิวเตอร์ ( HCI ) , รูปแบบภาพและเสียงรูปแบบหลักของการเชื่อมต่อคอมพิวเตอร์ด้วยเช่นอินเตอร์เฟซจะสามารถฟังและดูผู้ใช้และให้ข้อเสนอแนะภาพและเสียงให้กับผู้ใช้ การสร้างเช่นไบโมดอลมนุษย์คอมพิวเตอร์อินเตอร์เฟซ ในด้านการบูรณาการภาพและเสียงมีความสำคัญมากการพูดของมนุษย์ไบโมดอลในธรรมชาติ : ภาพและเสียง ในขณะที่สัญญาณเสียงการพูด หมายถึง เสียงสัญญาณที่ผลิตโดยลำโพง สัญญาณเสียงภาพ หมายถึง การเคลื่อนไหวของริมฝีปาก ลิ้น และกล้ามเนื้ออื่น ๆที่ใบหน้าของผู้พูดในโครงการนี้ เราทุ่มเทเพื่อพัฒนาและไบโมดอลแบบใหม่ซึ่งจะพยายามที่จะจับภาพระหว่างความสัมพันธ์เช่นเดียวกับเวลาหลวม synchronicity ระหว่างกล่าวสุนทรพจน์ ภาพและเสียง