Gestural Control of InstrumentsGest

Gestural Control of Instruments
Gestural instruments have been developed over many years (see
Miranda and Wanderley [11] for a comprehensive treatment of the
subject), and new developments (e.g. using cameras [13,14], motioncapture
[15], or gloves [12]) are regularly reported. More recently
the advent of consumer-level gesture-capture devices like the
KinectTM has led to further developments in the area, e.g. [4, 22, 23].
The recent release of Leap MotionTM has likewise produced many
examples of new instruments, largely documented in video alone
(e.g. see [7]). One notable exception is the work of Silva et al. who
undertook an evaluation of the sensor in the context of digital music
instruments (in similar vein to this paper) [17]. In their case, they
used visual and tactile feedback to aid the performer in locating their
hand position and were able to measure latency using the difference
between the timing of sounds recorded on the tactile surface and note
triggering by the sensor. Our work evaluates the platform from the
perspective of instruments using touchless action [18].
These Leap-based instruments can be can be classified using
Miranda and Wanderley’s framework [11] thus:
2.2.1 Augmented Musical Instruments
These are acoustic/electric instruments augmented by sensors [11].
Soylentcola augmented a guitar with the Leap MotionTM sensor
attached to the body to control effects [20]. Expression parameters
appear to be controlled by the position of the detected hands in
a very practical way. Earnshaw attached the sensor to a drumkit to
create a drumstick-controlled theremin-like instrument [1]. Raz
enhanced a traditional piano, controlling electronics through hand
gesture to combine acoustic and electronic sounds [7]. Bertelli
enhanced a snare drum, using the sensor (in combination with other
controllers) to manipulate tempo, timbre, and envelope [7].
Thompson’s Motion-Controlled Instrument receives chords from a
midi controller, and plays them based on timing quantisation, pitch
and velocity controlled in the x, y, and z dimensions respectively
[21]. These augmented instruments work reasonably well and for
timbral control with distinct gestures, the sensor works effectively.
2.2.2 Instrument-like Gestural Controllers
These are gestural controllers modelled after acoustic instruments
[11]. Gratoo created an air drum played with sticks [5]. There is
noticeable latency between a ‘hit’ and the sound triggering,
suggesting that the LEAP API’s built-in key-tap gesture recognition
is being used to trigger MIDI messages. If this is the method used, it
successfully detects taps, but does not offer velocity sensing.
Heaver constructed an Air Piano [6] using 3 dimensional
positioning of the fingers to determine pitch, velocity, and the after-

ผลลัพธ์ (ไทย) 1:

เครื่องมือควบคุม gesturalได้รับการพัฒนาเครื่องมือ gestural หลายปี (ดูมิรันดาและ Wanderley [11] สำหรับการรักษาของเรื่อง), และการพัฒนาใหม่ (เช่นใช้กล้อง [13,14], motioncapture[15], หรือถุงมือ [12]) มีรายงานอย่างสม่ำเสมอ เมื่อเร็ว ๆ นี้ชอบมายอุปกรณ์ผู้บริโภคระดับท่าจับKinectTM ได้นำไปพัฒนาในพื้นที่ เช่น [4, 22, 23]รุ่นล่าสุดของ MotionTM ที่กระโดดได้ในทำนองเดียวกันผลิตจำนวนมากตัวอย่างของเครื่องมือใหม่ ส่วนใหญ่บันทึกในวิดีโอเพียงอย่างเดียว(เช่นนั้น [7]) ข้อยกเว้นหนึ่งที่โดดเด่นคือ การทำงานของ Silva et al. ที่undertook การประเมินของการเซ็นเซอร์ในบริบทของเพลงดิจิตอลเครื่องมือ (ในหลอดเลือดดำคล้ายกับกระดาษนี้) [17] ในกรณีของพวกเขา พวกเขาใช้ภาพ และเพราะความคิดเห็นเพื่อช่วยจังหวะในการค้นหาของพวกเขาตำแหน่งมือ และมีความสามารถแฝงที่ใช้ความแตกต่างในการวัดระหว่างช่วงเวลาของบันทึกบนผิวเพราะการบันทึกเสียงการทริกเกอร์ โดยการเซ็นเซอร์ งานประเมินราคาแพลตฟอร์มจากการมุมมองของเครื่องมือที่ใช้ดำเนินการ touchless [18]เครื่องมือเหล่านี้ใช้กระโดดได้สามารถจำแนกได้โดยใช้มิรันดาและ Wanderley ของกรอบ [11] ดังนั้น:2.2.1 เครื่องดนตรีที่ออกเมนต์เหล่านี้เป็นเครื่องอคูสติกไฟฟ้าขยาย โดยเซ็นเซอร์ [11]Soylentcola ออกเมนต์กีต้าร์กับเซ็นเซอร์กระโดด MotionTMกับร่างกายเพื่อควบคุมผลกระทบ [20] นิพจน์พารามิเตอร์จะถูกควบคุม โดยตำแหน่งของมือที่พบในวิธีปฏิบัติมากขึ้น Earnshaw กับการเซ็นเซอร์ drumkit เพื่อสร้างเครื่องควบคุม drumstick theremin เหมือนมือ [1] เวลาเพิ่มเปียโนแบบดั้งเดิม การควบคุมอิเล็กทรอนิกส์ผ่านมือรูปแบบลายเส้นการรวมเสียงอะคูสติก และอิเล็กทรอนิกส์ [7] Bertelliเพิ่มกลองเล็ก ใช้เซนเซอร์ (กับอื่น ๆตัวควบคุม) เพื่อควบคุมจังหวะ timbre และซอง [7]เครื่องมือ Motion-Controlled ทอมป์สันได้รับ chords จากการตัวควบคุม midi และเล่นได้ตามกำหนดเวลา quantisation, pitchและความเร็วที่ควบคุมใน x, y และ z มิติตามลำดับ[21] . เครื่องออกเมนต์เหล่านี้ทำงานด้วยดี และสำหรับtimbral ควบคุมความแตกต่างรูปแบบลายเส้น เซนเซอร์ทำงานได้อย่างมีประสิทธิภาพ2.2.2 เครื่องมือเช่นตัวควบคุม Gesturalเหล่านี้เป็นตัวควบคุม gestural คือ แบบจำลองหลังจากเครื่องมือระดับ[11] Gratoo สร้างกลองอากาศที่เล่นกับแท่ง [5] มีเวลาแฝงที่เห็นได้ชัดระหว่าง 'ตี' และแบบเสียงเรียกแนะนำว่า การกระโดด API ของตัวคีย์แท็บรูปแบบลายเส้นการรับรู้กำลังถูกใช้เพื่อทริกเกอร์ข้อความ MIDI ถ้าเป็นวิธีการที่ใช้ มันสำเร็จตรวจก๊อก แต่ไม่มีการตรวจวัดความเร็วHeaver สร้างเป็นเปียโนอากาศ [6] โดยใช้ 3 มิติวางตำแหน่งของนิ้วมือเพื่อกำหนดระยะห่าง ความเร็ว และหลัง

ผลลัพธ์ (ไทย) 2:

ควบคุม gestural
เครื่องดนตรีตราสารgestural ได้รับการพัฒนาเป็นเวลาหลายปี
(ดูมิแรนดาและWanderley [11]
สำหรับการรักษาที่ครอบคลุมของเรื่อง) และการพัฒนาใหม่ ๆ (เช่นการใช้กล้อง [13,14] motioncapture
[15] หรือถุงมือ [ 12]) จะมีการรายงานอย่างสม่ำเสมอ เมื่อเร็ว ๆ
นี้การถือกำเนิดของอุปกรณ์ท่าทางการจับภาพของผู้บริโภคระดับเช่นที่
KinectTM ได้นำไปสู่การพัฒนาต่อไปในพื้นที่เช่น [4, 22, 23].
รุ่นล่าสุดของ Leap MotionTM
มีการผลิตเช่นเดียวกันหลายตัวอย่างของเครื่องมือใหม่เอกสารส่วนใหญ่ในวิดีโอเพียงอย่างเดียว
(เช่นเห็น [7]) ยกเว้นที่น่าสังเกตคือการทำงานของซิลวาและอัล ผู้ที่มารับการประเมินผลของเซ็นเซอร์ในบริบทของเพลงดิจิตอลที่ตราสาร(ในทำนองเดียวกันกับกระดาษนี้) [17] ในกรณีที่พวกเขาใช้ในการตอบรับภาพและสัมผัสที่จะช่วยให้นักแสดงของพวกเขาในการตั้งตำแหน่งมือและมีความสามารถในการวัดความล่าช้าโดยใช้ความแตกต่างระหว่างระยะเวลาของเสียงที่บันทึกไว้บนพื้นผิวสัมผัสและทราบวิกฤติโดยเซ็นเซอร์ การทำงานของเราประเมินแพลตฟอร์มจากมุมมองของเครื่องมือที่ใช้การดำเนินการ touchless [18]. เครื่องมือเหล่านี้ก้าวกระโดดตามสามารถสามารถจำแนกโดยใช้มิแรนดาและกรอบการ Wanderley ของ [11] ดังนี้: 2.2.1 Augmented เครื่องดนตรีเหล่านี้เป็นอะคูสติก/ เครื่องดนตรีไฟฟ้าเพิ่ม โดยเซ็นเซอร์ [11]. Soylentcola เติมกีตาร์กับเซ็นเซอร์กระโดด MotionTM ที่แนบมากับร่างกายในการควบคุมผลกระทบ [20] พารามิเตอร์การแสดงออกดูเหมือนจะควบคุมโดยตำแหน่งของมือที่พบในทางปฏิบัติมาก Earnshaw แนบเซ็นเซอร์ไป drumkit เพื่อสร้างไม้ตีกลองที่ใช้ในการควบคุมแดมินเหมือน[1] Raz เพิ่มเปียโนแบบดั้งเดิมควบคุมอิเล็กทรอนิกส์ผ่านมือท่าทางจะรวมเสียงอะคูสติกและอิเล็กทรอนิกส์ [7] Bertelli เพิ่มดักตีกลองโดยใช้เซ็นเซอร์ (ในการรวมกันกับคนอื่น ๆควบคุม) เพื่อจัดการกับจังหวะต่ำและซองจดหมาย [7]. ตราสารเคลื่อนไหวควบคุมทอมป์สันได้รับคอร์ดจากตัวควบคุม MIDI, และเล่นให้พวกเขาขึ้นอยู่กับระยะเวลาการประมาณสนามและควบคุมความเร็วใน x, y, และขนาดซีตามลำดับ[21] เครื่องมือที่ใช้ในการเติมเหล่านี้ทำงานได้ดีพอสมควรและการควบคุม timbral ด้วยท่าทางที่แตกต่างกันเซ็นเซอร์ทำงานได้อย่างมีประสิทธิภาพ. 2.2.2 ตราสารเหมือนควบคุมท่าทางเหล่านี้เป็นตัวควบคุมgestural ถ่ายแบบเครื่องดนตรีอะคูสติก[11] Gratoo สร้างกลองอากาศเล่นกับแท่ง [5] มีความล่าช้าที่เห็นได้ชัดระหว่าง 'กด' และเรียกเสียงที่บอกว่าLEAP API ในตัวรับรู้ท่าทางแตะที่สำคัญจะถูกใช้ในการเรียกข้อความMIDI ถ้านี่เป็นวิธีการที่ใช้ก็ประสบความสำเร็จตรวจพบก๊อก แต่ไม่ได้มีการตรวจจับความเร็ว. heaver สร้างเปียโนอากาศ [6] 3 มิติโดยใช้การวางตำแหน่งของนิ้วมือเพื่อตรวจสอบสนามความเร็วและหลังการ

ผลลัพธ์ (ไทย) 3:

ควบคุม gestural เครื่องมือ
gestural เครื่องมือได้รับการพัฒนากว่าหลายปี ( ดู
Miranda และ wanderley [ 11 ] สำหรับการรักษาที่ครอบคลุมของ
วิชา ) และการพัฒนาใหม่ ( เช่นการใช้กล้อง 13,14 [ ] , โมชั่นแคปเจอร์
[ 15 ] หรือถุงมือ [ 12 ] ) จะมีการรายงานเป็นประจำ เมื่อเร็ว ๆ นี้
การมาถึงของผู้บริโภคระดับท่าทางจับอุปกรณ์ เช่น
kinecttm ได้นำไปสู่การพัฒนาต่อไปในพื้นที่ เช่น [ 4 , 22 , 23 ] .
รุ่นล่าสุดของ motiontm กระโดดได้เช่นเดียวกันผลิตตัวอย่างมากมาย
ของเครื่องมือใหม่ ส่วนใหญ่ได้รับการบันทึกไว้ในวิดีโออยู่คนเดียว
( เช่นดู [ 7 ] ) หนึ่งข้อยกเว้นที่น่าสังเกตคือผลงานของ ซิลวา et al . ใคร
undertook การประเมินเซ็นเซอร์ในบริบทของเครื่องดนตรี
ดิจิตอล ( ในหลอดเลือดดำที่คล้ายกันนี้กระดาษ ) [ 17 ]ในกรณีนี้ พวกเขาใช้ภาพและสัมผัส
ติชมช่วยนักแสดงในตำแหน่งมือ
ตำแหน่งและสามารถวัดศักยภาพการใช้ความแตกต่าง
ระหว่างเวลาเสียงที่บันทึกไว้บนพื้นผิวสัมผัสและทราบ
เรียกโดยเซ็นเซอร์ งานของเราประเมินแพลตฟอร์มจากมุมมองของการใช้เครื่องมือ การกระทำ touchless

[ 18 ]เผ่นตามเครื่องมือเหล่านี้สามารถแบ่งได้โดยใช้
Miranda และ wanderley กรอบ [ 11 ] ดังนี้ 2.2.1 เครื่องดนตรี

เพิ่มเหล่านี้เป็นอะคูสติก / ไฟฟ้าเครื่องมือเติมโดยเซ็นเซอร์ [ 11 ] .
soylentcola เมนกีตาร์กับกระโดด motiontm เซ็นเซอร์
แนบร่างกายเพื่อควบคุมผลกระทบ [ 20 ] แสดงพารามิเตอร์
ปรากฏ ที่จะควบคุม โดยตำแหน่งของมือในการตรวจพบ
วิธีปฏิบัติมาก เอิร์นชอว์ติดเซ็นเซอร์เพื่อดรัมคิท

สร้างไม้ตีกลองควบคุมเตรามินเหมือนเครื่องดนตรี [ 1 ] ราซ
เพิ่มเปียโนแบบดั้งเดิม , ควบคุมเครื่องใช้ไฟฟ้าผ่านสัญญาณมือ
รวมเสียงและอิเล็กทรอนิกส์เสียง [ 7 ] บาเตลลี่
เพิ่มบ่วงกลอง , ใช้เซ็นเซอร์ ( ร่วมกับ
อื่น ๆตัวควบคุม ) เพื่อจัดการจังหวะ , ประทับ , และซองจดหมาย [ 7 ] .
เครื่องมือควบคุมทอมป์สันเคลื่อนไหวได้รับคอร์ดจาก
ควบคุม MIDI , และเล่นได้ตามจังหวะ quantisation สนาม
และความเร็วควบคุมใน x , y และ z มิติตามลำดับ
[ 21 ] เพิ่มเครื่องมือเหล่านี้ทำงานได้ดีดีและ
timbral ควบคุมด้วยท่าทางที่แตกต่างกัน , เซ็นเซอร์ทำงานได้อย่างมีประสิทธิภาพ .
2.2 .2 เครื่องมือเช่นตัวควบคุม gestural
เหล่านี้ gestural ตัวควบคุมซึ่งหลังจากตราสารอะคูสติก
[ 11 ] กระทู้สร้างอากาศกลองเล่นกับแท่ง [ 5 ] มีศักยภาพที่เห็นได้ชัดระหว่าง
' ตี ' และเสียงเรียก
บอกว่ากระโดด , คีย์ API ในการเคาะสัญญาณ
ถูกใช้เรียกข้อความ MIDI ถ้าเป็นวิธีที่เคยใช้ มัน
ได้ตรวจพบก๊อก แต่ไม่ได้ให้ความเร็วข้อมูล .
เวอร์สร้างอากาศเปียโน [ 6 ] 3 มิติโดยใช้ตำแหน่งของนิ้วมือเพื่อตรวจสอบ
สนามความเร็ว และหลังจากนั้น