Action- Use NOTECHS to Assess Crew

Action- Use NOTECHS to Assess Crew Members in a Video Senario
Play a video scenario. (The ‘Brussels Engine Fire’ scenario from the JAR-TEL project
videos, if available, is often a good choice.) Ask the group to assess the non-technical
skills exhibited in the video. Compare and discuss the results.
The JAR-TEL project
The JAR-TEL project was funded by the EU with the objective of validating the NOTECHS
method for the evaluation of non-technical skills.
The hypothesis that JAR-TEL set out to validate were:
1) The NOTECHS method can be used to asses true variations of nontechnical
skills based in observed behaviour of flight crews.
2) The NOTECHS method is culturally robust with respect to variations in
nationality, organization and personal background
3) The NOTECHS method is practical so that it can easily be used by
training and check captains.
Only if these hypotheses can be confirmed can the NOTECHS method be reliably used in
the assessment of crews non-technical skills.
Participants and structure of the JAR-TEL project
The major sponsor was the EU. Sofréavia, a French research institute, was the project
leader and BA, NLR (Dutch Research Institute), DERA, DLR (German Research Institute),
Airbus, Alitalia, the University of Aberdeen and Imassa were associated as contractors or
partners to the project.
The study was formulated to encompass a representative sample of airlines from all
regions of Europe. A group of 100 instructor pilots was used to apply the proposed
method of evaluation to eight different scenarios filmed in a simulator. Each scenario was
around 10 minutes in duration and featured different degrees of NTS and various nontechnical
behaviours.
The robustness of the system was assessed according to three different measures.
1. Internal Consistency
Ratings at Category level should agree with Element level. A high level of consistency was
found.
2. Accuracy
Participants ratings should match the ‘correct answers’ formulated by the scenario
designers and expert raters. A high level of consistency was found, at the category level.
In the more ambiguous scenarios, the level of consistency was reduced. The largest
divergence from the expert results was that the experiment participants tended not to
use the rating not observed, even when the expert rating was not observed.
3. Inter-Rater agreement
The extent to which the different participants ratings agree. A high level of consistency
was found, at the category level.

ผลลัพธ์ (ไทย) 1:

การใช้ NOTECHS การประเมินลูกเรือในสถานการณ์วิดีโอเล่นวิดีโอสถานการณ์ (บรัสเซลส์เครื่องยนต์ติดไฟสถานการณ์จากโครงการ TEL ขวดวิดีโอ ถ้ามี เป็นมักจะมี) ถามกลุ่มว่าการประเมินไม่ใช่ด้านเทคนิคทักษะการจัดแสดงในวิดีโอ เปรียบเทียบ และอภิปรายผลโครงการ TEL ขวดโครงการ TEL ขวดได้รับการสนับสนุนใน EU มีวัตถุประสงค์เพื่อตรวจสอบการ NOTECHSวิธีการไม่ใช่ด้านเทคนิคทักษะสมมติฐานที่ TEL ขวดไว้เพื่อตรวจสอบได้:1) วิธีการ NOTECHS ที่สามารถใช้เพื่อประเมินการเปลี่ยนแปลงที่แท้จริงของ nontechnicalทักษะในการสังเกตพฤติกรรมของเรือบิน2) วิธี NOTECHS การมีประสิทธิภาพวัฒนธรรมเกี่ยวกับการเปลี่ยนแปลงในสัญชาติ องค์กร และข้อมูลส่วนตัว3 วิธีที่) NOTECHS จะปฏิบัติเพื่อให้สามารถได้ใช้โดยฝึกอบรมและตรวจสอบตันถ้า hypotheses เหล่านี้ได้รับการยืนยัน NOTECHS วิธีการที่เชื่อถือได้เท่านั้นการประเมินผลของลูกเรือไม่ใช่ด้านเทคนิคทักษะผู้เรียนและโครงสร้างของโครงการ TEL ขวดผู้สนับสนุนหลักคือ EU Sofréavia สถาบันวิจัยฝรั่งเศส เป็นโครงการผู้นำ และ BA, NLR (สถาบันวิจัยดัตช์) เด DLR (สถาบันวิจัยเยอรมัน),แอร์บัส Alitalia มหาวิทยาลัยอาเบอร์ดีน และ Imassa เกี่ยวข้องเป็นผู้รับเหมา หรือร่วมกับโครงการการศึกษาครีมไปรอบตัวอย่างตัวแทนของสายการบินจากทั้งหมดภูมิภาคของทวีปยุโรป กลุ่มของนักบินผู้สอน 100 ใช้กับการนำเสนอวิธีการประเมินสถานการณ์ต่าง ๆ แปดเพื่อถ่ายทำในแบบจำลอง แต่ละสถานการณ์ได้ประมาณ 10 นาทีในระยะเวลาและองศาที่แตกต่างที่โดดเด่นของ NTS และต่าง ๆ nontechnicalพฤติกรรมเสถียรภาพของระบบการรับการประเมินตามมาตรการอื่นที่สาม1. ภายในสอดคล้องกันการจัดอันดับในระดับประเภทควรยอมรับกับองค์ประกอบระดับ ระดับสูงของความสอดคล้องพบ2. ความถูกต้องจัดอันดับผู้เรียนควรตรงกับ 'ถูกต้องคำตอบ' สูตรตามสถานการณ์นักออกแบบและผู้เชี่ยวชาญ raters ความสอดคล้องในระดับสูงพบ ระดับประเภทในสถานการณ์ที่ไม่ชัดเจนมาก ถูกลดระดับของความสอดคล้อง ใหญ่ที่สุดdivergence จากผลผู้เชี่ยวชาญได้ว่า ผู้เข้าร่วมการทดลองมีแนวโน้มไม่ใช้การจัดอันดับที่ไม่สังเกต แม้เมื่อระดับผู้เชี่ยวชาญถูกไม่ตรวจสอบ3. ประเมินระหว่างข้อตกลงเท่าเห็นด้วยกับการจัดอันดับของผู้เข้าร่วมที่แตกต่างกัน ระดับสูงของความสอดคล้องพบ ระดับประเภท

ผลลัพธ์ (ไทย) 2:

การกระทำ NOTECHS ใช้เพื่อประเมินสมาชิกลูกเรือในวิดีโอ senario
เล่นสถานการณ์วิดีโอ (สถานการณ์ 'บรัสเซลส์ดับเพลิงจากโครงการ JAR-TEL
วิดีโอหากมีมักจะเป็นทางเลือกที่ดี.)
ขอให้กลุ่มที่จะประเมินที่ไม่ใช่ด้านเทคนิคทักษะการจัดแสดงในวิดีโอ เปรียบเทียบและพูดคุยถึงผล.
โครงการ JAR-TEL
โครงการ JAR-TEL ได้รับการสนับสนุนโดยสหภาพยุโรปโดยมีวัตถุประสงค์เพื่อตรวจสอบความถูก NOTECHS
วิธีการสำหรับการประเมินผลของทักษะที่ไม่ใช่ด้านเทคนิค.
สมมติฐานที่ว่า JAR-TEL ออกไปตรวจสอบพบว่า
1) วิธีการ NOTECHS สามารถใช้ในการประเมินรูปแบบที่แท้จริงของ nontechnical
ทักษะพื้นฐานในการทำงานที่สังเกตของลูกเรือเที่ยวบิน.
2) วิธีการ NOTECHS
มีประสิทธิภาพทางวัฒนธรรมที่เกี่ยวกับการเปลี่ยนแปลงในสัญชาติองค์กรและพื้นหลังส่วนบุคคล
3) วิธีการ NOTECHS เป็นจริงดังนั้น
ว่ามันสามารถนำมาใช้โดยการฝึกอบรมและตรวจสอบแม่ทัพ.
แต่ถ้าสมมติฐานเหล่านี้สามารถยืนยัน NOTECHS
วิธีสามารถนำมาใช้อย่างน่าเชื่อถือในการประเมินทีมงานทักษะที่ไม่ใช่ด้านเทคนิค.
ผู้เข้าร่วมกิจกรรมและโครงสร้างของโครงการ JAR-TEL
สปอนเซอร์รายใหญ่คือ สหภาพยุโรป. Sofréavia,
สถาบันการวิจัยฝรั่งเศสเป็นโครงการผู้นำและปริญญาตรี, NLR (เนเธอร์แลนด์สถาบันวิจัย) DERA, DLR (เยอรมันสถาบันวิจัย)
แอร์บัส, อลิตาเลียที่มหาวิทยาลัยอเบอร์ดีนและ Imassa
มีความสัมพันธ์เป็นผู้รับเหมาหรือคู่ค้าในโครงการการศึกษาเป็นสูตรรวมไปถึงตัวอย่างที่เป็นตัวแทนของสายการบินจากทั่วทุกภูมิภาคของยุโรป กลุ่มของนักบินผู้สอน 100 ถูกใช้ในการสมัครที่นำเสนอวิธีการประเมินถึงแปดสถานการณ์ที่แตกต่างถ่ายทำในจำลอง แต่ละสถานการณ์เป็นเวลาประมาณ 10 นาทีในระยะเวลาและให้ความสำคัญแตกต่างกันไปและ NTS nontechnical ต่างๆพฤติกรรม. ความทนทานของระบบได้รับการประเมินเป็นไปตามมาตรการที่แตกต่างกันสาม. 1 ความสอดคล้องภายในความนิยมในระดับหมวดหมู่ควรจะเห็นด้วยกับระดับธาตุ ระดับสูงของความสอดคล้องถูกพบ. 2 ความแม่นยำการให้คะแนนของผู้เข้าร่วมควรจะตรงกับ 'ตอบที่ถูกต้อง' สูตรโดยสถานการณ์ที่นักออกแบบและผู้เชี่ยวชาญด้านการประเมิน ระดับสูงของความสอดคล้องถูกพบในระดับหมวดหมู่. ในสถานการณ์ที่ไม่ชัดเจนมากขึ้นในระดับของความมั่นคงลดลง ที่ใหญ่ที่สุดแตกต่างจากผลลัพธ์ของผู้เชี่ยวชาญคือการที่ผู้เข้าร่วมการทดลองมีแนวโน้มที่จะไม่ใช้การจัดอันดับไม่ได้สังเกตแม้ในขณะที่คะแนนผู้เชี่ยวชาญก็ไม่เห็น. 3 ข้อตกลงระหว่างผู้ประเมินขอบเขตที่ผู้เข้าร่วมการจัดอันดับที่แตกต่างกันยอมรับ ระดับสูงของความสอดคล้องถูกพบในระดับหมวดหมู่