Knowledge of Teamwork SkillsThe pri

Knowledge of Teamwork Skills
The primary goal of the ALL teamwork
measure will be to measure respondent
knowledge of teamwork skills, which have
been shown to be positively related to team
performance (Salas et al., 1999; Stevens &
Campion, 1994b). In particular, respondent
knowledge of Group Decision
Making/Planning, Adaptability/Flexibility,
Interpersonal Relations, and Communication
will be assessed. Results from this measure
will provide information as to how knowledge
of teamwork skills is distributed in the adult
population within nations.
Measurement Approach
In developing our approach for measuring
knowledge of teamwork, we faced two
significant challenges: (a) because ALL is the
first attempt to assess knowledge of teamwork
internationally, results from prior research
were not available for guidance; and (b) due to
practical constraints associated with ALL, the
method of measurement was limited to a short
paper-and-pencil instrument. Future largescale
assessments of teamwork may consider
the use of computer-based simulations or other
similar formats to assess team skills more
directly (E. Baker, 1998); however, the
necessary technology is not currently available
to the ALL.
Based on our definition of teamwork, the
relevant literature on knowledge tests
(Borman, 1991; Dye, Reck & McDaniel,
1993; Hunter, 1986), the domain we sought to
measure, and our desire to assess applied
knowledge, our questions require respondents
to make situational judgments. In personnel
selection, both situational judgment questions
for written tests and structured interviews have
been shown to predict job performance (M.
Campion, J. Campion, & Hudson, 1993).
Specific to teams, Stevens and Campion
(1994b) have reported significant criterionrelated
validities with supervisory and peer
ratings of team performance for a thirty-fiveitem
situational judgment test of teamwork
knowledge (although this measure was also
significantly correlated with respondent
general mental ability). Finally, situational
judgment tests have a high degree of face
validity for the respondent.
Item Development
Initially, an item production grid was
constructed to guide item development (refer
to Annex A). The item production grid was
derived from the team skill definitions and the
behavioral facets representing each skill (i.e.,
the item production grid in Annex A
represents the key facets of teamwork in the
U.S. and will be modified for different ALL
countries). The item production grid is used
to ensure that an adequate number of items are
developed to cover the skill domains of
interest and to specify clearly what each item
is intended to measure.
Regarding item construction, short
vignettes were initially created. These
vignettes describe a fictitious team performing
a fictitious team task. Care was taken to
ensure that vignettes were based on both work
and non-work team situations. Each team
described in the vignettes conformed to the
definition and characteristics of a “team.” To
date, five vignettes have been created: one
focusing on a toy manufacturing team, one
focusing on a marketing team, one focusing on
a customer service team and two focusing on
community-based teams (one assigned to
review school performance and one assigned
to clean a park).
Situational judgment items were
developed for each vignette. Each item
presents a situation, and respondents are asked
to rate the effectiveness of each response
option on a 5-point scale where 1 indicates
“Extremely Bad” and 5 indicates “Extremely
Good.” To date, eight items have been
developed for each vignette, resulting in a total of 40 items. Annex B presents several
example items. Annex C lists all of the items
developed thus far.
One issue that was considered, though not
specifically accounted for during item
development, was the notion of item
difficulty. First, unlike other measures
included in ALL (i.e., literacy, numeracy,
problem solving, etc.), the assessment of
teamwork skills (or knowledge of teamwork
skills) in the adult population internationally is
a new undertaking. Therefore, no research
was available to help identify the attributes
that might comprise a more difficult and less
difficult teamwork item. Certainly, varying
the degree to which it is easy to identify the
best response from a series of distractors
would affect item difficulty. Though this
could be done, the ability to respond to more
difficult items constructed in this manner
would not necessarily reflect more knowledge
of teamwork skills. Such responses may be
more reflective of a test taker’s ability to read,
comprehend, and extract the correct
information. More importantly, we must
acknowledge that the difficulty of teamwork
may lie in the execution of team behaviors
rather than in the knowledge of what to do.
All team members may know what to do in a
given team situation, but only the best team
members are willing and able to carry out
these behaviors in a timely and appropriate
fashion that maximizes teamwork. The paperand-
pencil measurement approach used in
ALL does not allow for assessing a
respondent’s skills in terms of actual outcome
criteria.
With these issues in mind, we tried to
construct items of moderate difficulty.
Psychometrically speaking, items of medium
difficulty will provide maximum information
on the distribution of knowledge of teamwork
skills within each ALL country (Crocker &
Algina, 1986). Items of medium difficulty
were formulated by embedding the “best”
alternative for each situational-judgment item
(“best” in terms of U.S. research findings)
among two alternatives that might reflect other
cultures’ expressions of team skills and one
distracter that virtually no one would be
expected to select. In addition, we plan to
collect sufficient data during pre-feasibility
and feasibility studies to determine each
item’s difficulty statistically. Item difficulty
and other indicators of item performance will
be used to select final items for the ALL
teamwork measure.
Scoring
Several scoring procedures will be
explored during feasibility testing. These
range from a Thurstone-like scaling procedure
(Anastasi, 1988) in which respondent ratings
are compared to country-specific profiles
generated for each ALL country to a
dichotomous scoring procedure in which each
situational judgment item is scored as right or
wrong. Whether or not right versus wrong
scoring is plausible will be determined by the
extent to which rating profiles (i.e., respondent
average ratings for the knowledge items) are
similar across countries. The final scoring
procedure for the team knowledge measure
will be selected on the basis of these analyses
and practical considerations associated with
administration and scoring of ALL.

ผลลัพธ์ (ไทย) 1:

ความรู้ทักษะการทำงานเป็นทีมเป้าหมายหลักของทีมทั้งหมดวัดจะวัด respondentความรู้ทักษะการทำงานเป็นทีม มีการแสดงเชิงบวกเกี่ยวข้องกับทีมงานประสิทธิภาพ (ศาลา et al., 1999 Stevens &Campion, 1994b) โดยเฉพาะอย่างยิ่ง respondentความรู้ในการตัดสินใจของกลุ่มทำ/วางแผน หลากหลาย/ความยืดหยุ่นความสัมพันธ์มนุษยสัมพันธ์ และการสื่อสารจะสามารถประเมิน ผลจากการวัดนี้จะให้ข้อมูลไปรู้ทำงานเป็นทีมทักษะกระจายในแบบผู้ใหญ่ประชากรภายในประเทศวิธีการประเมินในการพัฒนาวิธีการวัดของเราความรู้ในการทำงานเป็นทีม ประสบกับสองความท้าทายที่สำคัญ: (a) เนื่องจากทั้งหมดความพยายามครั้งแรกเพื่อประเมินความรู้ของทีมต่างประเทศ ผลจากการวิจัยก่อนหน้านี้ไม่พร้อมใช้งานสำหรับคำแนะนำ และ (b) เนื่องปฏิบัติข้อจำกัดที่เกี่ยวข้องทั้งหมด การวิธีการวัดถูกจำกัดระยะสั้นเครื่องมือกระดาษ และดินสอ Largescale ในอนาคตประเมินความพร้อมของทีมอาจพิจารณาการใช้สถานการณ์จำลองโดยใช้คอมพิวเตอร์หรืออื่น ๆรูปแบบที่คล้ายกันเพื่อประเมินทักษะทีมงานเพิ่มเติมโดยตรง (E. เบเกอร์ 1998); อย่างไรก็ตาม การเทคโนโลยีที่จำเป็นไม่มีอยู่ในปัจจุบันการทั้งหมดตามนิยามของเราทำงานเป็นทีม การวรรณกรรมที่เกี่ยวข้องในการทดสอบความรู้(Borman, 1991 สีย้อม Reck & แม็กแดเนียล1993 ฮันเตอร์ 1986) โดเมนเราพยายามที่จะวัด และความปรารถนาของเราในการประเมินใช้ความรู้ คำถามของเราต้องการตอบการทำคำพิพากษาในสถานการณ์ ในบุคลากรเลือก ทั้งสองคำถามตัดสินในสถานการณ์สำหรับทดสอบการเขียนและการสัมภาษณ์แบบมีโครงสร้างรับการแสดงเพื่อทำนายการปฏิบัติงาน (ม.Campion, J. Campion และฮัด สัน 1993)เฉพาะทีม Stevens และ Campion(1994b) มีรายงาน criterionrelated อย่างมีนัยสำคัญvalidities กับประกาศ และเพียร์การจัดอันดับของทีมประสิทธิภาพสำหรับสามสิบ-fiveitemทดสอบคำพิพากษาที่เมืองไทยทำงานเป็นทีมความรู้ (ถึงแม้ว่าวัดนี้ยังเป็นอย่างมีนัยสำคัญ correlated กับผู้ตอบทั่วไปจิตใจความ) สุดท้าย เมืองไทยคำพิพากษาทดสอบได้ระดับสูงของใบหน้ามีผลบังคับใช้สำหรับผู้ตอบการพัฒนาสินค้าเริ่มแรก ตารางการผลิตสินค้าได้สร้างขึ้นเพื่อเป็นแนวทางพัฒนาสินค้า (อ้างอิงต่อท้าย A) ตารางการผลิตสินค้าได้มาจากข้อกำหนดทักษะของทีมงานและแง่มุมพฤติกรรมที่แสดงถึงแต่ละทักษะ (เช่นตารางการผลิตสินค้าในแอนเน็กซ์ Aแสดงถึงแง่มุมสำคัญของทีมในสหรัฐอเมริกา และจะแก้ไขทั้งหมดที่แตกต่างกันประเทศ) ใช้ตารางการผลิตสินค้าให้แน่ใจว่า จำนวนสินค้าที่เพียงพอพัฒนาจะครอบคลุมทักษะโดเมนของสนใจ และระบุชัดเจนว่าสินค้าแต่ละรายการมีวัตถุประสงค์เพื่อวัดเกี่ยวกับสินค้าก่อสร้าง สั้นเริ่มต้นถูกสร้าง vignettes เหล่านี้vignettes อธิบายสมมุติทีมทำสมมติชื่อทีมงาน ดูแลถูกนำไปให้แน่ใจว่า vignettes ถูกใช้งานทั้งสองและทีมงานไม่ใช่สถานการณ์ แต่ละทีมอธิบายใน vignettes ที่ตามนิยามและลักษณะของ "ทีมงาน" ถึงวัน 5 vignettes ได้: หนึ่งเน้นทีมงานผลิตของเล่น หนึ่งเน้นทีมการตลาด หนึ่งเน้นทีมบริการลูกค้าและเน้นไปที่สองทีมชุมชน (หนึ่งให้ตรวจทานประสิทธิภาพของโรงเรียนและกำหนดให้กับทำความสะอาดสวน)รายการเมืองไทยพิพากษาพัฒนาในแต่ละมาก สินค้าแต่ละรายการนำเสนอสถานการณ์ และตอบถามอัตราประสิทธิภาพของแต่ละผลตอบรับตัวเลือกในระดับ 5-จุดที่ 1 ระบุ"ดีมาก" และ 5 บ่งชี้ "มากดี " วันที่ แปดได้พัฒนาในแต่ละมาก ในจำนวน 40 รายการ แอนเน็กซ์ B แสดงหลายตัวอย่างสินค้า แอนเน็กซ์ C แสดงรายการสินค้าทั้งหมดพัฒนาฉะนี้ปัญหาหนึ่งที่ถูกถือ ว่าไม่โดยเฉพาะคิดระหว่างสินค้าพัฒนา เป็นแนวคิดของสินค้ายาก แรก ซึ่งแตกต่างจากวัดอื่น ๆรวมทั้งหมด (เช่น สามารถ การปัญหาแก้ปัญหา etc.), การประเมินทักษะการทำงานเป็นทีม (หรือความรู้ในการทำงานเป็นทีมทักษะ) ในประชากรผู้ใหญ่ในระดับสากลกิจการใหม่ ดังนั้น ไม่มีงานวิจัยในการช่วยระบุคุณลักษณะที่อาจมีความยากมาก และน้อยรายการทีมยาก แน่นอน แตกต่างกันไปซึ่งจะง่ายต่อการระบุระดับการตอบสนองดีที่สุดจากชุดของ distractorsจะส่งผลต่อสินค้ายาก ว่านี้สามารถทำได้ ความสามารถในการตอบสนองมากขึ้นรายการที่สร้างในลักษณะนี้ยากจะไม่จำเป็นต้องสะท้อนความรู้เพิ่มเติมทักษะการทำงานเป็นทีม การตอบสนองดังกล่าวอาจเพิ่มเติมให้เป็นเกรดทดสอบความสามารถในการอ่านเข้าใจ และแยกถูกต้องข้อมูล ที่สำคัญ เราต้องยอมรับที่ความยากของการทำงานเป็นทีมอาจอยู่ในลักษณะการทำงานของทีมงานในการแทนที่ จะรู้ว่าจะทำสมาชิกทั้งหมดอาจรู้ว่าจะทำในการสถานการณ์ของทีมที่กำหนด แต่เฉพาะทีมดีที่สุดสมาชิกจะเต็มใจ และสามารถดำเนินพฤติกรรมเหล่านี้ ในการทันเวลา และเหมาะสมแฟชั่นที่วางทำงานเป็นทีม Paperand-วิธีวัดดินสอที่ใช้ในทั้งหมดไม่อนุญาตให้สำหรับการประเมินการทักษะของผู้ตอบในผลลัพธ์จริงเกณฑ์การด้วยปัญหาเหล่านี้ในจิตใจ เราพยายามสร้างรายการความยากปานกลางPsychometrically พูด สินค้าของกลางยากจะให้รายละเอียดสูงสุดในการกระจายความรู้ของทีมทักษะภายในแต่ละประเทศทั้งหมด (ซคูทีฟและAlgina, 1986) รายการความยากปานกลางถูกกำหนด โดยการฝัง "ส่วน"ทางเลือกสำหรับแต่ละรายการจัดการพิพากษา("ดีที่สุด" ในสหรัฐอเมริกาพบ)ระหว่างสองทางเลือก ที่อาจสะท้อนอื่น ๆนิพจน์ของวัฒนธรรมของทีมทักษะและหนึ่งdistracter ที่แทบไม่มีใครจะคาดว่าจะเลือก นอกจากนี้ เราจะรวบรวมข้อมูลเพียงพอในระหว่างความเป็นไปได้ก่อนและศึกษาความเป็นไปได้ในการกำหนดแต่ละปัญหาของสินค้าทางสถิติ สินค้ายากและตัวบ่งชี้อื่น ๆ ของการแสดงสินค้าใช้เพื่อเลือกรายการสุดท้ายสำหรับทั้งหมดวัดการทำงานเป็นทีมการให้คะแนนหลายขั้นตอนการให้คะแนนจะอุดมในระหว่างการทดสอบความเป็นไปได้ เหล่านี้ตั้งแต่ขั้นตอนเหมือน Thurstone มาตราส่วน(Anastasi, 1988) ในอันดับที่ respondentเมื่อเทียบกับโพรไฟล์เฉพาะประเทศสร้างขึ้นสำหรับแต่ละประเทศทั้งหมดเพื่อการdichotomous กระบวนการให้คะแนนในแต่ละที่สินค้าเมืองไทยตัดสินคือคะแนนด้านขวา หรือไม่ถูกต้อง ว่าขวาเมื่อเทียบกับการไม่ถูกต้องหรือไม่การให้คะแนนจะเป็นไปได้จะถูกกำหนดโดยการขอบเขตส่วนกำหนดค่าที่ประเมิน (เช่น respondentมีการจัดอันดับเฉลี่ยสำหรับสินค้าความรู้)คล้ายคลึงกันทั่วประเทศ คะแนนสุดท้ายขั้นตอนการวัดความรู้ทีมงานจะถูกเลือก โดยวิเคราะห์เหล่านี้และพิจารณาการปฏิบัติที่เกี่ยวข้องกับจัดการและการให้คะแนนทั้งหมด

ผลลัพธ์ (ไทย) 2:

ความรู้ทักษะการทำงานเป็นทีมของเป้าหมายหลักของการทำงานเป็นทีมทุกวัดจะได้รับการตอบวัดความรู้ทักษะการทำงานเป็นทีมของซึ่งได้รับการแสดงที่จะเกี่ยวข้องในเชิงบวกให้กับทีมงานการปฏิบัติงาน(Salas et al, 1999;. สตีเวนส์และเปี้ยน, 1994b) โดยเฉพาะอย่างยิ่งผู้ตอบแบบสอบถามความรู้เกี่ยวกับการตัดสินใจของกลุ่มการผลิต/ การวางแผนการปรับตัว / ความยืดหยุ่น, ความสัมพันธ์ระหว่างบุคคลและการสื่อสารจะได้รับการประเมิน ผลลัพธ์ที่ได้จากมาตรการนี้จะให้ข้อมูลที่เป็นวิธีการที่มีความรู้ทักษะการทำงานเป็นทีมมีการกระจายในผู้ใหญ่. ประชากรภายในประเทศวิธีการวัดในการพัฒนาวิธีการของเราสำหรับการวัดความรู้ในการทำงานเป็นทีมที่เราต้องเผชิญกับสองความท้าทายที่สำคัญ(ก) เพราะทั้งหมดเป็นความพยายามครั้งแรกเพื่อประเมินความรู้การทำงานเป็นทีมในระดับสากลผลจากการวิจัยก่อนที่ไม่สามารถใช้ได้สำหรับคำแนะนำ; และ (ข) เนื่องจากข้อจำกัด ในทางปฏิบัติที่เกี่ยวข้องกับทุกวิธีการวัดที่ถูกจำกัด ให้สั้นเครื่องดนตรีกระดาษและดินสอ largescale อนาคตการประเมินผลการทำงานเป็นทีมอาจจะพิจารณาการใช้แบบจำลองคอมพิวเตอร์หรืออื่นๆรูปแบบคล้ายกับการประเมินทักษะของทีมอื่น ๆได้โดยตรง (อีเบเคอร์, 1998); แต่เทคโนโลยีที่จำเป็นในขณะนี้ไม่สามารถใช้ได้กับทุกคน. อยู่บนพื้นฐานของความหมายของการทำงานเป็นทีมที่วรรณกรรมที่เกี่ยวข้องในการทดสอบความรู้(Borman 1991; ย้อม Reck และ McDaniel, 1993; ฮันเตอร์, 1986), โดเมนที่เราพยายามที่จะวัดและความปรารถนาของเราที่จะนำมาใช้ในการประเมินความรู้คำถามของเราต้องตอบแบบสอบถามเพื่อให้คำตัดสินสถานการณ์ ในบุคลากรเลือกทั้งคำถามตัดสินสถานการณ์สำหรับการทดสอบข้อเขียนและสัมภาษณ์แบบมีโครงสร้างที่ได้รับการแสดงที่จะคาดการณ์ผลการปฏิบัติงาน(เอ็มเปี้ยนเจเปี้ยนและฮัดสัน, 1993). เฉพาะทีมสตีเวนส์และเปี้ยน(1994b) ได้มีการรายงาน criterionrelated อย่างมีนัยสำคัญความถูกต้องที่มีการกำกับดูแลและเพียร์การจัดอันดับผลการดำเนินงานของทีมสำหรับสามสิบ fiveitem ทดสอบการตัดสินสถานการณ์การทำงานเป็นทีมความรู้(แต่วัดนี้ก็ยังมีความสัมพันธ์อย่างมีนัยสำคัญที่มีผู้ตอบแบบสอบถามความสามารถทางจิตทั่วไป) ในที่สุดสถานการณ์การทดสอบการตัดสินได้ในระดับสูงของใบหน้าถูกต้องสำหรับผู้ถูกกล่าวหา. การพัฒนารายการในขั้นต้นตารางการผลิตรายการที่ได้รับการสร้างขึ้นมาเพื่อเป็นแนวทางในการพัฒนารายการ(โปรดดูภาคผนวก A) ตารางการผลิตรายการที่ได้รับมาจากคำจำกัดความของทีมทักษะและแง่มุมที่เป็นตัวแทนของแต่ละพฤติกรรมทักษะ(เช่นตารางการผลิตรายการในภาคผนวกกแสดงให้เห็นถึงแง่มุมที่สำคัญของการทำงานเป็นทีมในสหรัฐอเมริกาและจะได้รับการแก้ไขที่แตกต่างกันสำหรับทุกประเทศ) ตารางการผลิตรายการที่ถูกนำมาใช้เพื่อให้แน่ใจว่าเป็นจำนวนที่เพียงพอของรายการที่ได้รับการพัฒนาเพื่อให้ครอบคลุมทักษะโดเมนของดอกเบี้ยและการระบุอย่างชัดเจนว่าแต่ละรายการมีจุดมุ่งหมายในการวัด. เกี่ยวกับการก่อสร้างรายการสั้นสะเปะสะปะถูกสร้างขึ้นครั้งแรก เหล่านี้สะเปะสะปะอธิบายทีมตำนานการปฏิบัติงานของทีมที่โกหก การดูแลถูกนำตัวไปให้แน่ใจว่าสะเปะสะปะอยู่บนพื้นฐานของการทำงานและสถานการณ์ของทีมที่ไม่ได้ทำงาน แต่ละทีมที่อธิบายไว้ในสะเปะสะปะสอดคล้องกับความหมายและลักษณะของในการ"ทีมงาน." วันที่ห้าสะเปะสะปะได้รับการสร้าง: หนึ่งมุ่งเน้นไปที่ทีมงานผลิตของเล่นหนึ่งมุ่งเน้นไปที่ทีมการตลาดคนหนึ่งมุ่งเน้นไปที่ทีมงานบริการลูกค้าและสองมุ่งเน้นไปที่ทีมชุมชนตาม(อย่างใดอย่างหนึ่งได้รับมอบหมายให้ตรวจสอบประสิทธิภาพและเป็นหนึ่งในโรงเรียนที่ได้รับมอบหมายในการทำความสะอาดสวนสาธารณะ). รายการตัดสินสถานการณ์ที่ถูกพัฒนาขึ้นมาสำหรับแต่ละบทความ แต่ละรายการนำเสนอสถานการณ์และผู้ตอบแบบสอบถามจะถูกถามให้คะแนนความมีประสิทธิผลของแต่ละการตอบสนองของตัวเลือกในระดับ5 จุดที่ 1 หมายถึง"แย่มาก" และ 5 แสดงให้เห็น "มากดี." ในวันที่แปดรายการที่ได้รับการพัฒนาขึ้นมาสำหรับบทความแต่ละ ส่งผลให้จำนวน 40 รายการ ภาคผนวกขนำเสนอหลายรายการเช่น ภาคผนวกคแสดงรายการทั้งหมดที่ได้รับการพัฒนาป่านนี้. หนึ่งปัญหาที่ได้รับการพิจารณา แต่ไม่ได้โดยเฉพาะในช่วงที่มีสัดส่วนรายการที่พัฒนาเป็นความคิดของรายการที่ยากลำบาก ครั้งแรกที่แตกต่างจากมาตรการอื่น ๆรวมอยู่ในทั้งหมด (เช่นความรู้, การคำนวณ, การแก้ปัญหา ฯลฯ ) การประเมินผลของทักษะการทำงานเป็นทีม(หรือความรู้การทำงานเป็นทีมทักษะ) ในประชากรผู้ใหญ่ในต่างประเทศเป็นกิจการใหม่ ดังนั้นงานวิจัยไม่มีก็พร้อมที่จะช่วยในการระบุคุณลักษณะที่อาจประกอบด้วยเรื่องยากมากขึ้นและน้อยกว่ารายการการทำงานเป็นทีมที่ยากลำบาก แน่นอนที่แตกต่างกันระดับที่มันเป็นเรื่องง่ายที่จะระบุการตอบสนองที่ดีที่สุดจากชุดของdistractors จะส่งผลกระทบต่อความยากลำบากในรายการ แต่นี้สามารถทำได้ความสามารถในการตอบสนองต่อการเพิ่มเติมรายการที่ยากที่สร้างขึ้นในลักษณะนี้จะไม่จำเป็นต้องสะท้อนให้เห็นถึงความรู้เพิ่มเติมทักษะการทำงานเป็นทีม การตอบสนองดังกล่าวอาจจะสะท้อนแสงมากขึ้นของความสามารถของผู้สอบในการอ่านเข้าใจและแยกที่ถูกต้องข้อมูล ที่สำคัญเราต้องยอมรับว่าความยากลำบากในการทำงานเป็นทีมอาจอยู่ในการดำเนินการของพฤติกรรมทีมมากกว่าความรู้ในสิ่งที่จะทำ. สมาชิกในทีมทั้งหมดจะได้รู้ว่าจะทำอย่างไรในสถานการณ์ที่ทีมงานได้รับแต่สิ่งที่ดีที่สุดทีมสมาชิกเต็มใจและสามารถที่จะดำเนินการพฤติกรรมเหล่านี้ในเวลาที่เหมาะสมและมีความเหมาะสมแฟชั่นที่เพิ่มการทำงานเป็นทีม paperand- วิธีการวัดดินสอที่ใช้ในการทั้งหมดไม่อนุญาตให้มีการประเมินทักษะของผู้ตอบแบบสอบถามในแง่ของผลที่เกิดขึ้นจริงตามเกณฑ์. กับปัญหาเหล่านี้ในใจเราพยายามที่จะสร้างรายการของความยากลำบากพอสมควร. ทางจิตวิทยาพูดรายการของสื่อความยากลำบากจะให้ข้อมูลสูงสุดเกี่ยวกับการกระจายความรู้การทำงานเป็นทีมทักษะในแต่ละประเทศทั้งหมด (คร็อกเกอร์และ Algina, 1986) รายการของความยากลำบากขนาดกลางเป็นสูตรโดยการฝัง "ดีที่สุด" ทางเลือกสำหรับแต่ละรายการสถานการณ์ตัดสิน("ดีที่สุด" ในแง่ของสหรัฐวิจัยค้นพบ) ในหมู่สองทางเลือกที่อาจจะสะท้อนให้เห็นถึงอื่น ๆ ที่แสดงออกทางวัฒนธรรมของทักษะของทีมและเป็นหนึ่งในdistracter ที่แทบไม่มีใคร จะได้รับการคาดหวังว่าจะเลือก นอกจากนี้เราวางแผนที่จะเก็บรวบรวมข้อมูลที่เพียงพอในช่วงที่ความเป็นไปได้ก่อนและศึกษาความเป็นไปเพื่อตรวจสอบแต่ละความยากลำบากของรายการทางสถิติ ความยากลำบากในรายการและตัวชี้วัดอื่น ๆ ของผลการดำเนินงานรายการที่จะนำมาใช้เพื่อเลือกรายการสุดท้ายสำหรับทุกตัวชี้วัดการทำงานเป็นทีม. เกณฑ์การให้คะแนนขั้นตอนการให้คะแนนหลายจะได้รับการสำรวจในระหว่างการทดสอบความเป็นไปได้ เหล่านี้ในช่วงตั้งแต่ขั้นตอนการปรับ Thurstone เหมือน (Anastasi, 1988) ซึ่งในการจัดอันดับตอบเมื่อเทียบกับรูปแบบเฉพาะของประเทศสร้างขึ้นสำหรับแต่ละประเทศทั้งหมดไปยังขั้นตอนการให้คะแนนแบบทวิลักษณ์ซึ่งในแต่ละรายการที่ตัดสินสถานการณ์เป็นคะแนนเป็นถูกหรือผิด หรือไม่ถูกต้องผิดเมื่อเทียบกับเกณฑ์การให้คะแนนเป็นไปได้จะได้รับการกำหนดโดยขอบเขตที่โปรไฟล์คะแนน(คือผู้ตอบแบบสอบถามให้คะแนนเฉลี่ยสำหรับรายการความรู้) มีความคล้ายกันทั่วประเทศ เกณฑ์การให้คะแนนสุดท้ายขั้นตอนการวัดความรู้ทีมจะถูกเลือกบนพื้นฐานของการวิเคราะห์เหล่านี้และการพิจารณาการปฏิบัติที่เกี่ยวข้องกับการบริหารจัดการและการให้คะแนนของทั้งหมด