- ข้อความ
- ประวัติศาสตร์
Robert MislevyUniversity of Marylan
Robert Mislevy
University of Maryland
PADI Technical Report 17 | September 2006
Report Series Published by SRI International
P A D I
PADI | Principled Assessment Designs for Inquiry
Implications of
Evidence-Centered Design
for Educational Testing
Robert J. Mislevy, University of Maryland
Geneva D. Haertel, SRI International
DRAFT
SRI International
Center for Technology in Learning
333 Ravenswood Avenue
Menlo Park, CA 94025-3493
650.859.2000
http://padi.sri.com
PADI Technical Report Series Editors
Alexis Mitman Colker, Ph.D., Project Consultant
Geneva D. Haertel, Ph.D., Co-Principal Investigator
Robert Mislevy, Ph.D., Co-Principal Investigator
Klaus Krause, Technical Writer/Editor
Lynne Peck Theis, Documentation Designer
Copyright © 2006 SRI International and University of Maryland. All Rights Reserved.
Acknowledgments
This material is based on work supported by the National Science Foundation under grant REC-0129331
(PADI Implementation Grant).
Disclaimer
Any opinions, findings, and conclusions or recommendations expressed in this material are those of the authors and do
not necessarily reflect the views of the National Science Foundation.
P R I N C I P L E D A S S E S S M E N T D E S I G N S F O R I N Q U I R Y
T E C H N I C A L R E P O R T 1 7
Implications of Evidence-Centered Design for
Educational Testing
DRAFT
Prepared by:
Robert J. Mislevy, University of Maryland
Geneva D. Haertel, SRI International
ii—DRAFT
C O N T E N T S
Abstract v
1.0 Introduction 1
1.1 Evidence-Centered Assessment Design 2
2.0 Layers in Assessment Design 3
2.1 Domain Analysis 5
2.2 Domain Modeling 7
2.3 The Conceptual Assessment Framework 14
2.4 Assessment Implementation 20
2.5 Assessment Delivery 20
3.0 Conclusion: Aren’t These Just New Words for Things We Already Do? 22
References 24
DRAFT—iii
F I G U R E S
Figure 1. “Yes” Means “No” 2
Figure 2. Evidence-Centered Design Layers and Associated PADI Tools 5
Figure 3. An Extended Toulmin Diagram for Assessment Arguments 8
Figure 4. Graphic Summary of the Student, Evidence, and Task Models 14
Figure 5. High-level UML Representation of the PADI Object Model 17
Figure 6. A BioKIDS Template within PADI Design System 18
Figure 7. A BioKIDS Measurement Model within the PADI Design System, as Viewed through the
User Interface 19
Figure 8. The XML Representation of a Measurement Model within the PADI Design System 19
iv—DRAFT
T A B L E S
Table 1. Layers of Evidence Centered Design for Educational Assessments 4
Table 2. Design Pattern Attributes, Definitions, and Corresponding Assessment Argument
Components 9
Table 3. “Model Elaboration” Design Pattern in PADI Design System 10
Table 4. Design Patterns for Model-Based Reasoning in Science 12
DRAFT—v
A B S T R A C T
Evidence-centered assessment design (ECD) provides language, concepts, and knowledge representations
for designing and delivering educational assessments, all organized around the evidentiary argument an
assessment is meant to embody. This article describes ECD in terms of layers for analyzing domains, laying
out arguments, creating schemas for operational elements such as tasks and measurement models,
implementing the assessment, and carrying out the operational processes. It is argued that this framework
helps designers take advantage of developments from measurement, technology, cognitive psychology,
and learning in the domains. Examples of ECD tools and applications are drawn from the Principled
Assessment Designs for Inquiry (PADI) Project. Attention is given to implications for large-scale tests such as
state accountability measures, with a special eye for computer-based simulation tasks.
Introduction DRAFT—1
1.0 Introduction
These are heady times in the world of educational assessment—days of urgent demands,
unprecedented opportunities, and tantalizing challenges. The demands are for
consequential tests in schools and states, at larger scales and with higher stakes than we
have seen before. The opportunities are to assess learning viewed from a growing
understanding of the nature and acquisition of knowledge and to draw upon everexpanding
technological capabilities to construct scenarios, interact with examinees,
capture and evaluate their performances, and model the patterns they convey. And the
challenges are abundant, encapsulated in a single question: How can we bring these new
capabilities to bear on the assessment problems we face today?
Long established and well-honed assessment practices did not evolve to deal with
assessments that are complex, in the sense of interactive tasks, multidimensional
proficiencies, and complex responses to evaluate. But progress is being made on many
fronts to extend practice, as seen in the National Board of Examiners’ computer-based
simulation tasks (Clyman, Melnick, & Clauser, 1999), Adams, Wilson, and Wang’s (1997)
structured multidimensional IRT models, and White and Frederiksen’s (1998) guided selfevaluation
in extended inquiry tasks. This work succeeds because even when it differs from
traditional testing on the surface, each innovation is grounded in the same principles of
evidentiary reasoning that underlie the best assessments of the past.
One vital line of current research aims to make the principles of evidentiary reasoning
explicit, to build conceptual and technological tools that help designers orchestrate new
developments, and lay the groundwork for further advances. The National Research
Council’s (2001) volume Knowing What Students Know lays out the case and provides an
integrative review of the necessary cognitive, psychometric, and technological
foundations. Examples of work that coordinate various aspects of task design,
psychometric modeling, assessment delivery, and psychological research in the desired
ways include Baker (1997, 2002), Embretson (1985, 1998), Luecht (2002), and Wilson (2005).
Our own recent work falls under the rubric of “evidence-centered” assessment design
(ECD; Mislevy, Steinberg, & Almond, 2003), an approach that has been implemented in
various ways at Educational Testing Service, Cisco Systems (Behrens, Mislevy, Bauer,
Williamson, & Levy, 2004), the IMS Global Learning Consortium (2000), and elsewhere. We
will illustrate points with tools and examples from our ECD-based work in the Principled
Assessment Designs for Inquiry (PADI; Baxter & Mislevy, 2004) project. The BioKIDS
project’s (Songer, 2004) application of PADI design tools illustrates their benefits in largescale
on-demand testing, a particular focus of this presentation.
The next section of the paper provides a brief overview of evidence-centered design. Two
complementary ideas organize the effort. The first is an overarching conception of
assessment as an argument from imperfect evidence. Messick (1994) lays out the basic
narrative, saying that we:
would begin by asking what complex of knowledge, skills, or other attributes should
be assessed, presumably because they are tied to explicit or implicit objectives of
instruction or are otherwise valued by society. Next, what behaviors or
2—DRAFT Introduction
performances should reveal those constructs, and what tasks or situations should
elicit those behaviors? (p. 16).
The second idea is distinguishing layers at which activities and structures appear in the
assessment enterprise, all for the purpose of instantiating an assessment argument in
operational processes (Mislevy, Steinberg, & Almond, 2003; Mislevy & Riconscente, 2006).
The following section steps through the layers of evidence-centered design as applied to
assessment in more detail. We see the roles that advances from allied fields bring to
assessment and how their contributions are coordinated within and across layers. The
benefits of explicitness, reusability, and common language and representations are noted
throughout.
The closing discussion addresses a question posed by an anonymous reviewer of a
symposium proposal that we submitted for an annual meeting of the National Council of
Measurement in Education (NCME): Isn’t this all just new words for what people are already
doing? To anticipate, the answer is symbolized in Figure 1: Many small “yes’s,” arranged in
just the right way, reveal a greater “no.”
Figure 1. “Yes” Means “No”
1.1 Evidence-Centered Assessment Design
Evidence-centered design (ECD) views an assessment as an evidentiary argument: An
argument from what we observe students say, do, or make in a few particular
circumstances, to inferences about what they know, can do, or have accomplished more
generally (Mislevy, Steinberg, & Almond, 2003). The view of assessment as argument is a
cornerstone of test validation (Kane, 1992, Messick, 1989). ECD applies this perspective
proactively to test design.
yesyes yesyes syesyesyesyesy
yesyesy yesyes esyesyesyesyesye
yesyesye yesyes yesyesyesyesyesyes
yesyesyes yesyes yesyes yesyes
yesyesyesy yesyes yesyes yesyes
yesyesyesye yesyes yesyes yesyes
yesyes esyes yesyes yesyes yesyes
yesyes syesy yesyes yesyes yesyes
yesyes yesye yesyes yesyes yesyes
yesyes esyesyesyes yesyes yesyes
yesyes syesyesyes yesyes yesyes
yesyes yesyesyes yesyes yesyes
yesyes esyesyes yesyesyesyesyesyes
yesyes syesyes esyesyesyesyesye
yesyes yesyes syesyesyesyesy
Layers in Assessment Design DRAFT—3
2.0 Layers in Assessment Design
ECD organizes the work of design and implementation in terms of layers, a metaphor
drawn from architecture and software engineering (Mislevy & Riconscente, 2006). It is often
useful to analyze complex systems in terms of subsystems whose individual components
are better handled at the subsystem level (Simon, 2001). Brand (1994) views buildings as
dynamic objects wherein initial construction and subsequent changes take place at
different timescales and in varying ways, by actors with different motives and roles. Brand
identifies six layers that capture the stages of design and implementation of a building.
These layers serve as a heuristic for making decisions at each step in the life of a buildi
University of Maryland
PADI Technical Report 17 | September 2006
Report Series Published by SRI International
P A D I
PADI | Principled Assessment Designs for Inquiry
Implications of
Evidence-Centered Design
for Educational Testing
Robert J. Mislevy, University of Maryland
Geneva D. Haertel, SRI International
DRAFT
SRI International
Center for Technology in Learning
333 Ravenswood Avenue
Menlo Park, CA 94025-3493
650.859.2000
http://padi.sri.com
PADI Technical Report Series Editors
Alexis Mitman Colker, Ph.D., Project Consultant
Geneva D. Haertel, Ph.D., Co-Principal Investigator
Robert Mislevy, Ph.D., Co-Principal Investigator
Klaus Krause, Technical Writer/Editor
Lynne Peck Theis, Documentation Designer
Copyright © 2006 SRI International and University of Maryland. All Rights Reserved.
Acknowledgments
This material is based on work supported by the National Science Foundation under grant REC-0129331
(PADI Implementation Grant).
Disclaimer
Any opinions, findings, and conclusions or recommendations expressed in this material are those of the authors and do
not necessarily reflect the views of the National Science Foundation.
P R I N C I P L E D A S S E S S M E N T D E S I G N S F O R I N Q U I R Y
T E C H N I C A L R E P O R T 1 7
Implications of Evidence-Centered Design for
Educational Testing
DRAFT
Prepared by:
Robert J. Mislevy, University of Maryland
Geneva D. Haertel, SRI International
ii—DRAFT
C O N T E N T S
Abstract v
1.0 Introduction 1
1.1 Evidence-Centered Assessment Design 2
2.0 Layers in Assessment Design 3
2.1 Domain Analysis 5
2.2 Domain Modeling 7
2.3 The Conceptual Assessment Framework 14
2.4 Assessment Implementation 20
2.5 Assessment Delivery 20
3.0 Conclusion: Aren’t These Just New Words for Things We Already Do? 22
References 24
DRAFT—iii
F I G U R E S
Figure 1. “Yes” Means “No” 2
Figure 2. Evidence-Centered Design Layers and Associated PADI Tools 5
Figure 3. An Extended Toulmin Diagram for Assessment Arguments 8
Figure 4. Graphic Summary of the Student, Evidence, and Task Models 14
Figure 5. High-level UML Representation of the PADI Object Model 17
Figure 6. A BioKIDS Template within PADI Design System 18
Figure 7. A BioKIDS Measurement Model within the PADI Design System, as Viewed through the
User Interface 19
Figure 8. The XML Representation of a Measurement Model within the PADI Design System 19
iv—DRAFT
T A B L E S
Table 1. Layers of Evidence Centered Design for Educational Assessments 4
Table 2. Design Pattern Attributes, Definitions, and Corresponding Assessment Argument
Components 9
Table 3. “Model Elaboration” Design Pattern in PADI Design System 10
Table 4. Design Patterns for Model-Based Reasoning in Science 12
DRAFT—v
A B S T R A C T
Evidence-centered assessment design (ECD) provides language, concepts, and knowledge representations
for designing and delivering educational assessments, all organized around the evidentiary argument an
assessment is meant to embody. This article describes ECD in terms of layers for analyzing domains, laying
out arguments, creating schemas for operational elements such as tasks and measurement models,
implementing the assessment, and carrying out the operational processes. It is argued that this framework
helps designers take advantage of developments from measurement, technology, cognitive psychology,
and learning in the domains. Examples of ECD tools and applications are drawn from the Principled
Assessment Designs for Inquiry (PADI) Project. Attention is given to implications for large-scale tests such as
state accountability measures, with a special eye for computer-based simulation tasks.
Introduction DRAFT—1
1.0 Introduction
These are heady times in the world of educational assessment—days of urgent demands,
unprecedented opportunities, and tantalizing challenges. The demands are for
consequential tests in schools and states, at larger scales and with higher stakes than we
have seen before. The opportunities are to assess learning viewed from a growing
understanding of the nature and acquisition of knowledge and to draw upon everexpanding
technological capabilities to construct scenarios, interact with examinees,
capture and evaluate their performances, and model the patterns they convey. And the
challenges are abundant, encapsulated in a single question: How can we bring these new
capabilities to bear on the assessment problems we face today?
Long established and well-honed assessment practices did not evolve to deal with
assessments that are complex, in the sense of interactive tasks, multidimensional
proficiencies, and complex responses to evaluate. But progress is being made on many
fronts to extend practice, as seen in the National Board of Examiners’ computer-based
simulation tasks (Clyman, Melnick, & Clauser, 1999), Adams, Wilson, and Wang’s (1997)
structured multidimensional IRT models, and White and Frederiksen’s (1998) guided selfevaluation
in extended inquiry tasks. This work succeeds because even when it differs from
traditional testing on the surface, each innovation is grounded in the same principles of
evidentiary reasoning that underlie the best assessments of the past.
One vital line of current research aims to make the principles of evidentiary reasoning
explicit, to build conceptual and technological tools that help designers orchestrate new
developments, and lay the groundwork for further advances. The National Research
Council’s (2001) volume Knowing What Students Know lays out the case and provides an
integrative review of the necessary cognitive, psychometric, and technological
foundations. Examples of work that coordinate various aspects of task design,
psychometric modeling, assessment delivery, and psychological research in the desired
ways include Baker (1997, 2002), Embretson (1985, 1998), Luecht (2002), and Wilson (2005).
Our own recent work falls under the rubric of “evidence-centered” assessment design
(ECD; Mislevy, Steinberg, & Almond, 2003), an approach that has been implemented in
various ways at Educational Testing Service, Cisco Systems (Behrens, Mislevy, Bauer,
Williamson, & Levy, 2004), the IMS Global Learning Consortium (2000), and elsewhere. We
will illustrate points with tools and examples from our ECD-based work in the Principled
Assessment Designs for Inquiry (PADI; Baxter & Mislevy, 2004) project. The BioKIDS
project’s (Songer, 2004) application of PADI design tools illustrates their benefits in largescale
on-demand testing, a particular focus of this presentation.
The next section of the paper provides a brief overview of evidence-centered design. Two
complementary ideas organize the effort. The first is an overarching conception of
assessment as an argument from imperfect evidence. Messick (1994) lays out the basic
narrative, saying that we:
would begin by asking what complex of knowledge, skills, or other attributes should
be assessed, presumably because they are tied to explicit or implicit objectives of
instruction or are otherwise valued by society. Next, what behaviors or
2—DRAFT Introduction
performances should reveal those constructs, and what tasks or situations should
elicit those behaviors? (p. 16).
The second idea is distinguishing layers at which activities and structures appear in the
assessment enterprise, all for the purpose of instantiating an assessment argument in
operational processes (Mislevy, Steinberg, & Almond, 2003; Mislevy & Riconscente, 2006).
The following section steps through the layers of evidence-centered design as applied to
assessment in more detail. We see the roles that advances from allied fields bring to
assessment and how their contributions are coordinated within and across layers. The
benefits of explicitness, reusability, and common language and representations are noted
throughout.
The closing discussion addresses a question posed by an anonymous reviewer of a
symposium proposal that we submitted for an annual meeting of the National Council of
Measurement in Education (NCME): Isn’t this all just new words for what people are already
doing? To anticipate, the answer is symbolized in Figure 1: Many small “yes’s,” arranged in
just the right way, reveal a greater “no.”
Figure 1. “Yes” Means “No”
1.1 Evidence-Centered Assessment Design
Evidence-centered design (ECD) views an assessment as an evidentiary argument: An
argument from what we observe students say, do, or make in a few particular
circumstances, to inferences about what they know, can do, or have accomplished more
generally (Mislevy, Steinberg, & Almond, 2003). The view of assessment as argument is a
cornerstone of test validation (Kane, 1992, Messick, 1989). ECD applies this perspective
proactively to test design.
yesyes yesyes syesyesyesyesy
yesyesy yesyes esyesyesyesyesye
yesyesye yesyes yesyesyesyesyesyes
yesyesyes yesyes yesyes yesyes
yesyesyesy yesyes yesyes yesyes
yesyesyesye yesyes yesyes yesyes
yesyes esyes yesyes yesyes yesyes
yesyes syesy yesyes yesyes yesyes
yesyes yesye yesyes yesyes yesyes
yesyes esyesyesyes yesyes yesyes
yesyes syesyesyes yesyes yesyes
yesyes yesyesyes yesyes yesyes
yesyes esyesyes yesyesyesyesyesyes
yesyes syesyes esyesyesyesyesye
yesyes yesyes syesyesyesyesy
Layers in Assessment Design DRAFT—3
2.0 Layers in Assessment Design
ECD organizes the work of design and implementation in terms of layers, a metaphor
drawn from architecture and software engineering (Mislevy & Riconscente, 2006). It is often
useful to analyze complex systems in terms of subsystems whose individual components
are better handled at the subsystem level (Simon, 2001). Brand (1994) views buildings as
dynamic objects wherein initial construction and subsequent changes take place at
different timescales and in varying ways, by actors with different motives and roles. Brand
identifies six layers that capture the stages of design and implementation of a building.
These layers serve as a heuristic for making decisions at each step in the life of a buildi
0/5000
Robert MislevyUniversity of MarylandPADI Technical Report 17 | September 2006Report Series Published by SRI InternationalP A D IPADI | Principled Assessment Designs for InquiryImplications ofEvidence-Centered Designfor Educational TestingRobert J. Mislevy, University of MarylandGeneva D. Haertel, SRI InternationalDRAFTSRI InternationalCenter for Technology in Learning333 Ravenswood AvenueMenlo Park, CA 94025-3493650.859.2000http://padi.sri.comPADI Technical Report Series EditorsAlexis Mitman Colker, Ph.D., Project ConsultantGeneva D. Haertel, Ph.D., Co-Principal InvestigatorRobert Mislevy, Ph.D., Co-Principal InvestigatorKlaus Krause, Technical Writer/EditorLynne Peck Theis, Documentation DesignerCopyright © 2006 SRI International and University of Maryland. All Rights Reserved.AcknowledgmentsThis material is based on work supported by the National Science Foundation under grant REC-0129331(PADI Implementation Grant).DisclaimerAny opinions, findings, and conclusions or recommendations expressed in this material are those of the authors and donot necessarily reflect the views of the National Science Foundation.P R I N C I P L E D A S S E S S M E N T D E S I G N S F O R I N Q U I R YT E C H N I C A L R E P O R T 1 7Implications of Evidence-Centered Design forEducational TestingDRAFTPrepared by:Robert J. Mislevy, University of MarylandGeneva D. Haertel, SRI Internationalii—DRAFTC O N T E N T SAbstract v1.0 Introduction 11.1 Evidence-Centered Assessment Design 22.0 Layers in Assessment Design 32.1 Domain Analysis 52.2 Domain Modeling 72.3 The Conceptual Assessment Framework 142.4 Assessment Implementation 202.5 Assessment Delivery 203.0 Conclusion: Aren’t These Just New Words for Things We Already Do? 22References 24DRAFT—iiiF I G U R E SFigure 1. “Yes” Means “No” 2Figure 2. Evidence-Centered Design Layers and Associated PADI Tools 5Figure 3. An Extended Toulmin Diagram for Assessment Arguments 8Figure 4. Graphic Summary of the Student, Evidence, and Task Models 14Figure 5. High-level UML Representation of the PADI Object Model 17Figure 6. A BioKIDS Template within PADI Design System 18Figure 7. A BioKIDS Measurement Model within the PADI Design System, as Viewed through theUser Interface 19Figure 8. The XML Representation of a Measurement Model within the PADI Design System 19iv—DRAFTT A B L E STable 1. Layers of Evidence Centered Design for Educational Assessments 4Table 2. Design Pattern Attributes, Definitions, and Corresponding Assessment ArgumentComponents 9Table 3. “Model Elaboration” Design Pattern in PADI Design System 10Table 4. Design Patterns for Model-Based Reasoning in Science 12DRAFT—vA B S T R A C TEvidence-centered assessment design (ECD) provides language, concepts, and knowledge representationsfor designing and delivering educational assessments, all organized around the evidentiary argument anassessment is meant to embody. This article describes ECD in terms of layers for analyzing domains, layingout arguments, creating schemas for operational elements such as tasks and measurement models,implementing the assessment, and carrying out the operational processes. It is argued that this frameworkhelps designers take advantage of developments from measurement, technology, cognitive psychology,and learning in the domains. Examples of ECD tools and applications are drawn from the PrincipledAssessment Designs for Inquiry (PADI) Project. Attention is given to implications for large-scale tests such asstate accountability measures, with a special eye for computer-based simulation tasks.Introduction DRAFT—11.0 IntroductionThese are heady times in the world of educational assessment—days of urgent demands,unprecedented opportunities, and tantalizing challenges. The demands are forconsequential tests in schools and states, at larger scales and with higher stakes than wehave seen before. The opportunities are to assess learning viewed from a growingunderstanding of the nature and acquisition of knowledge and to draw upon everexpandingtechnological capabilities to construct scenarios, interact with examinees,capture and evaluate their performances, and model the patterns they convey. And thechallenges are abundant, encapsulated in a single question: How can we bring these newcapabilities to bear on the assessment problems we face today?Long established and well-honed assessment practices did not evolve to deal withassessments that are complex, in the sense of interactive tasks, multidimensionalproficiencies, and complex responses to evaluate. But progress is being made on manyfronts to extend practice, as seen in the National Board of Examiners’ computer-basedsimulation tasks (Clyman, Melnick, & Clauser, 1999), Adams, Wilson, and Wang’s (1997)structured multidimensional IRT models, and White and Frederiksen’s (1998) guided selfevaluationin extended inquiry tasks. This work succeeds because even when it differs fromtraditional testing on the surface, each innovation is grounded in the same principles ofevidentiary reasoning that underlie the best assessments of the past.One vital line of current research aims to make the principles of evidentiary reasoningexplicit, to build conceptual and technological tools that help designers orchestrate newdevelopments, and lay the groundwork for further advances. The National ResearchCouncil’s (2001) volume Knowing What Students Know lays out the case and provides anintegrative review of the necessary cognitive, psychometric, and technologicalfoundations. Examples of work that coordinate various aspects of task design,psychometric modeling, assessment delivery, and psychological research in the desiredways include Baker (1997, 2002), Embretson (1985, 1998), Luecht (2002), and Wilson (2005).Our own recent work falls under the rubric of “evidence-centered” assessment design
(ECD; Mislevy, Steinberg, & Almond, 2003), an approach that has been implemented in
various ways at Educational Testing Service, Cisco Systems (Behrens, Mislevy, Bauer,
Williamson, & Levy, 2004), the IMS Global Learning Consortium (2000), and elsewhere. We
will illustrate points with tools and examples from our ECD-based work in the Principled
Assessment Designs for Inquiry (PADI; Baxter & Mislevy, 2004) project. The BioKIDS
project’s (Songer, 2004) application of PADI design tools illustrates their benefits in largescale
on-demand testing, a particular focus of this presentation.
The next section of the paper provides a brief overview of evidence-centered design. Two
complementary ideas organize the effort. The first is an overarching conception of
assessment as an argument from imperfect evidence. Messick (1994) lays out the basic
narrative, saying that we:
would begin by asking what complex of knowledge, skills, or other attributes should
be assessed, presumably because they are tied to explicit or implicit objectives of
instruction or are otherwise valued by society. Next, what behaviors or
2—DRAFT Introduction
performances should reveal those constructs, and what tasks or situations should
elicit those behaviors? (p. 16).
The second idea is distinguishing layers at which activities and structures appear in the
assessment enterprise, all for the purpose of instantiating an assessment argument in
operational processes (Mislevy, Steinberg, & Almond, 2003; Mislevy & Riconscente, 2006).
The following section steps through the layers of evidence-centered design as applied to
assessment in more detail. We see the roles that advances from allied fields bring to
assessment and how their contributions are coordinated within and across layers. The
benefits of explicitness, reusability, and common language and representations are noted
throughout.
The closing discussion addresses a question posed by an anonymous reviewer of a
symposium proposal that we submitted for an annual meeting of the National Council of
Measurement in Education (NCME): Isn’t this all just new words for what people are already
doing? To anticipate, the answer is symbolized in Figure 1: Many small “yes’s,” arranged in
just the right way, reveal a greater “no.”
Figure 1. “Yes” Means “No”
1.1 Evidence-Centered Assessment Design
Evidence-centered design (ECD) views an assessment as an evidentiary argument: An
argument from what we observe students say, do, or make in a few particular
circumstances, to inferences about what they know, can do, or have accomplished more
generally (Mislevy, Steinberg, & Almond, 2003). The view of assessment as argument is a
cornerstone of test validation (Kane, 1992, Messick, 1989). ECD applies this perspective
proactively to test design.
yesyes yesyes syesyesyesyesy
yesyesy yesyes esyesyesyesyesye
yesyesye yesyes yesyesyesyesyesyes
yesyesyes yesyes yesyes yesyes
yesyesyesy yesyes yesyes yesyes
yesyesyesye yesyes yesyes yesyes
yesyes esyes yesyes yesyes yesyes
yesyes syesy yesyes yesyes yesyes
yesyes yesye yesyes yesyes yesyes
yesyes esyesyesyes yesyes yesyes
yesyes syesyesyes yesyes yesyes
yesyes yesyesyes yesyes yesyes
yesyes esyesyes yesyesyesyesyesyes
yesyes syesyes esyesyesyesyesye
yesyes yesyes syesyesyesyesy
Layers in Assessment Design DRAFT—3
2.0 Layers in Assessment Design
ECD organizes the work of design and implementation in terms of layers, a metaphor
drawn from architecture and software engineering (Mislevy & Riconscente, 2006). It is often
useful to analyze complex systems in terms of subsystems whose individual components
are better handled at the subsystem level (Simon, 2001). Brand (1994) views buildings as
dynamic objects wherein initial construction and subsequent changes take place at
different timescales and in varying ways, by actors with different motives and roles. Brand
identifies six layers that capture the stages of design and implementation of a building.
These layers serve as a heuristic for making decisions at each step in the life of a buildi
(ECD; Mislevy, Steinberg, & Almond, 2003), an approach that has been implemented in
various ways at Educational Testing Service, Cisco Systems (Behrens, Mislevy, Bauer,
Williamson, & Levy, 2004), the IMS Global Learning Consortium (2000), and elsewhere. We
will illustrate points with tools and examples from our ECD-based work in the Principled
Assessment Designs for Inquiry (PADI; Baxter & Mislevy, 2004) project. The BioKIDS
project’s (Songer, 2004) application of PADI design tools illustrates their benefits in largescale
on-demand testing, a particular focus of this presentation.
The next section of the paper provides a brief overview of evidence-centered design. Two
complementary ideas organize the effort. The first is an overarching conception of
assessment as an argument from imperfect evidence. Messick (1994) lays out the basic
narrative, saying that we:
would begin by asking what complex of knowledge, skills, or other attributes should
be assessed, presumably because they are tied to explicit or implicit objectives of
instruction or are otherwise valued by society. Next, what behaviors or
2—DRAFT Introduction
performances should reveal those constructs, and what tasks or situations should
elicit those behaviors? (p. 16).
The second idea is distinguishing layers at which activities and structures appear in the
assessment enterprise, all for the purpose of instantiating an assessment argument in
operational processes (Mislevy, Steinberg, & Almond, 2003; Mislevy & Riconscente, 2006).
The following section steps through the layers of evidence-centered design as applied to
assessment in more detail. We see the roles that advances from allied fields bring to
assessment and how their contributions are coordinated within and across layers. The
benefits of explicitness, reusability, and common language and representations are noted
throughout.
The closing discussion addresses a question posed by an anonymous reviewer of a
symposium proposal that we submitted for an annual meeting of the National Council of
Measurement in Education (NCME): Isn’t this all just new words for what people are already
doing? To anticipate, the answer is symbolized in Figure 1: Many small “yes’s,” arranged in
just the right way, reveal a greater “no.”
Figure 1. “Yes” Means “No”
1.1 Evidence-Centered Assessment Design
Evidence-centered design (ECD) views an assessment as an evidentiary argument: An
argument from what we observe students say, do, or make in a few particular
circumstances, to inferences about what they know, can do, or have accomplished more
generally (Mislevy, Steinberg, & Almond, 2003). The view of assessment as argument is a
cornerstone of test validation (Kane, 1992, Messick, 1989). ECD applies this perspective
proactively to test design.
yesyes yesyes syesyesyesyesy
yesyesy yesyes esyesyesyesyesye
yesyesye yesyes yesyesyesyesyesyes
yesyesyes yesyes yesyes yesyes
yesyesyesy yesyes yesyes yesyes
yesyesyesye yesyes yesyes yesyes
yesyes esyes yesyes yesyes yesyes
yesyes syesy yesyes yesyes yesyes
yesyes yesye yesyes yesyes yesyes
yesyes esyesyesyes yesyes yesyes
yesyes syesyesyes yesyes yesyes
yesyes yesyesyes yesyes yesyes
yesyes esyesyes yesyesyesyesyesyes
yesyes syesyes esyesyesyesyesye
yesyes yesyes syesyesyesyesy
Layers in Assessment Design DRAFT—3
2.0 Layers in Assessment Design
ECD organizes the work of design and implementation in terms of layers, a metaphor
drawn from architecture and software engineering (Mislevy & Riconscente, 2006). It is often
useful to analyze complex systems in terms of subsystems whose individual components
are better handled at the subsystem level (Simon, 2001). Brand (1994) views buildings as
dynamic objects wherein initial construction and subsequent changes take place at
different timescales and in varying ways, by actors with different motives and roles. Brand
identifies six layers that capture the stages of design and implementation of a building.
These layers serve as a heuristic for making decisions at each step in the life of a buildi
การแปล กรุณารอสักครู่..
โรเบิร์ต Mislevy
มหาวิทยาลัยแมรี่แลนด์
ของ PADI รายงานเชิงเทคนิค 17 | กันยายน 2006
รายงานชุดที่เผยแพร่โดย SRI นานาชาติ
P ADI
PADI | หลักการออกแบบประเมินผลสำหรับสอบถาม
ผลกระทบของ
การออกแบบหลักฐานเป็นศูนย์กลาง
สำหรับการทดสอบทางการศึกษา
โรเบิร์ตเจ Mislevy มหาวิทยาลัยแมรี่แลนด์
เจนีวาดี Haertel ศรีลังกา นานาชาติ
ร่าง
ศรีนานาชาติ
ศูนย์เทคโนโลยีในการเรียนรู้
333 ราเว็นอเวนิว
เมนโลพาร์ค, CA 94025-3493
650.859.2000650.859.2000
http://padi.sri.com
PADI รายงานเชิงเทคนิคซีรีส์บรรณาธิการ
Mitman Colker อเล็กซิส, Ph.D. , ที่ปรึกษาโครงการ
ดีเจนีวา Haertel, Ph.D. , ผู้ร่วมวิจัยหลัก
Mislevy โรเบิร์ต, Ph.D. , ผู้ร่วมหลัก นักสืบ
เคลาส์กรอสเทคนิคนักเขียน / บรรณาธิการ
เม้งกัด Theis ออกแบบเอกสาร
ลิขสิทธิ์© 2006 ประเทศศรีลังกาและมหาวิทยาลัยแมรี่แลนด์ สงวนลิขสิทธิ์.
กิตติกรรมประกาศ
วัสดุนี้จะขึ้นอยู่กับการทำงานได้รับการสนับสนุนโดยมูลนิธิวิทยาศาสตร์แห่งชาติภายใต้ทุน REC-0129331
(PADI การดำเนินงานแกรนท์).
ปฏิเสธ
ความคิดเห็นใด ๆ , การค้นพบและข้อสรุปหรือคำแนะนำที่แสดงอยู่ในวัสดุนี้เป็นของผู้เขียนและทำ
ไม่ได้ จำเป็นต้องสะท้อนให้เห็นถึงมุมมองของมูลนิธิวิทยาศาสตร์แห่งชาติ.
PRINCIPLEDASSESSMENTD ESIGNSFORINQUIRY
TECHNICALREPORT 1 7
ผลกระทบของการออกแบบหลักฐานเป็นศูนย์กลางสำหรับการ
ทดสอบทางการศึกษา
ร่าง
จัดทำโดย:
โรเบิร์ตเจ Mislevy มหาวิทยาลัยแมรี่แลนด์
เจนีวาดี Haertel, ประเทศศรีลังกา
ii-ร่าง
สารบัญ
บทคัดย่อโวลต์
1.0 บทนำ 1
1.1 หลักฐานเป็นศูนย์กลางการออกแบบการประเมินผล 2
ชั้น 2.0 ในการประเมินผลการออกแบบ 3
2.1 การวิเคราะห์โดเมน 5
2.2 การสร้างแบบจำลองโดเมน 7
2.3 กรอบแนวคิดการประเมินผล 14
2.4 การประเมินผลการดำเนินงาน 20
2.5 การประเมินผลการจัดส่งสินค้า 20
3.0 สรุป: ไม่ได้เหล่านี้เพียงแค่คำพูดใหม่สำหรับสิ่งที่ แล้วเราจะทำอย่างไร? 22
อ้างอิง 24
ร่าง-iii
F IGURES
รูปที่ 1 "ใช่" หมายถึง "ไม่" 2
รูปที่ 2 หลักฐานเป็นศูนย์กลางชั้นออกแบบและเครื่องมือที่เกี่ยวข้อง PADI 5
รูปที่ 3 ขยายแผนภาพ Toulmin สำหรับข้อโต้แย้งการประเมิน 8
รูปที่ 4 อย่างย่อของกราฟิก นักศึกษาหลักฐานและงานรุ่น 14
รูปที่ 5 UML ระดับสูงตัวแทนของ PADI Object Model 17
รูปที่ 6 แม่แบบ BioKIDS ภายใน PADI ออกแบบระบบ 18
รูปที่ 7 BioKIDS วัดรุ่นในการออกแบบระบบน้ำ PADI เช่นดูผ่าน
ส่วนติดต่อผู้ใช้ 19
รูปที่ 8 XML ตัวแทนของรุ่นภายในวัด PADI ออกแบบระบบ 19
-iv ร่าง
T ABLES
ตารางที่ 1 เลเยอร์ของหลักฐานที่เป็นศูนย์กลางการออกแบบเพื่อการศึกษาการประเมินผล 4
ตารางที่ 2 รูปแบบการออกแบบคุณสมบัติ, ความหมายและการประเมินผลที่สอดคล้องกันอาร์กิวเมนต์
ส่วนประกอบ 9
ตารางที่ 3 "รุ่นรายละเอียดเพิ่มเติม" รูปแบบการออกแบบในการออกแบบระบบน้ำ PADI 10
ตารางที่ 4 รูปแบบการออกแบบสำหรับการใช้เหตุผลแบบที่ใช้ในวิทยาศาสตร์ 12
ร่าง-V
BSTRACT
การออกแบบการประเมินหลักฐานเป็นศูนย์กลาง (ECD) ให้ภาษาแนวคิดและการแสดงความรู้
สำหรับ ออกแบบและนำเสนอการประเมินผลการศึกษาทั้งหมดที่จัดรอบโต้แย้งหลักฐาน
การประเมินจะหมายถึงการรวบรวม บทความนี้อธิบาย ECD ในแง่ของชั้นสำหรับการวิเคราะห์โดเมนวาง
ข้อโต้แย้งจากการสร้างแบบแผนสำหรับองค์ประกอบในการดำเนินงานเช่นงานและรูปแบบการวัด
ประเมินผลการดำเนินการและการดำเนินการตามกระบวนการปฏิบัติงาน มันเป็นเรื่องที่ถกเถียงกันอยู่ว่ากรอบนี้
ช่วยให้นักออกแบบสามารถใช้ประโยชน์จากการพัฒนาจากการวัดเทคโนโลยีจิตวิทยาองค์ความรู้
และการเรียนรู้ในโดเมน ตัวอย่างของเครื่องมือ ECD และการใช้งานที่มาจากหลักการ
ออกแบบประเมินผลสำหรับสอบถาม (PADI) โครงการ เรียนจะได้รับผลกระทบสำหรับการทดสอบขนาดใหญ่เช่น
มาตรการความรับผิดชอบของรัฐที่มีตาเป็นพิเศษสำหรับงานจำลองคอมพิวเตอร์ที่ใช้. บทนำร่าง-1 1.0 บทนำเหล่านี้เป็นครั้งรุนแรงที่สุดในโลกวันประเมินผลการศึกษาความต้องการเร่งด่วนเป็นประวัติการณ์ โอกาสและความท้าทายที่ยั่วเย้า ความต้องการที่จะใช้สำหรับการทดสอบผลสืบเนื่องในโรงเรียนและรัฐในระดับที่มีขนาดใหญ่และมีการเดิมพันที่สูงขึ้นกว่าที่เราได้เห็นมาก่อน โอกาสที่จะประเมินการเรียนรู้จากการดูการเจริญเติบโตของความเข้าใจในธรรมชาติและการเข้าซื้อกิจการของความรู้และการวาดเมื่อ everexpanding ความสามารถของเทคโนโลยีที่จะสร้างสถานการณ์โต้ตอบกับสอบ, จับและประเมินผลการดำเนินงานของพวกเขาและรูปแบบรูปแบบที่พวกเขาถ่ายทอด และความท้าทายที่มีความอุดมสมบูรณ์, ห่อหุ้มในคำถามเดียว: วิธีที่เราสามารถนำมาใหม่เหล่านี้? ความสามารถในการทนอยู่กับการประเมินปัญหาที่เราเผชิญในวันนี้จัดตั้งขึ้นยาวและความเฉียบคมประเมินการปฏิบัติที่ไม่ได้มีวิวัฒนาการที่จะจัดการกับการประเมินผลที่มีความซับซ้อนใน ความรู้สึกของงานแบบโต้ตอบหลายมิติproficiencies และการตอบสนองที่ซับซ้อนในการประเมิน แต่ความคืบหน้าจะถูกทำในหลายด้านที่จะขยายการปฏิบัติเท่าที่เห็นในคณะกรรมการแห่งชาติของผู้ตรวจสอบ 'คอมพิวเตอร์ที่ใช้งานจำลอง (Clyman, Melnick และ Clauser, 1999), อดัมส์, วิลสันและวัง (1997) โครงสร้างรูปแบบ IRT หลายมิติ และสีขาวและสีของ Frederiksen (1998) selfevaluation แนะนำในการขยายงานสอบถามรายละเอียดเพิ่มเติม งานนี้ประสบความสำเร็จเพราะแม้ในขณะที่มันแตกต่างจากการทดสอบแบบดั้งเดิมบนพื้นผิวนวัตกรรมแต่ละคนจะมีเหตุผลในหลักการเดียวกันของเหตุผลหลักฐานที่รองรับการประเมินผลที่ดีที่สุดที่ผ่านมา. สายหนึ่งที่สำคัญของการวิจัยในปัจจุบันมีวัตถุประสงค์เพื่อให้หลักการของเหตุผลหลักฐานที่ชัดเจน เพื่อสร้างแนวคิดและเครื่องมือทางเทคโนโลยีที่ช่วยให้นักออกแบบแต่งใหม่การพัฒนาและวางรากฐานสำหรับความก้าวหน้าต่อไป วิจัยแห่งชาติสภา (2001) ปริมาณการรู้สิ่งที่นักเรียนรู้ออกวางกรณีและมีการตรวจสอบแบบบูรณาการองค์ความรู้ของความจำเป็นทางจิตวิทยาและเทคโนโลยีมูลนิธิ ตัวอย่างของการทำงานที่ประสานงานด้านต่างๆของการออกแบบงานสร้างแบบจำลองทางจิตวิทยาการส่งมอบการประเมินและการวิจัยทางจิตวิทยาที่ต้องการในรูปแบบรวมถึงเบเคอร์ (1997, 2002), Embretson (1985, 1998), Luecht (2002) และวิลสัน (2005) การทำงานที่ผ่านมาของเราเองตกอยู่ภายใต้เกณฑ์ของ "หลักฐานที่เป็นศูนย์กลาง" การออกแบบการประเมิน(ECD; Mislevy, Steinberg, และอัลมอนด์, 2003) วิธีการที่ได้รับการดำเนินการในรูปแบบต่างๆที่การศึกษาการทดสอบระบบของซิสโก้ (Behrens, Mislevy, บาวเออร์, วิลเลียมสันและ Levy, 2004), สมาคมการเรียนรู้ IMS ทั่วโลก (2000), และที่อื่น ๆ เราจะแสดงให้เห็นถึงจุดที่มีเครื่องมือและตัวอย่างจากการทำงาน ECD-based ของเราในหลักการการออกแบบประเมินผลสำหรับสอบถาม (PADI; แบ็กซ์เตอร์และ Mislevy, 2004) โครงการ BioKIDS โครงการ (Songer, 2004) การประยุกต์ใช้เครื่องมือการออกแบบที่แสดงให้เห็นถึงผลประโยชน์ของ PADI ใน largescale ทดสอบตามความต้องการความสนใจเป็นพิเศษของงานนำเสนอนี้. ส่วนถัดไปของกระดาษให้ภาพรวมคร่าวๆของการออกแบบหลักฐานเป็นศูนย์กลาง สองความคิดเสริมความพยายามในการจัดระเบียบ ที่แรกก็คือความคิดที่ครอบคลุมของการประเมินเป็นอาร์กิวเมนต์จากหลักฐานที่ไม่สมบูรณ์ สิค (1994) ออกวางพื้นฐานการเล่าเรื่องบอกว่าเรา: จะเริ่มต้นด้วยการขอให้สิ่งที่ซับซ้อนของความรู้ทักษะหรือคุณลักษณะอื่น ๆ ควรได้รับการประเมินอย่างน่าเพราะพวกเขาจะเชื่อมโยงกับวัตถุประสงค์อย่างชัดเจนหรือโดยนัยของการเรียนการสอนหรือมีมูลค่าเป็นอย่างอื่นโดยสังคม . ถัดไปสิ่งที่พฤติกรรมหรือ2 ร่างบทนำแสดงควรเปิดเผยโครงสร้างเหล่านั้นและสิ่งที่งานหรือสถานการณ์ที่ควรจะล้วงเอาพฤติกรรมเหล่านั้นหรือไม่ . (p. 16) ความคิดที่สองคือชั้นที่แตกต่างและโครงสร้างกิจกรรมปรากฏในองค์กรประเมินทั้งหมดเพื่อวัตถุประสงค์ในการ instantiating โต้แย้งการประเมินในกระบวนการปฏิบัติงาน (Mislevy, Steinberg, และอัลมอนด์, 2003; & Mislevy Riconscente 2006 ). ส่วนต่อไปนี้ขั้นตอนที่ผ่านชั้นของการออกแบบหลักฐานเป็นศูนย์กลางนำไปใช้กับการประเมินในรายละเอียดเพิ่มเติม เราเห็นบทบาทที่ก้าวหน้าจากสาขาพันธมิตรนำไปสู่การประเมินผลงานและวิธีการที่พวกเขามีการประสานงานภายในและระหว่างชั้น ประโยชน์ของการชัดแจ้ง, นำมาใช้ใหม่และภาษาร่วมกันและการแสดงที่ระบุไว้ตลอด. ปิดการอภิปรายอยู่เป็นคำถามที่เกิดจากการวิจารณ์ที่ไม่ระบุชื่อของข้อเสนอการประชุมสัมมนาที่เราส่งสำหรับการประชุมประจำปีของสภาแห่งชาติของวัดในการศึกษา (NCME): นี้ไม่ได้เป็นเพียงแค่คำใหม่ทั้งหมดสำหรับสิ่งที่คนอยู่แล้วทำอะไร? การคาดการณ์คำตอบเป็นสัญลักษณ์ในรูปที่ 1: จำนวนมากขนาดเล็ก "ใช่ว่า" จัดในเพียงทางที่ถูกต้องเปิดเผยมากขึ้น ". ไม่มี" รูปที่ 1 "ใช่" หมายถึง "ไม่" 1.1 หลักฐานเป็นศูนย์กลางการออกแบบการประเมินหลักฐานเป็นศูนย์กลาง การออกแบบ (ECD) มุมมองการประเมินเป็นอาร์กิวเมนต์หลักฐาน: การโต้แย้งจากสิ่งที่เราสังเกตนักเรียนบอกว่าทำหรือทำโดยเฉพาะอย่างยิ่งไม่กี่สถานการณ์เพื่อหาข้อสรุปเกี่ยวกับสิ่งที่พวกเขารู้ว่าสามารถทำหรือได้ประสบความสำเร็จมากขึ้นโดยทั่วไป (Mislevy, Steinberg และอัลมอนด์, 2003) มุมมองของการประเมินเป็นอาร์กิวเมนต์เป็นรากฐานที่สำคัญของการตรวจสอบการทดสอบ (เคน 1992 สิค, 1989) ECD ใช้มุมมองนี้ในเชิงรุกในการออกแบบการทดสอบ. yesyes yesyes syesyesyesyesy yesyesy yesyes esyesyesyesyesye yesyesye yesyes yesyesyesyesyesyes yesyesyes yesyes yesyes yesyes yesyesyesy yesyes yesyes yesyes yesyesyesye yesyes yesyes yesyes yesyes esyes yesyes yesyes yesyes yesyes syesy yesyes yesyes yesyes yesyes yesye yesyes yesyes yesyes yesyes esyesyesyes yesyes yesyes yesyes syesyesyes yesyes yesyes yesyes yesyesyes yesyes yesyes yesyes esyesyes yesyesyesyesyesyes yesyes syesyes esyesyesyesyesye yesyes yesyes syesyesyesyesy ชั้นในการออกแบบการประเมินร่าง-3 2.0 ชั้นในการออกแบบการประเมินผลECD จัดทำงานของการออกแบบและการดำเนินงานในแง่ของชั้นอุปมามาจากสถาปัตยกรรมและวิศวกรรมซอฟต์แวร์ ( Mislevy และ Riconscente 2006) มันมักจะเป็นประโยชน์ในการวิเคราะห์ระบบที่ซับซ้อนในแง่ของระบบย่อยที่มีส่วนประกอบของแต่ละบุคคลได้รับการจัดการที่ดีขึ้นในระดับของระบบย่อย (Simon, 2001) ยี่ห้อ (1994) อาคารมุมมองเป็นวัตถุแบบไดนามิกนั้นเริ่มต้นการก่อสร้างและการเปลี่ยนแปลงที่จะเกิดขึ้นตามมาในระยะเวลาที่แตกต่างกันและในรูปแบบที่แตกต่างกันโดยนักแสดงที่มีแรงจูงใจที่แตกต่างกันและบทบาท ยี่ห้อระบุหกชั้นที่จับขั้นตอนของการออกแบบและการดำเนินการของอาคาร. ชั้นเหล่านี้ทำหน้าที่เป็นผู้แก้ปัญหาในการตัดสินใจในแต่ละขั้นตอนในชีวิตของ buildi
มหาวิทยาลัยแมรี่แลนด์
ของ PADI รายงานเชิงเทคนิค 17 | กันยายน 2006
รายงานชุดที่เผยแพร่โดย SRI นานาชาติ
P ADI
PADI | หลักการออกแบบประเมินผลสำหรับสอบถาม
ผลกระทบของ
การออกแบบหลักฐานเป็นศูนย์กลาง
สำหรับการทดสอบทางการศึกษา
โรเบิร์ตเจ Mislevy มหาวิทยาลัยแมรี่แลนด์
เจนีวาดี Haertel ศรีลังกา นานาชาติ
ร่าง
ศรีนานาชาติ
ศูนย์เทคโนโลยีในการเรียนรู้
333 ราเว็นอเวนิว
เมนโลพาร์ค, CA 94025-3493
650.859.2000650.859.2000
http://padi.sri.com
PADI รายงานเชิงเทคนิคซีรีส์บรรณาธิการ
Mitman Colker อเล็กซิส, Ph.D. , ที่ปรึกษาโครงการ
ดีเจนีวา Haertel, Ph.D. , ผู้ร่วมวิจัยหลัก
Mislevy โรเบิร์ต, Ph.D. , ผู้ร่วมหลัก นักสืบ
เคลาส์กรอสเทคนิคนักเขียน / บรรณาธิการ
เม้งกัด Theis ออกแบบเอกสาร
ลิขสิทธิ์© 2006 ประเทศศรีลังกาและมหาวิทยาลัยแมรี่แลนด์ สงวนลิขสิทธิ์.
กิตติกรรมประกาศ
วัสดุนี้จะขึ้นอยู่กับการทำงานได้รับการสนับสนุนโดยมูลนิธิวิทยาศาสตร์แห่งชาติภายใต้ทุน REC-0129331
(PADI การดำเนินงานแกรนท์).
ปฏิเสธ
ความคิดเห็นใด ๆ , การค้นพบและข้อสรุปหรือคำแนะนำที่แสดงอยู่ในวัสดุนี้เป็นของผู้เขียนและทำ
ไม่ได้ จำเป็นต้องสะท้อนให้เห็นถึงมุมมองของมูลนิธิวิทยาศาสตร์แห่งชาติ.
PRINCIPLEDASSESSMENTD ESIGNSFORINQUIRY
TECHNICALREPORT 1 7
ผลกระทบของการออกแบบหลักฐานเป็นศูนย์กลางสำหรับการ
ทดสอบทางการศึกษา
ร่าง
จัดทำโดย:
โรเบิร์ตเจ Mislevy มหาวิทยาลัยแมรี่แลนด์
เจนีวาดี Haertel, ประเทศศรีลังกา
ii-ร่าง
สารบัญ
บทคัดย่อโวลต์
1.0 บทนำ 1
1.1 หลักฐานเป็นศูนย์กลางการออกแบบการประเมินผล 2
ชั้น 2.0 ในการประเมินผลการออกแบบ 3
2.1 การวิเคราะห์โดเมน 5
2.2 การสร้างแบบจำลองโดเมน 7
2.3 กรอบแนวคิดการประเมินผล 14
2.4 การประเมินผลการดำเนินงาน 20
2.5 การประเมินผลการจัดส่งสินค้า 20
3.0 สรุป: ไม่ได้เหล่านี้เพียงแค่คำพูดใหม่สำหรับสิ่งที่ แล้วเราจะทำอย่างไร? 22
อ้างอิง 24
ร่าง-iii
F IGURES
รูปที่ 1 "ใช่" หมายถึง "ไม่" 2
รูปที่ 2 หลักฐานเป็นศูนย์กลางชั้นออกแบบและเครื่องมือที่เกี่ยวข้อง PADI 5
รูปที่ 3 ขยายแผนภาพ Toulmin สำหรับข้อโต้แย้งการประเมิน 8
รูปที่ 4 อย่างย่อของกราฟิก นักศึกษาหลักฐานและงานรุ่น 14
รูปที่ 5 UML ระดับสูงตัวแทนของ PADI Object Model 17
รูปที่ 6 แม่แบบ BioKIDS ภายใน PADI ออกแบบระบบ 18
รูปที่ 7 BioKIDS วัดรุ่นในการออกแบบระบบน้ำ PADI เช่นดูผ่าน
ส่วนติดต่อผู้ใช้ 19
รูปที่ 8 XML ตัวแทนของรุ่นภายในวัด PADI ออกแบบระบบ 19
-iv ร่าง
T ABLES
ตารางที่ 1 เลเยอร์ของหลักฐานที่เป็นศูนย์กลางการออกแบบเพื่อการศึกษาการประเมินผล 4
ตารางที่ 2 รูปแบบการออกแบบคุณสมบัติ, ความหมายและการประเมินผลที่สอดคล้องกันอาร์กิวเมนต์
ส่วนประกอบ 9
ตารางที่ 3 "รุ่นรายละเอียดเพิ่มเติม" รูปแบบการออกแบบในการออกแบบระบบน้ำ PADI 10
ตารางที่ 4 รูปแบบการออกแบบสำหรับการใช้เหตุผลแบบที่ใช้ในวิทยาศาสตร์ 12
ร่าง-V
BSTRACT
การออกแบบการประเมินหลักฐานเป็นศูนย์กลาง (ECD) ให้ภาษาแนวคิดและการแสดงความรู้
สำหรับ ออกแบบและนำเสนอการประเมินผลการศึกษาทั้งหมดที่จัดรอบโต้แย้งหลักฐาน
การประเมินจะหมายถึงการรวบรวม บทความนี้อธิบาย ECD ในแง่ของชั้นสำหรับการวิเคราะห์โดเมนวาง
ข้อโต้แย้งจากการสร้างแบบแผนสำหรับองค์ประกอบในการดำเนินงานเช่นงานและรูปแบบการวัด
ประเมินผลการดำเนินการและการดำเนินการตามกระบวนการปฏิบัติงาน มันเป็นเรื่องที่ถกเถียงกันอยู่ว่ากรอบนี้
ช่วยให้นักออกแบบสามารถใช้ประโยชน์จากการพัฒนาจากการวัดเทคโนโลยีจิตวิทยาองค์ความรู้
และการเรียนรู้ในโดเมน ตัวอย่างของเครื่องมือ ECD และการใช้งานที่มาจากหลักการ
ออกแบบประเมินผลสำหรับสอบถาม (PADI) โครงการ เรียนจะได้รับผลกระทบสำหรับการทดสอบขนาดใหญ่เช่น
มาตรการความรับผิดชอบของรัฐที่มีตาเป็นพิเศษสำหรับงานจำลองคอมพิวเตอร์ที่ใช้. บทนำร่าง-1 1.0 บทนำเหล่านี้เป็นครั้งรุนแรงที่สุดในโลกวันประเมินผลการศึกษาความต้องการเร่งด่วนเป็นประวัติการณ์ โอกาสและความท้าทายที่ยั่วเย้า ความต้องการที่จะใช้สำหรับการทดสอบผลสืบเนื่องในโรงเรียนและรัฐในระดับที่มีขนาดใหญ่และมีการเดิมพันที่สูงขึ้นกว่าที่เราได้เห็นมาก่อน โอกาสที่จะประเมินการเรียนรู้จากการดูการเจริญเติบโตของความเข้าใจในธรรมชาติและการเข้าซื้อกิจการของความรู้และการวาดเมื่อ everexpanding ความสามารถของเทคโนโลยีที่จะสร้างสถานการณ์โต้ตอบกับสอบ, จับและประเมินผลการดำเนินงานของพวกเขาและรูปแบบรูปแบบที่พวกเขาถ่ายทอด และความท้าทายที่มีความอุดมสมบูรณ์, ห่อหุ้มในคำถามเดียว: วิธีที่เราสามารถนำมาใหม่เหล่านี้? ความสามารถในการทนอยู่กับการประเมินปัญหาที่เราเผชิญในวันนี้จัดตั้งขึ้นยาวและความเฉียบคมประเมินการปฏิบัติที่ไม่ได้มีวิวัฒนาการที่จะจัดการกับการประเมินผลที่มีความซับซ้อนใน ความรู้สึกของงานแบบโต้ตอบหลายมิติproficiencies และการตอบสนองที่ซับซ้อนในการประเมิน แต่ความคืบหน้าจะถูกทำในหลายด้านที่จะขยายการปฏิบัติเท่าที่เห็นในคณะกรรมการแห่งชาติของผู้ตรวจสอบ 'คอมพิวเตอร์ที่ใช้งานจำลอง (Clyman, Melnick และ Clauser, 1999), อดัมส์, วิลสันและวัง (1997) โครงสร้างรูปแบบ IRT หลายมิติ และสีขาวและสีของ Frederiksen (1998) selfevaluation แนะนำในการขยายงานสอบถามรายละเอียดเพิ่มเติม งานนี้ประสบความสำเร็จเพราะแม้ในขณะที่มันแตกต่างจากการทดสอบแบบดั้งเดิมบนพื้นผิวนวัตกรรมแต่ละคนจะมีเหตุผลในหลักการเดียวกันของเหตุผลหลักฐานที่รองรับการประเมินผลที่ดีที่สุดที่ผ่านมา. สายหนึ่งที่สำคัญของการวิจัยในปัจจุบันมีวัตถุประสงค์เพื่อให้หลักการของเหตุผลหลักฐานที่ชัดเจน เพื่อสร้างแนวคิดและเครื่องมือทางเทคโนโลยีที่ช่วยให้นักออกแบบแต่งใหม่การพัฒนาและวางรากฐานสำหรับความก้าวหน้าต่อไป วิจัยแห่งชาติสภา (2001) ปริมาณการรู้สิ่งที่นักเรียนรู้ออกวางกรณีและมีการตรวจสอบแบบบูรณาการองค์ความรู้ของความจำเป็นทางจิตวิทยาและเทคโนโลยีมูลนิธิ ตัวอย่างของการทำงานที่ประสานงานด้านต่างๆของการออกแบบงานสร้างแบบจำลองทางจิตวิทยาการส่งมอบการประเมินและการวิจัยทางจิตวิทยาที่ต้องการในรูปแบบรวมถึงเบเคอร์ (1997, 2002), Embretson (1985, 1998), Luecht (2002) และวิลสัน (2005) การทำงานที่ผ่านมาของเราเองตกอยู่ภายใต้เกณฑ์ของ "หลักฐานที่เป็นศูนย์กลาง" การออกแบบการประเมิน(ECD; Mislevy, Steinberg, และอัลมอนด์, 2003) วิธีการที่ได้รับการดำเนินการในรูปแบบต่างๆที่การศึกษาการทดสอบระบบของซิสโก้ (Behrens, Mislevy, บาวเออร์, วิลเลียมสันและ Levy, 2004), สมาคมการเรียนรู้ IMS ทั่วโลก (2000), และที่อื่น ๆ เราจะแสดงให้เห็นถึงจุดที่มีเครื่องมือและตัวอย่างจากการทำงาน ECD-based ของเราในหลักการการออกแบบประเมินผลสำหรับสอบถาม (PADI; แบ็กซ์เตอร์และ Mislevy, 2004) โครงการ BioKIDS โครงการ (Songer, 2004) การประยุกต์ใช้เครื่องมือการออกแบบที่แสดงให้เห็นถึงผลประโยชน์ของ PADI ใน largescale ทดสอบตามความต้องการความสนใจเป็นพิเศษของงานนำเสนอนี้. ส่วนถัดไปของกระดาษให้ภาพรวมคร่าวๆของการออกแบบหลักฐานเป็นศูนย์กลาง สองความคิดเสริมความพยายามในการจัดระเบียบ ที่แรกก็คือความคิดที่ครอบคลุมของการประเมินเป็นอาร์กิวเมนต์จากหลักฐานที่ไม่สมบูรณ์ สิค (1994) ออกวางพื้นฐานการเล่าเรื่องบอกว่าเรา: จะเริ่มต้นด้วยการขอให้สิ่งที่ซับซ้อนของความรู้ทักษะหรือคุณลักษณะอื่น ๆ ควรได้รับการประเมินอย่างน่าเพราะพวกเขาจะเชื่อมโยงกับวัตถุประสงค์อย่างชัดเจนหรือโดยนัยของการเรียนการสอนหรือมีมูลค่าเป็นอย่างอื่นโดยสังคม . ถัดไปสิ่งที่พฤติกรรมหรือ2 ร่างบทนำแสดงควรเปิดเผยโครงสร้างเหล่านั้นและสิ่งที่งานหรือสถานการณ์ที่ควรจะล้วงเอาพฤติกรรมเหล่านั้นหรือไม่ . (p. 16) ความคิดที่สองคือชั้นที่แตกต่างและโครงสร้างกิจกรรมปรากฏในองค์กรประเมินทั้งหมดเพื่อวัตถุประสงค์ในการ instantiating โต้แย้งการประเมินในกระบวนการปฏิบัติงาน (Mislevy, Steinberg, และอัลมอนด์, 2003; & Mislevy Riconscente 2006 ). ส่วนต่อไปนี้ขั้นตอนที่ผ่านชั้นของการออกแบบหลักฐานเป็นศูนย์กลางนำไปใช้กับการประเมินในรายละเอียดเพิ่มเติม เราเห็นบทบาทที่ก้าวหน้าจากสาขาพันธมิตรนำไปสู่การประเมินผลงานและวิธีการที่พวกเขามีการประสานงานภายในและระหว่างชั้น ประโยชน์ของการชัดแจ้ง, นำมาใช้ใหม่และภาษาร่วมกันและการแสดงที่ระบุไว้ตลอด. ปิดการอภิปรายอยู่เป็นคำถามที่เกิดจากการวิจารณ์ที่ไม่ระบุชื่อของข้อเสนอการประชุมสัมมนาที่เราส่งสำหรับการประชุมประจำปีของสภาแห่งชาติของวัดในการศึกษา (NCME): นี้ไม่ได้เป็นเพียงแค่คำใหม่ทั้งหมดสำหรับสิ่งที่คนอยู่แล้วทำอะไร? การคาดการณ์คำตอบเป็นสัญลักษณ์ในรูปที่ 1: จำนวนมากขนาดเล็ก "ใช่ว่า" จัดในเพียงทางที่ถูกต้องเปิดเผยมากขึ้น ". ไม่มี" รูปที่ 1 "ใช่" หมายถึง "ไม่" 1.1 หลักฐานเป็นศูนย์กลางการออกแบบการประเมินหลักฐานเป็นศูนย์กลาง การออกแบบ (ECD) มุมมองการประเมินเป็นอาร์กิวเมนต์หลักฐาน: การโต้แย้งจากสิ่งที่เราสังเกตนักเรียนบอกว่าทำหรือทำโดยเฉพาะอย่างยิ่งไม่กี่สถานการณ์เพื่อหาข้อสรุปเกี่ยวกับสิ่งที่พวกเขารู้ว่าสามารถทำหรือได้ประสบความสำเร็จมากขึ้นโดยทั่วไป (Mislevy, Steinberg และอัลมอนด์, 2003) มุมมองของการประเมินเป็นอาร์กิวเมนต์เป็นรากฐานที่สำคัญของการตรวจสอบการทดสอบ (เคน 1992 สิค, 1989) ECD ใช้มุมมองนี้ในเชิงรุกในการออกแบบการทดสอบ. yesyes yesyes syesyesyesyesy yesyesy yesyes esyesyesyesyesye yesyesye yesyes yesyesyesyesyesyes yesyesyes yesyes yesyes yesyes yesyesyesy yesyes yesyes yesyes yesyesyesye yesyes yesyes yesyes yesyes esyes yesyes yesyes yesyes yesyes syesy yesyes yesyes yesyes yesyes yesye yesyes yesyes yesyes yesyes esyesyesyes yesyes yesyes yesyes syesyesyes yesyes yesyes yesyes yesyesyes yesyes yesyes yesyes esyesyes yesyesyesyesyesyes yesyes syesyes esyesyesyesyesye yesyes yesyes syesyesyesyesy ชั้นในการออกแบบการประเมินร่าง-3 2.0 ชั้นในการออกแบบการประเมินผลECD จัดทำงานของการออกแบบและการดำเนินงานในแง่ของชั้นอุปมามาจากสถาปัตยกรรมและวิศวกรรมซอฟต์แวร์ ( Mislevy และ Riconscente 2006) มันมักจะเป็นประโยชน์ในการวิเคราะห์ระบบที่ซับซ้อนในแง่ของระบบย่อยที่มีส่วนประกอบของแต่ละบุคคลได้รับการจัดการที่ดีขึ้นในระดับของระบบย่อย (Simon, 2001) ยี่ห้อ (1994) อาคารมุมมองเป็นวัตถุแบบไดนามิกนั้นเริ่มต้นการก่อสร้างและการเปลี่ยนแปลงที่จะเกิดขึ้นตามมาในระยะเวลาที่แตกต่างกันและในรูปแบบที่แตกต่างกันโดยนักแสดงที่มีแรงจูงใจที่แตกต่างกันและบทบาท ยี่ห้อระบุหกชั้นที่จับขั้นตอนของการออกแบบและการดำเนินการของอาคาร. ชั้นเหล่านี้ทำหน้าที่เป็นผู้แก้ปัญหาในการตัดสินใจในแต่ละขั้นตอนในชีวิตของ buildi
การแปล กรุณารอสักครู่..
โรเบิร์ต mislevy
รายงานทางเทคนิคของมหาวิทยาลัยแมรีแลนด์ | 17 กันยายน 2549 รายงานชุดเผยแพร่โดยศรีนานาชาติ
P D ผม
PADI | หลักการประเมินแบบสอบถาม
ความหมายของหลักฐานเป็นสำคัญ สำหรับการศึกษาออกแบบ
Robert J . mislevy มหาวิทยาลัยแมรีแลนด์
( D . haertel ร่างระหว่างประเทศ
ศรีศรี อินเตอร์เนชั่นแนลศูนย์เทคโนโลยีในการเรียนรู้
333 เรเวินสวู๊ด Avenue
เมนโลพาร์ค , แคลิฟอร์เนีย 650.859.2000 94025-3493
http : / / PADI . ศรี . com
ชุดบรรณาธิการรายงานทางเทคนิคของอเล็กซิส mitman colker , Ph.D . , ที่ปรึกษาโครงการ ( D .
haertel , Ph.D . , Co หลักสืบสวน
Robert mislevy , Ph.D . , Co หลักสืบสวน
เคลาส์ เคราส์ นักเขียน / บรรณาธิการ
เทคนิค ลินน์ เพ็คธีส
ออกแบบ , เอกสารลิขสิทธิ์© 2006 ศรีระหว่างประเทศและมหาวิทยาลัยแมรี่แลนด์ สงวนลิขสิทธิ์ .
ขอบคุณวัสดุนี้จะขึ้นอยู่กับงานที่สนับสนุนโดยมูลนิธิวิทยาศาสตร์แห่งชาติภายใต้สิทธิ์ rec-0129331
( ให้ใช้ PADI )
ความคิดเห็นใด ๆเกี่ยวกับผลและข้อสรุปหรือข้อเสนอแนะที่แสดงออกในวัสดุนี้เป็นผู้เขียนและทำ
ไม่จำเป็นต้องสะท้อนมุมมองของมูลนิธิวิทยาศาสตร์แห่งชาติ .
p r i n C ผม P L E D E S S S S M E N T E S I G N S D F o r n Q u ฉัน r Y
t e C H ฉัน C L R e r o p 1
7 t ความหมายของหลักฐานศูนย์กลางการออกแบบสำหรับการทดสอบทางการศึกษา
ร่างขึ้นโดย :
Robert J . mislevy มหาวิทยาลัยแมริแลนด์
D
haertel เจนีวา , นานาชาติศรี 2 ร่าง C o n t e n
v
t s นามธรรม 1.0 แนะนำ 1
11 หลักฐานศูนย์กลางการออกแบบการประเมิน 2
3
2 ชั้นในการประเมินการออกแบบ 2.1 การวิเคราะห์โดเมนโดเมนแบบ 7
5
2.2 2.3 กรอบการประเมินแนวคิดการประเมินการดำเนินงาน 20
14 2.4 2.5 การประเมินส่ง 20
3.0 ข้อสรุป : นี่แค่คำใหม่สำหรับสิ่งที่เราได้ทำ 22 24
3
อ้างอิงร่าง F I G U R E S
1 รูป " ใช่ " หมายถึง " ไม่ " 2
รูปที่ 2หลักฐานที่เกี่ยวข้องของเครื่องมือการออกแบบและเป็นศูนย์กลางชั้น 5
รูปที่ 3 การขยาย toulmin แผนภาพการประเมินข้อโต้แย้ง 8
รูปที่ 4 สรุปกราฟฟิกของนักเรียน หลักฐานและงานรุ่น 14
รูปที่ 5 การเป็นตัวแทนของ PADI ระดับ UML วัตถุรุ่น 17
รูปที่ 6 เป็น biokids แม่แบบในการออกแบบระบบของ PADI 18
รูปที่ 7 เป็น biokids การวัดแบบภายในออกแบบระบบของ PADI ,เท่าที่ดูผ่านอินเตอร์เฟซผู้ใช้ 19
รูปที่ 8 เป็นตัวแทนของ XML รูปแบบการวัดภายในของระบบการออกแบบ 19
4
t ร่าง B L E S
โต๊ะ 1 ชั้นของหลักฐานศูนย์กลางการออกแบบสำหรับการประเมินการศึกษา 4
2 โต๊ะ . ออกแบบลวดลายลักษณะ ความหมาย และสอดคล้องกับการประเมินการโต้แย้ง
9
โต๊ะคอม 3 " แบบละเอียด " รูปแบบการออกแบบในการออกแบบระบบของ PADI 10
รายงานทางเทคนิคของมหาวิทยาลัยแมรีแลนด์ | 17 กันยายน 2549 รายงานชุดเผยแพร่โดยศรีนานาชาติ
P D ผม
PADI | หลักการประเมินแบบสอบถาม
ความหมายของหลักฐานเป็นสำคัญ สำหรับการศึกษาออกแบบ
Robert J . mislevy มหาวิทยาลัยแมรีแลนด์
( D . haertel ร่างระหว่างประเทศ
ศรีศรี อินเตอร์เนชั่นแนลศูนย์เทคโนโลยีในการเรียนรู้
333 เรเวินสวู๊ด Avenue
เมนโลพาร์ค , แคลิฟอร์เนีย 650.859.2000 94025-3493
http : / / PADI . ศรี . com
ชุดบรรณาธิการรายงานทางเทคนิคของอเล็กซิส mitman colker , Ph.D . , ที่ปรึกษาโครงการ ( D .
haertel , Ph.D . , Co หลักสืบสวน
Robert mislevy , Ph.D . , Co หลักสืบสวน
เคลาส์ เคราส์ นักเขียน / บรรณาธิการ
เทคนิค ลินน์ เพ็คธีส
ออกแบบ , เอกสารลิขสิทธิ์© 2006 ศรีระหว่างประเทศและมหาวิทยาลัยแมรี่แลนด์ สงวนลิขสิทธิ์ .
ขอบคุณวัสดุนี้จะขึ้นอยู่กับงานที่สนับสนุนโดยมูลนิธิวิทยาศาสตร์แห่งชาติภายใต้สิทธิ์ rec-0129331
( ให้ใช้ PADI )
ความคิดเห็นใด ๆเกี่ยวกับผลและข้อสรุปหรือข้อเสนอแนะที่แสดงออกในวัสดุนี้เป็นผู้เขียนและทำ
ไม่จำเป็นต้องสะท้อนมุมมองของมูลนิธิวิทยาศาสตร์แห่งชาติ .
p r i n C ผม P L E D E S S S S M E N T E S I G N S D F o r n Q u ฉัน r Y
t e C H ฉัน C L R e r o p 1
7 t ความหมายของหลักฐานศูนย์กลางการออกแบบสำหรับการทดสอบทางการศึกษา
ร่างขึ้นโดย :
Robert J . mislevy มหาวิทยาลัยแมริแลนด์
D
haertel เจนีวา , นานาชาติศรี 2 ร่าง C o n t e n
v
t s นามธรรม 1.0 แนะนำ 1
11 หลักฐานศูนย์กลางการออกแบบการประเมิน 2
3
2 ชั้นในการประเมินการออกแบบ 2.1 การวิเคราะห์โดเมนโดเมนแบบ 7
5
2.2 2.3 กรอบการประเมินแนวคิดการประเมินการดำเนินงาน 20
14 2.4 2.5 การประเมินส่ง 20
3.0 ข้อสรุป : นี่แค่คำใหม่สำหรับสิ่งที่เราได้ทำ 22 24
3
อ้างอิงร่าง F I G U R E S
1 รูป " ใช่ " หมายถึง " ไม่ " 2
รูปที่ 2หลักฐานที่เกี่ยวข้องของเครื่องมือการออกแบบและเป็นศูนย์กลางชั้น 5
รูปที่ 3 การขยาย toulmin แผนภาพการประเมินข้อโต้แย้ง 8
รูปที่ 4 สรุปกราฟฟิกของนักเรียน หลักฐานและงานรุ่น 14
รูปที่ 5 การเป็นตัวแทนของ PADI ระดับ UML วัตถุรุ่น 17
รูปที่ 6 เป็น biokids แม่แบบในการออกแบบระบบของ PADI 18
รูปที่ 7 เป็น biokids การวัดแบบภายในออกแบบระบบของ PADI ,เท่าที่ดูผ่านอินเตอร์เฟซผู้ใช้ 19
รูปที่ 8 เป็นตัวแทนของ XML รูปแบบการวัดภายในของระบบการออกแบบ 19
4
t ร่าง B L E S
โต๊ะ 1 ชั้นของหลักฐานศูนย์กลางการออกแบบสำหรับการประเมินการศึกษา 4
2 โต๊ะ . ออกแบบลวดลายลักษณะ ความหมาย และสอดคล้องกับการประเมินการโต้แย้ง
9
โต๊ะคอม 3 " แบบละเอียด " รูปแบบการออกแบบในการออกแบบระบบของ PADI 10
การแปล กรุณารอสักครู่..
ภาษาอื่น ๆ
การสนับสนุนเครื่องมือแปลภาษา: กรีก, กันนาดา, กาลิเชียน, คลิงออน, คอร์สิกา, คาซัค, คาตาลัน, คินยารวันดา, คีร์กิซ, คุชราต, จอร์เจีย, จีน, จีนดั้งเดิม, ชวา, ชิเชวา, ซามัว, ซีบัวโน, ซุนดา, ซูลู, ญี่ปุ่น, ดัตช์, ตรวจหาภาษา, ตุรกี, ทมิฬ, ทาจิก, ทาทาร์, นอร์เวย์, บอสเนีย, บัลแกเรีย, บาสก์, ปัญจาป, ฝรั่งเศส, พาชตู, ฟริเชียน, ฟินแลนด์, ฟิลิปปินส์, ภาษาอินโดนีเซี, มองโกเลีย, มัลทีส, มาซีโดเนีย, มาราฐี, มาลากาซี, มาลายาลัม, มาเลย์, ม้ง, ยิดดิช, ยูเครน, รัสเซีย, ละติน, ลักเซมเบิร์ก, ลัตเวีย, ลาว, ลิทัวเนีย, สวาฮิลี, สวีเดน, สิงหล, สินธี, สเปน, สโลวัก, สโลวีเนีย, อังกฤษ, อัมฮาริก, อาร์เซอร์ไบจัน, อาร์เมเนีย, อาหรับ, อิกโบ, อิตาลี, อุยกูร์, อุสเบกิสถาน, อูรดู, ฮังการี, ฮัวซา, ฮาวาย, ฮินดี, ฮีบรู, เกลิกสกอต, เกาหลี, เขมร, เคิร์ด, เช็ก, เซอร์เบียน, เซโซโท, เดนมาร์ก, เตลูกู, เติร์กเมน, เนปาล, เบงกอล, เบลารุส, เปอร์เซีย, เมารี, เมียนมา (พม่า), เยอรมัน, เวลส์, เวียดนาม, เอสเปอแรนโต, เอสโทเนีย, เฮติครีโอล, แอฟริกา, แอลเบเนีย, โคซา, โครเอเชีย, โชนา, โซมาลี, โปรตุเกส, โปแลนด์, โยรูบา, โรมาเนีย, โอเดีย (โอริยา), ไทย, ไอซ์แลนด์, ไอร์แลนด์, การแปลภาษา.
- Patomskiy crater that is often called th
- 그게 뭐에요???
- Research setting China provides an excel
- Çalışmıyorsun
- ใช่ ฉันชอบงานออกแบบฉันชอบวาดภาพ
- ขอบคุณ แต่ฉันกลัวคุณจะไล่ฉันออกจากห้องคุ
- ปลวก
- Calls
- You needed to look for and collect infor
- Also, the suitable corrosion resistance
- กินไหม
- ฉันมาหาเพื่อนคุย ไม่ได้ต้องการ sex
- Calls
- เดียวโทรหา
- หลังจากนั้นเป็นต้นมาฉันไม่ประหม่าอีกเลย
- will obtain larger energy and be thrown
- Linking sentences and using correct gram
- เครื่องของฉัน ใช้สำหรับการท่องเที่ยว
- Facing view.Turns
- จำหน่าย อีกทั้งเปิดตาและเปิดใจร่วมทำกิจก
- discuss
- แฟนของเธอ
- คุณเกิดปีหมู
- Research setting China provides an excel
