The Qualitative Report Volume 8 Number 4 December 2003 597-607 http:// การแปล - The Qualitative Report Volume 8 Number 4 December 2003 597-607 http:// ไทย วิธีการพูด

The Qualitative Report Volume 8 Num

The Qualitative Report Volume 8 Number 4 December 2003 597-607
http://www.nova.edu/ssss/QR/QR8-4/golafshani.pdf
Understanding Reliability and Validity in Qualitative Research

Nahid Golafshani
University of Toronto, Toronto, Ontario, Canada

The use of reliability and validity are common in quantitative research and now it
is reconsidered in the qualitative research paradigm. Since reliability and validity
are rooted in positivist perspective then they should be redefined for their use in a
naturalistic approach. Like reliability and validity as used in quantitative
research are providing springboard to examine what these two terms mean in the
qualitative research paradigm, triangulation as used in quantitative research to
test the reliability and validity can also illuminate some ways to test or maximize
the validity and reliability of a qualitative study. Therefore, reliability, validity
and triangulation, if they are relevant research concepts, particularly from a
qualitative point of view, have to be redefined in order to reflect the multiple ways
of establishing truth. Key words: Reliability, Validity, Triangulation, Construct,
Qualitative, and Quantitative

This article discusses the use of reliability and validity in the qualitative research
paradigm. First, the meanings of quantitative and qualitative research are discussed. Secondly,
reliability and validity as used in quantitative research are discussed as a way of providing a
springboard to examining what these two terms mean and how they can be tested in the
qualitative research paradigm. This paper concludes by drawing upon the use of triangulation in
the two paradigms (quantitative and qualitative) to show how the changes have influenced our
understanding of reliability, validity and triangulation in qualitative studies.

What is Quantitative Research?

Researchers who use logical positivism or quantitative research employ experimental
methods and quantitative measures to test hypothetical generalizations (Hoepfl, 1997), and they
also emphasize the measurement and analysis of causal relationships between variables (Denzin
and Lincoln, 1998). To illustrate the meaning of quantitative research for its use of explaining
social problems, Bogdan and Biklen (1998) note:

Charts and graphs illustrate the results of the research, and commentators employ words
such as ‘variables’, ‘populations’ and ‘result’ as part of their daily vocabulary…even if
we do not always know just what all of the terms mean…[but] we know that this is part
of the process of doing research. Research, then as it comes to be known publicly, is a
synonym for quantitative research. (p. 4)

Quantitative research allows the researcher to familiarize him/herself with the problem or
concept to be studied, and perhaps generate hypotheses to be tested. In this paradigm: (1) the
emphasis is on facts and causes of behaviour (Bogdan & Biklen, 1998), (2) the information is in Nahid Golafshani 598
the form of numbers that can be quantified and summarized, (3) the mathematical process is the
norm for analysing the numeric data and (4) the final result is expressed in statistical
terminologies (Charles, 1995).
Generally, quantitative research “…supported by the positivist or scientific paradigm,
leads us to regard the world as made up of observable, measurable facts” (Glesne & Peshkin,
1992, p. 6) though their assumption that “social facts have an objective reality” and “variables
can…be identified and relationships measured” (p. 7) is problematic. The notion of ‘measuring’
means to understand, say, educational issues by performing an operation called ‘measurement’
on the physical world by the observer (Crocker & Algina, 1986). Stevens (1946) defines
measurement as the assignment of numerals to objects or events according to rules. From these
definitions, one may perceive measurement as necessarily objective, quantitative and statistically
relevant. Simply put, measurement can be about numbers, objective hard data.
A quantitative researcher attempts to fragment and delimit phenomena into measurable or
common categories that can be applied to all of the subjects or wider and similar situations
(Winter, 2000). In his/her attempts, the researcher's methods involve the "use of standardised
measures so that the varying perspectives and experiences of people can be fit into a limited
number of predetermined response categories to which number are assigned" (Patton, 2001,
p.14). For example, a quantitative researcher may prepare a list of behaviour to be checked or
rated by an observer using a predetermined schedule or numbers (scales) as an instrument in
his/her method of research. Thus, a quantitative researcher needs to construct an instrument to be
administered in standardised manner according to predetermined procedures. But the question is
if the measuring instrument measures what it is supposed to measure. In the broadest sense,
devising a test (Crocker & Algina, 1986) or the validity of an instrument is on focus. The
significance of this test is to ensure replicability or repeatability of the result.
Reliability and Validity in Quantitative Research

“Reliability and validity are tools of an essentially positivist epistemology.”
(Watling, as cited in Winter, 200, p. 7)

Reliability

Joppe (2000) defines reliability as:

…The extent to which results are consistent over time and an accurate representation of
the total population under study is referred to as reliability and if the results of a study
can be reproduced under a similar methodology, then the research instrument is
considered to be reliable. (p. 1)

Embodied in this citation is the idea of replicability or repeatability of results or observations.
Kirk and Miller (1986) identify three types of reliability referred to in quantitative
research, which relate to: (1) the degree to which a measurement, given repeatedly, remains the
same (2) the stability of a measurement over time; and (3) the similarity of measurements within
a given time period (pp. 41-42).
Charles (1995) adheres to the notions that consistency with which questionnaire [test]
items are answered or individual’s scores remain relatively the same can be determined through
599 The Qualitative Report December 2003
the test-retest method at two different times. This attribute of the instrument is actually referred
to as stability. If we are dealing with a stable measure, then the results should be similar. A high
degree of stability indicates a high degree of reliability, which means the results are repeatable.
Joppe, (2000) detects a problem with the test-retest method which can make the instrument, to a
certain degree, unreliable. She explains that test-retest method may sensitize the respondent to
the subject matter, and hence influence the responses given. We cannot be sure that there was no
change in extraneous influences such as an attitude change that has occurred. This could lead to a
difference in the responses provided. Similarly, Crocker and Algina (1986) note that when a
respondent answer a set of test items, the score obtained represents only a limited sample of
behaviour. As a result, the scores may change due to some characteristic of the respondent,
which may lead to errors of measurement. These kinds of errors will reduce the accuracy and
consistency of the instrument and the test scores. Hence, it is the researchers’ responsibility to
assure high consistency and accuracy of the tests and scores. Thus, Crocker and Algina (1986)
say, "Test developers have a responsibility of demonstrating the reliability of scores from their
tests" (p. 106).
Although the researcher may be able to prove the research instrument repeatability and
internal consistency, and, therefore reliability, the instrument itself may not be valid.

Validity

The traditional criteria for validity find their roots in a positivist tradition, and to an
extent, positivism has been defined by a systematic theory of validity. Within the positivist
terminology, validity resided amongst, and was the result and culmination of other empirical
conceptions: universal laws, evidence, objectivity, truth, actuality, deduction, reason, fact and
mathematical data to name just a few (Winter, 2000).
Joppe (2000) provides the following explanation of what validity is in quantitative
research:

Validity determines whether the research truly measures that which it was intended to
measure or how truthful the research results are. In other words, does the research
instrument allow you to hit "the bull’s eye" of your research object? Researchers
generally determine validity by asking a series of questions, and will often look for the
answers in the research of others. (p. 1)

Wainer and Braun (1998) describe the validity in quantitative research as
“construct validity”. The construct is the initial concept, notion, question or hypothesis
that determines which data is to be gathered and how it is to be gathered. They also assert
that quantitative researchers actively cause or affect the interplay between construct and
data in order to validate their investigation, usually by the application of a test or other
process. In this sense, the involvement of the researchers in the research process would
greatly reduce the validity of a test.
Insofar as the definitions of reliability and validity in quantitative research reveal two
strands: Firstly, with regards to reliability, whether the result is replicable. Secondly, with
regards to validity, whether the means of measurement are accurate and whether they are
actually measuring what they are intended to measure. However, the concepts of reliability and
validity are viewed differently by qualitative researchers who strongly consider these concepts
Nahid Golafshani 600
defined in quantitative terms as inadequa
0/5000
จาก: -
เป็น: -
ผลลัพธ์ (ไทย) 1: [สำเนา]
คัดลอก!
คุณภาพรายงานปริมาณ 8 เลข 4 2546 ธันวาคม 597-607
http://www.nova.edu/ssss/QR/QR8-4/golafshani.pdf
เข้าใจความน่าเชื่อถือและมีผลบังคับใช้ในการวิจัยเชิงคุณภาพ

Nahid Golafshani
มหาวิทยาลัยโตรอนโต้ โตรอนโต ออนตาริโอ แคนาดา

ใช้ความน่าเชื่อถือและมีผลบังคับใช้อยู่ทั่วไปในการวิจัยเชิงปริมาณ และขณะนี้
ทบทวนในกระบวนทัศน์การวิจัยเชิงคุณภาพ ความน่าเชื่อถือและมีผลบังคับใช้
ใช้ในมุมมอง positivist แล้วพวกเขาควรเป็นโครงแบบอีกครั้งสำหรับใช้ในการ
naturalistic วิธีการ เช่นความน่าเชื่อถือและมีผลบังคับใช้ในเชิงปริมาณ
วิจัยให้กระดานกระโดดน้ำการตรวจสอบเหล่านี้สองหมายถึงอะไรในการ
กระบวนทัศน์การวิจัยเชิงคุณภาพ ระบบสามสกุลเงินที่ใช้ในการวิจัยเชิงปริมาณ
ทดสอบความน่าเชื่อถือ และมีผลบังคับใช้ยังสามารถส่องบางวิธี การทดสอบให้มากที่สุด
ถูกต้องและความน่าเชื่อถือของการศึกษาเชิงคุณภาพ ดังนั้น ความน่าเชื่อถือ มีผลบังคับใช้
และ สาม ถ้าพวกเขามีแนวคิดงานวิจัยที่เกี่ยวข้อง โดยเฉพาะอย่างยิ่งจากการ
คุณภาพจุดของมุมมอง ต้องมีโครงแบบอีกครั้งเพื่อสะท้อนให้เห็นวิธีหลาย
ของการสร้างความจริง คำสำคัญ: ความน่าเชื่อถือ ความ สาม ก่อสร้าง,
คุณภาพและเชิงปริมาณ

บทความนี้กล่าวถึงการใช้ความน่าเชื่อถือและมีผลบังคับใช้ในการวิจัยเชิงคุณภาพ
กระบวนทัศน์การ ครั้งแรก ความหมายของการวิจัยเชิงปริมาณ และเชิงคุณภาพกล่าวถึง ประการที่สอง,
ความน่าเชื่อถือและมีผลบังคับใช้ในการวิจัยเชิงปริมาณจะกล่าวถึงการให้การ
กระดานกระโดดน้ำการตรวจสอบความหมายของคำเหล่านี้สองและวิธีที่สามารถทดสอบใน
กระบวนทัศน์การวิจัยเชิงคุณภาพ กระดาษนี้สรุป โดยวาดเมื่อใช้ระบบสามสกุลใน
สอง paradigms (เชิงปริมาณ และเชิงคุณภาพ) เพื่อแสดงการเปลี่ยนแปลงมีอิทธิพลของเรา
เข้าใจความน่าเชื่อถือ มีผลบังคับใช้ และสามในการศึกษาเชิงคุณภาพ

การวิจัยเชิงปริมาณคืออะไร

นักวิจัยที่ใช้ logical positivism หรือการวิจัยเชิงปริมาณใช้ทดลอง
วิธีการ และมาตรการเชิงปริมาณเพื่อทดสอบ generalizations สมมุติ (Hoepfl, 1997), และพวกเขา
ยัง เน้นการประเมินและวิเคราะห์ความสัมพันธ์เชิงสาเหตุระหว่างตัวแปร (Denzin
และ ลินคอล์น 1998) เพื่อแสดงความหมายของการวิจัยเชิงปริมาณสำหรับการอธิบาย
ปัญหาสังคม Bogdan และ Biklen (1998) บันทึก:

แผนภูมิและกราฟแสดงผลของการวิจัย และแสดงจ้างคำ
'ตัวแปร' 'ประชากร' และ 'ผล' เป็นส่วนหนึ่งของคำศัพท์ประจำวันของพวกเขา...แม้
เราไม่เสมอรู้เพียงว่าทั้งหมดของหมายความว่าเงื่อนไข...[แต่] เรารู้ว่า นี่คือส่วนหนึ่ง
ของกระบวนการการทำวิจัย วิจัย แล้วมันเป็นที่รู้จักกันทั่วไป เป็นการ
เหมือนการวิจัยเชิงปริมาณ (p. 4)

การวิจัยเชิงปริมาณช่วยให้นักวิจัยเพื่อเขา/ตัวเอง มีปัญหา หรือ
แนวคิดจะศึกษา และอาจจะสร้างสมมุติฐานที่สามารถทดสอบ ในกระบวนทัศน์นี้: (1)
เน้นอยู่บนข้อเท็จจริงและสาเหตุของพฤติกรรม (Bogdan & Biklen, 1998), (2) ข้อมูลที่อยู่ใน Nahid Golafshani 598
รูปแบบของตัวเลขที่สามารถ quantified และ สรุป, (3) กระบวนการทางคณิตศาสตร์
ปกติการวิเคราะห์ข้อมูลตัวเลขและ (4) ผลสุดท้ายจะแสดงสถิติ
terminologies (ชาร์ลส์ 1995)
โดยทั่วไป การวิจัยเชิงปริมาณ "... .supported positivist หรือกระบวนทัศน์ทางวิทยาศาสตร์,
นำเรานำพาโลกเป็นขึ้น observable วัดข้อเท็จจริง" (Glesne & Peshkin,
1992, p. 6) แม้ว่าสมมติฐานของพวกเขาว่า "ข้อเท็จจริงทางสังคมมีความเป็นจริงมีวัตถุประสงค์" และ" ตัวแปร
can..e ระบุ และ "(p. 7) วัดความสัมพันธ์มีปัญหา แนวคิดของ 'วัด'
หมาย ถึงเข้าใจ กล่าวว่า ปัญหาทางการศึกษา โดยทำการดำเนินการที่เรียกว่า 'วัด'
บนโลกโดยดิออบเซิร์ฟเวอร์ (ซคูทีฟ& Algina 1986) กำหนด Stevens (1946)
วัดเป็นการกำหนดตัวเลขกับวัตถุหรือเหตุการณ์ตามกฎ จากนี้
นิยาม หนึ่งอาจสังเกตวัดจำเป็นต้องเป็นวัตถุประสงค์ เชิงปริมาณ และทางสถิติ
เกี่ยวข้องได้ เพียงแค่ใส่ วัดได้เกี่ยวกับหมายเลข ข้อมูลวัตถุประสงค์ยาก
นักวิจัยเชิงปริมาณพยายามแยกส่วน และกำหนดเขตปรากฏการณ์เข้าวัด หรือ
ประเภททั่วไปที่สามารถใช้กับเรื่องหรือสถานการณ์ที่คล้ายกัน และกว้างทั้งหมด
(Winter, 2000) ในความพยายามที่เขา/เธอ วิธีการของนักวิจัยที่เกี่ยวข้องกับการ "ใช้แบบ
วัดเพื่อให้สามารถใส่มุมมองที่แตกต่างกันและประสบการณ์ของคนในจำกัด
จำนวนประเภทผลตอบรับที่กำหนดไว้กับเลขที่กำหนดให้" (แพททัน 2001,
p.14) ตัวอย่าง นักวิจัยเชิงปริมาณอาจเตรียมไว้เพื่อให้มีการตรวจสอบ หรือ
คะแนนนักการการใช้ตารางเวลาที่กำหนดไว้หรือหมายเลข (เกล็ด) เป็นเครื่องมือใน
เขา/เธอวิธีการวิจัยได้ ดังนั้น ต้องสร้างเครื่องมือเพื่อให้นักวิจัยเชิงปริมาณ
บริหารงานในลักษณะแบบตามขั้นตอนที่กำหนดไว้ แต่คำถามคือ
ถ้าเครื่องมือวัดการวัดสิ่งที่มัน ควรจะวัด ในแง่ที่กว้างที่สุด,
ทบทวนการทดสอบ (ซคูทีฟ& Algina, 1986) หรือบนความถูกต้องของเครื่องมือ ใน
ความสำคัญของการทดสอบนี้จะให้แน่ใจว่า replicability หรือทำซ้ำในผลของการ
ความน่าเชื่อถือและมีผลบังคับใช้ในการวิจัยเชิงปริมาณ

"ความน่าเชื่อถือและมีผลบังคับใช้เป็นเครื่องมือของการหลัก positivist ญาณวิทยา"
(Watling ตามที่อ้างถึงในหนาว 200, p. 7)

ความ

Joppe (2000) กำหนดความน่าเชื่อถือเป็น:

...ขอบเขตที่ผลลัพธ์เดียวกันช่วงเวลาและแสดงถูกต้อง
ประชากรภายใต้การศึกษาเรียกว่าเป็นความน่าเชื่อถือและผลของการศึกษา
สามารถทำซ้ำภายใต้วิธีที่คล้ายกัน แล้วเป็นเครื่องมือวิจัย
ถือว่าเชื่อถือได้ (p. 1)

รวบรวมไว้ในการอ้างอิงนี้เป็นความคิดของ replicability หรือทำซ้ำในผลหรือสังเกต
โบสถ์และมิลเลอร์ (1986) ระบุการความน่าเชื่อถือในเชิงปริมาณ
วิจัย ที่เกี่ยวข้อง: (1) ระดับที่ประเมิน ให้ซ้ำ ยังคง
เหมือนกัน (2) ความมั่นคงของการประเมินช่วงเวลา และ (3) คล้ายวัดภายใน
ช่วงเวลาที่กำหนด (นำ 41-42)
ชาร์ลส์ (1995) สอดคล้องในความเข้าใจที่สอดคล้องกับแบบสอบถามใด [ทดสอบ]
รายการจะตอบ หรือคะแนนของแต่ละบุคคลยังคงค่อนข้างเดียวกันสามารถกำหนดผ่าน
599 2546 ธันวาคมรายงานคุณภาพการ
วิธีการทดสอบ retest ที่แตกต่างกันสองครั้ง จริงมีการอ้างอิงแอตทริบิวต์นี้ตรา
เพื่อเป็นความมั่นคง ถ้าเรากำลังเผชิญกับการวัดเสถียรภาพ แล้วผลลัพธ์ควรจะคล้ายกัน สูง
ระดับของความมั่นคงระบุว่า ระดับสูงของความน่าเชื่อถือ ซึ่งหมายถึง ผลลัพธ์ซ้ำกัน
Joppe, (2000) ตรวจพบปัญหา ด้วยวิธีการทดสอบ retest ซึ่งสามารถทำให้เครื่องมือ การ
ระดับ ไม่น่าเชื่อถือ เธออธิบายว่า วิธีทดสอบ retest อาจ sensitize ตอบให้
เรื่อง และดังนั้น มีอิทธิพลต่อการตอบสนองให้ เราไม่แน่ใจว่า มีไม่
เปลี่ยนแปลงอิทธิพลไม่เกี่ยวข้องเช่นการเปลี่ยนแปลงทัศนคติที่เกิดขึ้น นี้อาจนำไปสู่การ
ความแตกต่างในการตอบสนองให้ได้ ในทำนองเดียวกัน ซคูทีฟและ Algina (1986) หมายเหตุว่า เมื่อการ
ตอบ respondent เป็นชุดของรายการทดสอบ คะแนนที่ได้หมายถึงเฉพาะอย่างจำกัดของ
พฤติกรรม คะแนนอาจเปลี่ยนแปลงจากลักษณะบางอย่างของผู้ตอบ ดัง
ซึ่งอาจนำไปสู่ข้อผิดพลาดของการวัดได้ ข้อผิดพลาดต่าง ๆ เหล่านี้จะลดความถูกต้อง และ
ความสอดคล้องของเครื่องมือและคะแนนสอบ ดังนั้น มันเป็นความรับผิดชอบของนักวิจัย
มั่นใจว่าความสูงและความแม่นยำของการทดสอบและคะแนน ดัง ซคูทีฟและ Algina (1986)
พูด, "นักพัฒนาทดสอบมีความรับผิดชอบของโมเสสน่าเชื่อถือของคะแนนจากการ
ทดสอบ" (p. 106)
ถึงแม้ว่านักวิจัยอาจทำซ้ำในเครื่องมือการวิจัยพิสูจน์ และ
ความสอดคล้องภายใน และ ดังนั้นความน่าเชื่อถือ เครื่องมือเองอาจไม่ถูกต้องได้

มีผลบังคับใช้

เงื่อนไขแบบดั้งเดิมสำหรับใช้ค้นหารากของพวกเขา ในประเพณี positivist และการ
ได้กำหนดขอบเขต positivism โดยทฤษฎีระบบมีผลบังคับใช้ ภายในแบบ positivist
ศัพท์ อยู่ท่ามกลาง และผลลัพธ์และสุดยอดของอื่น ๆ รวม
conceptions: กฎหมายสากล หลักฐาน ปรวิสัย ความจริง actuality หัก เหตุผล ข้อเท็จจริง และ
ข้อมูลทางคณิตศาสตร์เพื่อชื่อไม่กี่ (หนาว 2000)
Joppe (2000) ให้คำอธิบายต่อไปนี้อะไรมีผลบังคับใช้อยู่ในเชิงปริมาณ
วิจัย:

มีผลบังคับใช้กำหนดว่า การวิจัยอย่างแท้จริงวัดที่สร้างขึ้นเพื่อ
วัดหรือมีผลงานวิจัยว่าสุจริตใจ ในคำอื่น ๆ ไม่วิจัย
เครื่องมือช่วยให้คุณสามารถตี "วัวของตา" ของวัตถุของคุณวิจัย นักวิจัย
กำหนดมีผลบังคับใช้โดยทั่วไป โดยให้ชุดคำถาม และมักจะมองหาการ
คำตอบในการวิจัยของผู้อื่น (p. 1)

Wainer และ Braun (1998) มีผลบังคับใช้ในการวิจัยเชิงปริมาณเป็นอธิบาย
"สร้างตั้งแต่" โครงสร้างมีแนวคิดเริ่มต้น ความคิด คำถาม หรือสมมติฐาน
ที่กำหนดข้อมูลที่จะสามารถรวบรวมและวิธีจะสามารถรวบรวม พวกเขายังยืนยันรูป
ที่นักวิจัยเชิงปริมาณอย่างแข็งขันทำ หรือล้อระหว่างก่อสร้างส่งผลต่อ และ
ข้อมูลการตรวจสอบสืบสวน ปกติ โดยใช้การทดสอบ หรืออื่น ๆ
กระบวนการ ในความรู้สึกนี้ จะมีส่วนร่วมของนักวิจัยในการวิจัย
มากลดราคามีผลบังคับใช้ของการทดสอบ
Insofar เป็นคำนิยามของความน่าเชื่อถือและมีผลบังคับใช้ในการวิจัยเชิงปริมาณเหมาะสอง
strands: ประการแรก เกี่ยวกับความน่าเชื่อถือ ว่าผลที่ได้คือสามารถจำลองแบบ ประการที่สอง ด้วย
ไปตั้งแต่ การว่าวิธีการวัดถูกต้อง และว่าจะ
จริง วัดคืออะไรไว้จะ อย่างไรก็ตาม แนวคิดของความน่าเชื่อถือ และ
มีผลบังคับใช้จะดูแตกต่างกัน โดยนักวิจัยเชิงคุณภาพที่ขอพิจารณาแนวคิดเหล่านี้
Nahid Golafshani 600
กำหนดในเงื่อนไขเชิงปริมาณเป็น inadequa
การแปล กรุณารอสักครู่..
ผลลัพธ์ (ไทย) 2:[สำเนา]
คัดลอก!
The Qualitative Report Volume 8 Number 4 December 2003 597-607
http://www.nova.edu/ssss/QR/QR8-4/golafshani.pdf
Understanding Reliability and Validity in Qualitative Research

Nahid Golafshani
University of Toronto, Toronto, Ontario, Canada

The use of reliability and validity are common in quantitative research and now it
is reconsidered in the qualitative research paradigm. Since reliability and validity
are rooted in positivist perspective then they should be redefined for their use in a
naturalistic approach. Like reliability and validity as used in quantitative
research are providing springboard to examine what these two terms mean in the
qualitative research paradigm, triangulation as used in quantitative research to
test the reliability and validity can also illuminate some ways to test or maximize
the validity and reliability of a qualitative study. Therefore, reliability, validity
and triangulation, if they are relevant research concepts, particularly from a
qualitative point of view, have to be redefined in order to reflect the multiple ways
of establishing truth. Key words: Reliability, Validity, Triangulation, Construct,
Qualitative, and Quantitative

This article discusses the use of reliability and validity in the qualitative research
paradigm. First, the meanings of quantitative and qualitative research are discussed. Secondly,
reliability and validity as used in quantitative research are discussed as a way of providing a
springboard to examining what these two terms mean and how they can be tested in the
qualitative research paradigm. This paper concludes by drawing upon the use of triangulation in
the two paradigms (quantitative and qualitative) to show how the changes have influenced our
understanding of reliability, validity and triangulation in qualitative studies.

What is Quantitative Research?

Researchers who use logical positivism or quantitative research employ experimental
methods and quantitative measures to test hypothetical generalizations (Hoepfl, 1997), and they
also emphasize the measurement and analysis of causal relationships between variables (Denzin
and Lincoln, 1998). To illustrate the meaning of quantitative research for its use of explaining
social problems, Bogdan and Biklen (1998) note:

Charts and graphs illustrate the results of the research, and commentators employ words
such as ‘variables’, ‘populations’ and ‘result’ as part of their daily vocabulary…even if
we do not always know just what all of the terms mean…[but] we know that this is part
of the process of doing research. Research, then as it comes to be known publicly, is a
synonym for quantitative research. (p. 4)

Quantitative research allows the researcher to familiarize him/herself with the problem or
concept to be studied, and perhaps generate hypotheses to be tested. In this paradigm: (1) the
emphasis is on facts and causes of behaviour (Bogdan & Biklen, 1998), (2) the information is in Nahid Golafshani 598
the form of numbers that can be quantified and summarized, (3) the mathematical process is the
norm for analysing the numeric data and (4) the final result is expressed in statistical
terminologies (Charles, 1995).
Generally, quantitative research “…supported by the positivist or scientific paradigm,
leads us to regard the world as made up of observable, measurable facts” (Glesne & Peshkin,
1992, p. 6) though their assumption that “social facts have an objective reality” and “variables
can…be identified and relationships measured” (p. 7) is problematic. The notion of ‘measuring’
means to understand, say, educational issues by performing an operation called ‘measurement’
on the physical world by the observer (Crocker & Algina, 1986). Stevens (1946) defines
measurement as the assignment of numerals to objects or events according to rules. From these
definitions, one may perceive measurement as necessarily objective, quantitative and statistically
relevant. Simply put, measurement can be about numbers, objective hard data.
A quantitative researcher attempts to fragment and delimit phenomena into measurable or
common categories that can be applied to all of the subjects or wider and similar situations
(Winter, 2000). In his/her attempts, the researcher's methods involve the "use of standardised
measures so that the varying perspectives and experiences of people can be fit into a limited
number of predetermined response categories to which number are assigned" (Patton, 2001,
p.14). For example, a quantitative researcher may prepare a list of behaviour to be checked or
rated by an observer using a predetermined schedule or numbers (scales) as an instrument in
his/her method of research. Thus, a quantitative researcher needs to construct an instrument to be
administered in standardised manner according to predetermined procedures. But the question is
if the measuring instrument measures what it is supposed to measure. In the broadest sense,
devising a test (Crocker & Algina, 1986) or the validity of an instrument is on focus. The
significance of this test is to ensure replicability or repeatability of the result.
Reliability and Validity in Quantitative Research

“Reliability and validity are tools of an essentially positivist epistemology.”
(Watling, as cited in Winter, 200, p. 7)

Reliability

Joppe (2000) defines reliability as:

…The extent to which results are consistent over time and an accurate representation of
the total population under study is referred to as reliability and if the results of a study
can be reproduced under a similar methodology, then the research instrument is
considered to be reliable. (p. 1)

Embodied in this citation is the idea of replicability or repeatability of results or observations.
Kirk and Miller (1986) identify three types of reliability referred to in quantitative
research, which relate to: (1) the degree to which a measurement, given repeatedly, remains the
same (2) the stability of a measurement over time; and (3) the similarity of measurements within
a given time period (pp. 41-42).
Charles (1995) adheres to the notions that consistency with which questionnaire [test]
items are answered or individual’s scores remain relatively the same can be determined through
599 The Qualitative Report December 2003
the test-retest method at two different times. This attribute of the instrument is actually referred
to as stability. If we are dealing with a stable measure, then the results should be similar. A high
degree of stability indicates a high degree of reliability, which means the results are repeatable.
Joppe, (2000) detects a problem with the test-retest method which can make the instrument, to a
certain degree, unreliable. She explains that test-retest method may sensitize the respondent to
the subject matter, and hence influence the responses given. We cannot be sure that there was no
change in extraneous influences such as an attitude change that has occurred. This could lead to a
difference in the responses provided. Similarly, Crocker and Algina (1986) note that when a
respondent answer a set of test items, the score obtained represents only a limited sample of
behaviour. As a result, the scores may change due to some characteristic of the respondent,
which may lead to errors of measurement. These kinds of errors will reduce the accuracy and
consistency of the instrument and the test scores. Hence, it is the researchers’ responsibility to
assure high consistency and accuracy of the tests and scores. Thus, Crocker and Algina (1986)
say, "Test developers have a responsibility of demonstrating the reliability of scores from their
tests" (p. 106).
Although the researcher may be able to prove the research instrument repeatability and
internal consistency, and, therefore reliability, the instrument itself may not be valid.

Validity

The traditional criteria for validity find their roots in a positivist tradition, and to an
extent, positivism has been defined by a systematic theory of validity. Within the positivist
terminology, validity resided amongst, and was the result and culmination of other empirical
conceptions: universal laws, evidence, objectivity, truth, actuality, deduction, reason, fact and
mathematical data to name just a few (Winter, 2000).
Joppe (2000) provides the following explanation of what validity is in quantitative
research:

Validity determines whether the research truly measures that which it was intended to
measure or how truthful the research results are. In other words, does the research
instrument allow you to hit "the bull’s eye" of your research object? Researchers
generally determine validity by asking a series of questions, and will often look for the
answers in the research of others. (p. 1)

Wainer and Braun (1998) describe the validity in quantitative research as
“construct validity”. The construct is the initial concept, notion, question or hypothesis
that determines which data is to be gathered and how it is to be gathered. They also assert
that quantitative researchers actively cause or affect the interplay between construct and
data in order to validate their investigation, usually by the application of a test or other
process. In this sense, the involvement of the researchers in the research process would
greatly reduce the validity of a test.
Insofar as the definitions of reliability and validity in quantitative research reveal two
strands: Firstly, with regards to reliability, whether the result is replicable. Secondly, with
regards to validity, whether the means of measurement are accurate and whether they are
actually measuring what they are intended to measure. However, the concepts of reliability and
validity are viewed differently by qualitative researchers who strongly consider these concepts
Nahid Golafshani 600
defined in quantitative terms as inadequa
การแปล กรุณารอสักครู่..
ผลลัพธ์ (ไทย) 3:[สำเนา]
คัดลอก!
คุณภาพ รายงานเล่ม 8 หมายเลข 4 ธันวาคม 2546 597-607

เข้าใจ http://www.nova.edu/ssss/qr/qr8-4/golafshani.pdf ความน่าเชื่อถือและความเที่ยงตรงในการวิจัยเชิงคุณภาพ golafshani


nahid มหาวิทยาลัยโตรอนโต , โตรอนโต , ออนตาริโอ , แคนาดา

ใช้ความน่าเชื่อถือและความเที่ยงตรงอยู่ทั่วไปในการวิจัยเชิงปริมาณ และตอนนี้กำลังพิจารณาใน
กระบวนทัศน์การวิจัยเชิงคุณภาพเนื่องจากความน่าเชื่อถือและความเที่ยงตรง
rooted ในมุมมอง positivist แล้วพวกเขาควรจะนิยามใหม่สำหรับใช้ใน
วิธีการทางธรรมชาติ ชอบความเที่ยงและความตรง ที่ใช้ในการวิจัยเชิงคุณภาพ
ให้สปริงเพื่อตรวจสอบสิ่งที่เงื่อนไขที่สองเหล่านี้หมายความว่าใน
กระบวนทัศน์การวิจัยเชิงคุณภาพ ที่ใช้ในการวิจัยเชิงปริมาณ สามเหลี่ยม

ทดสอบความเชื่อมั่นและความเที่ยงตรงสามารถส่องสว่างบางวิธีที่จะทดสอบหรือเพิ่ม
ความถูกต้องและความน่าเชื่อถือของการศึกษาเชิงคุณภาพ ดังนั้น ความน่าเชื่อถือ และความถูกต้อง
สามเส้า ถ้าพวกเขามีแนวคิดงานวิจัยที่เกี่ยวข้อง โดยเฉพาะจาก
จุดคุณภาพของมุมมอง ต้องขึ้นเพื่อสะท้อนให้เห็นถึงหลายวิธี
สร้างความจริง คำสำคัญ : ความน่าเชื่อถือ ความเที่ยงตรงรูปสามเหลี่ยม , สร้าง ,
เชิงคุณภาพและเชิงปริมาณ

บทความนี้กล่าวถึงการใช้ความน่าเชื่อถือและความเที่ยงตรงในกระบวนทัศน์การวิจัย
เชิงคุณภาพ แรกความหมายของการวิจัยเชิงปริมาณและเชิงคุณภาพได้ถูก ประการที่สอง
ความเที่ยงและความตรง ที่ใช้ในการวิจัยเชิงคุณภาพมีการกล่าวถึงเป็นวิธีการของการให้
สปริงเพื่อตรวจสอบว่าเงื่อนไขที่สองเหล่านี้หมายถึงและวิธีการที่พวกเขาสามารถทดสอบใน
กระบวนทัศน์ในการวิจัยเชิงคุณภาพ บทความนี้สรุปโดยการวาดภาพบนใช้ของสามเหลี่ยมใน
สองกระบวนทัศน์ ( เชิงปริมาณและเชิงคุณภาพ ) เพื่อแสดงให้เห็นว่าการเปลี่ยนแปลงที่มีอิทธิพลต่อความเข้าใจของเรา
ของความน่าเชื่อถือ ความเที่ยงตรง และวางแผนในการศึกษาเชิงคุณภาพ

อะไรคือการวิจัยเชิงปริมาณ ?

นักวิจัยที่ใช้ Positivism ตรรกะหรือการวิจัยเชิงปริมาณ ใช้วิธีการทดลองและทดสอบสมมติฐานปริมาณ
มาตรการทั่วไป ( hoepfl , 1997 ) และพวกเขา
ยังเน้นการวัดและการวิเคราะห์ความสัมพันธ์เชิงสาเหตุของตัวแปร ( denzin
และลินคอล์น , 1998 ) เพื่อแสดงให้เห็นถึงความหมายของการวิจัยเชิงปริมาณเพื่อใช้อธิบาย
ปัญหาทางสังคมบ็อกดาน และ biklen ( 1998 ) หมายเหตุ :

แผนภูมิและกราฟแสดงผลของงานวิจัย และใช้คำพูดแสดงความเห็น
เช่น ' ตัวแปร ' ' มี ' และ ' ผล ' เป็นส่วนหนึ่งของคำศัพท์ . . . . . . . ทุกวันของพวกเขาแม้ว่า
เราไม่ได้เสมอรู้ว่าสิ่งที่ทั้งหมดของเงื่อนไข หมายถึง . . . . . . . [ แต่ ] เรารู้ว่านี้เป็นส่วนหนึ่ง
ของกระบวนการของการทำวิจัย การวิจัยนั้นมันเป็นที่รู้จักกันอย่างเป็นทางการ เป็น
คำที่เกี่ยวข้องกับการวิจัยเชิงปริมาณ ( หน้า 4 )

การวิจัยเชิงปริมาณจะช่วยให้นักวิจัยที่จะศึกษาเขา / เธอมีปัญหาหรือแนวคิดที่จะศึกษาและสร้างบางทีสมมติฐานที่จะทดสอบ ในกระบวนทัศน์นี้ : ( 1 )
เน้นข้อเท็จจริงและสาเหตุของพฤติกรรม ( บ็อกดาน& biklen , 1998 ) , ( 2 ) เป็นข้อมูลใน nahid golafshani 598
รูปแบบของตัวเลขที่สามารถวัดได้ และ ( 3 ) กระบวนการทางคณิตศาสตร์
บรรทัดฐานการวิเคราะห์ข้อมูลตัวเลข และ ( 4 ) ผลลัพธ์สุดท้ายจะแสดงคำศัพท์สถิติ
( Charles , 1995 )
ทั่วไป การวิจัยเชิงปริมาณ " . . . . . . . สนับสนุนโดย positivist หรือวิทยาศาสตร์กระบวนทัศน์
ทำให้เราเห็นโลกที่สร้างขึ้นจากที่สังเกตได้ ,ข้อเท็จจริงที่วัด " ( glesne & peshkin
, 2535 , หน้า 6 ) แม้ว่าพวกเขาสันนิษฐานว่า " ข้อเท็จจริงทางสังคมมีวัตถุประสงค์จริง " และ " ตัวแปร
. . . . . . ถูกระบุและความสัมพันธ์วัด " ( หน้า 7 ) เป็นปัญหา ความคิดของ ' วัด '
แปลว่าเข้าใจ พูด ศึกษาปัญหาโดยผ่าตัดเรียกว่า ' วัด '
บนโลกทางกายภาพโดยผู้สังเกตการณ์ ( & algina คร็อกเกอร์ ,1986 ) สตีเวนส์ ( 1946 ) กําหนด
วัดตามที่มอบหมายเลขกับวัตถุหรือเหตุการณ์ตามกฎ จากนิยามเหล่านี้
, หนึ่งอาจรับรู้การวัดตามวัตถุประสงค์เป็นเชิงปริมาณและสถิติ
ที่เกี่ยวข้อง ใส่เพียงแค่การวัดสามารถเกี่ยวกับตัวเลข , วัตถุประสงค์ยากข้อมูล
นักวิจัยเชิงปริมาณความพยายามที่จะแตกและคั่นปรากฏการณ์ในวัดหรือ
หมวดหมู่ทั่วไปที่สามารถใช้กับทุกวิชา หรือกว้างกว่าและที่คล้ายกันสถานการณ์
( ฤดูหนาว , 2000 ) ในความพยายามของเขา / เธอ วิธีการของนักวิจัยที่เกี่ยวข้องกับ " การใช้มาตรฐาน
มาตรการเพื่อให้เปลี่ยนมุมมอง และประสบการณ์ของผู้ที่สามารถพอดีกับจำนวน จำกัด ของการตอบสนองที่กำหนดไว้ล่วงหน้า
ประเภทซึ่งตัวเลขที่ได้รับมอบหมาย " ( Patton , 2001 ,
ดีเพิ่มเติมขึ้นมาอีก ) ตัวอย่างเช่นนักวิจัยเชิงปริมาณอาจจัดเตรียมรายการของพฤติกรรมที่จะตรวจสอบหรือ
/ สังเกตการณ์ใช้กำหนดตารางเวลาหรือตัวเลข ( เครื่องชั่ง ) เป็นเครื่องมือใน
ของเขา / เธอวิธีการวิจัย ดังนั้น นักวิจัยเชิงปริมาณความต้องการที่จะสร้างเครื่องมือเป็น
ตามลักษณะตามมาตรฐานที่กำหนดไว้ตามขั้นตอน แต่คำถามคือ
ถ้าวัด วัดอะไรมันควรจะวัด ในความรู้สึกที่กว้าง ,
จัดสอบ ( คร็อกเกอร์& algina , 1986 ) หรือความตรงของเครื่องมืออยู่ในโฟกัส
ความหมายของการทดสอบนี้คือเพื่อให้แน่ใจว่า replicability หรือเติบโตของผล


ความน่าเชื่อถือและความเที่ยงตรงในการวิจัยเชิงปริมาณ" ความเที่ยงและความตรงเป็นเครื่องมือของหลัก positivist ญาณวิทยา "
( วอทลิง ตามที่อ้างในฤดูหนาว , 200 , หน้า 7 )

)

joppe ( 2543 ) ได้กำหนดความน่าเชื่อถือ :

. . . . . . . ขอบเขตซึ่งผลลัพธ์ที่สอดคล้องกันตลอดเวลา และถูกต้องเป็นตัวแทนของประชากรที่ศึกษาคือ
เรียกว่า ความน่าเชื่อถือ และหากผลการศึกษา
สามารถทำซ้ำตามวิธีการที่คล้ายกัน แล้วเครื่องมือที่ใช้ในการวิจัยคือ
ถือว่าเชื่อถือได้ ( หน้า 1 )

ไว้ในการอ้างอิงนี้เป็นความคิดของ replicability หรือกาลหรือผลการสังเกต
เคิร์กและมิลเลอร์ ( 1986 ) ระบุสามประเภทของความน่าเชื่อถือที่อ้างถึงในการวิจัยเชิงคุณภาพ
ซึ่งเกี่ยวข้องกับ ( 1 ) องศาที่วัดให้บ่อยๆยังคง
เดียวกัน ( 2 ) เสถียรภาพของการวัดช่วงเวลา และ ( 3 ) ความเหมือนของการวัดภายในระยะเวลาที่กําหนด (
. 41-42 )
ชาร์ลส์ ( 1995 ) ยึดกับความคิดที่สอดคล้องกับที่ทดสอบแบบสอบถาม [ ]
รายการจะตอบหรือคะแนนของแต่ละบุคคลยังคงค่อนข้างเดียวกันสามารถกำหนดผ่าน

เรื่องรายงานเชิงคุณภาพ ธันวาคม 2546และวิธีที่ 2 ครั้ง นี้คุณลักษณะของเครื่องมือที่เป็นจริงเรียกว่า
เป็นมีเสถียรภาพ ถ้าเรากำลังเผชิญกับมาตรการที่มั่นคง แล้วผลลัพธ์ก็จะคล้ายกัน ระดับสูง
เสถียรภาพแสดงระดับสูงของความน่าเชื่อถือ ซึ่งหมายความว่าผลลัพธ์จะทำซ้ำ .
joppe ( 2000 ) ตรวจพบปัญหากับคน โดยวิธีทดสอบซ้ำ ซึ่งจะทำให้อุปกรณ์เพื่อปริญญาบาง
, ไม่น่าเชื่อถือ เธออธิบายว่า โดยวิธีการอาจจะความรู้สึกไวจำเลย
เรื่อง จึงมีอิทธิพลต่อการตอบสนองได้รับ เราไม่สามารถแน่ใจได้ว่าไม่มีการเปลี่ยนแปลงในอิทธิพลนอกกาย
เช่นการเปลี่ยนแปลงทัศนคติที่ได้เกิดขึ้น นี้อาจนำไปสู่
ความแตกต่างในการตอบสนองให้ และในทำนองเดียวกัน คร็อกเกอร์ algina ( 1986 ) โปรดทราบว่าเมื่อ
ผู้ตอบตอบชุดข้อสอบ คะแนนที่ได้รับ เป็นเพียงตัวอย่างของ
จำกัดพฤติกรรม ผลคะแนนอาจเปลี่ยนแปลงเนื่องจากบางลักษณะของผู้ถูกกล่าวหา
ซึ่งอาจนำไปสู่ความผิดพลาดของการวัด เหล่านี้ชนิดของข้อผิดพลาดจะลดความแม่นยำและ
ความสอดคล้องของเครื่องมือ และคะแนนสอบ ดังนั้นจึงเป็นหน้าที่ของนักวิจัย '

รับประกันความมั่นคงสูงและความถูกต้องของการทดสอบและคะแนน ดังนั้น คร็อกเกอร์ และ algina ( 1986 )
พูดว่า " นักพัฒนาทดสอบมีความรับผิดชอบของแสดงให้เห็นถึงความน่าเชื่อถือของคะแนนที่ได้จากการทดสอบของพวกเขา
" ( หน้า 106 )
ถึงแม้ว่านักวิจัยอาจจะสามารถพิสูจน์ได้ว่าเครื่องมือที่ใช้ในการวิจัยและการ
ความสอดคล้องภายใน และความน่าเชื่อถือในตัวเองอาจจะถูกต้อง

ความถูกต้อง

เกณฑ์ดั้งเดิมแบบหารากของพวกเขาใน positivist ประเพณี และไปยัง
ขอบเขตปฏิฐานนิยมได้รับการกำหนดโดยทฤษฎีระบบที่ถูกต้อง ภายใน positivist
ความหมาย ความถูกต้อง อยู่ในหมู่ และเป็นผลและสุดยอดของมโนทัศน์เชิงประจักษ์
: กฎหมายสากล , พยานหลักฐาน , ปรนัย , ความจริง , ความเป็นจริง , หัก , เหตุผล ข้อเท็จจริง และ
ข้อมูลทางคณิตศาสตร์เพื่อชื่อเพียงไม่กี่ ( ฤดูหนาว , 2000 )
joppe ( 2000 ) ให้คำอธิบายต่อไปนี้สิ่งที่ใช้ตรวจสอบในการวิจัยเชิงคุณภาพ
:

ตามมาตรการที่กำหนดว่าการวิจัยอย่างแท้จริงซึ่งมี
วัดหรือผลการวิจัยเป็นอย่างไรจริง ในคำอื่น ๆ , การวิจัย
อนุญาตให้คุณเข้า " เป้า " ของวัตถุประสงค์ของการวิจัยของคุณโดยทั่วไปจะตรวจสอบความถูกต้อง โดยนักวิจัย
ถามชุดของคำถาม และมักจะมองหา
คำตอบในการวิจัยของผู้อื่น ( หน้า 1 )

wainer บราวน์ ( 1998 ) และอธิบายถึงความถูกต้องในการวิจัยเชิงปริมาณเป็น
" สร้างวัด " สร้างเป็นแนวคิดเริ่มต้น , ความคิด , คำถามหรือสมมติฐานที่กำหนดข้อมูล
จะรวมตัวกันและว่ามันคือการรวบรวมพวกเขายังยืนยันว่า นักวิจัยเชิงปริมาณอย่าง
สาเหตุหรือส่งผลกระทบต่อความสัมพันธ์ระหว่างโครงสร้างและข้อมูล เพื่อตรวจสอบ
การสืบสวนของพวกเขามักจะโดยการประยุกต์ใช้การทดสอบ หรือกระบวนการอื่น ๆ

ในความรู้สึกนี้ , การมีส่วนร่วมของนักวิจัยในกระบวนการวิจัยจะ
ลดความเที่ยงตรงของแบบทดสอบ
ตราบเท่าที่คำนิยามของความน่าเชื่อถือและความเที่ยงตรงในการวิจัยเชิงปริมาณ พบสอง
เส้น : ประการแรกเกี่ยวกับความน่าเชื่อถือ ไม่ว่าผลที่ได้คือสามารถจําลองแบบ . ประการที่สองกับ
เกี่ยวกับความถูกต้อง ไม่ว่าจะหมายถึง การวัดจะถูกต้อง และไม่ว่าพวกเขาจะวัดอะไร
ที่จริงพวกเขามีวัตถุประสงค์เพื่อวัด อย่างไรก็ตาม แนวคิดของความน่าเชื่อถือและ
ความถูกต้องจะดูแตกต่างกัน โดยนักวิจัยเชิงคุณภาพที่ขอพิจารณาเหล่านี้แนวคิด
nahid golafshani 600
นิยามในแง่ปริมาณ เช่น inadequa
การแปล กรุณารอสักครู่..
 
ภาษาอื่น ๆ
การสนับสนุนเครื่องมือแปลภาษา: กรีก, กันนาดา, กาลิเชียน, คลิงออน, คอร์สิกา, คาซัค, คาตาลัน, คินยารวันดา, คีร์กิซ, คุชราต, จอร์เจีย, จีน, จีนดั้งเดิม, ชวา, ชิเชวา, ซามัว, ซีบัวโน, ซุนดา, ซูลู, ญี่ปุ่น, ดัตช์, ตรวจหาภาษา, ตุรกี, ทมิฬ, ทาจิก, ทาทาร์, นอร์เวย์, บอสเนีย, บัลแกเรีย, บาสก์, ปัญจาป, ฝรั่งเศส, พาชตู, ฟริเชียน, ฟินแลนด์, ฟิลิปปินส์, ภาษาอินโดนีเซี, มองโกเลีย, มัลทีส, มาซีโดเนีย, มาราฐี, มาลากาซี, มาลายาลัม, มาเลย์, ม้ง, ยิดดิช, ยูเครน, รัสเซีย, ละติน, ลักเซมเบิร์ก, ลัตเวีย, ลาว, ลิทัวเนีย, สวาฮิลี, สวีเดน, สิงหล, สินธี, สเปน, สโลวัก, สโลวีเนีย, อังกฤษ, อัมฮาริก, อาร์เซอร์ไบจัน, อาร์เมเนีย, อาหรับ, อิกโบ, อิตาลี, อุยกูร์, อุสเบกิสถาน, อูรดู, ฮังการี, ฮัวซา, ฮาวาย, ฮินดี, ฮีบรู, เกลิกสกอต, เกาหลี, เขมร, เคิร์ด, เช็ก, เซอร์เบียน, เซโซโท, เดนมาร์ก, เตลูกู, เติร์กเมน, เนปาล, เบงกอล, เบลารุส, เปอร์เซีย, เมารี, เมียนมา (พม่า), เยอรมัน, เวลส์, เวียดนาม, เอสเปอแรนโต, เอสโทเนีย, เฮติครีโอล, แอฟริกา, แอลเบเนีย, โคซา, โครเอเชีย, โชนา, โซมาลี, โปรตุเกส, โปแลนด์, โยรูบา, โรมาเนีย, โอเดีย (โอริยา), ไทย, ไอซ์แลนด์, ไอร์แลนด์, การแปลภาษา.

Copyright ©2026 I Love Translation. All reserved.

E-mail: