The World Health Organization’s (WHO’s) International Classification of Functioning, Disability and Health (ICF)1 is gaining recognition in physical therapy and rehabilitation.2–5 The ICF provides a conceptual basis and a universal common language for understanding and describing patients’ health status, reaching beyond mortality, diseases, and medical diagnoses. The use of the ICF promotes a comprehensive, multidisciplinary, and patient-centered perspective in health care. The ICF has been applied in physical therapy and rehabilitation, especially in the field of neurorehabilitation, to facilitate multidisciplinary team communication, to structure the rehabilitation process, for goal setting and assessment, for documentation, and for reporting.5–11
However, with the practical application of the ICF, important challenges arise. The main challenge is the length of the classification, with more than 1,400 categories. To address this challenge, internationally agreed-on ICF Core Sets for various health conditions have been developed in a scientific evidence-based process.12 The common standardized procedure for developing ICF Core Sets integrates evidence gathered from preliminary studies with a formal decision-making and expert consensus process. The methodological approaches in the preliminary studies include, for each health condition: (1) systematic literature reviews of outcome measurements used in clinical trials, (2) Delphi exercises capturing experts’ views, and (3) collection of empirical data from people undergoing inpatient or outpatient rehabilitation. The results of the preliminary studies are the foundation for the subsequent decisionmaking and consensus process with a nominal group technique. The resulting ICF Core Sets are practical tools that represent selections of categories from the whole classification. They comprehensively describe the prototypical spectrum of problems in the functioning of patients with specific health conditions. They are based on the universal language of the ICF but enhance its applicability through their manageable size.
In the context of neurorehabilitation, stroke plays a prominent role. In this field, 3 ICF Core Sets can be applied, namely, the ICF Core Set for Stroke13 and the ICF Core Sets for patients with neurological conditions in acute care hospitals14 and early postacute care rehabilitation facilities.15 These ICF Core Sets have been combined to create the Extended ICF Core Set for Stroke. It contains all ICF categories that have been selected for any of the 3 ICF Core Sets mentioned above. The Extended ICF Core Set for Stroke contains 166 categories of the ICF, 59 categories of the component “body functions,” 11 categories of the component “body structures,” and 59 categories of the component “activity and participation.” The influence of the component “environmental factors” is described by 37 categories.
A further challenge for the implementation of the ICF is the operationalization of ICF categories. The ICF comprises “qualifiers” to quantify the level of functioning or the severity of the problem in the various ICF categories. The WHO suggests that all categories of the classi- fication be quantified with the same generic scale (Tab. 1).
According to the WHO, broad ranges of percentages are provided for situations in which calibrated assessment instruments or other standards are available to quantify the impairment, activity limitation, participation restriction, or environmental barrier or facilitator.1 However, calibrated assessment instruments based on the ICF category system are scarcely available at present. Using existing instruments along with the ICF would also require the concepts measured by the instruments and their resulting scores to be translated into corresponding ICF categories and qualifiers. Accomplishing such a translation procedure in a scientific way would demand extensive research efforts, which have not been undertaken yet.
Therefore, the application of the ICF and the ICF Core Sets is a challenge to the user and poses the question of reliability and rater agreement when qualifiers are assigned to describe patients’ functioning and disability. So far, only a few studies have dealt with the reliability of ICF qualifiers, and the interrater reliability of the qualifiers used with the ICF Core Set for Stroke has not been studied yet. Okochi et al16 used the ICF Checklist to examine test-retest reliability in geriatric patients and found moderate overall reliability during retesting after 1 week. Reliability varied among categories of the ICF (weighted kappa values .46 for body functions and .55 for activity and participation). Van Triet et al17 studied the intertester reliability of a schedule based on the International Classification of Impairments, Disabilities, and Handicaps (ICIDH) in patients with musculoskeletal problems. The ICIDH18 is the predecessor of the ICF. Kappa values ranged from .06 to 1.00 and were higher in “disability” categories than in “impairment” categories.
The study by van Triet et al,17 however, is clearly outdated because it is based on the ICIDH. The authors departed greatly from the categories of the classification and from its quali- fier scale in creating their assessment schedule. Both studies16,17 were conducted with poorly specified mixed samples; thus, the results were not generalizable to the functioning ratings for patients with stroke. In addition, the investigators in both studies made arbitrary selections of various areas of functioning, not covering the full scope of the ICF, as reflected in the carefully chosen categories of the Extended ICF Core Set for Stroke. In neither of the studies did the investigators consider the full qualifier scale in their analyses. The investigators in both studies applied designs in which different raters completed their recording of patients’ functioning at different time points, mixing variation of time points with variation of raters. Thus, the type and the amount of information underlying the ratings might not have been comparable.
Although Okochi et al16 examined the influence of the experience of raters on retest reliability, rater con- fidence and core competence might be more proximate variables connected to reliability. Within the context of reliability, rater confidence is an important variable frequently examined in clinical research. For example, in studies dealing with the reliability of imaging techniques19,20 and behavioral observations,21,22 con- fidence ratings are often used as independent outcomes to demonstrate diagnostic accuracy. The results of these studies hint at a possible relationship between agreement and confidence. Confidence might serve as an explanatory factor for rater agreement. Thus, with regard to the reliability and the application of the Extended ICF Core Set for Stroke, the association of rater agreement and rater confidence is of interest.
Furthermore, in reliability studies, the experience and training of raters seemed to be highly relevant and were frequently reported.23–29 In these studies, “experience” and “training” referred not only to the handling of the specific rating instrument used, but also to the clinical experience of the raters within the field and the concepts to be rated and the patient group with the given disease condition. These studies drew an equivocal picture of the relationship between rater competence and interrater reliability and suggested that the different results might have depended on the specific rating instrument examined. Thus, the role of raters’ areas of competence should be considered for any new rating tool.
Therefore, the overall objective of this investigation was to study the interrater reliability of physical therapists’ ratings of the functioning of study participants with the Extended ICF Core Set for Stroke. The specific aims were: (1) to study the agreement of the 2 physical therapists in rating participants’ functioning with the Extended ICF Core Set for Stroke, (2) to explore the relationship between rater agreement and rater confidence, and (3) to explore rater agreement in relation to physical therapists’ areas of core competence.
Method Study Design, Participants, and Procedures
The study was conducted as a monocentric, cross-sectional reliability study at the Neurological Hospital Tristanstrasse, Munich, Germany, as part of a larger project aimed at the testing and validation of ICF Core Sets. All eligible patients admitted to the hospital on an inpatient or an outpatient basis between June and October 2005 were included in the study (n 41). Patients were included if their main diagnosis was stroke, if they were at least 18 years of age, if they understood the purposes of and reasons for the study, and if they had signed an informed consent form. Patients with secondary wound healing after surgery were excluded from the study because the aftermath of an invasive surgical procedure might have complicated the description of stroke related functioning in these patients. Patients who were not able to participate in an interview were excluded as well, because several categories of the Extended ICF Core Set for Stroke can be judged only according to patient self-report. Altogether, 9 patients were excluded. The main reasons for exclusion were communication problems and impaired vigilance. An additional 2 patients refused to participate because of exhaustion. Table 2 shows the sociodemographic and stroke-related data for the participants. Two thirds (67%) of the participants were moderately or severely disabled (Rankin Scale grades 3, 4, and 5).30
The participants’ functioning was rated by 2 physical therapists with the Extended ICF Core Set for Stroke. The physical therapists had at least 5 years of experience in neurorehabilitation, had completed several postgraduate courses in the rehabilitation of motor performance, and were
ขององค์การอนามัยโลก (ที่เป็น) นานาประเภทของทำงาน พิการ และสุขภาพ (ICF) 1 จะได้รับรู้ในทางกายภาพบำบัด และ rehabilitation.2–5 ICF ให้แนวคิดพื้นฐานและภาษาสากลทั่วไปสำหรับการทำความเข้าใจ และอธิบายสถานะสุขภาพของผู้ป่วย เข้าถึงนอกเหนือจากการตาย โรค และการวิเคราะห์ทางการแพทย์ ใช้ ICF ส่งเสริมครบวงจร multidisciplinary และมุมมองที่แปลกผู้ป่วยในการดูแลสุขภาพ มีการใช้กายภาพบำบัดและฟื้นฟูสมรรถภาพ โดยเฉพาะอย่างยิ่งในด้านการ neurorehabilitation, ICF เพื่ออำนวยความสะดวกสื่อสารทีม multidisciplinary การจัดโครงสร้างกระบวนการฟื้นฟูสมรรถภาพ การตั้งเป้าหมายและการประเมินผล เอกสาร และ สำหรับ reporting.5–11 อย่างไรก็ตาม กับภาคของ ICF ความท้าทายที่สำคัญเกิดขึ้น ความท้าทายหลักคือ ความยาวของการจัดประเภท มีประเภทมากกว่า 1400 เพื่อความท้าทายนี้ ได้รับการพัฒนาระหว่างประเทศตกลงที่ ICF หลักชุดสำหรับโรคต่าง ๆ ใน process.12 องค์กรที่ใช้หลักฐานทางวิทยาศาสตร์กระบวนการมาตรฐานทั่วไปสำหรับการพัฒนาชุดหลัก ICF รวมหลักฐานที่รวบรวมจากการศึกษาเบื้องต้นกับกระบวนการตัดสินใจ และใช้มติเป็นทาง วิธี methodological ในการศึกษาเบื้องต้นรวม สำหรับแต่ละเงื่อนไขสุขภาพ: รีวิววรรณกรรม (1) ระบบการประเมินผลที่ใช้ในการทดลองทางคลินิก เดลฟี (2) แบบฝึกหัดจับผู้เชี่ยวชาญด้านมุมมอง และ (3) รวบรวมรวมข้อมูลจากบุคคลที่อยู่ในระหว่างการฟื้นฟูห้องคลอดหรือรักษา ผลการศึกษาเบื้องต้นเป็นพื้นฐานต่อมา decisionmaking และช่วยกระบวนการ ด้วยเทคนิคกลุ่มที่ระบุ ชุดหลัก ICF ได้เครื่องมือปฏิบัติที่แสดงถึงการเลือกประเภทจากการจัดประเภททั้งหมด นอกจากนี้พวกเขาครบถ้วนอธิบายสเปกตรัม prototypical ปัญหาในการทำงานของผู้ป่วยเฉพาะโรค พวกเขาตามภาษาสากลของ ICF แต่เพิ่มความเกี่ยวข้องของมันถึงขนาดสามารถจัดการได้ ในบริบทของ neurorehabilitation โรคหลอดเลือดสมองมีบทบาทโดดเด่น ในฟิลด์นี้ สามารถใช้ 3 ชุดหลัก ICF ได้แก่ การตั้งค่าหลัก ICF สำหรับ Stroke13 และชุดหลัก ICF สำหรับผู้ป่วยที่มีสภาพดูแลเฉียบพลัน hospitals14 และ facilities.15 ต้น postacute ดูแลฟื้นฟูชุดหลัก ICF ขั้นกลางได้รวมเพื่อสร้างการขยาย ICF หลักตั้งจังหวะ ประกอบด้วย ICF ทุกประเภทที่มีการเลือกใด ๆ 3 ICF หลักชุดดังกล่าวข้างต้น การขยาย ICF หลักตั้งจังหวะประกอบด้วยประเภท 166 ของ ICF, 59 ประเภทของคอมโพเนนต์ "ร่างกายฟังก์ชัน 11 ประเภทของการประกอบ"ร่างกายโครงสร้าง" และประเภท 59 ประกอบ"กิจกรรมและการมีส่วนร่วม" อธิบายอิทธิพลของคอมโพเนนต์"สิ่งแวดล้อม" โดยประเภท 37 ความท้าทายเพิ่มเติมสำหรับการดำเนินงานของ ICF operationalization ประเภท ICF ได้ ICF ประกอบด้วย "ตัว" กำหนดปริมาณระดับการทำงานหรือความรุนแรงของปัญหาใน ICF ประเภทต่าง ๆ คนแนะนำว่า ทุกประเภทของ classi fication สามารถ quantified กับสเกลทั่วไปเดียวกัน (แท็บ 1) ตามคน ช่วงกว้างของเปอร์เซ็นต์มีให้สำหรับสถานการณ์ที่ประเมินปรับเทียบเครื่องมือหรือมาตรฐานอื่น ๆ มี การกำหนดปริมาณผล กิจกรรมจำกัด ข้อ จำกัดในการมีส่วนร่วม หรืออุปสรรคด้านสิ่งแวดล้อม หรือ facilitator.1 อย่างไรก็ตาม ประเมินปรับเทียบเครื่องมือตามประเภทระบบ ICF มีแทบที่นำเสนอ ใช้เครื่องมือที่มีอยู่พร้อมกับ ICF ยังจะต้องวัดด้วยเครื่องมือคะแนนของผลการแปลประเภท ICF ที่เกี่ยวข้องและตัวบ่งคุณลักษณะแนวคิด วิธีเช่นกระบวนงานแปลในทางวิทยาศาสตร์จะต้องความพยายามวิจัย ที่มีไม่ได้ทำ ดังนั้น แอพลิเคชันของ ICF และชุดหลัก ICF เป็นความท้าทายให้กับผู้ใช้ และทำคำถามความน่าเชื่อถือ และ rater ตกลงเมื่อมีกำหนดตัวบ่งคุณลักษณะเพื่ออธิบายการทำงานของผู้ป่วย และพิการ เพื่อห่างไกล เพียงกี่ศึกษาได้ดำเนินการความน่าเชื่อถือของตัวบ่งคุณลักษณะ ICF และความน่าเชื่อถือ interrater ของตัวบ่งคุณลักษณะที่ใช้ตั้งค่า ICF หลักสำหรับโรคหลอดเลือดสมองมีไม่การศึกษายัง Okochi et al16 ใช้สอบ ICF เพื่อตรวจ retest ทดสอบความน่าเชื่อถือในผู้ป่วยที่ geriatric และพบความน่าเชื่อถือโดยรวมปานกลางระหว่าง retesting หลังจาก 1 สัปดาห์ ความแตกต่างระหว่างประเภทของ ICF (กัปปะที่ถ่วงน้ำหนักค่า.46 สำหรับการทำงานของร่างกายและ.55 กิจกรรมการมีส่วนร่วม) ตู้ Triet et al17 ศึกษาความน่าเชื่อถือ intertester กำหนดการตามประเภท ไหวสามารถนานาชาติ ความพิการ การเรียน (ICIDH) ในผู้ป่วยที่มีปัญหา musculoskeletal ICIDH18 เป็นรุ่นก่อนของ ICF กัปปะค่าอยู่ในช่วงจาก.06 ถึง 1.00 และสูงกว่าประเภท "พิการ" กว่าในประเภท "ด้อยค่า" The study by van Triet et al,17 however, is clearly outdated because it is based on the ICIDH. The authors departed greatly from the categories of the classification and from its quali- fier scale in creating their assessment schedule. Both studies16,17 were conducted with poorly specified mixed samples; thus, the results were not generalizable to the functioning ratings for patients with stroke. In addition, the investigators in both studies made arbitrary selections of various areas of functioning, not covering the full scope of the ICF, as reflected in the carefully chosen categories of the Extended ICF Core Set for Stroke. In neither of the studies did the investigators consider the full qualifier scale in their analyses. The investigators in both studies applied designs in which different raters completed their recording of patients’ functioning at different time points, mixing variation of time points with variation of raters. Thus, the type and the amount of information underlying the ratings might not have been comparable.Although Okochi et al16 examined the influence of the experience of raters on retest reliability, rater con- fidence and core competence might be more proximate variables connected to reliability. Within the context of reliability, rater confidence is an important variable frequently examined in clinical research. For example, in studies dealing with the reliability of imaging techniques19,20 and behavioral observations,21,22 con- fidence ratings are often used as independent outcomes to demonstrate diagnostic accuracy. The results of these studies hint at a possible relationship between agreement and confidence. Confidence might serve as an explanatory factor for rater agreement. Thus, with regard to the reliability and the application of the Extended ICF Core Set for Stroke, the association of rater agreement and rater confidence is of interest.Furthermore, in reliability studies, the experience and training of raters seemed to be highly relevant and were frequently reported.23–29 In these studies, “experience” and “training” referred not only to the handling of the specific rating instrument used, but also to the clinical experience of the raters within the field and the concepts to be rated and the patient group with the given disease condition. These studies drew an equivocal picture of the relationship between rater competence and interrater reliability and suggested that the different results might have depended on the specific rating instrument examined. Thus, the role of raters’ areas of competence should be considered for any new rating tool.Therefore, the overall objective of this investigation was to study the interrater reliability of physical therapists’ ratings of the functioning of study participants with the Extended ICF Core Set for Stroke. The specific aims were: (1) to study the agreement of the 2 physical therapists in rating participants’ functioning with the Extended ICF Core Set for Stroke, (2) to explore the relationship between rater agreement and rater confidence, and (3) to explore rater agreement in relation to physical therapists’ areas of core competence.Method Study Design, Participants, and Procedures The study was conducted as a monocentric, cross-sectional reliability study at the Neurological Hospital Tristanstrasse, Munich, Germany, as part of a larger project aimed at the testing and validation of ICF Core Sets. All eligible patients admitted to the hospital on an inpatient or an outpatient basis between June and October 2005 were included in the study (n 41). Patients were included if their main diagnosis was stroke, if they were at least 18 years of age, if they understood the purposes of and reasons for the study, and if they had signed an informed consent form. Patients with secondary wound healing after surgery were excluded from the study because the aftermath of an invasive surgical procedure might have complicated the description of stroke related functioning in these patients. Patients who were not able to participate in an interview were excluded as well, because several categories of the Extended ICF Core Set for Stroke can be judged only according to patient self-report. Altogether, 9 patients were excluded. The main reasons for exclusion were communication problems and impaired vigilance. An additional 2 patients refused to participate because of exhaustion. Table 2 shows the sociodemographic and stroke-related data for the participants. Two thirds (67%) of the participants were moderately or severely disabled (Rankin Scale grades 3, 4, and 5).30
The participants’ functioning was rated by 2 physical therapists with the Extended ICF Core Set for Stroke. The physical therapists had at least 5 years of experience in neurorehabilitation, had completed several postgraduate courses in the rehabilitation of motor performance, and were
การแปล กรุณารอสักครู่..
