Methods of IS evaluationEvaluation

Methods of IS evaluation
Evaluation of the effectiveness or the impact of an information system constitutes one
of the major areas in information systems research. It should be stressed that the
measures used in each research exercise must be well defined to ensure that the results
from different studies are comparable. Furthermore, for the results of the information
systems research to be useful they must contribute towards the development and
application of these systems. In practice, success measures are needed to evaluate
information system software packages, rules, policies and procedures (DeLone and
McLean, 1992).
Various approaches have been developed for the evaluation of information systems,
and each is characterized by its individual positive and negative features. While a
single measure of IS success or IS effectiveness would certainly be desirable, it seems
unlikely that such a measure could be found. Instead, research has provided
taxonomies of success variables, which can be applied in different situations (DeLone
and McLean, 1992; Grover et al., 1996). Generally, the success of an information system
can be evaluated through:
. the quality of information provided to users;
. the impact of IS on users’ thinking, decisions or actions; and
. the impact of IS on costs and benefits at an organizational level.
In many ways, evaluation of hospital information systems is not significantly different to
the evaluation of information systems used by organizations in other sectors. The same
problems appear when evaluating the effectiveness of the investment on IT, such as:
. costs are often indirect and difficult to calculate; and
. organizational impacts and benefits are often intangible, and their realization
may be long-lasting (Saarinen, 1993, Ives et al., 1983).
A large number of system success measures exist because IS can be viewed from
different angles. The evaluation of an information system is influenced by the way it is
handled. Broadly, IS can be viewed from two perspectives:
(1) organizational; and
(2) socio-technical (Garrity and Sanders, 1998).
The principal focus of the organizational perspective is on the quality of the interaction
and the information provided, ignoring human nature. On the other hand, the
socio-technical viewpoint regards humans as also having goals that are separate from
the organization, which means that it focuses mostly on users’ needs and assumes that
the individual employee seeks monetary and other rewards. Furthermore, DeLone and
McLean (2003) identify seven dimensions of IS success:
(1) system quality;
(2) information quality;
(3) service quality;
(4) information usage;
(5) user satisfaction;
(6) individual impact; and
(7) organizational impact.
These dimensions incorporate both the organizational and socio-technical perspectives
of an IS. Additionally, Burkle et al. (2001) mentioned that there are two methods for
evaluating an HIS which is already in use:
(1) studying its clinical impact; and
(2) assessment of systems acceptance and use by users.
Clinical impact analysis demands observation of the changes in quality of the services
provided and the influence this may have on people. This type of evaluation is
substantial since it examines how far a HIS has achieved its aim. However, it is a costly
and time-consuming process. In recent years, the discussion has primarily centered
around three different measures of success:
(1) economic evaluation;
(2) system usage; and
(3) end-user satisfaction (Table II; Au et al., 2002).
Economic evaluation
According to the economic evaluation, the net value of information systems to the
organization is the difference between the actual benefits, in terms of improved
organizational effectiveness, and the cost of IS development. Profits may also be
derived from subtraction of the development cost from the real profits (Ives et al., 1983).
Early research into IS assessment focused mostly on the quantitative “hard” benefits,
such as cost savings and the level of technical soundness of the system, as an
indication of its successfulness. This type of evaluation focuses on quantitative results
such as reduced costs and improved process times. Economic evaluation is the most
subjective type of evaluation, but the results cannot be fixed as there are too many
factors that may affect them.
According to Drummond et al. (1997) there are four methods of economic evaluation
which are used for:
(1) cost minimization analysis;
(2) cost effectiveness analysis;
(3) cost utility analysis; and
(4) cost benefit analysis.

ผลลัพธ์ (ไทย) 1:

วิธีการประเมิน ISประเมินประสิทธิผลหรือผลกระทบของระบบสารสนเทศการถือหนึ่งพื้นที่หลักในการวิจัยระบบข้อมูล ควรจะเน้นที่การมาตรการที่ใช้ในแต่ละแบบฝึกหัดการวิจัยต้องกำหนดเพื่อให้แน่ใจว่าผลลัพธ์ดีจากการศึกษาอื่นเทียบได้ นอกจากนี้ สำหรับผลลัพธ์ของข้อมูลระบบงานวิจัยให้เป็นประโยชน์จะต้องมีส่วนร่วมต่อการพัฒนา และโปรแกรมประยุกต์ของระบบเหล่านี้ ในทางปฏิบัติ มาตรการความสำเร็จจำเป็นต้องประเมินแพคเกจซอฟต์แวร์ระบบข้อมูล กฎ นโยบาย และขั้นตอน (DeLone และลาด 1992)วิธีการต่าง ๆ ได้รับการพัฒนาเพื่อประเมินผลของระบบสารสนเทศและแต่ละเป็นลักษณะคุณสมบัติบวก และลบของแต่ละ ในขณะวัดเดียว IS สำเร็จหรือประสิทธิผล IS แน่นอนจะต้อง เหมือนไม่น่าที่ดังกล่าววัดพบ แทน งานวิจัยได้ให้การจำแนกประเภทของตัวแปรความสำเร็จ ซึ่งสามารถนำไปใช้ในสถานการณ์ต่าง ๆ (DeLoneและ ลาด 1992 โกรเวอร์ et al., 1996) ทั่วไป ความสำเร็จของระบบข้อมูลสามารถประเมินผ่าน:. คุณภาพของข้อมูลให้กับผู้ใช้. ผลกระทบของ IS ผู้คิด การตัดสินใจ หรือการดำเนิน การ และ. ผลกระทบของ IS เกี่ยวกับต้นทุนและผลประโยชน์ในระดับองค์กรในหลาย ๆ ประเมินผลของระบบสารสนเทศโรงพยาบาลไม่แตกต่างกันอย่างมีนัยสำคัญกับการประเมินผลระบบข้อมูลที่ใช้ โดยองค์กรในภาคอื่น ๆ เหมือนเดิมปัญหาปรากฏเมื่อประเมินประสิทธิผลของการลงทุนกับมัน เช่น:. ต้นทุนมักยากที่จะคำนวณ และทางอ้อม และ. ผลกระทบต่อองค์กรและผลประโยชน์มักไม่มีตัวตน และพวกเขาอาจจะยาวนาน (Saarinen, 1993 อีฟส์อ et al., 1983) ได้จำนวนมากความสำเร็จระบบมาตรการที่มีอยู่เนื่องจากจะสามารถดูได้จากมุมที่แตกต่าง การประเมินผลระบบข้อมูลมีผลต่อคือจัดการ คือทั่วไป สามารถดูได้จากมุมมองที่สอง:(1) องค์กร และ(2) สังคมเทคนิค (Garrity และแซนเดอร์ส์ 1998)โฟกัสหลักของมุมมององค์กรเป็นคุณภาพของการโต้ตอบและข้อมูลที่ให้ไว้ ละเว้นธรรมชาติมนุษย์ บนมืออื่น ๆ การมุมมองทางเทคนิคสังคมพิจารณามนุษย์ว่ายัง มีเป้าหมายที่แยกต่างหากจากองค์กร ซึ่งหมายความ ว่า ส่วนใหญ่เน้นความต้องการ และที่ถือว่าพนักงานแต่ละคนมุ่งผลตอบแทนทางการเงิน และอื่น ๆ นอกจากนี้ DeLone และลาด (2003) ระบุมิติที่ 7 ความสำเร็จ IS:(1) ระบบคุณภาพ(2) ข้อมูลที่มีคุณภาพ(3) บริการคุณภาพ(4) ข้อมูลการใช้งาน(5) ความพึงพอใจผู้ใช้(6) แต่ละผล และ(7) ผลกระทบขององค์กรมิติเหล่านี้รวมทั้งองค์กร และสังคมเทคนิคมุมมองของ IS นอกจากนี้ Burkle และ al. (2001) กล่าวว่า มีสองวิธีประเมิน HIS ที่ใช้อยู่แล้ว:(1) ศึกษาผลกระทบทางคลินิก และ(2) การประเมินผลของระบบยอมรับและใช้ โดยผู้ใช้สังเกตความต้องการวิเคราะห์ผลกระทบทางคลินิกของการเปลี่ยนแปลงคุณภาพของบริการให้ และอิทธิพลนี้อาจมีคน การประเมินชนิดนี้พบได้ตั้งแต่ตรวจสอบเท่าใด HIS ได้รับเป้าหมาย อย่างไรก็ตาม มันเป็นการเสียค่าใช้จ่ายและเวลา ในปีที่ผ่านมา การสนทนามีหลักแปลกรอบ 3 ต่าง ๆ วัดความสำเร็จ:(1) ประเมินเศรษฐกิจ(2) ระบบการใช้งาน และ(3) ความพึงพอใจของผู้ใช้ (ตาราง II Au และ al., 2002)การประเมินทางเศรษฐกิจตามประเมินผลทางเศรษฐกิจ มูลค่าสุทธิของระบบสารสนเทศเพื่อการองค์กรมีความแตกต่างระหว่างผลประโยชน์จริง ในแง่ของการปรับปรุงประสิทธิผลองค์การ และต้นทุนของการพัฒนา IS ผลกำไรอาจจะมาลบต้นทุนพัฒนาจากกำไรจริง (อีฟส์อ et al., 1983)วิจัยก่อนเข้าประเมิน IS เน้นส่วนใหญ่ผลประโยชน์เชิงปริมาณ "ยาก"ประหยัดต้นทุนและระดับของความสมบูรณ์ทางเทคนิคของระบบ เป็นการการบ่งชี้ความเป็น การประเมินชนิดนี้เน้นผลลัพธ์เชิงปริมาณต้นทุนลดลงและการปรับปรุง การประเมินทางเศรษฐกิจเป็นส่วนใหญ่ไม่สามารถแก้ไขชนิดตามอัตวิสัยของการประเมิน ผลมีมากเกินไปปัจจัยที่อาจส่งผลต่อพวกเขาตามดรัม et al. (1997) มีสี่วิธีการประเมินทางเศรษฐกิจซึ่งใช้สำหรับ:(1) วิเคราะห์การลดต้นทุน(2) ต้นทุนประสิทธิผลวิเคราะห์(3) ต้นทุนอรรถประโยชน์การวิเคราะห์ และ(4) การวิเคราะห์ผลประโยชน์ต้นทุน

ผลลัพธ์ (ไทย) 2:

วิธีการประเมินผลเป็น
การประเมินประสิทธิภาพหรือผลกระทบของระบบสารสนเทศถือเป็นหนึ่ง
ในพื้นที่ที่สำคัญในการวิจัยระบบสารสนเทศ มันควรจะเน้นว่า
มาตรการที่ใช้ในการออกกำลังกายการวิจัยแต่ละคนจะต้องกำหนดไว้อย่างดีเพื่อให้แน่ใจว่าผลที่ได้
จากการศึกษาที่แตกต่างกันที่มีการเทียบเคียง นอกจากนี้เพื่อให้ได้ผลลัพธ์ของข้อมูล
การวิจัยระบบที่จะเป็นประโยชน์ที่พวกเขาจะต้องมีส่วนร่วมต่อการพัฒนาและ
การประยุกต์ใช้ระบบเหล่านี้ ในทางปฏิบัติการวัดความสำเร็จที่มีความจำเป็นในการประเมิน
ซอฟแวร์ระบบสารสนเทศกฎระเบียบนโยบายและขั้นตอน (Delone และ
แมคลีน, 1992).
วิธีการต่าง ๆ ได้รับการพัฒนาสำหรับการประเมินผลของระบบสารสนเทศ,
และแต่ละคนก็โดดเด่นด้วยคุณสมบัติของแต่ละบุคคลในเชิงบวกและเชิงลบ . ในขณะที่
ตัวชี้วัดเดียวของ IS ความสำเร็จหรือเป็นความมีประสิทธิภาพอย่างแน่นอนจะเป็นที่น่าพอใจก็ดูเหมือนว่า
ไม่น่าที่มาตรการดังกล่าวจะพบว่า แต่การวิจัยได้จัดให้มี
การจัดกลุ่มของตัวแปรที่ประสบความสำเร็จที่สามารถนำมาประยุกต์ใช้ในสถานการณ์ที่แตกต่างกัน (Delone
และแมคลีน, 1992. โกรเวอร์, et al, 1996) โดยทั่วไปความสำเร็จของระบบสารสนเทศ
สามารถประเมินผ่าน:
คุณภาพของข้อมูลให้แก่ผู้ใช้;
ผลกระทบของการมีความคิดเกี่ยวกับผู้ใช้ตัดสินใจหรือการกระทำ; และ
ผลกระทบของการเป็นค่าใช้จ่ายและผลประโยชน์ในระดับที่องค์กร.
ในหลาย ๆ วิธีการประเมินผลของระบบสารสนเทศโรงพยาบาลไม่ได้มีความหมายที่แตกต่างกันในการ
ประเมินผลของระบบสารสนเทศที่ใช้โดยองค์กรในภาคอื่น ๆ เช่นเดียวกับ
ปัญหาที่ปรากฏเมื่อมีการประเมินประสิทธิผลของการลงทุนใน IT
เช่น: ค่าใช้จ่ายมักจะอ้อมและยากที่จะคำนวณ; และ
ส่งผลกระทบต่อองค์กรและผลประโยชน์มักจะไม่มีตัวตนและความตระหนักของพวกเขา
อาจจะยาวนาน (เนน 1993 อีฟส์ et al., 1983).
จำนวนมากของการวัดความสำเร็จของระบบอยู่เพราะเป็นสามารถดูได้จาก
มุมที่แตกต่าง การประเมินผลระบบสารสนเทศได้รับอิทธิพลจากวิธีที่มันจะถูก
จัดการ แฉ่ง IS สามารถดูได้จากสองมุมมอง:
(1) องค์กร และ
(2) ทางสังคมและทางเทคนิค (Garrity และแซนเดอ, 1998).
โฟกัสหลักขององค์กรคือมุมมองที่มีต่อคุณภาพของการปฏิสัมพันธ์
และข้อมูลที่ให้ไว้โดยไม่คำนึงถึงธรรมชาติของมนุษย์ บนมืออื่น ๆ ,
มุมมองทางสังคมและทางเทคนิคนับถือเป็นมนุษย์ที่ยังมีเป้าหมายที่จะแยกออกจาก
องค์กรซึ่งหมายความว่าส่วนใหญ่เน้นตอบสนองความต้องการของผู้ใช้และสันนิษฐานว่า
พนักงานแต่ละแสวงหาผลตอบแทนที่เป็นตัวเงินและอื่น ๆ นอกจากนี้ Delone และ
แมคลีน (2003) ระบุเจ็ดมิติของความสำเร็จคือ:
(1) ที่มีคุณภาพของระบบ
(2) ที่มีคุณภาพข้อมูล
(3) ที่มีคุณภาพบริการ
(4) การใช้งานข้อมูล
(5) ความพึงพอใจของผู้ใช้
(6) ผลกระทบของแต่ละบุคคล ; และ
(7) ส่งผลกระทบต่อองค์กร.
มิติเหล่านี้รวมทั้งมุมมองขององค์กรและสังคมทางด้านเทคนิค
ของการเป็น นอกจากนี้ Burkle et al, (2001) กล่าวถึงว่ามีสองวิธีการในการ
ประเมินของเขาที่มีอยู่แล้วในการใช้งาน:
(1) การศึกษาผลกระทบทางคลินิกของตน และ
(2) การประเมินระบบการยอมรับและการใช้งานโดยผู้ใช้.
การวิเคราะห์ผลกระทบทางคลินิกความต้องการการสังเกตของการเปลี่ยนแปลงในคุณภาพของการบริการ
ที่มีให้และอิทธิพลนี้อาจจะมีคน ประเภทของการประเมินผลนี้เป็น
อย่างมากเพราะมันจะตรวจสอบว่าไกลของเขาได้ประสบความสำเร็จจุดมุ่งหมาย แต่ก็เป็นค่าใช้จ่ายใน
กระบวนการและใช้เวลานาน ในปีที่ผ่านมาการอภิปรายมีศูนย์กลางหลัก
รอบสามมาตรการที่แตกต่างกันของความสำเร็จ:
(1) การประเมินผลทางเศรษฐกิจ
(2) การใช้งานระบบ และ
(3) ความพึงพอใจของผู้ใช้ปลายทาง (ตารางที่ II. Au, et al, 2002).
การประเมินผลทางเศรษฐกิจ
ตามการประเมินผลทางเศรษฐกิจมูลค่าสุทธิของระบบสารสนเทศเพื่อ
องค์กรที่เป็นความแตกต่างระหว่างผลประโยชน์ที่เกิดขึ้นจริงในแง่ของการที่ดีขึ้น
ขององค์กร ประสิทธิภาพและค่าใช้จ่ายของการพัฒนาเป็น กำไรก็อาจจะ
ได้มาจากการหักค่าใช้จ่ายในการพัฒนาจากกำไรที่แท้จริง (อีฟส์ et al., 1983).
การวิจัยในช่วงต้นเข้าสู่การประเมินส่วนใหญ่จะเน้นในเชิงปริมาณ "ยาก" ผลประโยชน์
เช่นการประหยัดค่าใช้จ่ายและระดับของความมั่นคงทางเทคนิคของ ระบบเป็น
ตัวบ่งบอกถึงความสำเร็จของ ประเภทของการประเมินผลนี้จะเน้นที่ผลเชิงปริมาณ
เช่นการลดค่าใช้จ่ายและเวลาในกระบวนการที่ดีขึ้น การประเมินผลทางเศรษฐกิจเป็นส่วนใหญ่
ชนิดอัตนัยของการประเมินผล แต่ผลที่ไม่สามารถได้รับการแก้ไขที่มีมากเกินไป
ปัจจัยที่อาจส่งผลกระทบต่อพวกเขา.
ตามดรัมมอนด์ et al, (1997) มีสี่วิธีการประเมินทางเศรษฐกิจ
ซึ่งจะใช้สำหรับ:
(1) การวิเคราะห์การลดต้นทุน
(2) ค่าใช้จ่ายในการวิเคราะห์ประสิทธิภาพ;
(3) การวิเคราะห์ค่าใช้จ่ายสาธารณูปโภค; และ
(4) การวิเคราะห์ผลประโยชน์ค่าใช้จ่าย

ผลลัพธ์ (ไทย) 3:

วิธีคือการประเมิน
ประสิทธิผลหรือผลกระทบของระบบสารสนเทศถือเป็นหนึ่งในพื้นที่ที่สำคัญในการวิจัย
ระบบสารสนเทศ มันควรจะเน้นว่ามาตรการที่ใช้ในแต่ละแบบฝึกหัดการวิจัย
ต้องกำหนดไว้เป็นอย่างดีเพื่อให้แน่ใจว่าผลจากการศึกษาที่แตกต่างกัน
เทียบเท่า นอกจากนี้ สำหรับผลลัพธ์ของข้อมูล
ระบบการวิจัยจะเป็นประโยชน์ที่พวกเขาต้องมีส่วนร่วมต่อการพัฒนาและ
โปรแกรมของระบบเหล่านี้ ในทางปฏิบัติมาตรการความสำเร็จจะต้องมีการหาข้อมูลแพคเกจซอฟต์แวร์
ระบบ ระเบียบ นโยบาย และกระบวนการ ( delone และ
McLean , 1992 ) .
วิธีการต่างๆได้ถูกพัฒนาขึ้นเพื่อประเมินระบบข้อมูล
และแต่ละบุคคลเป็นลักษณะคุณสมบัติในเชิงบวกและเชิงลบของ ในขณะที่
เดียววัด คือ ความสำเร็จ หรือมีประสิทธิผลจะต้องน่าพอใจ ดูเหมือนว่า
ไม่น่าที่มาตรการดังกล่าวอาจจะพบ แทน งานวิจัยได้ให้
ส่วนประกอบของตัวแปรความสำเร็จ , ซึ่งสามารถใช้ในสถานการณ์ที่แตกต่างกัน ( และ delone
แม็กลีน , 1992 ; โกรเวอร์ et al . , 1996 ) โดยทั่วไปความสำเร็จของระบบสารสนเทศที่สามารถประเมินได้ด้วย

คุณภาพของข้อมูลให้กับผู้ใช้ ;
ผลกระทบของความคิดของผู้ใช้ การตัดสินใจหรือการกระทำ และ

ผลกระทบของค่าใช้จ่ายและผลประโยชน์ในระดับองค์การ
ในหลายวิธี การประเมินระบบข้อมูลโรงพยาบาล

ไม่แตกต่างกันการประเมินผลของระบบสารสนเทศที่ใช้โดยองค์กรในภาคอื่น ๆ ปัญหาเดียวกัน
ปรากฏเมื่อประเมินประสิทธิผลของการลงทุนนั้น เช่น

ค่าใช้จ่ายทางอ้อม และมักจะยากที่จะคำนวณ และ

ผลกระทบต่อองค์กร และประโยชน์มักจะไม่มีตัวตนและพวกเขารับรู้
อาจจะยาวนาน ( ซาริเนน , 1993 , อีฟส์ et al . , 1983 ) .
ตัวเลขขนาดใหญ่ของมาตรการความสำเร็จระบบมีอยู่ เพราะมันสามารถดูได้จาก
มุมที่แตกต่างกัน การประเมินผลของระบบสารสนเทศ คือ อิทธิพลจากวิธีคือ
จัดการ กว้าง สามารถดูได้จากสองมุมมอง :

( 1 ) องค์การ และ ( 2 ) และเทคนิค ( Garrity และ Sanders , 1998 ) .
โฟกัสหลักของมุมมององค์กร อยู่ที่คุณภาพของปฏิสัมพันธ์
และข้อมูลที่ให้ไว้ ไม่สนใจกับธรรมชาติของมนุษย์ บนมืออื่น ๆ , มุมมองและเทคนิคเกี่ยวกับ
มนุษย์ มีเป้าหมายที่แยกจาก
องค์กร ซึ่งหมายความว่าส่วนใหญ่จะเน้นความต้องการของผู้ใช้ และถือว่า
พนักงานแต่ละคนและผลตอบแทนทางการเงินและอื่น ๆ นอกจากนี้ delone และ
แมคลีน ( 2003 ) กำหนดขนาดของความสำเร็จ :
7 คือ( 1 ) ระบบคุณภาพ ( 2 ) คุณภาพข้อมูล ;
;
( 3 ) คุณภาพการให้บริการ ;
( 4 ) การใช้สารสนเทศ ;
( 5 ) ความพึงพอใจของผู้ใช้ ;
( 6 ) ผลกระทบของแต่ละบุคคล ; และ

( 7 ) ต่อองค์การ มิติเหล่านี้รวมทั้งองค์กรและสังคมมุมมองทางเทคนิค
ของคือ . นอกจากนี้ เบิร์กเล et al . ( 2001 ) กล่าวว่ามีสองวิธีสำหรับ
การประเมินของเขาซึ่งมีอยู่แล้วในการใช้ :
( 1 ) ศึกษาผลกระทบทางคลินิก ;
( 2 ) การประเมินการยอมรับและใช้งานโดยผู้ใช้ระบบ ผลกระทบทางคลินิกการวิเคราะห์ความต้องการ
สังเกตจากการเปลี่ยนแปลงคุณภาพของการบริการ
ให้ และอิทธิพลนี้อาจมีต่อประชาชน การประเมินชนิดนี้เป็นอย่างมาก เนื่องจากมันตรวจสอบ
ไกลแค่ไหนเขาได้บรรลุตามจุดมุ่งหมายของ อย่างไรก็ตาม มันเป็นบทเรียนราคาแพง
และกระบวนการที่ใช้เวลานาน ใน ปี ล่าสุดการอภิปรายมีหลักศูนย์กลาง
รอบสามมาตรการต่าง ๆของความสำเร็จ :
( 1 ) ประเมินเศรษฐกิจ ;
( 2 ) การใช้งานระบบ และ ( 3 ) ความพึงพอใจของผู้ใช้
( ตารางที่ 2 ; AU et al . , 2002 ) .

ตามผลการประเมินเศรษฐกิจเศรษฐกิจ มูลค่าสุทธิของระบบข้อมูลกับ
องค์การคือความแตกต่างระหว่างผลประโยชน์ที่เกิดขึ้นจริงในแง่ของการปรับปรุง
องค์การประสิทธิผลและต้นทุนของการพัฒนา กำไรอาจจะได้มาจากการลบ
ต้นทุนการพัฒนาจากผลกำไรจริง ( อีฟส์ et al . , 1983 ) .
เร็ววิจัยประเมินเชิงปริมาณเน้นส่วนใหญ่ใน " ยาก " ผลประโยชน์
เช่น ประหยัดต้นทุนและระดับของความแข็งแรงทางด้านเทคนิคของระบบเป็น
ข้อบ่งชี้ของตาม