For example, the participants were

For example, the participants were not familiar with terms like application and icons. The pictograms and icons we referred to as ‘little pictures’, for example. We encouraged them to talk-outloud especially about any problems they encountered or parts they found unclear. We stressed that if they did not understand the application or parts of it was not their fault but the programmers. Once we felt that they were confident and understood the main features of the application we started the usability test, which focused on multi-sentence icons, message composition and reading, and specifically the karaoke feature. We started with the two different versions of the multi-sentence icons both of which were available from different icons on the same screen. We compared the pre-listen version we introduced in the first prototype with the pop-up based one introduced in the second prototype. Recall that in the pre-listen version users had to tap and hold on the icon to listen to all the sentences associated to it in a row. Then, to select the sentence number i, users had to tap on the icon i times. In the pop-up version users were required to tap and hold on the icon and a little pop-up appeared on the screen with all the associated sentences. To select a sentence, users simply had to tap on it. For both versions we asked them to longtap on the multi-sentence icon and queried whether they had an idea on how to append one of the offered sentences to the message editor. For the composition, we situated them in the following scenario: “Let’s suppose you received an SMS from Amisha a friend of yours. You can see you have a new message from Amisha in your INBOX [participants are in the thread screen]. Now, you can tap on this message to see why Amisha is sending you this SMS [participants navigate to the message details screen (see Figure 1)].” After they had navigated to the Conversation screen we made them listen to what Amisha had sent by tapping on the play button next to the text message “Cinema tonight?” that was on top of the list. To double check that they had understood the audio message we asked them to explain why Amisha had sent them an SMS. After their explanation, we asked them to reply that they were not free tonight with “Tonight, no.” To make it easier, we broke this task into two subtasks through which we walked the participants: (1) We asked them to reuse the word “tonight” from the previous message by first finding it in the previous message and to append it to the message editor. When necessary we reminded them to use a double tap on the word. (2) We asked them to find the icon “No” from the list of icons in the Quick sender screen and to append it to the editor. Before sending they had to review the composed message by tapping on the “play” button. For reading we tested what happened if we removed the karaoke function (the words currently played were highlighted in red). We had two versions of the application: one with karaoke support and another one in which the whole sentence was played out but with no visual feedback in the UI. We tested two sentences in French “When do you come back?“ (“Tu rentres quand?”) and “Cinema tonight?” (“Cine ce soir?”). First we asked the participants to play out the sentences and identify as many words as they could in the karaoke version. Then we asked them to repeat this with the same sentences in the version without the karaoke. They could listen to the message as many times as they wanted. At the end of each sub-task completed we provided congratulatory or encouraging feedback. For the usability test, the video recordings were our first source of data collection. We reviewed the recordings and for each performed task reviewed the kind of errors they made and on which screen it occurred. Due to the low number of participants we did not conduct any statistical tests, however. During the debrief interviews, we elicited if they found the application easy to use and whether it would be useful for them in their everyday lives.

ผลลัพธ์ (ไทย) 1:

ตัวอย่างเช่นผู้เข้าร่วมที่ไม่คุ้นเคยกับคำเช่นโปรแกรมและไอคอน รูปสัญลักษณ์และไอคอนที่เราเรียกว่า 'ภาพเล็ก ๆ น้อย ๆ ' ตัวอย่างเช่น เราเป็นกำลังใจให้พวกเขาที่จะพูดคุย-outloud โดยเฉพาะอย่างยิ่งเกี่ยวกับปัญหาที่พวกเขาพบหรือชิ้นส่วนที่พวกเขาพบไม่มีความชัดเจน เราเน้นว่าถ้าพวกเขาไม่เข้าใจโปรแกรมหรือส่วนของมันไม่ได้เป็นความผิดของพวกเขา แต่โปรแกรมเมอร์เมื่อเรารู้สึกว่าพวกเขามีความมั่นใจและความเข้าใจในคุณสมบัติหลักของโปรแกรมที่เราจะเริ่มทดสอบการใช้งานซึ่งมุ่งเน้นไปที่ไอคอนหลายประโยคองค์ประกอบและการอ่านข้อความและคุณลักษณะเฉพาะคาราโอเกะ เราเริ่มต้นด้วยสองรุ่นแตกต่างกันของไอคอนหลายประโยคที่ทั้งสองที่มีอยู่จากไอคอนที่แตกต่างกันบนหน้าจอเดียวกันเราเมื่อเทียบกับรุ่นก่อนฟังเรานำมาใช้ในต้นแบบครั้งแรกกับป๊อปอัพขึ้นอยู่หนึ่งนำมาใช้ในการสร้างต้นแบบที่สอง จำได้ว่าในรุ่นก่อนฟังผู้ใช้ต้องกดค้างที่ไอคอนเพื่อฟังประโยคทั้งหมดที่เกี่ยวข้องกับมันในแถว แล้วเพื่อเลือกหมายเลขประโยค i, ผู้ใช้มีการแตะที่ไอคอนครั้งฉันในป๊อปอัพรุ่นที่ผู้ใช้จะต้องกดค้างที่ไอคอนและน้อยป๊อปอัพที่ปรากฏบนหน้าจอกับทุกประโยคที่เกี่ยวข้อง เพื่อเลือกประโยคที่ผู้ใช้ก็จะต้องแตะที่มัน ทั้งรุ่นที่เราขอให้พวกเขา longtap ที่ไอคอนหลายประโยคและสอบถามว่าพวกเขามีความคิดเกี่ยวกับวิธีการผนวกหนึ่งประโยคเสนอให้แก้ไขข้อความ องค์ประกอบที่เราอยู่กับพวกเขาในสถานการณ์ต่อไปนี้: "ขอสมมติว่าคุณได้รับทาง SMS จาก amisha เพื่อนของคุณ คุณสามารถมองเห็นคุณมีข้อความใหม่จาก amisha ในกล่องจดหมายของคุณ [ผู้เข้าร่วมอยู่ในหน้าจอด้าย] ตอนนี้คุณสามารถแตะที่ข้อความนี้เพื่อดูว่าทำไม amisha มีการส่ง sms ของคุณนี้ [ผู้เข้าร่วมนำทางไปยังหน้าจอรายละเอียดของข้อความ (ดูรูปที่ 1)]"หลังจากที่พวกเขาได้สำรวจไปยังหน้าจอการสนทนาที่เราทำให้พวกเขาฟังสิ่งที่ amisha ได้ส่งโดยแตะที่ปุ่มเล่นที่อยู่ถัดจากข้อความ" หนังคืนนี้ "ที่ด้านบนของรายการ เพื่อตรวจสอบว่าพวกเขาได้เข้าใจข้อความเสียงที่เราขอให้พวกเขาอธิบายว่าทำไม amisha ได้ส่งพวกเขา sms ที่สอง หลังจากคำอธิบายของพวกเขา". ในคืนนี้ไม่" เราขอให้พวกเขาตอบว่าพวกเขาไม่ฟรีในคืนนี้ด้วยการทำให้มันง่ายขึ้นเรายากจนงานนี้ออกเป็นสองงานย่อยผ่านที่เราเดินเข้าร่วม (1) เราขอให้พวกเขานำมาใช้คำว่า "คืนนี้" จากข้อความที่ผ่านมาเป็นครั้งแรกโดยหามันในข้อความก่อนหน้านี้และที่จะผนวกการแก้ไขข้อความ เมื่อมีความจำเป็นที่เราจะเตือนให้ใช้คู่แตะที่คำว่า(2) เราขอให้พวกเขาพบไอคอน "ไม่" จากรายการของไอคอนบนหน้าจอของผู้ส่งที่รวดเร็วและการผนวกให้แก้ไข ก่อนที่จะส่งพวกเขามีการตรวจสอบข้อความที่แต่งโดยแตะที่ปุ่ม "เล่น" สำหรับการอ่านเราทดสอบสิ่งที่เกิดขึ้นถ้าเราเอาฟังก์ชั่นคาราโอเกะ (คำที่เล่นอยู่ในขณะนี้เป็นไฮไลต์สีแดง) เรามีสองรุ่นของโปรแกรม:หนึ่งด้วยการสนับสนุนคาราโอเกะและอีกคนหนึ่งในการที่ทั้งประโยคเล่นออก แต่ไม่มีคำติชมภาพใน UI เราทดสอบสองประโยคในภาษาฝรั่งเศส "เมื่อคุณกลับมา" ("tu rentres quand?") และ "หนังคืนนี้" ("ภาพยนตร์ ce soir?") ครั้งแรกที่เราถามผู้เข้าร่วมสามารถเล่นออกประโยคและระบุคำให้มากที่สุดเท่าที่จะทำได้ในรุ่นคาราโอเกะแล้วเราขอให้พวกเขาที่จะทำซ้ำนี้กับประโยคเดียวกันในรุ่นที่ไม่มีคาราโอเกะ พวกเขาสามารถฟังข้อความหลายครั้งตามที่พวกเขาต้องการ ตอนท้ายของแต่ละย่อยงานที่เสร็จสมบูรณ์ที่เราให้ข้อเสนอแนะหรือแสดงความยินดีให้กำลังใจ สำหรับการทดสอบการใช้งานการบันทึกวิดีโอเป็นแหล่งที่มาของเราครั้งแรกของการเก็บรวบรวมข้อมูลเราตรวจสอบและบันทึกสำหรับแต่ละงานที่ดำเนินการดูชนิดของข้อผิดพลาดที่พวกเขาทำและที่หน้าจอมันเกิดขึ้น เนื่องจากจำนวนต่ำของผู้เข้าร่วมเราไม่ได้ดำเนินการทดสอบทางสถิติใด ๆ แต่ ในระหว่างการสัมภาษณ์สอบถามที่เราออกมาว่าพวกเขาพบการประยุกต์ใช้งานง่ายและไม่ว่ามันจะเป็นประโยชน์สำหรับพวกเขาในชีวิตประจำวันของพวกเขา.

ผลลัพธ์ (ไทย) 2:

ตัวอย่าง คนไม่คุ้นเคยกับเงื่อนไขเช่นแอพลิเคชันและไอคอน Pictograms และไอคอนเราเรียกว่า 'น้อยภาพ' ตัวอย่าง เราสนับสนุนให้เขาไปพูด-outloud โดยเฉพาะอย่างยิ่งเกี่ยวกับปัญหาที่พบ หรือชิ้นส่วนที่พบไม่ชัดเจน เราเน้นที่ถ้าพวกเขาไม่เข้าใจแอพลิเคชัน หรือส่วนของมันไม่ใช่ข้อบกพร่องของตนแต่โปรแกรมเมอร์ที่ เมื่อเรารู้สึกว่า พวกเขามีความมั่นใจ และเข้าใจคุณลักษณะหลักของโปรแกรมประยุกต์ที่เราเริ่มใช้งาน การเน้นประโยคหลายไอคอน องค์ประกอบข้อความ และการอ่าน และโดยเฉพาะลักษณะคาราโอเกะ เราเริ่มต้น ด้วยสองรุ่นแตกต่างกันของไอคอนหลายประโยคซึ่งทั้งสองได้จากไอคอนต่าง ๆ บนหน้าจอเดียวกัน เราเปรียบเทียบรุ่นก่อนฟังเราแนะนำในการสร้างต้นแบบแรกด้วยผุดขึ้นในต้นแบบที่สอง เรียกคืนผู้ฟังล่วงหน้ารุ่นที่มี การแตะค้างบนไอคอนฟังประโยคทั้งหมดที่เกี่ยวข้องกับในแถว นั้น เมื่อต้องการเลือกประโยคเลขฉัน ผู้ใช้มีแท็บบนไอคอน ผมครั้ง ในรุ่นผุด ผู้ใช้จำเป็นต้องเคาะ และกดค้างไว้บนไอคอน และหน้าต่างแบบผุดขึ้นเล็กน้อยปรากฏบนหน้าจอกับประโยคที่เกี่ยวข้องทั้งหมด เมื่อต้องการเลือกประโยค ผู้ใช้ก็มีเคาะมัน สำหรับทั้งสองรุ่น เราขอให้ longtap บนไอคอนหลายประโยค และสอบถามว่า พวกเขามีความคิดเกี่ยวกับวิธีการผนวกหนึ่งประโยคเสนอแก้ไขข้อความ สำหรับส่วนประกอบ เราอยู่ในสถานการณ์ต่อไปนี้: "ลองสมมติว่าคุณได้รับ SMS จากเพื่อนของคุณ Amisha คุณสามารถดูคุณมีข้อความใหม่จาก Amisha ในกล่องขาเข้าของคุณ [ร่วมอยู่ในหน้าจอของหัวข้อ] ตอนนี้ คุณสามารถแตะบนข้อความนี้ไปดูทำไม Amisha มีส่ง SMS นี้ [ผู้เรียนไปยังหน้าจอข้อความรายละเอียด (ดูรูปที่ 1)]"หลังจากที่พวกเขาได้นำทางไปหน้าจอสนทนาที่เราทำให้พวกเขาฟังว่า Amisha ได้ส่งโดยแตะปุ่มเล่นติดข้อ"ภาพยนตร์คืนนี้ "ที่ด้านบนของรายการ คู่ตรวจสอบว่า พวกเขาได้เข้าใจข้อความเสียง เราถามให้อธิบายได้ว่าทำไม Amisha มีส่ง SMS หลังจากคำอธิบายของพวกเขา เราถามให้ตอบว่า ไม่ใช่ฟรีคืนนี้กับ "คืนนี้ ไม่" ยากเพื่อให้ง่ายขึ้น เราจนงานนี้เป็นงานย่อยสองที่ที่เราเดินผู้เข้าร่วม: (1) เราถามพวกเขาใช้คำว่า "คืนนี้" จากข้อความก่อนหน้านี้ โดยครั้งแรกหาในข้อความก่อนหน้านี้ และไปแก้ไขข้อความ เมื่อจำเป็น เราเตือนให้ใช้แตะคู่กับคำ (2) เราถามพวกเขา เพื่อค้นหาไอคอน "ไม่" จากรายการของไอคอนในหน้าจอส่งด่วน และผนวกไปยังบรรณาธิการ ก่อนที่จะส่ง พวกเขาไปตรวจทานข้อความประกอบ โดยแตะปุ่ม "เล่น" อ่าน เราทดสอบว่าจะเกิดอะไรขึ้นถ้าเราเอาฟังก์ชันคาราโอเกะ (ปัจจุบันเล่นคำที่เน้นสีแดง) เรามีสองรุ่นของโปรแกรมประยุกต์: หนึ่งสนับสนุนคาราโอเกะและหนึ่งในประโยคทั้งที่เล่นได้หมด แต่กับผลป้อนกลับแสดงใน UI การ เราทดสอบสองประโยคในภาษาฝรั่งเศส "เมื่อทำคุณกลับมา" ("ตู rentres quand ") และ "ภาพยนตร์คืนนี้" ("Cine ce soir ") ครั้งแรก เราถามผู้เข้าร่วม การเล่นออกประโยคระบุคำมากที่พวกเขาได้ในรุ่นคาราโอเกะ แล้ว เราถามให้ทำซ้ำกับประโยคเดียวกันในรุ่นไม่มีคาราโอเกะ พวกเขาสามารถฟังข้อความได้หลายครั้งเท่าที่พวกเขาต้องการ ในตอนท้ายของแต่ละงานย่อยเสร็จสมบูรณ์ เราให้คำติชมแสดงความยินดี หรือให้กำลังใจ สำหรับการทดสอบใช้งาน บันทึกวิดีโอเราเก็บรวบรวมข้อมูลแหล่งแรก เราได้ตรวจสอบการบันทึก และสำหรับแต่ละงานดำเนินการตรวจสอบชนิด ของข้อผิดพลาด ที่พวกเขาทำ และบนหน้าจอที่มันเกิด เนื่องจากจำนวนผู้เรียนต่ำ เราไม่ไม่ดำเนินการทดสอบทางสถิติ อย่างไรก็ตาม ในระหว่างสัมภาษณ์ debrief เรา elicited ถ้าพบโปรแกรมประยุกต์ที่ใช้งานง่ายและไม่ว่าจะเป็นประโยชน์สำหรับพวกเขาในชีวิตประจำวัน

ผลลัพธ์ (ไทย) 3:

ตัวอย่างเช่นผู้มีส่วนร่วมไม่ได้คุ้นเคยกับเงื่อนไขเช่นไอคอนและแอปพลิเคชัน ไอคอนและกำลังจัดทำกราฟ รูปภาพ ที่เราเรียกว่า" ภาพ เล็ก'ตัวอย่างเช่น เราขอแนะนำให้เขาพูด outloud โดยเฉพาะเกี่ยวกับปัญหาใดๆที่พวกเขาพบหรือส่วนที่พบไม่ชัดเจน เราย้ำว่าหากพวกเขาไม่สามารถเข้าใจแอปพลิเคชันหรือส่วนของมันไม่ใช่ความผิดของเขาแต่เครื่องตั้งโปรแกรมได้เมื่อเรารู้สึกว่าเขามีความมั่นใจและเข้าใจความโดดเด่นที่สำคัญของแอปพลิเคชันที่เราจะเริ่มการทดสอบการใช้งานที่ให้ความสำคัญกับการเขียนข้อความไอคอนแบบมัลติ - ประโยคและการอ่านและโดยเฉพาะที่โดดเด่นไปด้วยคาราโอเกะ เราเริ่มต้นใช้งานทั้งสองรุ่นที่แตกต่างกันไปของไอคอนแบบมัลติ - ประโยคเต็มที่ซึ่งทั้งสองให้บริการจากไอคอนที่ไม่เหมือนกันบนหน้าจอเดียวกันเราเมื่อเทียบกับรุ่นก่อนฟังเราได้แนะนำในต้นแบบแห่งแรกที่พร้อมด้วยหนึ่ง pop - up ใช้ที่นำมาติดตั้งในเครื่องต้นแบบที่สอง การเรียกคืน ผลิตภัณฑ์ ที่อยู่ในเวอร์ชันทดลองฟังที่ผู้ใช้ต้องแตะค้างไว้ที่ไอคอนเพื่อฟังข้อความทั้งหมดที่เชื่อมโยงกับการได้อยู่ในแถว จากนั้นจึงไปยังเลือกผมหมายเลขประโยคที่ผู้ใช้ต้องแตะที่ไอคอนที่ผมเวลาในเวอร์ชั่น pop - up ที่ผู้ใช้ต้องแตะและค้างไว้ที่ไอคอนและตัวเล็กโผล่ขึ้นปรากฏตัวขึ้นบนหน้าจอด้วยประโยคที่เกี่ยวข้องทั้งหมด ในการเลือกประโยคที่ผู้ใช้เลือกได้ในการแตะที่ สำหรับรุ่นทั้งสองเราถามพวกเขาให้ longtap บนไอคอนแบบมัลติ - ประโยคเต็มที่และได้ถามว่าเขามีความคิดที่ว่าในการเพิ่มเป็นหนึ่งในประโยคที่จัดให้บริการในการแก้ไขข้อความได้ สำหรับการเขียนเราตั้งอยู่ในสถานการณ์ต่อไปนี้:"คิดว่าคุณได้รับข้อความ SMS จาก amisha เพื่อนของคุณ คุณสามารถดูที่คุณมีข้อความใหม่ในกล่องขาเข้าจาก amisha [ผู้เข้าร่วมจะได้ในหน้าจอลวดลาย]ของคุณ ในตอนนี้คุณสามารถแตะที่ข้อความนี้เพื่อดูว่าทำไม amisha คือการส่ง SMS คุณ[ผู้เข้าร่วมประชุมนาวิเกตไปยังหน้าจอรายละเอียดข้อความ(ดูรูปที่ 1 )]นี้"หลังจากที่พวกเขาได้เข้ามาสำรวจนับไปยังหน้าจอการสนทนาที่เราทำให้พวกเขาฟังว่า amisha ส่งมาโดยการแตะที่การเล่นให้กดปุ่มถัดไปในข้อความที่จะแสดงข้อความ"โรง ภาพยนตร์ ในคืนนี้หรือไม่?"ที่อยู่บนด้านบนสุดของรายการ ในการตรวจสอบว่าพวกเขาได้ทำความเข้าใจข้อความเสียงที่เราถามพวกเขาให้อธิบายว่าทำไม amisha ได้ส่ง SMS ไปที่ หลังจากคำอธิบายของพวกเขาเราถามพวกเขาในการตอบกลับว่าพวกเขาเป็นอิสระไม่ได้ในคืนนี้ด้วย"ในคืนนี้"ทำให้เราทำได้ง่ายขึ้นงานนี้เข้ากับสอง subtasks ผ่านซึ่งเราเดินไปเดินมาผู้เข้าร่วมประชุมได้( 1 )เราถามพวกเขาจะนำคำว่า"คืนนี้"จากข้อความก่อนหน้าที่เป็นครั้งแรกโดยการค้นหาในข้อความก่อนหน้าที่และในการผนวกกับโปรแกรมแก้ไขข้อความ เมื่อมีความจำเป็นเราเตือนให้นึกถึงการใช้แตะดับเบิลคลิกที่คำว่า( 2 )เราถามพวกเขาให้ค้นหาไอคอน"ไม่มี"จากรายการของไอคอนต่างๆในหน้าจอผู้ส่งได้อย่างรวดเร็วและในการผนวกกับบรรณาธิการ ก่อนที่จะส่งมาตรวจดูจะประกอบไปด้วยโดยการเก็บ ภาษี จากข้อความที่"เล่น". เราได้ทำการทดสอบการอ่านว่าอะไรจะเกิดขึ้นถ้าหากเราออกทำงานคาราโอเกะ(คำที่เล่นอยู่ในขณะนี้เป็นที่ถูกไฮไลท์ให้เด่นชัดขึ้นในสีแดง) เรามีสองรุ่นของแอปพลิเคชันหนึ่งในนั้นพร้อมด้วยการสนับสนุนและคาราโอเกะอีกแบบหนึ่งในประโยคที่ทั้งที่มีการเล่นออกมาแต่ไม่มีการแสดงผล ภาพ ในส่วนติดต่อผู้ใช้ได้. เราได้ทำการทดสอบทั้งสองประโยคในฝรั่งเศส"เมื่อคุณกลับมาหรือไม่?"(" Tu rentres quand หรือไม่?")และ"โรง ภาพยนตร์ ในคืนนี้หรือไม่?"(" soir CE ภาพยนตร์ ?") คนแรกที่เราถามผู้มีส่วนร่วมในการเล่นออกมาด้วยประโยคที่และระบุเป็นถ้อยคำจำนวนมากที่สุดเท่าที่พวกเขาสามารถทำได้ในรุ่นคาราโอเกะจากนั้นเราถามพวกเขาให้ทำซ้ำท่านี้ด้วยประโยคเดียวกันในรุ่นที่ไม่มีคาราโอเกะ พวกเขาสามารถฟังข้อความได้เป็นจำนวนหลายครั้งตามที่พวกเขาต้องการ ในตอนท้ายของคณะอนุกรรมการแต่ละงานเสร็จสมบูรณ์เราจัดให้บริการความคิดเห็นแสดงความยินดีหรือส่งเสริม สำหรับการทดสอบการใช้งานที่การบันทึกวิดีโอที่เป็นแหล่งแรกของเราในการเก็บข้อมูลเราจะตรวจสอบการบันทึกและดำเนินการงานสำหรับแต่ละ ประเภท การตรวจสอบที่มีข้อผิดพลาดเกิดขึ้นมันทำให้และที่หน้าจอที่เกิดขึ้น เนื่องจากมีจำนวนน้อยในการมีส่วนร่วมเราไม่ได้ทำการทดสอบทางสถิติใดๆอย่างไรก็ตาม ในระหว่างบท สัมภาษณ์ Meeting Debrief เราคนดูก็ได้ความว่าบ้านหากพวกเขาพบแอปพลิเคชันที่ใช้งานง่ายและไม่ว่าจะเป็นประโยชน์ต่อพวกเขาในชีวิตประจำวันของพวกเขา.