Figure 2: Example Report Produced b

Figure 2: Example Report Produced by CROSSCHECK for GrantaBooks.com
4. RESULTS AND CONTRIBUTIONS
To assess the usefulness of CROSSCHECK , we implemented it
in a tool and performed experiments to assess the effectiveness and
efficiency of our technique. In this section, we summarize the procedure
and results from our empirical evaluation. For details, an
interested reader can refer to [17, 18].
For our experiments, we chose the latest stable versions of Mozilla
Firefox and Internet Explorer browsers. Our experimental subjects
consisted of seven web applications as shown in Table 4. The
first subject, Restaurant was developed by us to demonstrate different
kinds of cross-browser issues. The second one, Organizer
is an open source personal organizer and task management application
[22]. The remaining subjects are real-world web applications
we selected using Yahoo!’s random URL service (http:
//random.yahoo.com/bin/ryl). More precisely, we chose
them from a set of ten random web applications by selecting those
with visible XBIs in their entry page.
For each of these subjects, CROSSCHECK captured the navigation
model of the website and then used it to compare and report
XBIs as described in the technique. Each subject was processed
in under half hour and resulted in the collection of between 3–19
screens and 8–99 transitions in each state graph of application. We
found these numbers to meet the time and memory requirements of
such a tool, thereby confirming its practicality.
NAME Tr Po Sz Vs Tx Ap CBD XBI
Restaurant 4 0 2 0 2 3 11 9
Organizer 14 0 42 5 0 1 62 18
GrantaBooks 16 0 0 11 0 1 28 16
DesignTrust 4 2 39 2 0 146 189 130
DivineLife 7 0 0 3 1 70 81 73
SaiBaba 2 5 31 7 3 55 103 89
Breakaway 0 13 132 0 0 246 391 268
Table 1: CROSSCHECK Results
The results reported by CROSSCHECK have been presented in
Table 4, where the first column lists the subject name followed
by the number of trace-level differences reported. The next five
columns show the different screen-level differences; namely in position,
size, visibility, text and visual appearance. These difference
are added to report the CBDs followed by the results from grouping
them into fewer, more meaningful XBIs. For each of the issues reported,
we manually inspected it to report false positives and negatives.
For our subjects, CROSSCHECK did not report any false negatives.
The tool found 865 differences out of which 314 were true
issues (63% FP). We find these results to be encouraging, considering
that CROSSCHECK is the first tool to find XBIs automatically
and because we see a potential of eliminating the false positives in
the future. In particular, the main limitations of CROSSCHECK are:
(1) Computer vision algorithms are effective for comparing the underlying
binary data of images, but they are not as good at accurately
mimicking a human perception of visual differences. We
found them to be the main source of false positives and would like
to investigate on better algorithms to eliminate or at-least mitigate
this issue. (2) The crawler has a black box view of the application
and needs to be instructed on how to interact with the web application.
For greater degree of automation and server side coverage,
a white-box assisted crawler should be developed. (3) Our core algorithm
relies on a basic level of browser support to obtain DOM
information from each screen. This information can be sometimes
inaccurate, leading to false positives. This issue can be mitigated
by performing noise removal and by collecting or deriving more
data to make it resilient to noise.
We would like to address these problems in the near future. CROSSCHECK
is being used by developers at Fujitsu and our current goal
is to perform user studies with them to make improvements based
on feedback from users. Finally, we want to work on computing
the behavioral equivalence of web applications running on different
platforms (eg. desktop and mobile).
5. CONCLUSION
XBIs are relevant and a serious concern for web application developers.
Current techniques are limited in finding these issues and
require considerable manual effort. Our technique CROSSCHECK
identifies XBIs automatically and helps developer fix the issue by
providing information about the broken element. For XBI identification,
CROSSCHECK uses concepts from graph theory (state
graph isomorphism, DOM tree matching), computer vision (visual
analysis) and machine learning (automated classification). Our results
suggest that CROSSCHECK is practical and can find both visual
and functional XBIs in real world applications.

ผลลัพธ์ (ไทย) 1:

รูปที่ 2: ตัวอย่างรายงานที่ผลิต โดย CROSSCHECK สำหรับ GrantaBooks.com4. ผลลัพธ์ และผลงานการประเมินประโยชน์ของ CROSSCHECK เราใช้มันเครื่องมือและการดำเนินการทดลองเพื่อประเมินประสิทธิภาพ และประสิทธิภาพของเทคนิคของเรา ในส่วนนี้ เราได้สรุปขั้นตอนและผลจากการประเมินเชิงประจักษ์ของเรา รายละเอียด การสนใจอ่านสามารถอ้างถึง [17, 18]สำหรับการทดลองของเรา เราเลือกรุ่นเสถียรล่าสุด Mozillaเบราเซอร์ Firefox และ Internet Explorer วิชาของเราทดลองประกอบด้วยโปรแกรมประยุกต์เว็บที่เจ็ดดังแสดงในตารางที่ 4 การเรื่องแรก ร้านอาหารได้รับการพัฒนาโดยแสดงให้เห็นถึงความแตกต่างกันชนิดข้ามเบราว์เซอร์ปัญหา ผู้จัดการหนึ่งสองเป็นโปรแกรมจัดการมาเปิดจัดการและงานที่ส่วนบุคคล[22] . วิชาที่เหลือมีโปรแกรมประยุกต์เว็บจริงเราเลือกใช้ของ yahoo!บริการ URL แบบสุ่ม (http:random.yahoo.com/bin/ryl) เบสที่เราเลือกออกจากชุดของโปรแกรมประยุกต์เว็บแบบสุ่มสิบโดยการเลือกผู้กับ XBIs สามารถมองเห็นได้ในหน้ารายการสำหรับแต่ละวิชานี้ CROSSCHECK จับการนำทางรูปแบบของเว็บไซต์ และใช้ในการเปรียบเทียบ และรายงานXBIs ตามที่อธิบายไว้ในเทคนิค การประมวลผลแต่ละวิชาภายในครึ่งชั่วโมง และผลในการเก็บรวบรวมระหว่าง 3-19หน้าจอและ 8 – 99 การเปลี่ยนกราฟแต่ละสถานะของโปรแกรมประยุกต์ เราพบตัวเลขเหล่านี้เพื่อตอบสนองความต้องการเวลาและหน่วยความจำของมีเครื่องมือดังกล่าว จึงยืนยันความจริงชื่อ Tr Po Sz Vs Tx Ap CBD XBIร้านอาหาร 4 0 2 0 2 3 11 9ผู้จัดการ 14 0 42 5 0 1 62 18GrantaBooks 16 0 0 11 0 1 28 16DesignTrust 4 2 39 2 0 146 189 130DivineLife 7 0 0 3 1 70 81 73SaiBaba 2 5 31 7 3 55 103 89ยัง 0 13 132 0 0 246 391 268ตารางที่ 1: CROSSCHECK ผลลัพธ์ได้เสนอผลการรายงาน โดย CROSSCHECK ในตามตารางที่ 4 ที่คอลัมน์แรกแสดงรายการชื่อเรื่องโดยจำนวนของความแตกต่างของระดับการติดตามรายงาน 5 ถัดไปคอลัมน์แสดงความแตกต่างระดับจอแตกต่างกัน คือในตำแหน่งขนาด มองเห็น ข้อความ และลักษณะที่ปรากฏ ความแตกต่างเหล่านี้เพิ่มการรายงาน CBDs ตาม ด้วยผลจากการจัดกลุ่มพวกเขาเป็น XBIs มีความหมายน้อยลง การ สำหรับปัญหาของแต่ละรายงานเราเองตรวจสอบการรายงานเท็จบวกและเชิงลบสำหรับวิชาของเรา CROSSCHECK ไม่เคยรายงานลวงใด ๆเครื่องมือที่พบ 865 แตกต่างจากที่ 314 ได้จริงปัญหา (63% FP) เราพบว่าผลลัพธ์เหล่านี้จะให้กำลังใจ พิจารณาว่า CROSSCHECK เป็นมือแรกในการค้นหา XBIs โดยอัตโนมัติและเนื่อง จากเราเห็นศักยภาพการกำจัดลวงในอนาคต โดยเฉพาะอย่างยิ่ง ข้อจำกัดหลักของ CROSSCHECK คือ:(1) วิสัยทัศน์คอมพิวเตอร์อัลกอริทึมที่มีประสิทธิภาพสำหรับการเปรียบเทียบต้นแบบข้อมูลไบนารีของรูปภาพ แต่ไม่ได้เป็นสิ่งที่ดีที่ถูกต้องนั่งรับรู้มองเห็นความแตกต่างของมนุษย์ เราพบว่ามีแหล่งหลักของผลบวกปลอม และต้องการตรวจสอบอัลกอริทึมที่ดีเพื่อกำจัดหรือน้อยบรรเทาปัญหานี้ (2) crawler ที่มีมุมมองของโปรแกรมประยุกต์กล่องดำและจำเป็นต้องแนะนำวิธีการโต้ตอบกับโปรแกรมประยุกต์เว็บสำหรับการทำงานอัตโนมัติและเซิร์ฟเวอร์ด้านความครอบคลุมควรมีพัฒนาเป็นกล่องสีขาวช่วย crawler (3) อัลกอริทึมหลักของเราอาศัยระดับพื้นฐานของการสนับสนุนเบราว์เซอร์การ DOMข้อมูลจากแต่ละหน้าจอ ข้อมูลนี้อาจเป็นบางครั้งไม่ถูกต้อง นำไปสู่ผลบวกปลอม สามารถลดปัญหานี้โดยทำการกำจัดสัญญาณรบกวนโดยเก็บรวบรวม หรือถูกเพิ่มเติมข้อมูลเพื่อให้ยืดหยุ่นไปรบกวนเราต้องการแก้ไขปัญหาเหล่านี้ในอนาคต CROSSCHECKกำลังถูกใช้ โดยนักพัฒนาที่ฟูจิตสึและเป้าหมายของเราปัจจุบันคือการ ดำเนินการศึกษาผู้ใช้เพื่อให้การตามคำติชมจากผู้ใช้ ในที่สุด เราต้องการทำงานบนคอมพิวเตอร์เทียบเท่าพฤติกรรมของโปรแกรมประยุกต์เว็บที่ใช้แตกต่างกันแพลตฟอร์ม (เช่นการเดสก์ท็อป และมือถือ)5. บทสรุปXBIs มีความเกี่ยวข้อง และเป็นกังวลอย่างรุนแรงสำหรับนักพัฒนาเว็บแอพลิเคชันเทคนิคปัจจุบันจะถูกจำกัดในการหาปัญหาเหล่านี้ และต้องใช้ความพยายามด้วยตนเองอย่างมาก เทคนิค CROSSCHECKระบุ XBIs โดยอัตโนมัติ และช่วยแก้ไขปัญหาโดยนักพัฒนาให้ข้อมูลเกี่ยวกับองค์ประกอบใช้งานไม่ได้ สำหรับรหัส XBICROSSCHECK ใช้แนวคิดจากทฤษฎีกราฟ (สถานะกราฟ isomorphism จับคู่ต้นไม้ DOM), คอมพิวเตอร์วิทัศน์ (visualวิเคราะห์) และเครื่องจักรการเรียนรู้ (การจัดประเภทอัตโนมัติ) ผลของเราแนะนำว่า CROSSCHECK เป็นจริง และสามารถค้นหาทั้ง visualและ XBIs ทำงานในการใช้งานจริง

ผลลัพธ์ (ไทย) 2:

รูปที่ 2: ตัวอย่างรายงานการผลิตโดย crosscheck สำหรับ GrantaBooks.com
4 ผลและผลงาน
เพื่อประเมินประโยชน์ของ crosscheck ที่เรานำมาใช้มัน
ในเครื่องมือและทำการทดลองเพื่อประเมินประสิทธิผลและ
ประสิทธิภาพของเทคนิคของเรา ในส่วนนี้เราสรุปขั้นตอน
และผลจากการประเมินเชิงประจักษ์ของเรา สำหรับรายละเอียดการ
อ่านที่สนใจสามารถดู [17, 18].
สำหรับการทดสอบของเราเราเลือกรุ่นล่าสุดมีเสถียรภาพของ Mozilla
Firefox และ Internet Explorer เบราว์เซอร์ อาสาสมัครทดลองของเรา
ประกอบด้วยเจ็ดการใช้งานเว็บดังแสดงในตาราง 4.
เรื่องแรก, ร้านอาหารได้รับการพัฒนาโดยเราจะแสดงให้เห็นที่แตกต่างกัน
ชนิดของปัญหาเบราว์เซอร์ คนที่สองจัด
เป็นแหล่งเปิดงานจัดงานและโปรแกรมการจัดการส่วนบุคคล
[22] ส่วนที่เหลืออีกวิชาที่มีการใช้งานเว็บจริงของโลก
เราเลือกใช้บริการ URL Yahoo 's สุ่ม (! http:
//random.yahoo.com/bin/ryl) แม่นยำมากขึ้นเราเลือก
พวกเขาจากชุดของสิบการใช้งานเว็บแบบสุ่มโดยการเลือกผู้
ที่มี XBIs มองเห็นได้ในหน้ารายการของพวกเขา.
สำหรับแต่ละวิชาเหล่านี้ crosscheck จับลูกศร
รูปแบบของเว็บไซต์และจากนั้นก็ใช้มันในการเปรียบเทียบและรายงาน
XBIs ตามที่อธิบายไว้ ในเทคนิค แต่ละเรื่องได้รับการประมวลผล
ในภายใต้ครึ่งชั่วโมงและผลงานในคอลเลกชันระหว่าง 3-19
หน้าจอและ 8-99 ในการเปลี่ยนกราฟแต่ละรัฐของการประยุกต์ใช้ เรา
พบว่าตัวเลขเหล่านี้เพื่อตอบสนองเวลาและหน่วยความจำความต้องการของ
เครื่องมือดังกล่าวจึงยืนยันการปฏิบัติจริง. มัน
NAME Tr Po Sz Vs Tx Ap CBD XBI
ร้านอาหาร 4 0 2 0 2 3 11 9
Organizer 14 0 42 5 0 1 62 18
GrantaBooks 16 0 0 11 0 1 28 16
DesignTrust 4 2 39 2 0 146 189 130
DivineLife 7 0 0 3 1 70 81 73
Saibaba 2 5 31 7 3 55 103 89
Breakaway 0 13 132 0 0 246 391 268
ตารางที่ 1: crosscheck ผลลัพธ์
ผล รายงานโดย crosscheck ได้รับการนำเสนอใน
ตารางที่ 4 ที่คอลัมน์แรกแสดงชื่อเรื่องที่ตามมา
จากจำนวนของความแตกต่างระดับการติดตามรายงาน ห้าต่อไป
คอลัมน์แสดงความแตกต่างที่หน้าจอระดับที่แตกต่างกัน คือในตำแหน่ง
ขนาดการแสดงผลข้อความและลักษณะที่มองเห็น ความแตกต่างเหล่านี้
จะมีการเพิ่มรายงาน CBDs ตามผลที่ได้จากการจัดกลุ่ม
พวกเขาลงน้อยลง XBIs ความหมายมากขึ้น สำหรับแต่ละประเด็นที่รายงาน
ที่เราตรวจสอบด้วยตนเองเพื่อรายงานบวกเท็จและเชิงลบ.
สำหรับอาสาสมัครของเรา crosscheck ไม่รายงานเท็จเชิงลบใด ๆ .
เครื่องมือที่พบ 865 แตกต่างออกจากที่ 314 เป็นจริง
ปัญหา (63% FP) เราพบผลลัพธ์เหล่านี้จะเป็นกำลังใจพิจารณา
ว่า crosscheck เป็นเครื่องมือแรกที่จะหา XBIs โดยอัตโนมัติ
และเพราะเราเห็นศักยภาพของการขจัดบวกเท็จใน
อนาคต โดยเฉพาะอย่างยิ่งข้อ จำกัด หลักของ crosscheck มีดังนี้
(1) ขั้นตอนวิธีวิสัยทัศน์คอมพิวเตอร์ที่มีประสิทธิภาพสำหรับการเปรียบเทียบพื้นฐาน
ข้อมูลไบนารีของภาพ แต่พวกเขาไม่ได้เป็นสิ่งที่ดีที่ถูกต้อง
ลอกเลียนแบบการรับรู้ของมนุษย์ความแตกต่างของภาพ เรา
พบว่าพวกเขาจะเป็นแหล่งที่มาหลักของผลบวกปลอมและต้องการ
ที่จะตรวจสอบในขั้นตอนวิธีการที่ดีกว่าที่จะกำจัดหรืออย่างน้อยที่สุดลด
ปัญหานี้ (2) รวบรวมข้อมูลมีมุมมองที่กล่องดำของการประยุกต์ใช้
และจำเป็นต้องได้รับคำแนะนำเกี่ยวกับวิธีการโต้ตอบกับโปรแกรมเว็บ.
สำหรับระดับสูงของระบบอัตโนมัติและการคุ้มครองด้านเซิร์ฟเวอร์,
สีขาวกล่องตีนตะขาบช่วยเหลือควรมีการพัฒนา (3) ขั้นตอนวิธีการหลักของเรา
อาศัยอยู่ในระดับพื้นฐานของการสนับสนุนเบราว์เซอร์ที่จะได้รับ DOM
ข้อมูลจากแต่ละหน้าจอ ข้อมูลนี้จะเป็นบางครั้ง
ที่ไม่ถูกต้องนำไปสู่การบวกเท็จ ปัญหานี้อาจจะลดลง
โดยการดำเนินการกำจัดเสียงรบกวนและโดยการเก็บรวบรวมหรือสืบมาเพิ่มเติม
ข้อมูลเพื่อให้มีความยืดหยุ่นเสียง.
เราอยากจะแก้ไขปัญหาเหล่านี้ในอนาคตอันใกล้ crosscheck
จะถูกใช้โดยนักพัฒนาที่ฟูจิตสึและเป้าหมายของเราในปัจจุบัน
คือการดำเนินการศึกษาผู้ใช้กับพวกเขาเพื่อให้การปรับปรุงตาม
ข้อเสนอแนะจากผู้ใช้ สุดท้ายเราต้องการที่จะทำงานในการคำนวณ
สมดุลพฤติกรรมการใช้งานเว็บที่แตกต่างกันที่ทำงานบน
แพลตฟอร์ม (เช่น. สก์ท็อปและโทรศัพท์มือถือ).
5 สรุป
XBIs มีความเกี่ยวข้องและความกังวลอย่างรุนแรงสำหรับนักพัฒนาโปรแกรมประยุกต์บนเว็บ.
เทคนิคปัจจุบันมีข้อ จำกัด ในการหาปัญหาเหล่านี้และ
ต้องใช้ความพยายามมากคู่มือ crosscheck เทคนิคของเรา
ระบุ XBIs โดยอัตโนมัติและช่วยให้นักพัฒนาแก้ไขปัญหาโดยการ
ให้ข้อมูลเกี่ยวกับองค์ประกอบที่แตกสลาย สำหรับประชาชน XBI,
crosscheck ใช้แนวคิดจากทฤษฎีกราฟ (รัฐ
กราฟมอร์ฟ, DOM ต้นไม้จับคู่), วิสัยทัศน์คอมพิวเตอร์ (ภาพ
การวิเคราะห์) และการเรียนรู้เครื่อง (จำแนกอัตโนมัติ) ผลของเรา
แสดงให้เห็นว่า crosscheck เป็นจริงและสามารถหาได้ทั้งภาพ
XBIs และการทำงานในการใช้งานจริง