According to Dey et al. [10], a goo

According to Dey et al. [10], a good web crawler should contain the following features: a high performance system
architecture that can retrieve a large number of web pages at the same time, capability of dealing with memory stack
overflow resulted from large web page contents, decision on which page is next to be downloaded (ranking algorithms),
and strong system with existing resources and web servers gainst crashes.
The web crawler used within our mobilizer does notfocus on web page links. Instead, it focuses on web page content, such as images and layouts. Since the web page mobilizer is designed to be used for a single client organization, the URLs accessed will typically fall under a single domain, which means that the web crawler needs to only crawl within the same domain. Our observations showed that a typical company’s web site usually contains at most a three-level web page hierarchy. Given this we heuristically limit our crawler to three levels within the web page hierarchy (our tests also showed that web crawling beyond three levels results in the retrieval of too many duplicates with too few new links).

ผลลัพธ์ (ไทย) 1:

ตามที่พวกเขาและอัล [10] ซอฟต์แวร์รวบรวมข้อมูลเว็บที่ดีควรมีคุณสมบัติดังต่อไปนี้ระบบที่มีประสิทธิภาพสูง
สถาปัตยกรรมที่สามารถดึงจำนวนมากของหน้าเว็บในเวลาเดียวกันความสามารถในการจัดการกับหน่วยความจำล้นกอง
ผลมาจากเนื้อหาของหน้าเว็บที่มีขนาดใหญ่การตัดสินใจ ที่หน้าถัดไปดาวน์โหลดได้ (ขั้นตอนวิธีการจัดอันดับ),
และระบบที่ดีกับทรัพยากรที่มีอยู่และเว็บเซิร์ฟเวอร์ล่ม gainst
. ซอฟต์แวร์รวบรวมข้อมูลเว็บที่ใช้ภายในเคลื่อนไหวของเราไม่ notfocus ในการเชื่อมโยงหน้าเว็บ แทนมันมุ่งเน้นไปที่เนื้อหาของหน้าเว็บเช่นภาพและรูปแบบ ตั้งแต่นักเคลื่อนไหวหน้าเว็บถูกออกแบบมาเพื่อใช้สำหรับลูกค้าองค์กรเดียว URL ที่เข้าถึงมักจะตกอยู่ภายใต้โดเมนเดียวซึ่งหมายความว่าซอฟต์แวร์รวบรวมข้อมูลเว็บจะต้องมีการรวบรวมข้อมูลเพียงภายในโดเมนเดียวกัน การสังเกตของเราแสดงให้เห็นว่าเว็บไซต์ของ บริษัท ทั่วไปมักจะมีที่สามระดับลำดับชั้นของหน้าเว็บมากที่สุดนี้เราได้รับการศึกษาสำนึก จำกัด ซอฟต์แวร์รวบรวมข้อมูลของเราสามระดับภายในลำดับชั้นของหน้าเว็บ (การทดสอบของเรายังแสดงให้เห็นว่าเว็บรวบรวมข้อมูลเกินสามผลระดับในการดึงข้อมูลที่ซ้ำกันมากเกินไปด้วยการเชื่อมโยงใหม่น้อยเกินไป)

ผลลัพธ์ (ไทย) 2:

ตาม Dey et al. [10], crawler เป็นเว็บที่ดีควรประกอบด้วยคุณลักษณะดังต่อไปนี้: ระบบประสิทธิภาพสูง
สถาปัตยกรรมที่สามารถเรียกดูเว็บเพจเป็นจำนวนมากในเวลาเดียวกัน ความสามารถในการจัดการกับหน่วยความจำกอง
มากเกินไปเป็นผลมาจากเนื้อหาหน้าเว็บขนาดใหญ่ การตัดสินใจในถัดไปคือหน้าที่ จะดาวน์โหลด (อัลกอริทึมการจัดอันดับ),
และระบบที่แข็งแกร่งกับทรัพยากรที่มีอยู่และเว็บเซิร์ฟเวอร์ gainst ล้มเหลว
web crawler ที่ใช้ภายในของนักเคลื่อนไหวไม่ notfocus เชื่อมโยงเว็บเพจ แทน เน้นเนื้อหาของหน้าเว็บ รูปภาพและรูปแบบการ ตั้งแต่นักเคลื่อนไหวหน้าเว็บถูกออกแบบมาเพื่อใช้สำหรับองค์กรที่ไคลเอนต์เดียว Url ที่เข้าถึงโดยทั่วไปจะตกอยู่ภายใต้โดเมนเดียว ซึ่งหมายความ ว่า web crawler ต้องตระเวนภายในโดเมนเดียวเท่านั้น ข้อสังเกตเราพบว่า เว็บไซต์ของบริษัทโดยทั่วไปมักจะประกอบด้วยมากที่สุดลำดับชั้นสามระดับเว็บเพจ นี้ที่ให้ เราสำนึกจำกัดของ crawler สามระดับภายในลำดับชั้นของเว็บเพจ (ทดสอบของเรายังแสดงให้เห็นเว็บที่ตระเวนเกินสามระดับเกิดการเรียกซ้ำมากเกินไปกับการเชื่อมโยงใหม่น้อยเกินไป)

ผลลัพธ์ (ไทย) 3:

ตามพ่อ et al . [ 10 ]รถตีนตะขาบเว็บที่ดีจะต้องมีคุณสมบัติต่อไปนี้: ประสิทธิภาพ สูงระบบ
สถาปัตยกรรมที่สามารถดึงข้อมูลจำนวนมากที่หน้าเว็บที่เวลาเดียวกันกับที่ความสามารถในการจัดการกับหน่วยความจำ Stack
ซึ่งจะช่วยทำให้น้ำล้นจากการตัดสินใจเนื้อหาเว็บเพจขนาดใหญ่ที่หน้าถัดไปคือให้มีการดาวน์โหลด(อัลกอริทึมการจัดอันดับ)
และมีระบบเซิร์ฟเวอร์เว็บและทรัพยากรที่มีอยู่ทวนหยุดทำงาน.
รถตีนตะขาบเว็บที่ใช้ ภายใน mobilizer ของเราไม่ notfocus บนเว็บเพจ แทนโดยจะเน้นไปที่หน้าเนื้อหาเว็บเช่นแผนผังและ ภาพ นับตั้งแต่ mobilizer เว็บเพจได้รับการออกแบบเพื่อใช้งานเครื่องลูกข่ายเดียวกับองค์กรที่ URL ที่เข้าถึงได้จะตกอยู่ ภายใต้ โดเมนเดียวโดยปกติซึ่งหมายความว่ารถตีนตะขาบเว็บที่ต้องคลานอยู่ ภายใน โดเมนเดียวกันเท่านั้น การสังเกตการณ์ของเราแสดงให้เห็นว่าเว็บไซต์ของบริษัทฯที่ปกติแล้วจะมีมากที่สุดลำดับชั้นที่หน้าเว็บแบบสามระดับได้รับนี้เรา heuristically จำกัดจำนวนรถตีนตะขาบของเราถึงสามระดับในโครงสร้างแบบลำดับหน้าเว็บ(การทดสอบของเรายังพบว่าสัตว์เลื้อยคลานอยู่ไกลออกไปบนเว็บสามระดับผลการในการกู้คืนข้อมูลที่ซ้ำซ้อนกับของมากเกินไปพร้อมด้วยการเชื่อมต่อใหม่)มากเกินไป