The web crawler used within our mob

The web crawler used within our mobilizer does not focus on web page links. Instead, it focuses on web page content, such as images and layouts. Since the web page mobilizer is designed to be used for a single client organization, the URLs accessed will typically fall under a single domain, which means that the web crawler needs to only crawl within the same domain. Our observations showed that a typical company’s web site usually contains at most a three-level web page hierarchy. Given this we heuristically limit our crawler to three levels within the web page hierarchy (our tests also showed that web crawling beyond three levels results in the retrieval of too many duplicates with too few new links).

ผลลัพธ์ (ไทย) 1:

ซอฟต์แวร์รวบรวมข้อมูลเว็บที่ใช้ภายในเคลื่อนไหวของเราไม่ได้มุ่งเน้นไปที่การเชื่อมโยงหน้าเว็บ แทนมันมุ่งเน้นไปที่เนื้อหาของหน้าเว็บเช่นภาพและรูปแบบ ตั้งแต่นักเคลื่อนไหวหน้าเว็บถูกออกแบบมาเพื่อใช้สำหรับลูกค้าองค์กรเดียว URL ที่เข้าถึงมักจะตกอยู่ภายใต้โดเมนเดียวซึ่งหมายความว่าซอฟต์แวร์รวบรวมข้อมูลเว็บจะต้องมีการรวบรวมข้อมูลเพียงภายในโดเมนเดียวกันการสังเกตของเราแสดงให้เห็นว่าเว็บไซต์ของ บริษัท ทั่วไปมักจะมีที่สามระดับลำดับชั้นของหน้าเว็บมากที่สุด นี้เราได้รับการศึกษาสำนึก จำกัด ซอฟต์แวร์รวบรวมข้อมูลของเราสามระดับภายในลำดับชั้นของหน้าเว็บ (การทดสอบของเรายังแสดงให้เห็นว่าเว็บรวบรวมข้อมูลเกินสามผลระดับในการดึงข้อมูลที่ซ้ำกันมากเกินไปด้วยการเชื่อมโยงใหม่น้อยเกินไป)

ผลลัพธ์ (ไทย) 2:

Web crawler ที่ใช้ภายในนักเคลื่อนไหวของเราไม่เน้นเชื่อมโยงเว็บเพจ แทน เน้นเนื้อหาของหน้าเว็บ รูปภาพและรูปแบบการ ตั้งแต่นักเคลื่อนไหวหน้าเว็บถูกออกแบบมาเพื่อใช้สำหรับองค์กรที่ไคลเอนต์เดียว Url ที่เข้าถึงจะอยู่ภายใต้โดเมนเดียว ซึ่งหมายความ ว่า web crawler ต้องตระเวนภายในโดเมนเดียวเท่านั้น โดยทั่วไป ข้อสังเกตเราพบว่า เว็บไซต์ของบริษัทโดยทั่วไปมักจะประกอบด้วยมากที่สุดลำดับชั้นสามระดับเว็บเพจ นี้ที่ให้ เราสำนึกจำกัดของ crawler สามระดับภายในลำดับชั้นของเว็บเพจ (ทดสอบของเรายังแสดงให้เห็นเว็บที่ตระเวนเกินสามระดับเกิดการเรียกซ้ำมากเกินไปกับการเชื่อมโยงใหม่น้อยเกินไป)

ผลลัพธ์ (ไทย) 3:

รถตีนตะขาบเว็บที่ใช้ ภายใน mobilizer ของเราไม่ได้ให้ความสำคัญบนเว็บเพจ แทนโดยจะเน้นไปที่หน้าเนื้อหาเว็บเช่นแผนผังและ ภาพ นับตั้งแต่ mobilizer เว็บเพจได้รับการออกแบบมาให้ใช้งานสำหรับองค์กรลูกค้าที่ URL ที่เข้าถึงได้จะตกอยู่ ภายใต้ โดเมนเดียวซึ่งหมายความว่ารถตีนตะขาบเว็บที่ต้องคลานอยู่ ภายใน โดเมนเดียวกันได้เท่านั้นโดยปกติแล้วการสังเกตการณ์ของเราแสดงให้เห็นว่าเว็บไซต์ของบริษัทฯที่ปกติแล้วจะมีมากที่สุดลำดับชั้นที่หน้าเว็บแบบสามระดับ ได้รับนี้เรา heuristically จำกัดจำนวนรถตีนตะขาบของเราถึงสามระดับในโครงสร้างแบบลำดับหน้าเว็บ(การทดสอบของเรายังพบว่าสัตว์เลื้อยคลานอยู่ไกลออกไปบนเว็บสามระดับผลการในการกู้คืนข้อมูลที่ซ้ำซ้อนกับของมากเกินไปพร้อมด้วยการเชื่อมต่อใหม่)มากเกินไป