The crawler fetches pages and turns

The crawler fetches pages and turns them into an inverted
index, which the searcher uses to answer users' search queries. The
interface between the two pieces is the index, so apart from an
agreement about the fields in the index, the two are highly
decoupled. (Actually, it is a little more complicated than this,
since the page content is not stored in the index, so the searcher
needs access to the segments described below in order to produce
page summaries and to provide access to cached pages.)

The main practical spin-off from this design is that the crawler
and searcher systems can be scaled independently on separate
hardware platforms. For instance, a highly trafficked search page
that provides searching for a relatively modest set of sites may only
need a correspondingly modest investment in the crawler
infrastructure, while requiring more substantial resources for
supporting the searcher.

We will look at the Nutch crawler here, and leave discussion of
the searcher to part two.

ผลลัพธ์ (ไทย) 1:

Crawler รับหน้า และเปลี่ยนพวกเขาเป็นการกลับ
ดัชนี ซึ่งผู้ค้นหาที่ใช้ในการตอบแบบสอบถามการค้นหาของผู้ใช้
ดัชนี เพื่อแยกจากอินเทอร์เฟซระหว่างสองชิ้นคือตัว
ข้อตกลงเกี่ยวกับเขตข้อมูลในดัชนี อยู่สูง
decoupled (จริง มันมีความซับซ้อนน้อยกว่านี้,
เนื่องจากเนื้อหาของเพจนี้ไม่เก็บไว้ในดัชนี ดังนั้นผู้ที่ค้นหา
ต้องการเข้าถึงส่วนที่อธิบายไว้ด้านล่างเพื่อผลิต
หน้าสรุป และเพื่อให้เข้าถึงแคหน้า)

สปินออกเป็นประโยชน์หลักจากการออกแบบนี้ว่า crawler
และสามารถปรับระบบผู้ค้นหาอิสระในแยก
ฮาร์ดแวร์แพลตฟอร์ม ตัวอย่าง หน้าค้นหาเหตุการณ์สูง
ที่ช่วยให้การค้นหาสำหรับชุดค่อนข้างเจียมเนื้อเจียมตัวของอเมริกาอาจ
ต้องลงทุนด้อยเจียมเนื้อเจียมตัวใน crawler
โครงสร้างพื้นฐาน ในขณะที่ต้องใช้ทรัพยากรมากขึ้นพบ
สนับสนุนผู้ค้นหา

เราจะดู Nutch crawler ที่นี่ และปล่อยให้การสนทนาของ
ผู้ค้นหาส่วนที่สอง

ผลลัพธ์ (ไทย) 2:

โปรแกรมเรียกหน้าและเปลี่ยนไปเป็นฤๅษี
ดัชนีซึ่งค้นหาใช้ในการตอบแบบสอบถามการค้นหาของผู้ใช้
เชื่อมต่อระหว่างทั้งสองชิ้นเป็นดัชนีดังนั้นนอกเหนือจาก
การทำข้อตกลงเกี่ยวกับเขตข้อมูลในดัชนีทั้งสองจะสูง
decoupled (ที่จริงมันเป็นเพียงเล็กน้อยที่ซับซ้อนมากขึ้นกว่านี้
ตั้งแต่เนื้อหาของหน้าไม่ได้เก็บไว้ในดัชนีเพื่อค้นหา
ความต้องการการเข้าถึงส่วนที่อธิบายด้านล่างเพื่อผลิต
สรุปของหน้าและเพื่อให้เข้าถึงหน้าเว็บที่เก็บไว้.) หลัก ปฏิบัติแยกออกจากการออกแบบนี้เป็นที่รวบรวมข้อมูลและค้นหาระบบสามารถปรับขนาดได้อย่างเป็นอิสระเกี่ยวกับการแยกแพลตฟอร์มฮาร์ดแวร์ ตัวอย่างเช่นหน้าการค้นหาค้าสูงที่ให้การค้นหาสำหรับชุดที่ค่อนข้างเจียมเนื้อเจียมตัวของเว็บไซต์เท่านั้นอาจต้องมีการลงทุนที่เจียมเนื้อเจียมตัวกันในซอฟต์แวร์รวบรวมข้อมูลโครงสร้างพื้นฐานในขณะที่ต้องใช้ทรัพยากรมากขึ้นเพื่อสนับสนุนผู้ค้นหาเราจะดูที่โปรแกรมรวบรวมข้อมูลของนัทช์ที่นี่และ ออกจากการสนทนาของผู้ค้นหาจะเป็นส่วนหนึ่งสอง

ผลลัพธ์ (ไทย) 3:

crawler ตักหน้าและเปลี่ยนพวกเขาเป็นฤๅษี
ดัชนีที่ใช้ค้นหาเพื่อตอบแบบสอบถามการค้นหาของผู้ใช้
อินเตอร์เฟซระหว่างสองชิ้นเป็นดัชนี ดังนั้นนอกเหนือจาก
ข้อตกลงเกี่ยวกับเขตข้อมูลในดัชนีทั้งสองจะขอ
แบบ . ( จริงๆแล้วมันซับซ้อนกว่านี้
เนื่องจากเนื้อหาของหน้าเว็บจะถูกเก็บไว้ในดัชนีเพื่อค้นหา
ความต้องการในการเข้าถึงส่วนที่อธิบายไว้ด้านล่างเพื่อผลิต
สรุปหน้าและเพื่อให้เข้าถึงหน้าเว็บแคช )

ปั่นปฏิบัติหลักออกจากการออกแบบนี้ก็คือ Crawler
และระบบค้นหาสามารถปรับขนาดได้อย่างอิสระบนแพลตฟอร์มฮาร์ดแวร์ที่แยกต่างหาก

ตัวอย่าง ค้าสูงหน้าค้นหา
ที่ให้บริการค้นหาชุดเจียมเนื้อเจียมตัวค่อนข้างเว็บไซต์เท่านั้น
ต้องการการลงทุนเจียมเนื้อเจียมตัวต้องกันใน Crawler
โครงสร้างพื้นฐาน ในขณะที่ต้องใช้ทรัพยากรมากกว่า สำหรับสนับสนุนการค้นหา


เราจะดู nutch Crawler ที่นี่และปล่อยให้อภิปราย
searcher ภาค