A web crawler (also known as a robo

A web crawler (also known as a robot or a spider) is a system for the
bulk downloading of web pages. Web crawlers are used for a variety of
purposes. Most prominently, they are one of the main components of
web search engines, systems that assemble a corpus of web pages, index
them, and allow users to issue queries against the index and find the web
pages that match the queries. A related use is web archiving (a service
provided by e.g., the Internet archive [77]), where large sets of web pages
are periodically collected and archived for posterity. A third use is web
data mining, where web pages are analyzed for statistical properties,
or where data analytics is performed on them (an example would be
Attributor [7], a company that monitors the web for copyright and
trademark infringements). Finally, web monitoring services allow their
clients to submit standing queries, or triggers, and they continuously
crawl the web and notify clients of pages that match those queries (an
example would be GigaAlert [64]).
The raison d’ˆetre for web crawlers lies in the fact that the web is
not a centrally managed repository of information, but rather consists
176
177
of hundreds of millions of independent web content providers, each one
providing their own services, and many competing with one another.
In other words, the web can be viewed as a federated information repository,
held together by a set of agreed-upon protocols and data formats,
such as the Transmission Control Protocol (TCP), the Domain Name
Service (DNS), the Hypertext Transfer Protocol (HTTP), the Hypertext
Markup Language (HTML) and the robots exclusion protocol. So,
content aggregators (such as search engines or web data miners) have
two choices: They can either adopt a pull model where they will proactively
scour the web for new or updated information, or they could
try to establish a convention and a set of protocols enabling content
providers to push content of interest to the aggregators. Indeed, the
Harvest system [24], one of the earliest search services, adopted such
a push model. However, this approach did not succeed, and virtually
all content aggregators adopted the pull approach, with a few provisos
to allow content providers to exclude all or part of their content
from being crawled (the robots exclusion protocol) and to provide hints
about their content, its importance and its rate of change (the Sitemaps
protocol [110]).
There are several reasons why the push model did not become the
primary means of acquiring content for search engines and other content
aggregators: The fact that web servers are highly autonomous means
that the barrier of entry to becoming a content provider is quite low,
and the fact that the web protocols were at least initially extremely
simple lowered the barrier even further — in fact, this simplicity is
viewed by many as the reason why the web succeeded where earlier
hypertext systems had failed. Adding push protocols would have complicated
the set of web protocols and thus raised the barrier of entry for
content providers, while the pull model does not require any extra protocols.
By the same token, the pull model lowers the barrier of entry for
content aggregators as well: Launching a crawler does not require any
a priori buy-in from content providers, and indeed there are over 1,500
operating crawlers [47], extending far beyond the systems employed by
the big search engines. Finally, the push model requires a trust relationship
between content provider and content aggregator, something that
is not given on the web at large — indeed, the relationship between
178 Introduction
content providers and search engines is characterized by both mutual
dependence and adversarial dynamics (see Section 6)

ผลลัพธ์ (ไทย) 1:

ตระเวนเว็บ (เรียกว่าเป็นหุ่นยนต์หรือแมงมุม) เป็นระบบสำหรับการดาวน์โหลดจำนวนมากของหน้าเว็บ ค้นหาเว็บที่ใช้สำหรับความหลากหลายของวัตถุประสงค์ ชัดเจนที่สุด เป็นส่วนประกอบหลักของอย่างใดอย่างหนึ่งดัชนีเครื่องมือค้นหาเว็บ ระบบที่ประกอบคอร์ปัสของเว็บเพจพวกเขา และอนุญาตให้ผู้ใช้สามารถออกแบบสอบถามกับดัชนี และค้นหาเว็บหน้าที่ตรงกับแบบสอบถาม การใช้ที่เกี่ยวข้องเป็นการถาวร (บริการโดยเช่น ถาวรเน็ต [77]), ที่ชุดใหญ่ของหน้าเว็บรวบรวม และเก็บไว้เป็นระยะ ๆ ใช้สามเป็นเว็บการทำเหมืองข้อมูล ที่หน้าเว็บจะถูกวิเคราะห์หาสถิติหรือจะดำเนินการวิเคราะห์ข้อมูลนั้น (ตัวอย่างจะเป็นAttributor [7] บริษัทที่ตรวจสอบจากเว็บลิขสิทธิ์ และการละเมิดเครื่องหมายการค้า) ในที่สุด ให้บริการตรวจสอบเว็บของพวกเขาไคลเอนต์ส่งยืนแบบสอบ ถาม หรือทริกเกอร์ และพวกเขาอย่างต่อเนื่องตระเวนเว็บ และแจ้งให้ทราบไคลเอนต์ของหน้าเว็บที่ตรงกับที่ถาม (การตัวอย่างจะเป็น GigaAlert [64])Raison d'ˆetre สำหรับค้นหาเว็บที่อยู่ในความจริงที่เว็บไม่มีการจัดการจากส่วนกลางคลังข้อมูล แต่แทนที่จะ ประกอบด้วย176177หลายร้อยล้านเว็บอิสระเนื้อหาผู้ให้บริการ แต่ละคนให้บริการตนเอง และแข่งขันกับคนอื่นมากมายในคำอื่น ๆ สามารถดูเว็บเก็บข้อมูลที่ติดต่อกับภายนอกจัดขึ้นร่วมกัน โดยชุดของรูปแบบข้อมูล และยอมรับกับโปรโตคอเช่นการรับส่งควบคุมโพรโทคอล (TCP), ชื่อโดเมนบริการ (DNS) Hypertext ความถ่ายโอนโพรโทคอล (HTTP), Hypertextภาษามาร์กอัป (HTML) และโพรโทคอลยกเว้นหุ่นยนต์ ดังนั้นมีผู้รวบรวมเนื้อหา (เช่นโปรแกรมค้นหาหรือคนงานเหมืองข้อมูลเว็บ)ตัวเลือกที่สอง: พวกเขาจะสามารถนำแบบเลื่อนที่จะวางกัดเซาะเว็บใหม่ หรือปรับปรุงข้อมูล หรือพวกเขาสามารถพยายามที่จะสร้างแบบแผนและชุดของโพรโทคอในการเปิดใช้งานเนื้อหาผู้ให้บริการผลักดันเนื้อหาน่าสนใจเพื่อการจำหน่าย จริง การนำระบบเก็บเกี่ยว [24], บริการค้นหาเร็วที่สุด อย่างใดอย่างหนึ่งเช่นแบบผลัก อย่างไรก็ตาม วิธีการนี้ไม่เป็นผลสำเร็จ และแทบผู้รวบรวมเนื้อหาทั้งหมดใช้วิธีการดึง มีกี่ provisosเพื่อให้ผู้ให้บริการเนื้อหาทั้งหมดหรือส่วนหนึ่งของการการตระเวน (ตัวหุ่นยนต์แยกโพรโทคอล) และการให้คำแนะนำเกี่ยวกับเนื้อหา ความสำคัญ และอัตราการเปลี่ยนแปลง (ตัวก่อน ๆโพรโทคอล [110])มีหลายเหตุผลที่ทำไมจึงไม่เป็นแบบกดงานหลักของการค้นหาเนื้อหาของเครื่องมือค้นหาและเนื้อหาอื่น ๆจำหน่าย: ความจริงที่ว่าเว็บเซิร์ฟเวอร์เป็นอิสระสูงว่า อุปสรรคของการเป็น ผู้ให้บริการเนื้อหารายการมีค่อนข้างน้อยและความจริงที่โพรโทคอลเว็บน้อยมากในตอนแรกการลดอุปสรรคยิ่ง — ในความเป็นจริง มีความเรียบง่ายนี้ดูเป็นเหตุผลทำไมเว็บสำเร็จก่อนหน้านี้ระบบข้อความหลายมิติมีล้มเหลว เพิ่มโพรโทคอกดจะมีความซับซ้อนการตั้งค่าของเว็บโพรโทคอล และจึง ยกอุปสรรคของรายการสำหรับผู้ให้บริการ เนื้อหาในขณะที่ดึงรูปแบบไม่ต้องใช้โพรโทคอใด ๆ เพิ่มเติมโดย token เดียวกัน รุ่นเลื่อนลดอุปสรรคของรายการสำหรับเนื้อหารวบดี: เปิดตีนตะขาบที่ไม่ต้องการแรกสุด ในการซื้อจากผู้ให้บริการเนื้อหา และแน่นอนมีกว่า 1,500ค้นหาขยายไกลเกินระบบการจ้างงานโดยปฏิบัติงาน [47],เครื่องมือค้นหาที่ใหญ่ขึ้น ในที่สุด แบบดันต้องใช้ความสัมพันธ์ความน่าเชื่อถือระหว่างผู้ให้บริการเนื้อหาและรวบรวมเนื้อหา สิ่งที่ไม่รับเว็บมีขนาดใหญ่ — แน่นอน ความสัมพันธ์ระหว่างแนะนำที่ 178ผู้ให้บริการเนื้อหา และเครื่องมือค้นหาเป็นลักษณะรวมทั้งพึ่งพาอาศัยกันและการ adversarial (ดูข้อ 6)

ผลลัพธ์ (ไทย) 2:

โปรแกรมรวบรวมข้อมูลเว็บ (ยังเป็นที่รู้จักกันเป็นหุ่นยนต์หรือแมงมุม) เป็นระบบสำหรับการ
ดาวน์โหลดเป็นกลุ่มของหน้าเว็บ ซอฟต์แวร์รวบรวมข้อมูลเว็บที่ใช้สำหรับความหลากหลายของ
วัตถุประสงค์ เด่นที่สุดพวกเขาเป็นหนึ่งในองค์ประกอบหลักของ
เครื่องมือค้นหาเว็บระบบที่รวบรวมคลังข้อมูลของหน้าเว็บ, ดัชนี
พวกเขาและช่วยให้ผู้ใช้ในการออกคำสั่งกับดัชนีและหาเว็บ
หน้าเว็บที่ตรงแบบสอบถาม การใช้งานที่เกี่ยวข้องกับการจัดเก็บเว็บ (บริการ
จัดไว้ให้โดยเช่นเก็บอินเทอร์เน็ต [77]) ซึ่งชุดใหญ่ของหน้าเว็บ
จะถูกเก็บรวบรวมและเก็บเป็นระยะ ๆ สำหรับลูกหลาน การใช้งานที่สามคือเว็บ
การทำเหมืองข้อมูลที่หน้าเว็บที่มีการวิเคราะห์คุณสมบัติทางสถิติ
หรือในกรณีที่การวิเคราะห์ข้อมูลจะดำเนินการกับพวกเขา (ตัวอย่างจะ
Attributor [7] บริษัท ที่ตรวจสอบเว็บสำหรับลิขสิทธิ์และ
เครื่องหมายการค้าละเมิด) สุดท้ายให้บริการตรวจสอบเว็บของพวกเขาช่วยให้
ลูกค้าที่จะส่งคำสั่งยืนหรือทริกเกอร์และพวกเขาอย่างต่อเนื่อง
รวบรวมข้อมูลเว็บและแจ้งให้ลูกค้าของหน้าเว็บที่ตรงกับคำสั่งเหล่านั้น (เป็น
ตัวอย่างจะเป็น GigaAlert [64]).
เหตุผลเลยนะêtreสำหรับโปรแกรมรวบรวมข้อมูลเว็บ อยู่ในความจริงที่ว่าเว็บที่
ไม่ได้เป็นพื้นที่เก็บข้อมูลการจัดการจากส่วนกลางของข้อมูล แต่ประกอบด้วย
176
177
หลายร้อยล้านของผู้ให้บริการเนื้อหาเว็บอิสระแต่ละคน
การให้บริการของตัวเองและอีกหลายการแข่งขันกับคนอื่น.
ในคำอื่น ๆ เว็บสามารถดูเป็นที่เก็บข้อมูลส่วนกลาง
จัดขึ้นร่วมกันโดยชุดของตามที่ตกลงโปรโตคอลและรูปแบบข้อมูล
เช่น Control Protocol เกียร์ (TCP) ชื่อโดเมน
บริการ (DNS) ที่ Hypertext Transfer Protocol (HTTP) Hypertext
Markup Language (HTML) และโพรโทคอโรบอต ดังนั้น
รวบรวมเนื้อหา (เช่นเครื่องมือค้นหาหรือคนงานเหมืองข้อมูลเว็บ) มี
สองทางเลือก: พวกเขาสามารถนำมาใช้รูปแบบการดึงที่พวกเขาในเชิงรุกจะ
กลั้วเว็บสำหรับข้อมูลใหม่หรือปรับปรุงหรือพวกเขาอาจ
พยายามที่จะสร้างการประชุมและชุดของ โปรโตคอลการเปิดใช้งานเนื้อหาที่
ผู้ให้บริการจะผลักดันเนื้อหาที่น่าสนใจให้รวบรวม อันที่จริง
ระบบการเก็บ [24] ซึ่งเป็นหนึ่งในบริการค้นหาที่เก่าแก่ที่สุดนำมาใช้เช่น
รูปแบบการผลักดัน แต่วิธีนี้ไม่ประสบความสำเร็จและแทบ
รวบรวมเนื้อหาทั้งหมดที่นำมาใช้วิธีการดึงมีไม่กี่ข้อแม้
ที่จะอนุญาตให้ผู้ให้บริการเนื้อหาที่จะไม่รวมทั้งหมดหรือบางส่วนของเนื้อหาของพวกเขา
จากการรวบรวมข้อมูล (หุ่นยนต์โปรโตคอลการยกเว้น) และเพื่อให้คำแนะนำ
เกี่ยวกับเนื้อหาของพวกเขา ความสำคัญและอัตราการเปลี่ยนแปลงของมัน (แผนผังไซต์
โปรโตคอล [110]).
มีเหตุผลหลายประการรูปแบบการผลักดันไม่ได้กลายเป็น
วิธีการหลักของการแสวงหาเนื้อหาสำหรับเครื่องมือค้นหาและเนื้อหาอื่น ๆ ที่
รวบรวม: ความจริงที่ว่าเว็บเซิร์ฟเวอร์เป็นของตนเองอย่างมาก หมายความ
ว่าอุปสรรคของการเข้าสู่การเป็นผู้ให้บริการเนื้อหาค่อนข้างต่ำ
และความจริงที่ว่าโปรโตคอลเว็บอย่างน้อยแรกมาก
ง่ายปรับลดอุปสรรคให้ดียิ่งขึ้น - ในความเป็นจริงความเรียบง่ายนี้จะ
ดูได้โดยมากเป็นเหตุผลที่ว่าทำไมเว็บประสบความสำเร็จ ที่ก่อนหน้านี้
ระบบไฮเปอร์เท็กซ์ล้มเหลว การเพิ่มโปรโตคอลการผลักดันจะมีความซับซ้อน
ชุดของโปรโตคอลเว็บและจึงยกอุปสรรคของรายการสำหรับ
ผู้ให้บริการเนื้อหาขณะที่รูปแบบการดึงไม่ต้องใช้โปรโตคอลพิเศษใด ๆ .
ในทำนองเดียวกันรูปแบบการดึงลดอุปสรรคของรายการสำหรับ
รวบรวมเนื้อหา ดี: เปิดตัวซอฟต์แวร์รวบรวมข้อมูลไม่จำเป็นต้องใด ๆ
เบื้องต้นในการซื้อจากผู้ให้บริการเนื้อหาและแน่นอนมีกว่า 1,500
โปรแกรมรวบรวมข้อมูลการดำเนินงาน [47] ขยายไกลเกินกว่าระบบการจ้างงานโดย
เครื่องมือค้นหาใหญ่ สุดท้ายรูปแบบการผลักดันต้องมีความไว้วางใจ
ระหว่างผู้ให้บริการเนื้อหาและรวบรวมเนื้อหาบางอย่างที่
ไม่ได้รับบนเว็บที่มีขนาดใหญ่จริง ๆ - ความสัมพันธ์ระหว่าง
178 บทนำ
ผู้ให้บริการเนื้อหาและเครื่องมือค้นหาเป็นลักษณะโดยทั้งสองร่วมกัน
พึ่งพาอาศัยกันและการเปลี่ยนแปลงความขัดแย้ง (ดู มาตรา 6)

ผลลัพธ์ (ไทย) 3:

เป็นเว็บ ( ที่รู้จักกันเป็นหุ่นยนต์หรือแมงมุม ) เป็นระบบสำหรับดาวน์โหลดกลุ่มของหน้าเว็บ โปรแกรมรวบรวมข้อมูลเว็บที่ใช้สำหรับความหลากหลายของวัตถุประสงค์ เด่นที่สุด พวกเขาเป็นหนึ่งในองค์ประกอบหลักของเครื่องมือค้นหาเว็บ , ระบบที่รวบรวมข้อมูลดัชนีของหน้าเว็บพวกเขาและให้ผู้ใช้ปัญหาข้อสงสัยกับดัชนีและค้นหาเว็บหน้าเว็บที่ตรงกับแบบสอบถาม ที่เกี่ยวข้องกับการใช้บริการเว็บจัดเก็บข้อมูล ( คือโดยเช่นอินเทอร์เน็ตเอกซ์พลอเรอร์ [ 77 ] ) ที่ชุดใหญ่ของหน้าเว็บอยู่เป็นระยะ ๆ รวบรวมและจัดเก็บเพื่อลูกหลาน ใช้ 3 เว็บการทําเหมืองข้อมูลที่หน้าเว็บจะวิเคราะห์คุณสมบัติทางสถิติหรือการวิเคราะห์ข้อมูลจะดำเนินการกับพวกเขา ( เช่น จะattributor [ 7 ] , บริษัทที่ตรวจสอบเว็บสำหรับลิขสิทธิ์ละเมิดเครื่องหมายการค้า ) บริการการตรวจสอบเว็บที่อนุญาตให้พวกเขาในที่สุดลูกค้าส่งมาสอบถามหรือเรียกพวกเขาอย่างต่อเนื่องรวบรวมข้อมูลเว็บและแจ้งให้ลูกค้าของหน้าเว็บที่ตรงกับข้อสงสัยเหล่านั้น (เช่น จะ gigaalert [ 64 ] )etre ˆโดยเหตุผลว่า D " สำหรับเว็บโปรแกรมอยู่ในความเป็นจริงที่เว็บไม่จัดการจากส่วนกลางที่เก็บข้อมูล แต่ประกอบด้วย176177ของหลายร้อยล้านของผู้ให้บริการเนื้อหาเว็บอิสระ แต่ละคนการให้บริการของตนเอง และมีการแข่งขันกับคนอื่นในคำอื่น ๆเว็บไซต์สามารถดูเป็นสหพันธ์ข้อมูลที่เก็บ ,ที่จัดขึ้นร่วมกันโดยชุดของตกลงโปรโตคอลและข้อมูลรูปแบบเช่น Transmission Control Protocol ( TCP ) , ชื่อโดเมนบริการ ( DNS ) , Hypertext Transfer Protocol ( HTTP ) , ไฮเปอร์เท็กซ์Markup Language ( HTML ) และหุ่นยนต์ยกเว้นโปรโตคอล ดังนั้นรวบรวมเนื้อหา ( เช่นเครื่องมือค้นหาหรือเว็บไซต์ข้อมูลเหมือง ) มีสองตัวเลือก : พวกเขาสามารถใช้ดึงแบบที่พวกเขาจะวันนี้ค้นหาเว็บข้อมูลใหม่ หรือปรับปรุง หรือพวกเขาสามารถพยายามที่จะสร้างการประชุมและชุดของโปรโตคอลที่ช่วยให้เนื้อหาผู้ให้บริการที่จะผลักดันเนื้อหาที่น่าสนใจเพื่อรวบรวม . แน่นอนระบบการเก็บเกี่ยว [ 24 ] หนึ่งเก่าบริการค้นหารับรอง เช่นดันแบบ อย่างไรก็ตาม วิธีนี้ไม่ประสบความสำเร็จ และ จวนรวบรวมเนื้อหาทั้งหมดที่ใช้ดึงเข้าหา กับบางเงื่อนไขเพื่อช่วยให้ผู้ให้บริการเนื้อหาเพื่อแยกทั้งหมดหรือบางส่วนของเนื้อหาของพวกเขาจากการรวบรวมข้อมูล ( หุ่นยนต์การยกเว้น Protocol ) และให้คําแนะนําเกี่ยวกับเนื้อหาของพวกเขา ความสำคัญและอัตราของการเปลี่ยนแปลง ( sitemapsพิธีสาร [ 110 ] )มีสาเหตุหลายประการที่ผลักดันรูปแบบไม่ได้กลายเป็นหมายถึงหลักของการรับเนื้อหาสำหรับเครื่องมือค้นหาและเนื้อหาอื่น ๆรวบรวม : ความจริงที่เว็บเซิร์ฟเวอร์จะหมายถึงอิสระสูงว่าอุปสรรคของการเข้าสู่การเป็นผู้ให้บริการเนื้อหาจะต่ำมากและความจริงที่ว่าเว็บโปรโตคอล ( อย่างน้อยแรกมากง่ายลดอุปสรรคแม้แต่เพิ่มเติม - ในความเป็นจริงที่เรียบง่ายนี้ดูโดยมากเป็นเหตุผลที่เว็บประสบความสำเร็จ ซึ่งก่อนหน้านี้ระบบไฮเปอร์เท็กซ์ มีล้มเหลว เพิ่มระบบดันจะซับซ้อนชุดของเว็บโปรโตคอลและเพิ่มขึ้นจึงเป็นอุปสรรคของรายการสำหรับผู้ให้บริการเนื้อหาในขณะที่ดึงแบบไม่ต้องเสริมใด ๆโปรโตคอลโดย token เดียวกัน ดึงแบบลดอุปสรรคของรายการสำหรับเนื้อหารวบรวมเช่นกัน : เปิดตัวไต่ไม่ต้องใด ๆระหว่างซื้อจากผู้ให้บริการเนื้อหา และแน่นอนมีมากกว่า 1500ปฏิบัติการโปรแกรม [ 47 ] ขยายไกลเกินกว่าระบบที่ใช้โดยเครื่องมือค้นหาใหญ่ สุดท้าย ดันแบบต้องเชื่อความสัมพันธ์ระหว่างผู้ให้บริการเนื้อหาและเนื้อหาที่รวบรวม , บางอย่างไม่ระบุบนเว็บที่ใหญ่จริงๆ ความสัมพันธ์ระหว่างผมแนะนำผู้ให้บริการเนื้อหา และ เครื่องมือค้นหาเป็นลักษณะทั้งสองร่วมกันการพึ่งพาและพลวัตที่ขัดแย้ง ( ดูมาตรา 6 )