We study the problem of mining the informative structure of a news Web site that consists of thousands of hyperlinked documents. We define the informative structure of a news Web site as a set of index pages (or referred to as TOC, i.e., table of contents, pages) and a set of article pages linked by these TOC pages. Based on the Hyperlink Induced Topics Search (HITS) algorithm, we propose an entropy-based analysis (LAMIS) mechanism for analyzing the entropy of anchor texts and links to eliminate the redundancy of the hyperlinked structure so that the complex structure of a Web site can be distilled. However, to increase the value and the accessibility of pages, most of the content sites tend to publish their pages with intrasite redundant information, such as navigation panels, advertisements, copy announcements, etc. To further eliminate such redundancy, we propose another mechanism, called InfoDiscoverer, which applies the distilled structure to identify sets of article pages. InfoDiscoverer also employs the entropy information to analyze the information measures of article sets and to extract informative content blocks from these sets. Our result is useful for search engines, information agents, and crawlers to index, extract, and navigate significant information from a Web site. Experiments on several real news Web sites show that the precision and the recall of our approaches are much superior to those obtained by conventional methods in mining the informative structures of news Web sites. On the average, the augmented LAMIS leads to prominent performance improvement and increases the precision by a factor ranging from 122 to 257 percent when the desired recall falls between 0.5 and 1. In comparison with manual heuristics, the precision and the recall of InfoDiscoverer are greater than 0.956.
เราศึกษาปัญหาของการทำเหมืองข้อมูลโครงสร้างของข่าวเว็บไซต์ที่ประกอบด้วยหลายพันของเชื่อมโยงหลายมิติเอกสาร . เรากำหนดข้อมูลโครงสร้างของข่าวเว็บไซต์เป็นชุดของหน้า ( หรือเรียกว่า toc คือ สารบัญ หน้า ) และชุดของหน้าเว็บที่เชื่อมโยงจากหน้าบทความข้อมูลเหล่านี้ ขึ้นอยู่กับการเชื่อมโยงหลายมิติการค้นหาหัวข้อ ( ฮิต ) ขั้นตอนวิธีเราเสนอเอนโทรปี ( lamis ) การวิเคราะห์กลไกและเอนโทรปีของข้อความจุดยึดและการเชื่อมโยงเพื่อขจัดความซ้ำซ้อนของการเชื่อมโครงสร้างที่ซับซ้อนของโครงสร้างเว็บไซต์สามารถกลั่น อย่างไรก็ตาม เพื่อเพิ่มมูลค่าและการเข้าถึงหน้า มากที่สุดของเว็บไซต์เนื้อหามีแนวโน้มที่จะเผยแพร่หน้าเว็บของพวกเขาด้วยข้อมูลที่ซ้ำซ้อน intrasite ,เช่นแผงนำทางโฆษณาสำเนาประกาศ ฯลฯ เพื่อขจัดความซ้ำซ้อนดังกล่าวเพิ่มเติม เราเสนอกลไกอื่นเรียกว่า infodiscoverer ซึ่งใช้โครงสร้างกลั่นเพื่อระบุชุดหน้าบทความ infodiscoverer ยังใช้ข้อมูลเพื่อวิเคราะห์ข้อมูลการวัดเอนโทรปีของชุดบทความและบล็อกเนื้อหาข้อมูลที่แยกจากชุดเหล่านี้ผลของเราจะเป็นประโยชน์สำหรับเครื่องมือค้นหา , เจ้าหน้าที่ข้อมูลและโปรแกรมตรวจสอบดัชนี , สารสกัด , และดูข้อมูลสำคัญจากเว็บไซต์ การทดลองในเว็บไซต์ข่าวหลายจริงแสดงให้เห็นว่าความแม่นยํา และเรียกแนวทางของเราเหนือกว่ามากที่ได้โดยวิธีที่นิยมใช้ในเหมืองแร่โครงสร้างอย่างละเอียดของเว็บไซต์ข่าว โดยเฉลี่ย ,เติม lamis นำไปสู่การปรับปรุงประสิทธิภาพที่โดดเด่นและเพิ่มความแม่นยำโดยปัจจัยตั้งแต่ 122 ถึง 257 เปอร์เซ็นต์เมื่อต้องการเรียกคืนอยู่ระหว่าง 0.5 และ 1 ในการเปรียบเทียบกับคู่มือการวิเคราะห์พฤติกรรม , ความแม่นยำและจำ infodiscoverer มากกว่า 0.956 .
การแปล กรุณารอสักครู่..
