The rapid and extensive pervasion o

The rapid and extensive pervasion of information through the web has enhanced the
diffusion of a huge amount of unstructured natural language textual resources. A great
interest has arisen in the last decade for discovering, accessing and sharing such a vast
source of knowledge. For this reason, processing very large data volumes in a reasonable
time frame is becoming a major challenge and a crucial requirement for many commercial
and research fields. Distributed systems, computer clusters and parallel computing
paradigms have been increasingly applied in the recent years, since they introduced
significant improvements for computing performance in data-intensive contexts, such as
Big Data mining and analysis. Natural Language Processing, and particularly the tasks of
text annotation and key feature extraction, is an application area with high computational
requirements; therefore, these tasks can significantly benefit of parallel architectures. This
paper presents a distributed framework for crawling web documents and running Natural
Language Processing tasks in a parallel fashion. The system is based on the Apache
Hadoop ecosystem and its parallel programming paradigm, called MapReduce. In the
specific, we implemented a MapReduce adaptation of a GATE application and framework
(a widely used open source tool for text engineering and NLP). A validation is also offered
in using the solution for extracting keywords and keyphrase from web documents in a
multi-node Hadoop cluster. Evaluation of performance scalability has been conducted
against a real corpus of web pages and documents.

ผลลัพธ์ (ไทย) 1:

Pervasion อย่างรวดเร็ว และกว้างขวางของข้อมูลผ่านทางเว็บได้เพิ่มแบบแพร่ของจำนวนมากของทรัพยากรจะไม่มีโครงสร้างภาษา ดีเกิดสนใจในทศวรรษสำหรับค้นหา เข้าถึง และร่วมกันดังกล่าวมีมากมายแหล่งที่มาของความรู้ ด้วยเหตุนี้ ประมวลผลการไดรฟ์ข้อมูลขนาดใหญ่มากในความสมเหตุสมผลกรอบเวลาเป็น ความท้าทายที่สำคัญและความสำคัญการค้ามากมายและสาขาวิจัย ระบบแบบกระจาย คลัสเตอร์คอมพิวเตอร์ และคอมพิวเตอร์แบบขนานparadigms ได้มากขึ้นใช้ในปีล่าสุด เนื่องจากพวกเขาแนะนำปรับปรุงที่สำคัญสำหรับการคำนวณประสิทธิภาพในบริบทข้อมูลมาก เช่นการทำเหมืองข้อมูลขนาดใหญ่และการวิเคราะห์ การประมวลผลภาษาธรรมชาติ และโดยเฉพาะอย่างยิ่งงานของข้อความคำอธิบายและคีย์คุณลักษณะแยก เป็นพื้นที่แอพพลิเคชัน มีสูงคำนวณความต้องการ ดังนั้น งานเหล่านี้สามารถได้รับประโยชน์อย่างมีนัยสำคัญของสถาปัตยกรรมแบบขนาน นี้กระดาษนำเสนอกรอบกระจาย การตระเวนเอกสารเว็บทำธรรมชาติภาษาที่ดำเนินงานในแบบขนาน Apache ที่ใช้ระบบระบบนิเวศอย่างไร Hadoop และกระบวนทัศน์การเขียนโปรแกรมแบบขนาน เรียก MapReduce ในเฉพาะ เรานำมาใช้ปรับ MapReduce ใช้ประตูและกรอบ(มาเปิดที่ใช้กันอย่างแพร่หลายเครื่องมือวิศวกรรมข้อความและ NLP) นอกจากนี้ยังมีการตรวจสอบในการใช้โซลูชั่นสำหรับการดึงข้อมูลคำสำคัญและ keyphrase จากเว็บเอกสารในการคลัสเตอร์โหนหลายอย่างไร Hadoop มีการดำเนินการประเมินประสิทธิภาพการทำงานภาระจากคอร์พัสคริที่แท้จริงของเว็บเพจและเอกสาร

ผลลัพธ์ (ไทย) 2:

pervasion
รวดเร็วและกว้างขวางของข้อมูลผ่านทางเว็บได้เพิ่มการแพร่กระจายของจำนวนมากของทรัพยากรที่เป็นข้อความภาษาธรรมชาติที่ไม่มีโครงสร้าง ยอดเยี่ยมที่น่าสนใจเกิดขึ้นในทศวรรษที่ผ่านมาสำหรับการค้นพบการเข้าถึงและการใช้งานร่วมกันเช่นกว้างใหญ่แหล่งที่มาของความรู้ ด้วยเหตุนี้การประมวลผลปริมาณข้อมูลขนาดใหญ่มากในที่เหมาะสมกรอบเวลาที่จะกลายเป็นความท้าทายที่สำคัญและความต้องการที่สำคัญสำหรับการค้าหลายเขตข้อมูลและการวิจัย ระบบการกระจายกลุ่มคอมพิวเตอร์และการประมวลผลแบบขนานกระบวนทัศน์ที่มีการใช้มากขึ้นในปีที่ผ่านมาเนื่องจากพวกเขาแนะนำการปรับปรุงที่สำคัญสำหรับการทำงานในบริบทการคำนวณข้อมูลจำนวนมากเช่นการทำเหมืองข้อมูลขนาดใหญ่และการวิเคราะห์ ประมวลผลภาษาธรรมชาติและโดยเฉพาะอย่างยิ่งงานของบันทึกย่อข้อความและการสกัดคุณลักษณะที่สำคัญคือการใช้พื้นที่ที่มีการคำนวณสูงต้องการ; ดังนั้นงานเหล่านี้จะได้รับประโยชน์อย่างมีนัยสำคัญของสถาปัตยกรรมแบบขนาน นี้กระดาษที่นำเสนอกรอบการกระจายสำหรับการรวบรวมข้อมูลเอกสารเว็บและทำงานธรรมชาติงานการประมวลผลภาษาในแบบคู่ขนาน ระบบจะขึ้นอยู่กับ Apache ระบบนิเวศ Hadoop และกระบวนทัศน์การเขียนโปรแกรมแบบขนานที่เรียกว่า MapReduce ในที่เฉพาะเจาะจงที่เราดำเนินการปรับตัว MapReduce ของโปรแกรมประตูและกรอบการ (เครื่องมือเปิดแหล่งที่มาใช้กันอย่างแพร่หลายสำหรับวิศวกรรมข้อความและ NLP) การตรวจสอบนอกจากนี้ยังมีการใช้วิธีการแก้ปัญหาสำหรับการแยกคำและ keyphrase จากเอกสารเว็บในกลุ่มHadoop หลายโหนด การประเมินผลการดำเนินงานขยายขีดความสามารถได้รับการดำเนินการกับร่างกายที่แท้จริงของหน้าเว็บและเอกสาร

ผลลัพธ์ (ไทย) 3:

อย่างรวดเร็ว และกว้างขวาง การแผ่กระจายของข้อมูลผ่านเว็บ มีการปรับปรุงการแพร่กระจายของเงินขนาดใหญ่ของภาษาธรรมชาติที่ไม่มีข้อความทรัพยากร ยอดเยี่ยมดอกเบี้ยที่เกิดขึ้นในทศวรรษที่ผ่านมาสำหรับการค้นพบ , การเข้าถึงและการแบ่งปันเช่นมากแหล่งข้อมูลความรู้ ด้วยเหตุนี้ ประมวลผลปริมาณข้อมูลขนาดใหญ่มากในที่เหมาะสมกรอบเวลาที่เป็นความท้าทายหลัก และความต้องการที่สำคัญสำหรับหลายเชิงพาณิชย์และสาขาการวิจัย ระบบกระจาย กลุ่มคอมพิวเตอร์และคอมพิวเตอร์แบบขนานกระบวนทัศน์ได้รับมากขึ้นที่ใช้ในปีที่ผ่านมา เนื่องจากพวกเขาแนะนำการปรับปรุงที่สำคัญเพื่อประสิทธิภาพในการคำนวณข้อมูลเข้มบริบท เช่นการวิเคราะห์ข้อมูลและเหมืองแร่ขนาดใหญ่ การประมวลผลภาษาธรรมชาติ และโดยเฉพาะงานของหมายเหตุข้อความและการสกัดคุณลักษณะสำคัญ คือ พื้นที่การประยุกต์กับการคำนวณสูงความต้องการ ดังนั้น งานเหล่านี้อย่างมากสามารถได้รับประโยชน์ของสถาปัตยกรรมแบบขนาน นี้กระดาษแสดงการกระจายและคลานเอกสารเว็บและใช้ธรรมชาติการประมวลผลภาษางานในแบบคู่ขนาน ระบบจะขึ้นอยู่บน Apacheระบบนิเวศ Hadoop และ กระบวนทัศน์ของการเขียนโปรแกรมแบบขนานที่เรียกว่า mapreduce . ในโดยเฉพาะ เราใช้ mapreduce การปรับตัวของประตูและกรอบใบสมัคร( ใช้เปิดแหล่งที่มาของเครื่องมือสำหรับวิศวกรรมข้อความและ NLP ) การตรวจสอบยังเสนอในการใช้โซลูชั่นสำหรับการสกัดคำหลักและ keyphrase จากเอกสารเว็บในโหนดคลัสเตอร์หลาย Hadoop . การประเมินประสิทธิภาพของระบบมีวัตถุประสงค์กับข้อมูลที่แท้จริงของหน้าเว็บและเอกสาร