Pre-processing Text pre-processing

Pre-processing
Text pre-processing is a method in natural language processing to make the computer understand the structure or content of the text. It will allow us to make the text more readable and easy to use for later process. Text preprocessing involves processes such as stopwords removal, stemming, lemmatization and POS tagging. In this work, stopwords removal is applied to the question in order to make the text more readable for later process. Following this, each word will then be tagged using a tagger. In this research, NLTK tagger (Bird et al., 2009) is used to tag the exam questions. To illustrate the tagging process, consider the following sentence: “Outline how class ArrayList could be implemented using an array.”, The tagged output is: Outline/VB how/WRB class/NN ArrayList/NN could/MD be/VB implemented/VBN using/VBG an/DT array/NN./. The tagger will help to identify important nouns and verbs, which may be important in determining the question’s category. In addition, the sentence pattern may assist in the correct identification of the question’s category. After tagging, some rules will be applied according to question's structure. 6

ผลลัพธ์ (ไทย) 1:

ประมวลผลเบื้องต้น การประมวลผลข้อความก่อนเป็นวิธีทำให้คอมพิวเตอร์เข้าใจโครงสร้างหรือเนื้อหาของข้อความการประมวลผลภาษาธรรมชาติ มันจะช่วยให้เราสามารถทำให้ข้อความอ่านได้ และใช้งานง่ายสำหรับกระบวนการในภายหลัง ประมวลผลเบื้องต้นของข้อความที่เกี่ยวข้องกับกระบวนการเช่น stopwords เอา กำลัง lemmatization และติดป้าย POS ในงานนี้ เอา stopwords มีใช้คำถามเพื่อให้ข้อความอ่านได้ง่ายขึ้นสำหรับกระบวนการในภายหลัง ดังกล่าว แต่ละคำจะแล้วจะแท็ก tagger เป็นใช้ ในงานวิจัยนี้ NLTK tagger (นกร้อยเอ็ด al., 2009) จะใช้แท็กคำถามสอบ เพื่อแสดงการระบุป้าย พิจารณาประโยคต่อไปนี้: "เค้าว่า คลาส ArrayList สามารถดำเนินการโดยใช้อาร์เรย์", ติดแท็กเป็น: เค้า ร่าง/VB วิธี / WRB คลาส/NN ArrayList สามารถเอ็นเอ็น / MD จะ / VB ดำเนิน/VBN ใช้/VBG มี / DT array/NN./ Tagger ที่จะช่วยในการระบุความสำคัญคำนามและคำกริยา ที่อาจมีความสำคัญในการกำหนดประเภทของคำถาม นอกจากนี้ รูปประโยคอาจช่วยในรหัสถูกต้องของคำถามประเภท หลังจากติดป้าย จะใช้กฎบางอย่างตามโครงสร้างของคำถาม 6

ผลลัพธ์ (ไทย) 2:

ก่อนการประมวลผล
ข้อความก่อนการประมวลผลเป็นวิธีการในการประมวลผลภาษาธรรมชาติที่จะทำให้คอมพิวเตอร์เข้าใจโครงสร้างหรือเนื้อหาของข้อความ มันจะช่วยให้เราสามารถทำให้ข้อความอ่านง่ายขึ้นและใช้งานง่ายสำหรับกระบวนการในภายหลัง preprocessing ข้อความที่เกี่ยวข้องกับกระบวนการต่าง ๆ เช่นการกำจัด stopwords กั้น, Lemmatization และการติดแท็ POS ในงานนี้ stopwords กำจัดถูกนำไปใช้คำถามเพื่อที่จะทำให้ข้อความอ่านได้มากขึ้นสำหรับกระบวนการในภายหลัง ต่อไปนี้แต่ละคำแล้วจะได้รับการติดแท็กโดยใช้ Tagger ในงานวิจัยนี้ NLTK Tagger (นก et al., 2009) จะใช้ในการติดแท็กคำถามสอบ เพื่อแสดงให้เห็นขั้นตอนการติดแท็กให้พิจารณาประโยคต่อไปนี้: "เค้าโครงวิธีการเรียน ArrayList อาจจะมีการดำเนินการโดยใช้อาร์เรย์." เอาท์พุทที่ติดแท็กเป็นเป็น Outline / VB วิธี / WRB ชั้น / NN ArrayList / NN สามารถ / MD จะ / VB ดำเนินการ / VBN ใช้ / VBG / DT อาร์เรย์ / NN. / Tagger จะช่วยในการระบุคำนามที่สำคัญและคำกริยาซึ่งอาจจะมีความสำคัญในการกำหนดประเภทของคำถาม นอกจากนี้รูปแบบประโยคที่อาจช่วยในการระบุประเภทที่ถูกต้องของคำถามของ หลังจากที่ติดแท็ก, กฎบางอย่างจะถูกนำมาใช้ตามโครงสร้างของคำถาม 6

ผลลัพธ์ (ไทย) 3:

ก่อนการประมวลผล
ข้อความการประมวลผลคือ วิธีการประมวลผลภาษาธรรมชาติเพื่อให้คอมพิวเตอร์เข้าใจโครงสร้างหรือเนื้อหาของข้อความ มันจะช่วยให้เราเพื่อให้ข้อความอ่านได้มากขึ้นและใช้งานง่ายสำหรับกระบวนการทีหลัง การเตรียมข้อความเกี่ยวข้องกับกระบวนการเช่น stopwords กำจัดผู้ lemmatization POS , และการติดแท็ก ในงานนี้stopwords การใช้คำถามเพื่อให้ข้อความที่สามารถอ่านได้เพิ่มเติมขั้นตอนในภายหลัง ต่อไปนี้ แต่ละคำจะถูกติดแท็กใช้ Tagger . ในงานวิจัยนี้ nltk Tagger ( นก et al . , 2009 ) ใช้แท็กคำถามของการสอบครั้งนี้ เพื่อแสดงแท็กกระบวนการพิจารณาประโยคต่อไปนี้ : " เค้าว่าชั้น arraylist สามารถดำเนินการโดยใช้อาเรย์ "ที่ติดแท็ก Output : เค้าร่าง / VB / อย่างไร / nn nn WRB ชั้น arraylist / สามารถ / MD / VB ที่ใช้ / ใช้ / vbn vbg เป็น / DT เรย์ / NN . / . ซึ่งจะช่วยในการระบุความสำคัญ Tagger คำนามและกริยาซึ่งอาจจะสำคัญในการกำหนดประเภทของคำถาม นอกจากนี้ รูปแบบประโยคอาจช่วยในการระบุที่ถูกต้องของประเภทของคำถาม หลังจากการติดแท็ก ,กฎจะถูกนำมาใช้ตามโครงสร้างคำถาม . 6