5.3. Combination of some language r

5.3. Combination of some language resources
Needless to say, quality and coverage of language resources for translation significantly affect search performance
of CLIR. Specifically, in the case of searches between two unrelated languages in which cognate
matching has almost no effect, e.g., Japanese and German, poor lexical coverage of the bilingual dictionary
or term list to be used could be a fatal factor leading to low performance because there is almost no means
to deal with untranslatable terms. Actually, McNamee and Mayfield (2002a) experimentally confirmed a
conjecture that retrieval performance drops with decreased lexical coverage when using the CLEF test
collection.
K. Kishida / Information Processing and Management 41 (2005) 433–455 447
A promising approach to the problem of poor lexical coverage is to merge results of translations
from multiple language resources. Xu et al. (2001) and Darwish and Oard (2003) combined three distinct
types of translation resources assuming equal weights of each resource, i.e., final translation probability
of each pair of terms was calculated as an average of three values of probability obtained from each
resource.
Jones and Lam-Adesina (2002) also explored techniques of data fusion and query combination (Belkin,
Kantor, Fox, & Shaw, 1995) for putting together different translated outputs from several MT systems. In
the case of data fusion, two document scores computed from outputs by two MT systems were simply
summed for each document. In the case of query combination, before the estimation of document scores,
a single query was formed by taking the unique terms from two outputs. The authors discuss the mathematical
characteristics of the two techniques.
5.4. Language processing issues
5.4.1. Text processing for languages other than English
Traditionally, research articles on IR in international journals have largely concentrated on searching
English documents for English queries. It seems that research findings of IR techniques for other languages
have been mainly published in the countries in which the language is spoken as the mother tongue. However,
in order to attack issues of CLIR tasks, IR researchers need to share knowledge on text processing of
various languages other than English. Thus papers on this topic have been published in international conferences
or journals, and many language resources (e.g., MRDs, stopword lists, stemmers, morphological
analyzers, etc.) for various languages have become available on the Internet.
A typical procedure for processing the text of queries and documents in each language is as follows.
(1) Tokenization of text into a set of terms
(2) Assignment of part-of-speech tag
(3) Stopword removal
(4) Lemmatization
(5) Stemming
(6) Noun phrase extraction
5.4.2. Tokenization
Complexity of text processing depends on which language is targeted. For example, as well-known in the
case of the Chinese and Japanese languages, there is no explicit boundary between words in each sentence.
Thus tokenization of text in such languages is more complicated than that of European languages.
However, it might be necessary to solve similar problems in some European languages. For example,
decomposition of compound words is significant for mono- or cross-language retrieval of German or Swedish
(Hedlund, Pirkola, & Ja¨rvelin, 2001b). Specifically, it seems that techniques for decomposing German
compound words have been explored by many researchers.
5.4.3. Stopword list
There are two methods for creating a stopword list in a new language: statistical and linguistic. The statistical
approach, taken by Buckley et al. (1998), simply does a frequency count for all words in some document
collection in that language and chooses the top n words by frequency to be the stop list. The
linguistic approach, assuming a bilingual dictionary is available, would be to translate an English stopword
list into the target language and use that list in processing the new language.
448 K. Kishida / Information Processing and Management 41 (2005) 433–455
A general guideline for creating a stopword list was given by Fox (1990), and English and French stopword
lists are available in Fox (1990) and Savoy (1999). Savoy (2003b) also described a procedure for creating
German and Italian stopword lists in line with the guidelines by Fox (1990).

ผลลัพธ์ (ไทย) 1:

5.3 การรวมทรัพยากรบางภาษาจำเป็นต้องพูด คุณภาพและความครอบคลุมของข้อมูลภาษาสำหรับแปลอย่างมีนัยสำคัญต่อผลการค้นหาปฏิบัติของ CLIR ในกรณีค้นหาระหว่างสองภาษาไม่เกี่ยวข้องใน cognate ใดโดยเฉพาะการจับคู่แทบไม่มีผล เช่น ญี่ปุ่นและเยอรมัน ความครอบคลุมเกี่ยวกับคำศัพท์ยากของพจนานุกรมสองภาษาหรือรายการคำที่ใช้อาจเป็นตัวร้ายที่นำไปสู่ประสิทธิภาพต่ำเนื่องจากมีหมายความว่าแทบไม่การจัดการกับเงื่อนไข untranslatable จริง McNamee และเมย์ฟีลด์ (2002a) experimentally ยืนยันการนึกว่า เรียกประสิทธิภาพหยด ด้วยความครอบคลุมเกี่ยวกับคำศัพท์ที่ลดลงเมื่อใช้ทดสอบ CLEFคอลเลกชันคุณ Kishida / ประมวลผลข้อมูลและการจัดการ 41 (2005) 433-455 447วิธีแนวโน้มปัญหาความครอบคลุมเกี่ยวกับคำศัพท์ที่ยากจะผสานผลลัพธ์ของการแปลจากหลายภาษาทรัพยากร สีและ al. (2001) และ Darwish และ Oard (2003) รวมสามแตกต่างกันชนิดของทรัพยากรแปลสมมติว่าเท่ากับน้ำหนักของแต่ละทรัพยากร เช่น ที่สุดท้ายแปลความน่าเป็นของแต่ละคู่ของเงื่อนไขคำนวณเป็นค่าเฉลี่ยของ 3 ค่าความน่าเป็นที่ได้รับจากแต่ละทรัพยากรโจนส์และลำ-Adesina (2002) ยังอุดมเทคนิคการผสมผสานข้อมูลและแบบสอบถามชุด (BelkinKantor สุนัขจิ้งจอก & Shaw, 1995) สำหรับวางแสดงผลแปลแตกต่างจาก MT หลายระบบร่วมกัน ในกรณีของการหลอมเหลวข้อมูล สองเอกสารคะแนนคำนวณจากเอาท์พุต โดยสอง MT ระบบก็หาผลรวมสำหรับแต่ละเอกสาร ในกรณีของแบบสอบถามชุด ก่อนการประเมินเอกสารคะแนนแบบสอบถามเดียวก่อตั้งขึ้น โดยมีเงื่อนไขเฉพาะจากการแสดงผลที่สอง ผู้เขียนอภิปรายทางคณิตศาสตร์ลักษณะของเทคนิคสอง5.4. ภาษาประมวลผลปัญหา5.4.1 การประมวลผลภาษานอกจากภาษาอังกฤษข้อความประเพณี บทความวิจัยเกี่ยวกับ IR ในวารสารนานาชาติมีมากเข้มข้นเกี่ยวกับการค้นหาเอกสารภาษาอังกฤษสำหรับการสอบถามภาษาอังกฤษ เหมือนที่วิจัยพบเทคนิค IR สำหรับภาษาอื่น ๆได้รับส่วนใหญ่เผยแพร่ในประเทศที่พูดภาษาเป็นลิ้นแม่ อย่างไรก็ตามโจมตีปัญหางาน CLIR, IR นักวิจัยต้องการความรู้ในการประมวลผลข้อความภาษาต่าง ๆ นอกเหนือจากภาษาอังกฤษ จึง ได้รับการเผยแพร่เอกสารในหัวข้อนี้ในการประชุมนานาชาติหรือสมุดรายวัน และหลายภาษาทรัพยากร (เช่น MRDs รายการ stopword, stemmers สัณฐานเครื่องวิเคราะห์ ฯลฯ) สำหรับภาษาต่าง ๆ ได้กลายเป็นพร้อมใช้งานบนอินเทอร์เน็ตขั้นตอนทั่วไปสำหรับการประมวลผลข้อความของแบบสอบถามและเอกสารในแต่ละภาษามีดังนี้(1) tokenization ของข้อความเป็นชุดของเงื่อนไข(2) กำหนดป้ายส่วนหนึ่งของคำพูด(3) กำจัดขน Stopword(4) lemmatization(5) ประเทศ(6) นามวลีสกัด5.4.2. tokenizationความซับซ้อนของการประมวลผลข้อความขึ้นอยู่กับภาษาที่มีเป้าหมาย ตัวอย่าง เป็นรู้จักในการกรณีของภาษาจีนและภาษาญี่ปุ่น มีขอบเขตไม่ชัดเจนระหว่างคำในแต่ละประโยคดัง tokenization ของข้อความในภาษาดังกล่าวมีความซับซ้อนมากขึ้นกว่าของภาษาอย่างไรก็ตาม มันอาจจำเป็นต้องแก้ปัญหาที่คล้ายกันในบางภาษา ตัวอย่างแยกส่วนประกอบของคำผสมมีความสำคัญสำหรับการเรียกโมโน หรือข้ามภาษาเยอรมัน หรือภาษาสวีเดน(เรตเฮดลันด์ Pirkola, & Ja¨rvelin, 2001b) โดยเฉพาะ มันดูเหมือนว่าเทคนิคสำหรับพืชพันธุ์เยอรมันคำผสมได้ถูกสำรวจ โดยนักวิจัยจำนวนมาก5.4.3 การ Stopword รายการมีสองวิธีสำหรับการสร้างรายการ stopword ในภาษาใหม่: สถิติ และภาษาศาสตร์ ทางสถิติที่วิธี นำโดย Buckley et al. (1998), เพียงไม่นับความถี่ของคำทั้งหมดในเอกสารคอลเลกชันในภาษานั้น และเลือกคำ n ด้านบน โดยความถี่จะ หยุดรายการ ที่วิธีภาษาศาสตร์ สมมติว่า พจนานุกรมสองภาษามี จะมีการ แปล stopword เป็นภาษาอังกฤษรายการในภาษาเป้าหมายและใช้ที่แสดงรายการในการประมวลผลภาษาใหม่Kishida คุณ 448 / ประมวลผลข้อมูลและการจัดการ 41 (2005) 433-455หลักเกณฑ์ทั่วไปสำหรับการสร้างรายการ stopword ให้ทางฟ็อกซ์ (1990), ภาษาอังกฤษ และภาษาฝรั่งเศส stopwordรายการมีในสุนัขจิ้งจอก (1990) และซาวอย (1999) ซาวอย (2003b) ยังอธิบายขั้นตอนการสร้างStopword ภาษาเยอรมัน และภาษาอิตาลีรายการตามคำแนะนำโดยฟ็อกซ์ (1990)

ผลลัพธ์ (ไทย) 2:

5.3 การรวมกันของบางแหล่งข้อมูลภาษา
จำเป็นต้องพูดที่มีคุณภาพและความครอบคลุมของทรัพยากรสำหรับการแปลภาษาส่งผลกระทบต่อประสิทธิภาพการค้นหา
ของ CLIR โดยเฉพาะในกรณีของการค้นหาระหว่างสองภาษาที่ไม่เกี่ยวข้องในการที่คล้ายคลึงกัน
จับคู่มีเกือบไม่มีผลกระทบเช่นญี่ปุ่นและเยอรมันความคุ้มครองที่ดีของคำศัพท์ในพจนานุกรมสองภาษา
หรือรายการยาวเพื่อนำมาใช้อาจจะเป็นปัจจัยที่ร้ายแรงที่นำไปสู่ประสิทธิภาพต่ำเพราะมี เป็นวิธีการที่เกือบจะไม่มี
การจัดการกับคำแปลไม่ได้ ที่จริง McNamee และ Mayfield (2002a) ได้รับการยืนยันการทดลอง
การคาดเดาผลการดำเนินงานที่ลดลงด้วยการดึงความคุ้มครองลดลงเมื่อมีการใช้คำศัพท์ทดสอบโน๊ต
คอลเลกชัน.
เค Kishida / ข้อมูลการประมวลผลและการจัดการ 41 (2005) 433-455 447
วิธีการในการแก้ไขปัญหาที่มีแนวโน้มของความคุ้มครองคำศัพท์ที่ไม่ดีคือการรวมผลของการแปล
จากแหล่งหลายภาษา Xu et al, (2001) และ Darwish และ Oard (2003) รวมสามที่แตกต่างกัน
ประเภทของทรัพยากรแปลสมมติว่าน้ำหนักที่เท่ากันของแต่ละทรัพยากรเช่นความน่าจะแปลสุดท้าย
คู่ของคำแต่ละคนถูกคำนวณเป็นค่าเฉลี่ยของสามค่าความน่าจะเป็นที่ได้รับจากแต่ละ
ทรัพยากร.
โจนส์ และลำ Adesina (2002) นอกจากนี้ยังมีการสำรวจเทคนิคของฟิวชั่นข้อมูลและแบบสอบถามรวมกัน (Belkin,
ลอย, ฟ็อกซ์และชอว์ 1995) สำหรับการวางร่วมกันแปลผลที่แตกต่างจากหลายระบบมอนแทนา ใน
กรณีของฟิวชั่นข้อมูลที่สองคะแนนเอกสารคำนวณจากผลโดยทั้งสองระบบมอนแทนาถูกเพียง
สรุปสำหรับแต่ละเอกสาร ในกรณีของการรวมกันแบบสอบถามก่อนการประมาณค่าของคะแนนเอกสาร
คำเดียวที่ถูกสร้างขึ้นโดยการใช้คำที่ไม่ซ้ำกันจากสองออก ผู้เขียนหารือเกี่ยวกับคณิตศาสตร์
ลักษณะของทั้งสองเทคนิค.
5.4 ปัญหาการประมวลผลภาษา
5.4.1 การประมวลผลข้อความภาษาอื่นที่ไม่ใช่ภาษาอังกฤษ
ตามเนื้อผ้าบทความวิจัยเกี่ยวกับ IR ในวารสารระดับนานาชาติมีความเข้มข้นส่วนใหญ่ในการค้นหา
เอกสารภาษาอังกฤษสำหรับการค้นหาภาษาอังกฤษ ดูเหมือนว่าผลการวิจัยของเทคนิค IR สำหรับภาษาอื่น ๆ
ได้รับการตีพิมพ์ส่วนใหญ่ในประเทศซึ่งในภาษาเป็นภาษาพูดเป็นภาษาแม่ อย่างไรก็ตาม
เพื่อโจมตีปัญหาของงาน CLIR นักวิจัย IR จำเป็นต้องใช้ความรู้เกี่ยวกับการประมวลผลข้อความของ
ภาษาอื่น ๆ ที่ไม่ใช่ภาษาอังกฤษ ดังนั้นเอกสารเกี่ยวกับเรื่องนี้ได้รับการเผยแพร่ในการประชุมระหว่างประเทศ
หรือวารสารและทรัพยากรหลายภาษา (เช่น MRDs รายการ stopword, stemmers ก้าน
วิเคราะห์อื่น ๆ ) สำหรับภาษาต่างๆได้กลายเป็นที่มีอยู่บนอินเทอร์เน็ต.
ขั้นตอนโดยทั่วไปสำหรับการประมวลผล ข้อความของคำสั่งและเอกสารในแต่ละภาษามีดังนี้.
(1) Tokenization ของข้อความเป็นชุดของคำ
(2) การกำหนดส่วนหนึ่งของคำพูดของแท็ก
(3) การกำจัด Stopword
(4) Lemmatization
(5) กั้น
(6) สกัดนามวลี
5.4.2 tokenization
ความซับซ้อนของการประมวลผลข้อความขึ้นอยู่กับการกำหนดเป้าหมายภาษา ยกตัวอย่างเช่นเป็นที่รู้จักกันดีใน
กรณีของภาษาจีนและญี่ปุ่นไม่มีขอบเขตที่ชัดเจนระหว่างคำในแต่ละประโยค.
ดังนั้น tokenization ของข้อความในภาษาดังกล่าวเป็นความซับซ้อนมากขึ้นกว่าที่ของภาษายุโรป.
แต่ก็อาจจะจำเป็น ในการแก้ปัญหาที่คล้ายกันในบางภาษายุโรป ยกตัวอย่างเช่น
การสลายตัวของสารที่เป็นคำที่สำคัญสำหรับขาวดำหรือดึงข้ามภาษาของเยอรมันหรือสวีเดน
(Hedlund, Pirkola และJa¨rvelin, 2001b) โดยเฉพาะมันดูเหมือนว่าเทคนิคในการย่อยสลายเยอรมัน
คำประสมได้รับการสำรวจโดยนักวิจัยหลายคน.
5.4.3 รายการ Stopword
มีสองวิธีในการสร้างรายการ stopword ในภาษาใหม่: สถิติและภาษา สถิติ
วิธีการดำเนินการโดยเอตอัลบัคลี่ย์ (1998) ก็ไม่นับความถี่คำทั้งหมดในเอกสารบาง
คอลเลกชันในภาษาที่และเลือกคำ n ด้านบนตามความถี่ที่จะหยุดรายการ
วิธีการภาษาสมมติพจนานุกรมสองภาษาที่มีอยู่จะแปลภาษาอังกฤษ stopword
รายการเป็นภาษาเป้าหมายและใช้รายการที่ในการประมวลผลภาษาใหม่.
448 เค Kishida / ข้อมูลการประมวลผลและการจัดการ 41 (2005) 433-455
แนวทางทั่วไปสำหรับการสร้างรายการ stopword ได้รับโดยฟ็อกซ์ (1990) และภาษาอังกฤษและภาษาฝรั่งเศส stopword
รายการที่มีอยู่ในฟ็อกซ์ (1990) และซาวอย (1999) ซาวอย (2003b) นอกจากนี้ยังอธิบายขั้นตอนในการสร้าง
เยอรมันและอิตาลีรายการ stopword สอดคล้องกับแนวทางโดยฟ็อกซ์ (1990)

ผลลัพธ์ (ไทย) 3:

5.3 . การรวมกันของทรัพยากรบางภาษา
อยากจะบอกว่า คุณภาพและความครอบคลุมของแหล่งข้อมูลภาษาสำหรับการแปล มีผลต่อประสิทธิภาพของการค้นหา
clir . โดยเฉพาะในกรณีของการค้นหาระหว่างสองภาษา ซึ่งไม่เกี่ยวข้องกับเชื้อสาย
จับคู่ได้เกือบจะไม่มีผลใด ๆ เช่น ญี่ปุ่น และเยอรมัน ครอบคลุมคำศัพท์ที่น่าสงสารของ
พจนานุกรมสองภาษาหรือรายการคำที่ใช้อาจเป็นปัจจัยนำไปสู่ประสิทธิภาพร้ายแรงน้อย เพราะแทบไม่มีความหมาย
เพื่อจัดการกับเงื่อนไข untranslatable . จริงๆ แล้ว แม็กเนอมี่เมย์ฟิลด์ ( และ 2002a ) เพื่อยืนยันการดึงประสิทธิภาพ
หยดด้วยการคุ้มครองลดลงเมื่อใช้ Clef ทดสอบ

K . คอลเลกชัน คิชิดะ / การประมวลผลข้อมูลและการจัดการ 41 ( 2005 ) 433 ) 555
โพสต์วิธีการมีแนวโน้มที่จะปัญหาครอบคลุมคำศัพท์ที่ยากจนที่จะผสานผลลัพธ์ของการแปล
จากทรัพยากรภาษาหลาย Xu et al . ( 2001 ) และ oard Darwish ( 2546 ) รวมสามที่แตกต่างกันประเภทของการแปลทรัพยากรทะลึ่ง
น้ำหนักเท่าของแต่ละทรัพยากร เช่น ความน่าจะเป็น
สุดท้ายแปลของคู่ของแต่ละด้านมีค่าเป็นค่าเฉลี่ยของทั้งสามค่าความน่าจะเป็นที่ได้จากทรัพยากรแต่ละ
.
โจนส์และลำ Akinwumi ( 2002 ) ศึกษาเทคนิคของฟิวชั่นข้อมูลและแบบสอบถามการรวมกัน ( Belkin ,
แคนเตอร์ สุนัขจิ้งจอก &ชอว์ , 1995 ) สำหรับใส่กันผลงานแปลแตกต่างจากระบบ MT หลาย ใน
กรณีฟิวชั่นข้อมูลสองเอกสารคะแนนคำนวณจากผลผลิต 2 ตันระบบเพียงแค่
สรุปสำหรับเอกสารแต่ละ ในกรณีของการรวมกัน ก่อนการประเมินคะแนนเอกสาร
คําเดียวที่ถูกสร้างขึ้นโดยรับเงื่อนไขพิเศษจากสองเอาท์พุท ผู้เขียนได้กล่าวถึงลักษณะของทั้งสองเทคนิคคณิตศาสตร์
.
5.4 . ปัญหาการประมวลผลภาษา
5.4.1 .การประมวลผลข้อความในภาษาอื่นที่ไม่ใช่ภาษาอังกฤษ
ผ้า บทความวิจัยในวารสารนานาชาติ และส่วนใหญ่เน้นการค้นหา
เอกสารภาษาอังกฤษต่างๆ ภาษาอังกฤษ ดูเหมือนว่าการศึกษาเทคนิค IR สำหรับภาษาอื่น
ได้รับส่วนใหญ่ที่ตีพิมพ์ในประเทศที่พูดภาษาเป็นภาษาแม่ . อย่างไรก็ตาม
เพื่อที่จะโจมตีประเด็นของงาน clir IR นักวิจัยต้องแบ่งปันความรู้เกี่ยวกับการประมวลผลข้อความของ
ภาษาต่าง ๆนอกจากภาษาอังกฤษ ดังนั้นบทความในหัวข้อนี้จะถูกตีพิมพ์ในการประชุมนานาชาติ
หรือวารสาร และหลายภาษาทรัพยากร ( เช่น mrds , รายการ , stopword stemmers สัณฐานวิทยา
, วิเคราะห์ , ฯลฯ ) สำหรับภาษาต่างๆได้กลายเป็นที่มีอยู่บนอินเทอร์เน็ต .
ขั้นตอนทั่วไปสำหรับการประมวลผลข้อความของแบบสอบถาม และเอกสารในแต่ละภาษามีดังนี้ .
( 1 ) tokenization ข้อความลงในชุดของเงื่อนไข
( 2 ) การกำหนดส่วนของแท็กการพูด ( 3 )

เอา stopword ( 4 ) ( 5 ) ( lemmatization

( 6 ) นามวลีการสกัด
5.4.2 . tokenization
ความซับซ้อนของการประมวลผลข้อความขึ้นอยู่กับภาษาซึ่งเป็นเป้าหมาย ตัวอย่างที่รู้จักกันดีใน
กรณี ของ จีน และญี่ปุ่น ภาษา ไม่มีขอบเขตที่ชัดเจนระหว่างคำในแต่ละประโยค
จึง tokenization ข้อความในภาษาที่ซับซ้อนมากขึ้นกว่าที่ของภาษายุโรป .
แต่มันอาจจะต้องแก้ไขปัญหาที่คล้ายกันในบางภาษาในยุโรป ตัวอย่างเช่น
การสลายตัวของสารประกอบโมโน - คําสําคัญหรือข้ามภาษาการสืบค้นหรือเยอรมันสวีเดน
( เฮดเลิ่นด์ pirkola &จาตั้ง rvelin , , , 2001b ) โดยเฉพาะ ดูเหมือนว่า เทคนิคของเยอรมัน
คำประสมได้ถูกสำรวจโดยนักวิจัยหลาย .
5.4.3 . รายชื่อ stopword
มีสองวิธีในการสร้างรายการ stopword ในภาษาใหม่ : สถิติและภาษาศาสตร์ สถิติ
วิธีการถ่ายโดย บัคลี่ย์ , et al . ( 1998 ) , เพียงแค่มีความถี่นับคำทั้งหมดในเอกสาร
คอลเลกชันในภาษานั้น และเลือกด้านบน n คำโดยความถี่ต้องรายการหยุด
ตามหลักภาษาศาสตร์ , สมมติว่าเป็นพจนานุกรมสองภาษาใช้ได้ จะแปลรายการ stopword
ภาษาอังกฤษเป็นภาษาเป้าหมาย และรายการที่ใช้ในการประมวลผลภาษาใหม่ .
448 Kคิชิดะ / การประมวลผลข้อมูลและการจัดการ 41 ( 2005 ) 433 – 455
ทั่วไปแนวทางการสร้างรายการ stopword ได้รับสุนัขจิ้งจอก ( 1990 ) และภาษาอังกฤษและภาษาฝรั่งเศสรายชื่อ stopword
มีอยู่ในสุนัขจิ้งจอก ( 1990 ) และซาวอย ( 1999 ) ซาวอย ( 2003b ) ยังอธิบายขั้นตอนการสร้าง
เยอรมันและอิตาลี stopword รายการสอดคล้องกับแนวทางโดยฟ็อกซ์ ( 1990 )