Grammatical inference by trial-and-

Grammatical inference by trial-and-error[edit]
The method proposed in Section 8.7 of Duda, Hart & Stork (2001) suggests successively guessing grammar rules (productions) and testing them against positive and negative observations. The rule set is expanded so as to be able to generate each positive example, but if a given rule set also generates a negative example, it must be discarded. This particular approach can be characterized as "hypothesis testing" and bears some similarity to Mitchel's version space algorithm. The Duda, Hart & Stork (2001) text provide a simple example which nicely illustrates the process, but the feasibility of such an unguided trial-and-error approach for more substantial problems is dubious.

Grammatical inference by genetic algorithms[edit]
Grammatical induction using evolutionary algorithms is the process of evolving a representation of the grammar of a target language through some evolutionary process. Formal grammars can easily be represented as tree structures of production rules that can be subjected to evolutionary operators. Algorithms of this sort stem from the genetic programming paradigm pioneered by John Koza.[citation needed] Other early work on simple formal languages used the binary string representation of genetic algorithms, but the inherently hierarchical structure of grammars couched in the EBNF language made trees a more flexible approach.

Koza represented Lisp programs as trees. He was able to find analogues to the genetic operators within the standard set of tree operators. For example, swapping sub-trees is equivalent to the corresponding process of genetic crossover, where sub-strings of a genetic code are transplanted into an individual of the next generation. Fitness is measured by scoring the output from the functions of the Lisp code. Similar analogues between the tree structured lisp representation and the representation of grammars as trees, made the application of genetic programming techniques possible for grammar induction.

In the case of grammar induction, the transplantation of sub-trees corresponds to the swapping of production rules that enable the parsing of phrases from some language. The fitness operator for the grammar is based upon some measure of how well it performed in parsing some group of sentences from the target language. In a tree representation of a grammar, a terminal symbol of a production rule corresponds to a leaf node of the tree. Its parent nodes corresponds to a non-terminal symbol (e.g. a noun phrase or a verb phrase) in the rule set. Ultimately, the root node might correspond to a sentence non-terminal.

Grammatical inference by greedy algorithms[edit]
Like all greedy algorithms, greedy grammar inference algorithms make, in iterative manner, decisions that seem to be the best at that stage. The decisions made usually deal with things like the creation of new rules, the removal of existing rules, the choice of a rule to be applied or the merging of some existing rules. Because there are several ways to define 'the stage' and 'the best', there are also several greedy grammar inference algorithms.

These context-free grammar generating algorithms make the decision after every read symbol:

Lempel-Ziv-Welch algorithm creates a context-free grammar in a deterministic way such that it is necessary to store only the start rule of the generated grammar.
Sequitur and its modifications.
These context-free grammar generating algorithms first read the whole given symbol-sequence and then start to make decisions:

Byte pair encoding and its optimizations.

ผลลัพธ์ (ไทย) 1:

สรุปไวยากรณ์ โดยการทดลอง และการ [แก้]วิธีการนำเสนอในส่วน 8.7 ของ Duda ฮาร์ตและนกกระสา (2001) แสดงให้เห็นอย่างต่อเนื่องคาดเดากฎไวยากรณ์ (การผลิต) และการทดสอบพวกเขากับสังเกตบวก และลบ ชุดกฎถูกขยายเพื่อให้สามารถสร้างแต่ละตัวอย่างบวก แต่ถ้ากฎการกำหนดที่ตั้งยังสร้างตัวอย่างลบ มันต้องถูกละทิ้ง วิธีการเฉพาะนี้สามารถจะมีลักษณะเป็น "การทดสอบสมมติฐาน" และมีบางพื้นที่ของมิทเชลรุ่นอัลกอริทึมคล้ายคลึง Duda ฮาร์ต และนกกระสา (2001) ข้อความที่ให้ตัวอย่างง่าย ๆ ที่แสดงให้เห็นกระบวนการการดี แต่เป็นไปได้ของแนวทางดังกล่าว unguided ทดลองผิดพลาดสำหรับปัญหาที่พบมากคือน่าสงสัยสรุปไวยากรณ์ โดยขั้นตอนวิธีพันธุกรรม [แก้]เหนี่ยวนำไวยากรณ์ที่ใช้อัลกอริทึมที่วิวัฒนาการเป็นกระบวนการพัฒนาตัวแทนของไวยากรณ์ของภาษาเป้าหมายบางอย่างผ่านกระบวนวิวัฒนาการ Grammars อย่างเป็นทางการอาจแสดงในรูปโครงสร้างทรีของกฎการผลิตที่สามารถถูกบังคับให้ผู้ประกอบการที่วิวัฒนาการได้อย่างง่ายดาย อัลกอริทึมของการเรียงลำดับนี้เกิดจากกระบวนทัศน์เขียนโปรแกรมทางพันธุกรรมโดยจอห์นตรินิแดด [แก้] ทำงานอื่นก่อนในภาษาทางการที่เรียบง่ายใช้การแสดงสายอักขระแบบไบนารีของขั้นตอนวิธีพันธุกรรม แต่ทำโครงสร้างลำดับชั้นการประมาณของ grammars couched ภาษา EBNF ต้นไม้เป็นวิธีที่ยืดหยุ่นมากขึ้นตรินิแดดแสดงโปรแกรมภาษาลิสป์เป็นต้น เขาก็สามารถหา analogues เพื่อประกอบการทางพันธุกรรมในชุดมาตรฐานของผู้ประกอบการของต้นไม้ ตัวอย่างเช่น สลับต้นไม้ย่อยจะเท่ากับกระบวนการที่สอดคล้องกันของพันธุกรรมแบบไขว้ ที่สายอักขระย่อยของรหัสพันธุกรรมที่ปลูกเป็นแต่ละยุค ออกกำลังกายวัด โดยการให้คะแนนจากการทำงานของรหัสภาษาลิสป์ นิยมที่คล้ายกันระหว่างต้นไม้มีโครงสร้างแสดงภาษาลิสป์และการแสดงของ grammars เป็นต้นไม้ ได้เหนี่ยวนำไวยากรณ์สำหรับการประยุกต์ใช้เทคนิคการเขียนโปรแกรมทางพันธุกรรมในกรณีของการเหนี่ยวนำไวยากรณ์ ปลูกต้นไม้ย่อยสอดคล้องกับการเปลี่ยนกฎการผลิตที่เปิดใช้งานการแยกวิเคราะห์วลีจากภาษาบาง การดำเนินการออกกำลังกายสำหรับไวยากรณ์ขึ้นบางวัดของวิธีการที่ดีการดำเนินการในการแยกวิเคราะห์กลุ่มบางประโยคจากภาษาเป้าหมาย ในการแสดงแผนภูมิของไวยากรณ์เป็น สัญลักษณ์เทอร์มินัลของกฎการผลิตสอดคล้องกับโหนต้นไม้ ของโหนหลักสอดคล้องกับสัญลักษณ์ไม่ใช่เทอร์มินัล (เช่นวลีคำนามหรือกริยาวลี) ในชุดกฎ ในที่สุด โหนอาจตรงกับประโยคไม่ใช่เทอร์มินัลสรุปไวยากรณ์ โดยอัลกอริทึมโลภ [แก้]เช่นขั้นตอนวิธีทั้งหมดโลภ อัลกอริทึมการสรุปไวยากรณ์โลภได้ ในลักษณะซ้ำ ตัดสินใจที่ดูเหมือนจะ ดีสุดในขั้นตอนที่ การตัดสินใจมักจะจัดการกับสิ่งที่ต้องการสร้างกฎใหม่ การกำจัดของกฎที่มีอยู่ รวมกฎบางอย่างที่มีอยู่หรือเลือกที่จะใช้กฎ เนื่องจากมีหลายวิธีในการกำหนด 'เวที' และ 'สุด' มีขั้นตอนวิธีอนุมานไวยากรณ์โลภหลายอัลกอริทึมสร้างไวยากรณ์ที่ปราศจากบริบทเหล่านี้ตัดสินใจหลังจากสัญลักษณ์อ่านทุก:อัลกอริทึม Lempel-Ziv-เวลช์สร้างไวยากรณ์ปราศจากบริบทแบบ deterministic ที่จำเป็นต้องเก็บเฉพาะกฎเริ่มต้นของไวยากรณ์ที่สร้างขึ้นSequitur และการปรับเปลี่ยนอัลกอริทึมสร้างไวยากรณ์ที่ปราศจากบริบทเหล่านี้แรกอ่านลำดับสัญลักษณ์ที่กำหนดให้ทั้งหมด และจากนั้น เริ่มการตัดสินใจ:การเข้ารหัสคู่ไบต์และการเพิ่มประสิทธิภาพของ

ผลลัพธ์ (ไทย) 2:

อนุมานไวยากรณ์โดยการทดลองและข้อผิดพลาด [แก้ไข]
วิธีการที่นำเสนอในมาตรา 8.7 ของ Duda กวางและนกกระสา (2001) แสดงให้เห็นอย่างต่อเนื่องคาดเดากฎไวยากรณ์ (โปรดักชั่น) และการทดสอบพวกเขากับการสังเกตเชิงบวกและลบ ชุดกฎจะถูกขยายเพื่อที่จะสามารถที่จะสร้างตัวอย่างที่ดีในแต่ละ แต่ถ้าเป็นกฎที่ได้รับชุดนอกจากนี้ยังสร้างตัวอย่างที่ลบก็ต้องทิ้ง วิธีการนี้โดยเฉพาะอย่างยิ่งสามารถจะมีลักษณะเป็น "การทดสอบสมมติฐาน" หมีและความคล้ายคลึงกันกับรุ่นอัลกอริทึมของพื้นที่ Mitchel Duda กวางและนกกระสา (2001) ข้อความให้เป็นตัวอย่างง่ายๆซึ่งอย่างแสดงให้เห็นถึงกระบวนการ แต่ความเป็นไปได้เช่นวิธีการทดลองและข้อผิดพลาดหางเสือสำหรับปัญหามากขึ้นเป็นที่น่าสงสัย. อนุมานไวยากรณ์โดยขั้นตอนวิธีพันธุกรรม [แก้ไข] การเหนี่ยวนำไวยากรณ์ โดยใช้กลไกการวิวัฒนาการเป็นกระบวนการของการพัฒนาเป็นตัวแทนของไวยากรณ์ของภาษาเป้าหมายผ่านกระบวนการวิวัฒนาการบาง ไวยากรณ์อย่างเป็นทางการสามารถจะแสดงเป็นโครงสร้างต้นไม้ของกฎการผลิตที่สามารถยัดเยียดให้ผู้ประกอบการวิวัฒนาการ อัลกอริทึมของลำต้นแบบนี้จากกระบวนทัศน์การเขียนโปรแกรมทางพันธุกรรมที่เป็นหัวหอกโดยจอห์น Koza. [อ้างจำเป็น] ทำงานในช่วงต้นอื่น ๆ ในภาษาอย่างเป็นทางการที่เรียบง่ายใช้แทนสายไบนารีของขั้นตอนวิธีทางพันธุกรรม แต่โครงสร้างลำดับชั้นโดยเนื้อแท้ของไวยากรณ์สำนวนในภาษา EBNF ทำให้ต้นไม้ ความยืดหยุ่นมากขึ้นวิธี. Koza เป็นตัวแทนของโปรแกรมเสียงกระเพื่อมเหมือนต้นไม้ เขาก็สามารถที่จะหา analogues ไปยังผู้ประกอบการทางพันธุกรรมภายในชุดมาตรฐานของผู้ประกอบต้นไม้ ยกตัวอย่างเช่นการแลกเปลี่ยนย่อยต้นไม้เทียบเท่ากับกระบวนการที่สอดคล้องกันของครอสโอเวอร์ทางพันธุกรรมที่ย่อยสตริงของรหัสพันธุกรรมที่ปลูกถ่ายลงในแต่ละรุ่นถัดไป การออกกำลังกายเป็นวัดโดยการให้คะแนนการส่งออกจากการทำงานของรหัสเสียงกระเพื่อม analogues ที่คล้ายกันระหว่างต้นไม้ที่มีโครงสร้างเป็นตัวแทนเสียงกระเพื่อมและการเป็นตัวแทนของไวยากรณ์ต้นไม้ทำให้การประยุกต์ใช้เทคนิคการเขียนโปรแกรมทางพันธุกรรมที่เป็นไปได้สำหรับการเหนี่ยวนำไวยากรณ์. ในกรณีของการเหนี่ยวนำไวยากรณ์ปลูกย่อยต้นไม้สอดคล้องกับการแลกเปลี่ยนของกฎการผลิตที่เปิดใช้งาน แยกของวลีจากภาษาบาง ผู้ประกอบการออกกำลังกายสำหรับไวยากรณ์จะขึ้นอยู่กับวัดของวิธีการที่ดีที่จะดำเนินการในการแยกกลุ่มของประโยคจากภาษาเป้าหมายบางอย่าง ในการเป็นตัวแทนของต้นไม้ไวยากรณ์เป็นสัญลักษณ์ของการปกครองของขั้วการผลิตที่สอดคล้องกับโหนดใบของต้นไม้ โหนดแม่สอดคล้องกับสัญลักษณ์ที่ไม่ใช่ขั้ว (เช่นคำนามวลีหรือประโยควลี) ในการตั้งกฎ ในท้ายที่สุดโหนดรากอาจสอดคล้องกับประโยคที่ไม่ใช่ขั้ว. อนุมานไวยากรณ์โดยขั้นตอนวิธีโลภ [แก้ไข] ชอบทุกขั้นตอนวิธีโลภโลภขั้นตอนวิธีการอนุมานไวยากรณ์ทำซ้ำในลักษณะการตัดสินใจที่ดูเหมือนจะเป็นที่ดีที่สุดในขั้นตอนที่ การตัดสินใจทำมักจะจัดการกับสิ่งต่างๆเช่นการสร้างกฎระเบียบใหม่การกำจัดของกฎที่มีอยู่ทางเลือกของกฎที่จะนำไปใช้หรือการผสมของกฎที่มีอยู่บางส่วน เพราะมีหลายวิธีที่จะกำหนด 'เวที' และ 'ดีที่สุด' นอกจากนี้ยังมีหลายโลภขั้นตอนวิธีการไวยากรณ์การอนุมาน. ขั้นตอนวิธีการเหล่านี้บริบทฟรีไวยากรณ์การสร้างการตัดสินใจหลังจากสัญลักษณ์อ่านทุก: Lempel-Ziv-Welch ขั้นตอนวิธีการสร้างบริบท . ไวยากรณ์ฟรีในทางที่กำหนดดังกล่าวว่าเป็นสิ่งที่จำเป็นในการจัดเก็บเพียงจุดเริ่มต้นของกฎไวยากรณ์สร้าง. Sequitur และการปรับเปลี่ยนของขั้นตอนวิธีการเหล่านี้บริบทฟรีไวยากรณ์การสร้างครั้งแรกอ่านทั้งได้รับสัญลักษณ์ลำดับและจะเริ่มต้นในการตัดสินใจ: การเข้ารหัสไบต์คู่และการเพิ่มประสิทธิภาพของมัน

ผลลัพธ์ (ไทย) 3:

ไวยากรณ์การอนุมานโดยการทดลองและข้อผิดพลาด [ แก้ไข ]วิธีที่เสนอในส่วนที่สำคัญของดูดา ฮาร์ท & นกกระสา ( 2001 ) ชี้ให้เห็นกระชั้นชิดคาดเดากฎไวยากรณ์ ( การผลิต ) และทดสอบกับการสังเกตเชิงบวกและเชิงลบ กฎการตั้งค่าจะถูกขยายเพื่อให้สามารถสร้างแต่ละบวก ตัวอย่าง แต่ถ้าชุดกฎยังสร้างตัวอย่างลบ มันจึงเป็น วิธีการนี้โดยเฉพาะอย่างยิ่งสามารถจะมีลักษณะเป็น " สมมติฐาน " และมีความคล้ายคลึงกันบางอย่างเพื่อให้มิทเชล รุ่นอวกาศ ขั้นตอนวิธีการ ที่ดูดา ฮาร์ท & นกกระสา ( 2001 ) ข้อความให้ตัวอย่างง่ายๆที่แสดงให้เห็นถึงกระบวนการอย่างดี แต่ความเป็นไปได้ของโครงการดังกล่าว unguided ลองผิดลองถูกแนวทางปัญหามากกว่าเป็นที่น่าสงสัยไวยากรณ์การอนุมานโดยขั้นตอนวิธีเชิงพันธุกรรม [ แก้ไข ]การเหนี่ยวนำทางไวยากรณ์โดยใช้ขั้นตอนวิธีวิวัฒนาการเป็นกระบวนการของการพัฒนาการของไวยากรณ์ของภาษาเป้าหมาย ผ่านกระบวนการวิวัฒนาการ . ไวยากรณ์อย่างเป็นทางการสามารถแสดงเป็นโครงสร้างต้นไม้ของกฎว่าสามารถผลิตงานที่มีผู้ประกอบการ ขั้นตอนวิธีของการจัดเรียงนี้เกิดจากการโปรแกรมเชิงพันธุกรรมกระบวนทัศน์บุกเบิกโดยจอห์นโคซา . [ อ้างอิงที่จำเป็น ] งานแรกอื่น ๆในภาษาที่เป็นทางการง่ายใช้เลขฐานสองสตริงที่เป็นตัวแทนของขั้นตอนวิธีเชิงพันธุกรรม แต่โครงสร้างลำดับชั้น โดยเนื้อแท้ของไวยากรณ์สำนวนในภาษา ebnf ทำให้ต้นไม้เป็นวิธีที่ยืดหยุ่นมากขึ้นโคซาแสดงชัดโปรแกรมเป็นต้น เขาสามารถพบ analogues เพื่อผู้ประกอบการทางพันธุกรรมภายในชุดมาตรฐานของผู้ประกอบการที่ต้นไม้ ตัวอย่างเช่น การเปลี่ยนซับ ต้นไม้จะเทียบเท่ากับกระบวนการที่สอดคล้องกันของพันธุกรรม crossover ที่ย่อยสายของรหัสทางพันธุกรรมเป็นนาดำ เป็นบุคคลของรุ่นต่อไป ฟิตเนสเป็นวัด โดยให้คะแนนผลผลิตจากการทำงานของคนรหัส ผลที่คล้ายคลึงกันระหว่างต้นไม้โครงสร้างและไวยากรณ์ไม่ชัดการเป็นตัวแทนของต้นไม้ ทำให้การประยุกต์ใช้โปรแกรมเชิงพันธุกรรมเทคนิคที่เป็นไปได้สำหรับการไวยากรณ์ในกรณีของแบบไวยากรณ์ , การปลูกถ่ายของต้นไม้ย่อยที่สอดคล้องกับการเปลี่ยนของการผลิตกฎที่ให้แยกวลีจากภาษา ผู้ประกอบการฟิตเนสสำหรับไวยากรณ์ตามวัดบางวิธีการที่ดีในการแสดงบางกลุ่มของประโยคจากภาษาเป้าหมาย ในต้นไม้เป็นตัวแทนของไวยากรณ์ , อาคารสัญลักษณ์ของการปกครองที่สอดคล้องกับการผลิตใบโหนดของต้นไม้ ของโหนดที่สอดคล้องกับพ่อแม่ไม่ใช่ Terminal สัญลักษณ์ ( เช่นนามวลีหรือกริยาวลี ) ในกฎที่ตั้งไว้ ในที่สุด ปมรากอาจสอดคล้องกับประโยคที่ไม่ใช่ขั้วไวยากรณ์การอนุมานโดยขั้นตอนวิธีเชิงละโมบ [ แก้ไข ]เช่นอัลกอริทึมละโมบ , ตะกละไวยากรณ์เชิงขั้นตอนวิธีทำ ในลักษณะของการตัดสินใจที่ดูเหมือนจะดีที่สุดในเวที การตัดสินใจมักจะจัดการกับสิ่งต่างๆ เช่น การสร้างกฎใหม่ การกำจัดของกฎที่มีอยู่ เลือกกฏที่จะใช้หรือการรวมของกฎที่มีอยู่ . เพราะมีหลายวิธีที่จะกำหนด " เวที " และ " ดีที่สุด " ยังมีหลายโลภไวยากรณ์เชิงขั้นตอนวิธีบริบทฟรีไวยากรณ์เหล่านี้สร้างอัลกอริทึมการตัดสินใจทุกครั้งหลังอ่านสัญลักษณ์ขั้นตอนวิธี lempel Ziv เวลช์สร้างไวยากรณ์ฟรีในบริบทตามกําหนดแบบนี้ว่ามีความจําเป็นต้องเก็บเฉพาะเริ่มสร้างกฎของไวยากรณ์sequitur และการปรับเปลี่ยนบริบทฟรีไวยากรณ์เหล่านี้สร้างขั้นตอนวิธีแรกอ่านทั้งหมดให้ลำดับสัญลักษณ์และจากนั้นเริ่มที่จะตัดสินใจ :คู่ไบต์เข้ารหัสและการเพิ่มประสิทธิภาพ