Włodzisław DUCH, Rafał ADAMCZAKDepa

Włodzisław DUCH, Rafał ADAMCZAK
Department of Computer Methods, Nicholas Copernicus University,
Grudzia¸dzka 5, 87-100 Toru´n, Poland; e-mail: duch,[e-mail]
and Geerd H.F. DIERCKSEN
Max-Planck Institute of Astrophysics, 85740-Garching, Germany,
e-mail: [e-mail]
Abstract: A framework for Similarity-Based Methods (SBMs) includes many neural
network models as special cases. Multilayer Perceptrons (MLPs) use scalar products
to compute weighted activation of neurons, combining soft hyperplanes to provide
decision borders. Scalar product is replaced by a distance function between the inputs
and the weights, offering a natural generalization of the standard MLP model to the
distance-based multilayer perceptron (D-MLP) model. D-MLPs evaluate similarity of
inputs to weights making the interpretation of their mappings easier. Cluster-based
initialization procedure determining architecture and values of all adaptive parameters
is described. D-MLP networks are useful not only for classification and approximation,
but also as associative memories, in problems requiring pattern completion, offering
an efficient way to deal with missing values. Non-Euclidean distance functions may
also be introduced by normalization of the input vectors in an extended feature space.
Both approaches influence the shapes of decision borders dramatically. An illustrative
example showing these changes is provided.
1 Introduction
Multilayer perceptrons (MLPs) trained with backpropagation method (BP) are certainly the
most popular among all neural techniques [1]. Applied to classification or approximation
problems MLPs use sigmoidal functions to provide soft hyperplanes dividing the input space
into separate regions. MLPs are therefore similar to the statistical discriminant techniques or
the Support Vector Machines (SVM) [2], although combination of soft sigmoids allows for
representation of more complex, nonlinear decision borders. This is usually considered to be
a strength of the MLP model, although in cases when sharp decision borders are needed it
may also become its weakness. For example, classification borders conforming to a simple
logical rule x1 > 1∧x2 > 1 are easily represented by two hyperplanes but there is no way
to represent them accurately using soft sigmoidal functions used in MLPs. This problem
is especially evident if regularization terms are added to the cost function, enforcing small
values of weights. As a result for some datasets no change in the learning rule or network
architecture will improve the accuracy of neural solutions. A good real-world example is the
hypothyroid dataset, for which the best optimized MLPs still give about 1.5% of error [3]
while logical rules reduce it to 0.64% [4]. Most research on neural networks is concentrated
on architectures and learning rules, but the selection of neural transfer functions may be
crucial to network performance [5].
Another problem with MLP models concerns selection of architecture and initialization
of adaptive parameters. Constructive neural algorithms [6] may help to find architectures
that roughly match complexity of the data analyzed, but constructive models may also end

ผลลัพธ์ (ไทย) 1:

Włodzisław DUCH, Rafał ADAMCZAKแผนกคอมพิวเตอร์วิธี นิโคลัสโคเปอร์นิคัสมหาวิทยาลัยGrudzia¸dzka 5, Toru´n ประเทศโปแลนด์ 87-100 อีเมล์: duch, [e-mail]และ Geerd H.F. DIERCKSENสถาบันฟิสิกส์ดาราศาสตร์ -พลังค์ 85740 Garching เยอรมนีอีเมล์: [e-mail]บทคัดย่อ: กรอบสำหรับวิธีใช้คล้ายคลึง (SBMs) มีหลายประสาทรูปแบบเครือข่ายเป็นกรณีพิเศษ หลายชั้น Perceptrons (MLPs) ใช้ผลิตภัณฑ์สเกลาร์การเปิดใช้งานคำนวณถ่วงน้ำหนักของ neurons รวม hyperplanes อ่อนให้เขตแดนตัดสินใจ สเกลาร์ผลิตภัณฑ์ถูกแทนที่ ด้วยฟังก์ชันระยะทางระหว่างอินพุตน้ำหนัก generalization ธรรมชาติของแบบ MLP มาตรฐานการให้บริการและการแบบจำลองตามระยะทางหลายชั้นเพอร์เซปตรอน (D-MLP) D MLPs ประเมินเฉพาะอินพุตเพื่อน้ำหนักที่ทำการตีความของการแม็ป ตามคลัสเตอร์ขั้นตอนเริ่มต้นกำหนดค่าพารามิเตอร์ทั้งหมดแบบอะแดปทีฟและสถาปัตยกรรมได้อธิบายไว้ เครือข่าย D MLP มีประโยชน์ไม่เพียงแต่การจัดประเภทประมาณแต่ความทรงจำยังเป็นเกี่ยวข้อง ปัญหาที่ต้องการความสมบูรณ์แบบ เสนอวิธีที่มีประสิทธิภาพในการจัดการกับค่าที่หายไป ฟังก์ชันไม่ใช่แบบยุคลิดอาจยัง สามารถนำมาใช้ โดยฟื้นฟูของเวกเตอร์เข้าในพื้นที่การขยายคุณลักษณะวิธีทั้งสองมีอิทธิพลต่อรูปร่างของเส้นขอบการตัดสินใจอย่างมาก การแสดงตัวอย่างที่แสดงการเปลี่ยนแปลงเหล่านี้ที่มีให้บทนำ 1หลายชั้น perceptrons (MLPs) ผ่านการฝึกอบรม ด้วยวิธี backpropagation (BP) อย่างแน่นอนนิยมมากที่สุดระหว่างเทคนิคประสาททั้งหมด [1] ใช้การจัดประเภทหรือประมาณปัญหา MLPs ใช้ sigmoidal เพื่อให้ hyperplanes นุ่มแบ่งพื้นที่สำหรับการป้อนค่าเป็นภูมิภาคที่แยกต่างหาก MLPs ดังคล้ายกับเทคนิค discriminant สถิติ หรือการสนับสนุนแบบเวกเตอร์เครื่อง (SVM) [2], ถึงแม้ว่าชุดของ sigmoids นุ่มช่วยให้แสดงเส้นขอบการตัดสินใจที่ซับซ้อน ไม่เชิงเส้น นี้มักจะถือเป็นความแข็งแรงของ MLP รุ่น แม้ว่าในกรณีเมื่อคมขอบตัดสินใจจำเป็นต้องใช้มันอาจเป็นจุดอ่อนของการ ตัวอย่าง ประเภทเส้นขอบที่สอดคล้องกับที่เรียบง่ายกฎตรรกะ x 1 > 1∧x2 > 1 จะได้แสดง โดย hyperplanes สอง แต่ไม่แสดงโดยใช้ฟังก์ชัน sigmoidal อ่อนที่ใช้ใน MLPs ได้อย่างถูกต้อง ปัญหานี้จะเห็นได้ชัดโดยเฉพาะอย่างยิ่งถ้ามีเพิ่มเงื่อนไข regularization ฟังก์ชันต้นทุน บังคับขนาดเล็กค่าของน้ำหนัก เป็นผลสำหรับ datasets บางอย่างไม่เปลี่ยนแปลงในกฎการเรียนรู้หรือเครือข่ายสถาปัตยกรรมจะปรับปรุงความแม่นยำของประสาทโซลูชั่น ตัวอย่างจริงที่ดีเป็นชุดข้อมูล hypothyroid ที่ดีสุดเหมาะ MLPs ยังให้ประมาณ 1.5% ของข้อผิดพลาด [3]ในขณะที่กฎทางตรรกะลดมัน 0.64% [4] วิจัยส่วนใหญ่บนเครือข่ายประสาทจะเข้มข้นในสถาปัตยกรรม และ กฎการเรียนรู้ การเลือกโอนประสาท ฟังก์ชันอาจสำคัญเพื่อประสิทธิภาพการทำงานของเครือข่าย [5]ปัญหาอื่นกับ MLP รุ่นเลือกความกังวลของสถาปัตยกรรมและการเริ่มต้นพารามิเตอร์ที่เหมาะสม อัลกอริทึมใช้ประสาทสร้างสรรค์ [6] อาจช่วยหาสถาปัตยกรรมที่ตรงกับความซับซ้อนของข้อมูลวิเคราะห์คร่าว ๆ แต่ยังอาจจบแบบสร้างสรรค์

ผลลัพธ์ (ไทย) 2:

Włodzisławภรรยา, Rafał ADAMCZAK
กรมวิธีคอมพิวเตอร์, นิโคลัสโคเปอร์นิคัมหาวิทยาลัย,
Grudziadzka 5, 87-100 Toru'n, โปแลนด์; E-mail: ภรรยา, raad @ phys.uni.torun.pl
และ Geerd HF DIERCKSEN
สถาบันแม็กซ์พลังค์ของฟิสิกส์ดาราศาสตร์, 85740-Garching, เยอรมนี,
E-mail: [e-mail]
บทคัดย่อ: กรอบของ A วิธีการคล้ายคลึงกันตาม (SBMs)
มีหลายประสาทแบบเครือข่ายเป็นกรณีพิเศษ หลาย Perceptrons (MLPs)
ใช้ผลิตภัณฑ์สเกลาร์ในการคำนวณการเปิดใช้ถ่วงน้ำหนักของเซลล์ประสาทรวมhyperplanes
นุ่มเพื่อให้เส้นขอบการตัดสินใจ สินค้าเกลาถูกแทนที่ด้วยฟังก์ชั่นระยะห่างระหว่างปัจจัยการผลิตที่และน้ำหนักที่นำเสนอทั่วไปธรรมชาติของรูปแบบ MLP มาตรฐานไปหลายPerceptron ระยะ-based (D-MLP) รูปแบบ D-MLPs ประเมินความคล้ายคลึงกันของปัจจัยการผลิตที่จะทำให้น้ำหนักการตีความของแมปของพวกเขาได้ง่ายขึ้น คลัสเตอร์ตามขั้นตอนการเริ่มต้นการกำหนดค่าสถาปัตยกรรมและการปรับตัวของพารามิเตอร์ทั้งหมดมีการอธิบาย เครือข่าย D-MLP มีประโยชน์ไม่เพียง แต่สำหรับการจัดหมวดหมู่และประมาณแต่ยังเป็นความทรงจำที่เชื่อมโยงปัญหาที่ต้องเสร็จสิ้นในรูปแบบที่นำเสนอวิธีที่มีประสิทธิภาพในการจัดการกับค่าที่ขาดหาย ฟังก์ชั่นระยะทางที่ไม่ใช่แบบยุคลิดอาจยังได้รับการแนะนำให้รู้จักกับการฟื้นฟูของเวกเตอร์ที่นำเข้าในพื้นที่ขยายคุณลักษณะ. วิธีการทั้งสองมีผลต่อรูปร่างของเส้นขอบการตัดสินใจอย่างรวดเร็ว ตัวอย่างตัวอย่างที่แสดงให้เห็นการเปลี่ยนแปลงเหล่านี้มีให้. 1 บทนำหลายperceptrons (MLPs) การฝึกอบรมด้วยวิธีการแพร่กระจายย้อนกลับ (BP) อย่างแน่นอนส่วนใหญ่ที่นิยมในหมู่เทคนิคประสาททั้งหมด[1] นำไปใช้กับการจัดหมวดหมู่หรือประมาณปัญหา MLPs ใช้ฟังก์ชั่นเพื่อให้ sigmoidal hyperplanes นุ่มแบ่งพื้นที่การป้อนข้อมูลลงในพื้นที่ที่แยกจากกัน MLPs จึงมีความคล้ายคลึงกับเทคนิคการจำแนกทางสถิติหรือสนับสนุนเครื่องเวกเตอร์(SVM) [2] ถึงแม้ว่าการรวมกันของ sigmoids นุ่มช่วยให้การเป็นตัวแทนของความซับซ้อนมากขึ้นการตัดสินใจเชิงเส้นพรมแดน นี้ถือว่าเป็นมักจะเป็นความแข็งแรงของรูปแบบ MLP แม้ในกรณีที่เส้นขอบที่คมชัดการตัดสินใจที่มีความจำเป็นก็อาจจะกลายเป็นจุดอ่อนของตน ยกตัวอย่างเช่นการจัดหมวดหมู่พรมแดนสอดคล้องกับการที่ง่ายกฎตรรกะ x1> 1∧x2> 1 จะแสดงได้อย่างง่ายดายโดยสอง hyperplanes แต่ไม่มีทางที่จะเป็นตัวแทนของพวกเขาได้อย่างถูกต้องโดยใช้ฟังก์ชั่นsigmoidal นุ่มใช้ใน MLPs ปัญหานี้โดยเฉพาะอย่างยิ่งถ้าแง่ regularization มีการเพิ่มฟังก์ชั่นค่าใช้จ่ายในการบังคับใช้ขนาดเล็กค่าของน้ำหนัก ผลที่ตามมาสำหรับชุดข้อมูลบางอย่างไม่มีการเปลี่ยนแปลงการปกครองในการเรียนรู้หรือเครือข่ายสถาปัตยกรรมจะปรับปรุงความถูกต้องของการแก้ปัญหาระบบประสาท เป็นตัวอย่างที่แท้จริงของโลกที่ดีคือชุด hypothyroid ซึ่งเพิ่มประสิทธิภาพที่ดีที่สุด MLPs ยังคงให้ประมาณ 1.5% ของข้อผิดพลาด [3] ในขณะที่กฎตรรกะลดไป 0.64% [4] การวิจัยมากที่สุดในเครือข่ายประสาทมีความเข้มข้นในสถาปัตยกรรมและกฎการเรียนรู้แต่การเลือกฟังก์ชั่นการถ่ายโอนประสาทอาจจะเป็นสิ่งสำคัญที่จะประสิทธิภาพของเครือข่าย[5]. มีปัญหากับรุ่น MLP เลือกกังวลของสถาปัตยกรรมและการเริ่มต้นอีกพารามิเตอร์การปรับตัว ขั้นตอนวิธีการที่สร้างสรรค์ประสาท [6] อาจช่วยในการหาสถาปัตยกรรมว่าประมาณตรงกับความซับซ้อนของข้อมูลที่วิเคราะห์แต่รูปแบบที่สร้างสรรค์นอกจากนี้ยังอาจจะจบ

ผลลัพธ์ (ไทย) 3:

W ł odzis ł AW ภรรยา , ราฟาł adamczak
กรมวิธีการคอมพิวเตอร์ , นิโคลัส โคเปอร์นิคัสมหาวิทยาลัย ,
grudzia ¸ dzka 5 , 87-100 โทรุใหม่ N , โปแลนด์ ; e-mail : โสเภียแรด @ ว. . . . . . ประกอบ . และคุณ geerd diercksen

h.f. มักซ์พลังค์สถาบันดาราศาสตร์ 85740
garching , เยอรมนี อีเมล : gdiercksen @ MPA garching . mpg . de
บทคัดย่อ : กรอบสำหรับความเหมือนตามวิธี ( sbms ) รวมถึง
ประสาทมากมายเครือข่ายแบบเป็นกรณีพิเศษ เพอร์เซปตรหลายชั้น ( MLPs ) ใช้ผลิตภัณฑ์ด้านการกระตุ้นเซลล์ประสาท
คำนวณน้ำหนักรวมเบา hyperplanes ให้
กรอบการตัดสินใจ สินค้าถูกแทนที่ด้วยฟังก์ชันสเกลาร์ ระยะทางระหว่าง ปัจจัยการผลิต
และน้ำหนัก เสนอการธรรมชาติของรุ่น MLP มาตรฐาน
ธรรมดาหลายชั้นตามระยะทาง ( d-mlp ) นางแบบd-mlps ประเมินความคล้ายคลึงกันของปัจจัยการผลิตเพื่อน้ำหนักให้
ความหมายของชีวิตของพวกเขาได้ง่ายขึ้น กลุ่ม ตามขั้นตอนการกำหนดสถาปัตยกรรม
เริ่มต้นและค่าของพารามิเตอร์การปรับตัว
จะอธิบาย เครือข่าย d-mlp มีประโยชน์ไม่เพียง แต่สำหรับการประมาณ
แต่ยังเป็นเชื่อมโยงความทรงจำ ในปัญหาที่ต้องเสนอ
รูปแบบเสร็จสมบูรณ์วิธีที่มีประสิทธิภาพเพื่อจัดการกับหายไปค่า ฟังก์ชันระยะทางแบบยุคลิดไม่อาจ
ยังถูกนําโดยบรรทัดฐานของอินพุตเวกเตอร์ในพื้นที่มีการขยาย
ทั้งสองวิธีมีอิทธิพลต่อรูปร่างของเส้นขอบใจอย่างมาก มีรูปประกอบ
ตัวอย่างแสดงการเปลี่ยนแปลงเหล่านี้มีให้ แนะนำ

1เพอร์เซปตรหลายชั้น ( MLPs ) ฝึกด้วยวิธี Backpropagation ( BP ) อย่างแน่นอน
ที่ได้รับความนิยมมากที่สุดในบรรดาประสาทเทคนิค [ 1 ] ใช้กับการจำแนกหรือประมาณ
ปัญหา MLPs ใช้ฟังก์ชัน sigmoidal ให้นุ่ม hyperplanes หารเข้าพื้นที่
เป็นภูมิภาคที่แยกต่างหาก MLPs จึงคล้ายกับเครื่องมือหรือเทคนิค
จำแนกสนับสนุนเวกเตอร์เครื่องจักร ( SVM ) [ 2 ] แม้ว่าการรวมกันของนุ่ม sigmoids ช่วย
การซับซ้อนมากขึ้น การตัดสินใจแบบไร้พรมแดน นี้มักจะถือเป็น
แรงของ MLP รุ่น แม้ว่าในกรณีที่เส้นขอบใจคมา
อาจเป็นจุดอ่อนของมัน ตัวอย่างเช่น หมวดหมู่ที่สอดคล้องกับวิ
ขอบ