One downside of this method is the

One downside of this method is the high computational cost of
GSVD, especially for large-scale and high-dimensional data.
Huang et al. [25] make use of the null space of SW for solving
the small-sample-size problem in LDA. The core idea is to project
all the samples onto the null space of SW , where the within-class
scatter is zero, and then the optimal discriminant vectors of LDA
are those vectors that can maximize the between-class scatter SB.
The authors propose a new method to tackle this problem in a
more computationally efficient way.
Kyperountas et al. [26] utilize weighted piecewise discriminant
hyperplanes in order to provide a more accurate discriminant
decision than the one produced by the traditional LDA approach,
while also avoiding the small-sample-size problem. To be more
specific, the dimensionality of the samples are broken down into
subsets of feature vectors of smaller dimensions, and LDA is
applied on each subset. The resulting discriminant weight sets are
weighted under a normalization criterion so that the piecewise
discriminant functions can be continuous in order to provide the
overall discriminant solution.
2.2. Trace ratio problem
Among many linear subspace modeling and embedding methods,
their objective is to maximize the “trace ratio” i.e. maximizeW
trðf 1ðWÞÞ=trðf 2ðWÞÞ ¼ maximizeW trðW> SiWÞ=trðW> ZiWÞ where
Si and Zi are the scatter matrices for some discriminant analysis,
to be discussed in the following sections. However, this optimization
is non-convex hence solving it directly is hard. Traditionally,
this is evaded by relaxing it to solving the “ratio trace”
problem i.e. maximizeW trðf 1ðWÞ=f 2ðWÞÞ ¼ maximizeW trðf 2ðWÞ
1
f 1ðWÞÞ ¼ maximizeW trððW> ZiWÞ
1ðW> SiWÞÞ. Simpler solution
can therefore be found. But the result is no longer optimal for the
original optimization.
One of the earliest attempts to solve the “trace ratio” problem
directly can be traced back to Guo et al. [27] where they propose
the generalized Foley–Sammon transform (GFST) on the basis of
generalized Fisher discriminant criterion. Following their derivation,
an iterative algorithm is proposed to converge to the precise
“trace ratio” solution. Shen et al. [28] reformulate the original nonconvex
“trace ratio” problem such that it can be solved by a
sequence of semi-definite feasibility problems efficiently, and the
solution is globally optimal via semi-definite programming. One
by-product of their method is that the projection matrix is naturally
orthonormal. Jia et al. [29] provide a theoretical overview of
the globally optimal solution to the “trace ratio” problem through
the equivalent trace difference problem where they first introduce
the eigenvalue perturbation theory to derive an efficient algorithm
that is based upon the Newton–Raphson method.
After extensive literature search, we find that there has not
been many studies on the exact recovery of the non-convex
solution, and this work, FKDA, will join them to provide an alternative
for finding the exact solution to the “trace ratio” problem.

ผลลัพธ์ (ไทย) 1:

หนึ่งข้อเสียของวิธีนี้คือสูงคำนวณGSVD โดยเฉพาะอย่างยิ่งสำหรับข้อมูลขนาดใหญ่ และสูงมิติทำให้หวง et al. [25] ใช้สำหรับแก้ปัญหาพื้นที่ว่างของ SWปัญหาขนาดตัวอย่างขนาดเล็กใน LDA แนวคิดหลักคือโครงการตัวอย่างทั้งหมดลงบนพื้นที่ว่างของ SW ที่ภายในคลากระจายเป็นศูนย์ และเวกเตอร์ discriminant สุดของ LDAเป็นเวกเตอร์ที่สามารถขยายกระจายระหว่างชั้น SBผู้เขียนเสนอวิธีการใหม่เล่นงานนี้ปัญหาในการวิธีที่มีประสิทธิภาพมากขึ้น computationallyKyperountas et al. [26] ใช้ discriminant piecewise ถ่วงน้ำหนักhyperplanes เพื่อให้ discriminant ถูกต้องมากขึ้นตัดสินใจมากกว่าการผลิต โดยวิธีดั้งเดิมของ LDAขณะที่ยัง หลีกเลี่ยงปัญหาตัวอย่างขนาดเล็ก จะเพิ่มมากขึ้นเฉพาะ dimensionality ของตัวอย่างจะแบ่งออกเป็นเป็นชุดย่อยของคุณลักษณะเวกเตอร์น่าเล็กขนาด LDAใช้กับชุดย่อยแต่ละ ชุดน้ำหนัก discriminant ผลลัพธ์ถ่วงน้ำหนักภายใต้เงื่อนไขการฟื้นฟูดังนั้นที่ที่ piecewisediscriminant ฟังก์ชันได้อย่างต่อเนื่องเพื่อให้การการแก้ปัญหา discriminant โดยรวม2.2 การติดตามปัญหาอัตราส่วนระหว่าง subspace เชิงเส้นหลายโมเดล และวิธี การฝังวัตถุประสงค์ของพวกเขาคือเพื่อ เพิ่ม "อัตราติดตาม" เช่น maximizeWtrðf 1ðWÞÞ trðf 2ðWÞÞ ¼ maximizeW trðW = > SiWÞ = trðW > ZiWÞ ที่ศรีและซิมีเมทริกซ์กระจายสำหรับการวิเคราะห์ discriminant บางการจะกล่าวถึงในส่วนต่อไปนี้ อย่างไรก็ตาม นี้ปรับให้เหมาะสมจะไม่นูนจึง แก้โดยตรงได้ยาก ประเพณีนี้จะ evaded ด้วยการพักผ่อนเพื่อแก้ "ติดตามอัตราส่วน"ปัญหาเช่น maximizeW trðf 1ðWÞ 2ðWÞ trðf ¼ maximizeW ของ 2ðWÞÞ f =1f 1ðWÞÞ ¼ maximizeW trððW > ZiWÞ1ðW > SiWÞÞ โซลูชั่นที่เรียบง่ายดังนั้นจะพบ แต่ผลที่ได้คือไม่เหมาะสมสำหรับการการเพิ่มประสิทธิภาพเดิมหนึ่งในความพยายามแรกสุดเพื่อแก้ไขปัญหา "ติดตามอัตรา"โดยตรงสามารถติดตามกลับไปกัว et al. [27] ซึ่งการนำเสนอแปลงค่าของ Foley – Sammon เมจแบบทั่วไป (GFST)เกณฑ์ discriminant ฟิชเชอร์เมจแบบทั่วไป ต่อมาของพวกเขานำเสนอขั้นตอนวิธีการซ้ำจึงทำให้แม่นยำ"ติดตามอัตราส่วน" การแก้ปัญหา ต้นฉบับ nonconvex reformulate Shen et al. [28]"ติดตามอัตราส่วน" ปัญหาที่สามารถแก้ไขได้โดยการลำดับความเป็นไปได้แน่นอนกึ่งปัญหาได้อย่างมีประสิทธิภาพ และโซลูชั่นสูงสุดทั่วโลกผ่านโปรแกรมกึ่งแน่นอนได้ หนึ่งผลพลอยได้ของวิธีการของพวกเขาคือเมตริกซ์ฉายภาพธรรมชาติorthonormal ภาพรวมทฤษฎีของให้เจีย et al. [29]แก้ไขปัญหา "ติดตามอัตรา" ผ่านดีที่สุดทั่วโลกปัญหาความแตกต่างติดตามเท่าที่พวกเขาต้องแนะนำทฤษฎี perturbation eigenvalue สามารถรับอัลกอริทึมมีประสิทธิภาพซึ่งได้ยึดตามวิธีนิวตัน – Raphsonหลังจากค้นหาวรรณกรรมอย่างละเอียด เราค้นหาที่มีไม่การศึกษามากมายในการกู้คืนที่แน่นอนของไม่ใช่นูนโซลูชั่น และงานนี้ FKDA จะเข้าร่วมพวกเขามีทางเลือกในการค้นหาการแก้ไขปัญหา "ติดตามอัตรา" แน่นอน

ผลลัพธ์ (ไทย) 2:

หนึ่งในข้อเสียของวิธีนี้คือการคำนวณค่าใช้จ่ายสูงของ
GSVD โดยเฉพาะอย่างยิ่งสำหรับขนาดใหญ่และข้อมูลที่สูงมิติ.
Huang et al, [25] ทำให้การใช้งานของพื้นที่ว่างของ SW
สำหรับการแก้ปัญหาขนาดเล็กขนาดตัวอย่างในLDA แนวคิดหลักคือการฉายตัวอย่างทั้งหมดบนพื้นที่ว่างของ SW ที่อยู่ภายในชั้นที่กระจายเป็นศูนย์แล้วเวกเตอร์จำแนกที่ดีที่สุดของLDA เวกเตอร์ที่สามารถเพิ่มการกระจายระหว่างชั้น SB. ผู้เขียนนำเสนอ วิธีการใหม่ที่จะจัดการปัญหานี้ในวิธีที่มีประสิทธิภาพมากขึ้นคอมพิวเตอร์. Kyperountas et al, [26] ใช้ถ่วงน้ำหนักจำแนกค่hyperplanes เพื่อให้ถูกต้องมากขึ้นจำแนกการตัดสินใจมากกว่าหนึ่งที่ผลิตโดยวิธีการแบบดั้งเดิมLDA, ขณะเดียวกันก็หลีกเลี่ยงปัญหาเล็ก ๆ ตัวอย่างขนาด จะมีมากขึ้นเฉพาะมิติของกลุ่มตัวอย่างที่มีการแบ่งออกเป็นส่วนย่อยของเวกเตอร์คุณลักษณะของมิติที่มีขนาดเล็กและLDA ถูกนำมาใช้ในแต่ละเซต ชุดน้ำหนักจำแนกผลมีการถ่วงน้ำหนักต่ำกว่าเกณฑ์มาตรฐานเพื่อให้ค่ฟังก์ชั่นแนสามารถอย่างต่อเนื่องเพื่อให้การแก้ปัญหาการจำแนกโดยรวม. 2.2 ปัญหาอัตราการติดตามในบรรดาหลายแบบจำลองสเปซเชิงเส้นและการฝังวิธีวัตถุประสงค์ของพวกเขาคือการเพิ่ม"ร่องรอยอัตราส่วน" คือ maximizeW trðf1ðWÞÞ = trðf2ðWÞÞ¼ maximizeW trðW> SiWÞ = trðW> ZiWÞที่ศรีและZi เป็นเมทริกซ์กระจายสำหรับบางคนวิเคราะห์จำแนก , ที่จะกล่าวถึงในส่วนต่อไป แต่เพิ่มประสิทธิภาพนี้จะไม่นูนจึงแก้ได้โดยตรงเป็นเรื่องยาก ประเพณีนี้จะห่างหายจากการผ่อนคลายการแก้ "อัตราส่วนร่องรอย" ปัญหาคือ maximizeW trðf1ðWÞ f = 2ðWÞÞ¼ maximizeW trðf2ðWÞ 1 ฉ1ðWÞÞ¼ maximizeW trððW> ZiWÞ1ðW> SiWÞÞ วิธีการแก้ปัญหาที่เรียบง่ายจึงสามารถพบได้ แต่ผลที่ได้คือไม่มีอีกต่อไปที่ดีที่สุดสำหรับการเพิ่มประสิทธิภาพเดิม. หนึ่งในความพยายามที่เก่าแก่ที่สุดในการแก้ "อัตราส่วนร่องรอย" ปัญหาโดยตรงสามารถตรวจสอบกลับไปGuo et al, [27] ที่พวกเขาเสนอทั่วไปโฟลีย์-Sammon เปลี่ยน (GFST) บนพื้นฐานของเกณฑ์จำแนกฟิชเชอร์ทั่วไป ต่อไปนี้การมาของพวกเขาอัลกอริทึมซ้ำจะเสนอให้มาบรรจบกันไปได้อย่างแม่นยำ"อัตราส่วนร่องรอย" การแก้ปัญหา Shen et al, [28] reformulate nonconvex เดิม"อัตราส่วนร่องรอย" ปัญหาดังกล่าวว่าจะสามารถแก้ไขได้โดยลำดับของปัญหาความเป็นไปได้กึ่งชัดเจนอย่างมีประสิทธิภาพและวิธีการแก้ปัญหาที่ดีที่สุดคือทั่วโลกผ่านการเขียนโปรแกรมกึ่งแน่นอน หนึ่งผลิตภัณฑ์โดยวิธีการของพวกเขาก็คือเมทริกซ์ฉายเป็นธรรมชาติorthonormal เจี่ย et al, [29] ให้ภาพรวมทางทฤษฎีของการแก้ปัญหาที่ดีที่สุดทั่วโลกกับ"อัตราส่วนร่องรอย" ปัญหาผ่านปัญหาความแตกต่างร่องรอยเทียบเท่าที่พวกเขาเป็นครั้งแรกแนะนำทฤษฎีการก่อกวนeigenvalue ให้ได้มาซึ่งอัลกอริทึมที่มีประสิทธิภาพที่จะขึ้นอยู่กับวิธีนิวตันราฟสัน. หลังจากที่กว้างขวาง ค้นหาวรรณกรรมเราพบว่ายังไม่ได้มีการศึกษาจำนวนมากในการกู้คืนที่แน่นอนของที่ไม่นูนออกมาแก้ปัญหาและการทำงานนี้FKDA จะเข้าร่วมพวกเขาเพื่อให้เป็นทางเลือกสำหรับการหาคำตอบที่แท้จริงกับ"อัตราส่วนร่องรอย" ปัญหา

ผลลัพธ์ (ไทย) 3:

หนึ่งข้อเสียของวิธีนี้คือ ค่าใช้จ่ายในการคำนวณสูง
gsvd , โดยเฉพาะอย่างยิ่งสำหรับขนาดใหญ่ และข้อมูล - สูงขนาด .
หวง et al . [ 25 ] ให้ใช้พื้นที่ว่างของ SW สำหรับการแก้ปัญหา
ขนาดตัวอย่างเล็กปัญหา lda . ความคิดหลักคือ โครงการตัวอย่างบนพื้นที่
ทั้งหมดเป็นโมฆะของ SW ที่ภายในห้องเรียน
กระจายเป็นศูนย์ แล้วจำแนกที่เหมาะสมของ lda
เวกเตอร์เป็นเวกเตอร์ที่สามารถขยายระหว่าง SB กระจายชั้น .
ผู้เขียนเสนอวิธีใหม่ในการแก้ไขปัญหาในวิธีที่มีประสิทธิภาพมากขึ้น computationally
.
kyperountas et al . [ 26 ] ใช้ถ่วงน้ำหนัก จำแนกเป็นช่วง
hyperplanes เพื่อให้ถูกต้องมากขึ้นกว่าหนึ่งผลิตการตัดสินใจจำแนก

lda โดยวิธีการแบบดั้งเดิมขนาดตัวอย่างเล็กในขณะที่ยังหลีกเลี่ยงปัญหา จะมากขึ้น
ที่เฉพาะเจาะจง dimensionality ของตัวอย่างจะถูกแบ่งออกเป็นส่วนย่อยของคุณลักษณะเวกเตอร์มิติ

lda เป็นขนาดเล็กและใช้ในแต่ละส่วนย่อย . ผลการจำแนกน้ำหนักชุด
หนักภายใต้บรรทัดฐานเกณฑ์ที่เป็นช่วง
จำแนกหน้าที่สามารถอย่างต่อเนื่องเพื่อให้
โซลูชั่นจำแนกประเภทโดยรวม .
2.2 . ติดตามปัญหาในอัตราส่วนเชิงเส้นได้หลายแบบ

การฝังและวิธีการ เป้าหมายของพวกเขาคือเพื่อ เพิ่ม " ติดตามอัตราส่วน " เช่น maximizew
TR ð F 1 = w ÞÞð TR ð F 2 ð W ÞÞ¼ maximizew TR ð W > siw Þ = TR ð W > ziw Þที่
SI และจื่อเป็น กระจายเมทริกซ์บางจำแนกประเภทการวิเคราะห์
ที่จะกล่าวถึงในส่วนต่อไปนี้ อย่างไรก็ตาม ประสิทธิภาพ
จะไม่นูนจึงแก้ได้โดยยาก ตามเนื้อผ้า
นี้ evaded โดยผ่อนคลายเพื่อแก้ปัญหา " อัตราส่วนติดตามปัญหาเช่น "
maximizew TR ð F 1 ð W Þ = F 2 ð W ÞÞ¼ maximizew TR ð F 2 ð W Þ
1
F 1 ð W ÞÞ¼ maximizew TR ðð W > ziw Þ
1 ð W > siw ÞÞ . วิธีแก้ปัญหาที่ง่าย
จึงสามารถพบได้ แต่ผลที่ได้คือไม่มีที่ติ

ต้นฉบับหนึ่งในความพยายามแรกที่จะแก้ " อัตราส่วน " ติดตามปัญหา
โดยตรงสามารถ traced กลับไปที่ก๊วย et al . [ 27 ] ที่พวกเขาเสนอ
generalized Foley –แซมมแปลง ( gfst ) บนพื้นฐานของตัวจำแนก
ฟิชเชอร์เป็นเกณฑ์ ตามรากศัพท์ของพวกเขา
เป็นซ้ำนี้นำเสนอไปบรรจบกับแม่น
" ติดตามต่อโซลูชั่น " Shen et al .[ 28 ] reformulate
" nonconvex เดิมติดตามอัตราส่วน " ปัญหาดังกล่าวจะสามารถแก้ไขได้โดยลำดับของกึ่งแน่นอน

ความเป็นไปได้ของปัญหาได้อย่างมีประสิทธิภาพ และโซลูชั่นที่ดีที่สุดผ่านทางโปรแกรมกึ่งทั่วโลกแน่นอน หนึ่ง
กากวิธีของพวกเขาที่ฉายเมทริกซ์ตามธรรมชาติ
การท . Jia et al . [ 29 ] ให้ภาพรวมเชิงทฤษฎีของ
ทั่วโลกที่ดีที่สุดโซลูชั่น " อัตราส่วน " ติดตามปัญหาผ่าน
เทียบเท่าติดตามความแตกต่างปัญหาที่พวกเขาครั้งแรกแนะนำ
ทฤษฎีค่าความยุ่งเหยิงดังกล่าวมีประสิทธิภาพขั้นตอนวิธี
ที่มีอยู่บนพื้นฐานของนิวตัน–วิธี .
หลังจากการค้นหาวรรณกรรมอย่างละเอียด เราพบว่า ไม่มีการศึกษามากมาย
การกู้คืนที่แน่นอนของ ไม่นูน
โซลูชั่น และงานนี้fkda จะร่วมกับพวกเขาเพื่อให้ทางเลือก
สำหรับการหาทางออกที่ถูกต้องเพื่อแก้ไขปัญหา " อัตราส่วน "
ติดตาม