step using PCA to reduce the dimens

step using PCA to reduce the dimension of the original data before
traditional LDA is carried out. The algorithm is known as
PCAþLDA [2,14]. In this two-stage PCAþLDA algorithm, the discriminant
stage is preceded by a dimension reduction stage using
PCA. The dimension of the subspace transformed by PCA is chosen
such as the “reduced” total scatter matrix ST or within-class scatter
matrix SW in the subspace is nonsingular, so that classical LDA can
be applied. A limitation of this approach is that the optimal value
of the reduced dimension for PCA is difficult to determine.
Moreover, the PCA stage may discard some useful dimensions that
may contain discriminative information.
It has been suggested that the null space of the SW scatter
matrix is important for discrimination. The claim is that applying
PCA in Fisher's LDA may discard discriminative information since
the null space of SW contains the most discriminative information.
Upon this idea, direct LDA (DLDA) [15] method has been proposed,
making use of the nullspace of the SW . DLDA derives eigenvectors
after simultaneous diagonalization [12]. Unlike previous approaches,
DLDA simultaneously diagonalizes the between-class scatter
matrix SB first and then diagonalizes SW which can be expressed as
W> SBW ¼ I and W> SWW ¼ Λ. The eigenvectors with very small
(close to zero) eigenvalues in the SB can be discarded since they
contain no discriminative power, while simultaneously keeping
the eigenvectors with small eigenvalues in the SW , especially those
in the null-space.
Another way to deal with the singularity of ST is to apply regularization,
by adding some constant values to the diagonal elements
of ST , as ST þμIm, for some μ40, where Im is an identity
matrix. It is easy to verify that ST þμIm is positive definite, hence
nonsingular. This approach is called regularized LDA (RLDA) [16]. It
is evident that when μ-1, we lose the information on ST , while
very small values of μ may not be sufficiently effective. Crossvalidation
is commonly applied for estimating the optimal μ. But
in practice, it is always not an easy task to determine the optimal μ
value because of the ad-hoc property of the parameter, especially
when the training and testing data are not from the exact same
distribution. For more studies on RLDA, readers can refer to
[17,18].
One generalization of regularized LDA is called the penalized
LDA (PLDA) [19]. Instead of regularizing the total scatter matrix,
the PLDA penalizes, or regularize, the within-class scatter matrix
as SW þΓ, for some penalty matrix Γ. Γ is symmetric and positive
semidefinite which is more general than a diagonal matrix. The
penalties can produce smoothness in the discriminant functions,
hence bypass the singularity problem of the scatter matrix.
Pseudo-inverse is designed to tackle the matrix singularity
problems by approximating the inversion solution in a leastsquares
sense. The pseudo Fisher linear discriminant analysis
(PFLDA) [12,20] is based on the pseudo-inverse of the singular
scatter matrices. The generalization error of PFLDA was studied in
[21], when the size and dimension of the training data vary.
Pseudo-inverses of the scatter matrices were also studied in [18].
Again, this circumvents the singularity problem in LDA formulation,
but at the cost of replacing the original objective function
with its approximate form.
By utilizing the generalized singular value decomposition
(GSVD) [22], the LDA/GSVD algorithm [23,24] is developed. The
criterion J0 used in [24] is J0ðWÞ ¼ trððSL
BÞ
þ SL
W Þ, where ðSL
BÞ
þ
denotes the pseudo-inverse of the between-class scatter matrix.
LDA/GSVD aims to obtain the optimal projection W that minimizes
J0ðWÞ, subject to the constraint that rankðW> HBÞ ¼ q, where q is
the rank of SB, and HB will be mentioned in the following section.
The above constraint is enforced to preserve the dimension of the
spaces spanned by the centroids in the original and transformed
spaces. The optimal solution can be reached by applying the GSVD.

ผลลัพธ์ (ไทย) 1:

ขั้นตอนการใช้ PCA เพื่อลดขนาดของข้อมูลต้นฉบับก่อนLDA ดั้งเดิมมีดำเนินการ อัลกอริทึมที่เรียกว่าPCAþLDA [2.14] ในนี้สอง PCAþLDA อัลกอริทึม การ discriminantขั้นตอนจะนำหน้าโดยมีมิติลดขั้นสมาคม เลือกมิติของ subspace แปลง โดย PCAเช่น "ลดลง" กระจายรวมเมตริกซ์เซนต์หรือกระจายภายในคลาสเมตริกซ์ SW ใน subspace ที่เป็น nonsingular เพื่อให้สามารถ LDA คลาสสิกสามารถใช้ ข้อจำกัดของวิธีนี้คือค่าสูงสุดขนาดลดลงสำหรับ PCA เป็นยากที่จะกำหนดนอกจากนี้ ระยะ PCA อาจละทิ้งบางประโยชน์มิติที่อาจประกอบด้วยรายละเอียดที่ discriminativeการแนะนำที่พื้นที่ว่างของกระจายตะวันตกเฉียงใต้เมทริกซ์มีความสำคัญสำหรับการเลือกปฏิบัติ เรียกร้องคือการ ที่ใช้PCA ในของ Fisher LDA อาจละทิ้งข้อมูล discriminative ตั้งแต่พื้นที่ว่างของ SW ประกอบด้วยรายละเอียดมากที่สุด discriminativeเมื่อความคิดนี้ วิธี LDA (DLDA) [15] โดยตรงได้รับการเสนอชื่อnullspace ของ SW ใช้ทำ ลักษณะเฉพาะมา DLDAหลังพร้อม diagonalization [12] ซึ่งแตกต่างจากวิธีก่อนหน้านี้DLDA diagonalizes กระจายระหว่างเรียนพร้อมกันเมตริกซ์ SB แรกแล้ว diagonalizes SW ซึ่งสามารถแสดงเป็นW > SBW ¼ฉันและ W > SWW ¼Λ ลักษณะเฉพาะที่มีขนาดเล็กมาก(ใกล้ศูนย์) เวกเตอร์ใน SB สามารถถูกละทิ้งเนื่องจากพวกเขาประกอบด้วยพลังงานไม่ discriminative ในขณะที่รักษาพร้อมกันลักษณะเฉพาะกับเวกเตอร์ขนาดเล็กใน SW โดยเฉพาะnull-ว่างอีกวิธีหนึ่งในการจัดการกับภาวะเอกฐานของ ST จะใช้ regularizationโดยการเพิ่มค่าคงบางองค์ประกอบเส้นทแยงมุมของ ST เป็นเซนต์ þμIm สำหรับบาง μ40, Im อยู่ประจำเมตริกซ์การ ง่ายต่อการตรวจสอบว่า þμIm เซนต์บวกแน่นอน ดังนั้นnonsingular วิธีการนี้เรียกว่า regularized ที่ LDA (RLDA) [16] มันจะเห็นได้ชัดว่า เมื่อμ-1 เราสูญเสียข้อมูลบน ST ขณะที่μค่าขนาดเล็กมากอาจไม่มีประสิทธิภาพเพียงพอ Crossvalidationโดยทั่วไปใช้สำหรับการประเมินเหมาะสมที่สุดμ แต่ในทางปฏิบัติ ไม่เสมออย่างละเอียดเพื่อกำหนดμเหมาะสมที่สุดค่า เพราะคุณสมบัติกิจของพารามิเตอร์ โดยเฉพาะอย่างยิ่งเมื่อข้อมูลฝึกอบรม และทดสอบไม่จากตรงเดียวกันการกระจายงาน ศึกษาเพิ่มเติมใน RLDA อ่านสามารถหมายถึง[17,18]Generalization หนึ่งของ regularized LDA คือที่ penalizedLDA (PLDA) [19] แทน regularizing เมตริกซ์รวมกระจายPLDA penalizes หรือ regularize เมตริกซ์กระจายภายในคลาสþΓตะวันตกเฉียงใต้ สำหรับบางโทษเมตริกซ์Γ. Γเป็นสมมาตร และเป็นบวกsemidefinite ซึ่งได้เพิ่มเติมกว่าเมทริกซ์ทแยงมุม ที่โทษสามารถผลิตราบรื่นในฟังก์ชัน discriminantจึง หลีกเลี่ยงปัญหาภาวะเอกฐานของเมทริกซ์กระจายออกแบบมาเล่นงานภาวะเอกฐานเมตริกซ์ผกผันลกันปัญหา โดยระหว่างการแก้ปัญหากลับใน leastsquares การความรู้สึก หลอก Fisher discriminant เชิงวิเคราะห์(PFLDA) [12,20] อยู่ผกผันลกันของเอกพจน์เมทริกซ์การกระจาย ข้อผิดพลาด generalization ของ PFLDA ได้ศึกษาใน[21], เมื่อขนาดและมิติของข้อมูลการฝึกอบรมแตกต่างกันยังได้เรียน inverses ลกันของเมทริกซ์กระจายใน [18]อีก นี้ circumvents ปัญหาภาวะเอกฐานที่กำหนด LDAแต่ ค่าแทนฟังก์ชันวัตถุประสงค์เดิมมีรูปแบบโดยประมาณโดยใช้การเน่าค่าเอกพจน์เมจแบบทั่วไป(GSVD) [22], พัฒนาอัลกอริธึม LDA/GSVD [23,24] ที่เกณฑ์ที่ใช้ใน [24] J0 เป็น J0ðWÞ ¼ trððSLBÞþ SLW Þ ที่ ðSLBÞþแสดงลกันผกผันของเมทริกซ์การกระจายระหว่างชั้นLDA/GSVD มีวัตถุประสงค์เพื่อรับฉายสุด W ที่ช่วยลดJ0ðWÞ มีข้อจำกัดที่ rankðW > HBÞ ¼ q, q อยู่อันดับของ SB และ HB ที่จะกล่าวถึงในส่วนต่อไปนี้ข้อจำกัดข้างต้นบังคับใช้การรักษาขนาดของการขยาย โดย centroids ในต้นฉบับ และเปลี่ยนช่องว่าง โซลูชั่นเหมาะสมสามารถเข้าถึงได้ โดยใช้การ GSVD

ผลลัพธ์ (ไทย) 2:

ขั้นตอนการใช้ PCA
เพื่อลดขนาดของข้อมูลเดิมก่อนที่จะแบบดั้งเดิมLDA จะดำเนินการ ขั้นตอนวิธีการที่เป็นที่รู้จักในฐานะPCAþLDA [2,14] ในการนี้สองขั้นตอนขั้นตอนวิธีPCAþLDAการจำแนกขั้นตอนที่จะนำหน้าด้วยขั้นตอนการลดมิติโดยใช้PCA ขนาดของสเปซที่เปลี่ยนโดย PCA ถูกเลือกเช่น"ลดลง" เมทริกซ์กระจายรวม ST หรือภายในชั้นกระจายเมทริกซ์SW ในสเปซเป็น nonsingular เพื่อให้ LDA คลาสสิกที่สามารถนำมาประยุกต์ใช้ ข้อ จำกัด ของวิธีนี้คือค่าที่ดีที่สุดของมิติที่ลดลงสำหรับPCA เป็นเรื่องยากที่จะตรวจสอบ. นอกจากนี้ขั้นตอน PCA อาจทิ้งมิติที่มีประโยชน์บางอย่างที่อาจมีข้อมูลจำแนก. จะได้รับการชี้ให้เห็นว่าพื้นที่ว่างของการกระจาย SW เมทริกซ์ เป็นสิ่งสำคัญสำหรับการเลือกปฏิบัติ การเรียกร้องก็คือการใช้PCA ใน LDA ฟิชเชอร์อาจทิ้งข้อมูลจำแนกตั้งแต่พื้นที่ว่างของSW มีข้อมูลจำแนกที่สุด. เมื่อความคิดนี้ LDA โดยตรง (DLDA) [15] วิธีการได้รับการเสนอการใช้nullspace ของ SW ที่ . DLDA มา eigenvectors หลังจาก diagonalization พร้อมกัน [12] ซึ่งแตกต่างจากวิธีการก่อนหน้านี้DLDA พร้อมกัน diagonalizes กระจายระหว่างระดับเมทริกซ์SB ก่อนแล้ว diagonalizes SW ที่สามารถแสดงเป็นW> SBW ¼ I และ W> SWW ¼Λ eigenvectors ที่มีขนาดเล็กมาก(ใกล้กับศูนย์) ค่าลักษณะเฉพาะใน SB สามารถยกเลิกเนื่องจากพวกเขามีไม่มีอำนาจจำแนกพร้อมกันในขณะที่การรักษาeigenvectors ที่มีลักษณะเฉพาะขนาดเล็กใน SW โดยเฉพาะอย่างยิ่งในnull พื้นที่. อีกวิธีหนึ่งที่จะจัดการกับ ความแปลกประหลาดของ ST คือการใช้ regularization, โดยการเพิ่มค่าบางอย่างต่อเนื่องเพื่อองค์ประกอบในแนวทแยงของ ST เป็น ST þμImสำหรับμ40บางที่อิ่มเป็นเอกลักษณ์เมทริกซ์ มันง่ายที่จะตรวจสอบว่า ST þμImเป็นบวกที่ชัดเจนจึงnonsingular วิธีการนี้เรียกว่า regularized LDA (RLDA) [16] มันเห็นได้ชัดว่าเมื่อμ-1 เราสูญเสียข้อมูลเกี่ยวกับ ST ในขณะที่ค่าน้อยมากของμอาจจะไม่ได้มีประสิทธิภาพเพียงพอ Crossvalidation ถูกนำไปใช้โดยทั่วไปสำหรับการประมาณμที่ดีที่สุด แต่ในทางปฏิบัติก็มักจะไม่ได้เป็นงานง่ายต่อการตรวจสอบที่ดีที่สุดμค่าเพราะสถานที่ให้บริการเฉพาะกิจของพารามิเตอร์โดยเฉพาะอย่างยิ่งเมื่อการฝึกอบรมและการทดสอบข้อมูลที่ไม่ได้มาจากที่เดียวกันแน่นอนกระจาย สำหรับการศึกษาเพิ่มเติมเกี่ยวกับ RLDA ผู้อ่านสามารถดู[17,18]. หนึ่งทั่วไปของ regularized LDA เรียกว่าลงโทษLDA (PLDA) [19] แทนที่จะ regularizing เมทริกซ์กระจายรวมPLDA penalizes หรือระเบียบ, เมทริกซ์กระจายภายในชั้นเป็นSW þΓสำหรับบางคนโทษΓเมทริกซ์ Γสมมาตรและบวกsemidefinite ซึ่งเป็นทั่วไปมากขึ้นกว่าเมทริกซ์ทแยงมุม ลงโทษสามารถผลิตเรียบในการทำงานจำแนกที่จึงหลีกเลี่ยงปัญหาความแปลกประหลาดของเมทริกซ์กระจายที่. Pseudo-ผกผันถูกออกแบบมาเพื่อรับมือกับภาวะเอกฐานเมทริกซ์ปัญหาโดยใกล้เคียงกับการแก้ปัญหาการผกผันใน leastsquares ความรู้สึก การวิเคราะห์เชิงเส้นฟิชเชอร์หลอกจำแนก(PFLDA) [12,20] จะขึ้นอยู่กับหลอกผกผันของเอกพจน์เมทริกซ์กระจาย ข้อผิดพลาดทั่วไปของ PFLDA ศึกษาใน[21] เมื่อขนาดและมิติของข้อมูลการฝึกอบรมแตกต่างกันไป. Pseudo-แปรผกผันของเมทริกซ์กระจายการศึกษายังอยู่ใน [18]. อีกครั้งนี้หลีกเลี่ยงปัญหาภาวะเอกฐานในการกำหนด LDA ที่แต่ ค่าใช้จ่ายในการเปลี่ยนฟังก์ชั่นวัตถุประสงค์เดิมที่มีรูปแบบโดยประมาณของ. โดยใช้การสลายตัวมูลค่าเอกพจน์ทั่วไป(GSVD) [22], อัลกอริทึม LDA / GSVD [23,24] ได้รับการพัฒนา เกณฑ์ J0 ใช้ใน [24] เป็นJ0ðWÞ¼trððSL BTH þ SL W Þที่ DSL BTH þหมายถึงหลอกผกผันของระหว่างระดับเมทริกซ์กระจาย. LDA / GSVD มีจุดมุ่งหมายที่จะได้รับ W ประมาณการที่ดีที่สุดที่ช่วยลดJ0ðWÞเรื่องข้อ จำกัด ที่rankðW> HBÞ¼คิวที่คิวเป็นตำแหน่งของSB และ HB จะได้รับการกล่าวถึงในส่วนต่อไปนี้. ข้อ จำกัด ข้างต้นจะถูกบังคับใช้เพื่อรักษามิติของพื้นที่ทอดcentroids ในต้นฉบับและเปลี่ยนช่องว่าง. ทางออกที่ดีที่สุดสามารถเข้าถึงได้โดยใช้ GSVD

ผลลัพธ์ (ไทย) 3:

ขั้นตอนการใช้ PCA เพื่อลดขนาดของข้อมูลเดิมก่อน
lda แบบดั้งเดิมคือการ ขั้นตอนวิธีที่เป็นที่รู้จักกันเป็นระบบþ lda
[ 2,14 ] ใน 2 ขั้นตอนนี้จะถูกþ lda ขั้นตอนวิธี ขั้นตอนการจำแนก
ที่นำหน้าโดยมิติการลดระยะการใช้
PCA . ขนาดของแปลงย่อย โดยระบบจะเลือก
เช่น " ลดลง " รวมกระจายเมตริกซ์เซนต์ หรือภายใน
กระจายคลาสเมทริกซ์ SW ในได้เป็น nonsingular ดังนั้นที่คลาสสิก lda สามารถ
check ข้อจำกัดของวิธีการนี้คือ การลดขนาดของค่า

PCA เป็นเรื่องยากที่จะตรวจสอบได้ นอกจากนี้ ระบบเวที อาจทิ้งมิติที่มีประโยชน์บางอย่างที่อาจประกอบด้วยข้อมูลค่า
.
มันได้รับการแนะนำว่า พื้นที่ว่างของ SW กระจาย
Matrix เป็นสิ่งสำคัญสำหรับการเลือกปฏิบัติการเรียกร้องที่ใช้
PCA ในปลา lda อาจทิ้งข้อมูลและเนื่องจากพื้นที่ว่างของ SW

และมีข้อมูลมากที่สุด ตามความคิดนี้ lda โดยตรง ( dlda ) [ 15 ] วิธีการได้รับเสนอ
การใช้ของ nullspace ของ SW . dlda มาเสนอ
หลังพร้อมกัน diagonalization [ 12 ] ซึ่งแตกต่างจากวิธีการเดิม
dlda พร้อมกัน diagonalizes ระหว่างชั้นเรียนกระจาย
Matrix SB ก่อนแล้ว diagonalizes SW ซึ่งสามารถแสดงเป็น
w > SBW ¼ I และ W > sww ¼Λ . การเสนอด้วยขนาดเล็กมาก
( ใกล้ศูนย์ ) ค่าใน SB สามารถถูกยกเลิกเนื่องจากพวกเขา
ไม่มีค่าพลังงาน ในขณะเดียวกัน การเสนอค่า
ที่มีขนาดเล็กใน SW , โดยเฉพาะอย่างยิ่ง
ในพื้นที่ว่าง .
อีกวิธีที่จะจัดการกับภาวะเงินเฟ้อของ ST จะใช้เรกูลาร์
โดยการเพิ่มบางคงที่ , ค่าองค์ประกอบเส้นทแยงมุม
เซนต์ , เซนต์þμม บางμ 40 ที่อิมเป็นเอกลักษณ์
เมทริกซ์ มันง่ายที่จะตรวจสอบว่า เซนต์ þμอิมเป็นบวกแน่นอน ดังนั้น
nonsingular . วิธีการนี้เรียกว่า regularized lda ( rlda ) [ 16 ] มันเห็นได้ชัดว่า เมื่อμ
- 1เราสูญเสียข้อมูลเกี่ยวกับเซนต์ ในขณะที่
ค่าขนาดเล็กมากของμอาจมีประสิทธิภาพไม่เพียงพอ crossvalidation
ปกติจะใช้ประมาณμที่ดีที่สุด แต่
ในทางปฏิบัติก็มักจะไม่ใช่งานง่ายในการตรวจสอบค่าμ
ที่ดีที่สุดเพราะคุณสมบัติของพารามิเตอร์ของโดยเฉพาะอย่างยิ่ง
เมื่อการฝึกอบรมและการทดสอบข้อมูลไม่ได้มาจากการกระจายเดียวกันแน่นอน

ศึกษาเพิ่มเติมเกี่ยวกับ rlda ผู้อ่านสามารถดู 17,18
[ ]
หนึ่งนัยทั่วไปของ lda regularized เรียกว่าจัง
lda ( plda ) [ 19 ] แทนที่จะ regularizing เมทริกซ์กระจายทั้งหมด
plda penalizes หรือทหารประจำการ , ภายในห้องเรียนกระจายเมตริกซ์
เป็น SW þΓ บางคนโทษเมทริกซ์Γ . Γจะสมมาตรและบวก
semidefinite ซึ่งทั่วไปมากกว่าเมทริกซ์ในแนวทแยง
บทลงโทษสามารถผลิตเรียบในฟังก์ชันจำแนก
จึงหลีกเลี่ยงปัญหาของเอกพจน์กระจายเมทริกซ์ผกผัน
เทียมถูกออกแบบมาเพื่อรับมือกับเมทริกซ์เอก
ปัญหากลับกันประมาณโซลูชั่นในความรู้สึกกำลังสอง

เทียม ฟิชเชอร์ เชิงเส้น การวิเคราะห์การจำแนกกลุ่ม ( Discriminant Analysis )
( pflda ) [ 12,20 ] ขึ้นอยู่กับผกผันของเมทริกซ์กระจายเอกพจน์หลอก

มีการผิดพลาดของ pflda เรียน
[ 21 ] เมื่อขนาดและมิติของข้อมูลการฝึกอบรมที่แตกต่างกัน .
หลอกตรงกันข้ามของกระจายแมทริกซ์ และศึกษาใน [ 18 ] .
อีก นี้ circumvents ภาวะเอกฐานจะปัญหาในการกำหนด lda
, แต่ที่ค่าใช้จ่ายของการแทนที่
ฟังก์ชันวัตถุประสงค์เดิมกับ รูปแบบคร่าวๆ โดยใช้ตัวเดียว

ค่าการย่อยสลาย( gsvd ) [ 22 ] , lda / gsvd ขั้นตอนวิธี [ 23,24 ] พัฒนาคือ เกณฑ์ที่ใช้ใน j0
[ 24 ] j0 ð W Þ¼ TR ðð SL
B
w
þÞ SL Þที่ð SL
B

แสดงÞþผกผันของเมทริกซ์กระจายเทียมระหว่างชั้นเรียน
lda / gsvd มุ่งหวังที่จะได้รับการฉายที่เหมาะสมน้ำหนักที่ลด
j0 ð W Þอาจมีการ จำกัด อันดับที่ð W > HB Þ¼ Q , Q คือ
อันดับของ SB และ HB จะกล่าวถึงในส่วนต่อไปนี้ .
ปัญหาข้างต้นใช้บังคับเพื่อรักษาขนาดของ
เป็นทอด โดยจุดเซนทรอยด์ในต้นฉบับและแปลง
เป็น . สารละลายที่เหมาะสม สามารถเข้าถึงได้โดยการประยุกต์ใช้ gsvd .