The computation of PCA requires eig

The computation of PCA requires eigenvalue decomposition
(EVD) of the covariance matrix of the feature vectors.
One well-known EVD method is the Cyclic Jacobi’s
method (Golub and van Loan, 1996). The Jacobi’s method
which diagonalizes a symmetric matrix requires around
O(d3 + d2n) computations (Golub and van Loan, 1996)
(where n is the number of feature vectors or samples used).
This computation in many applications (e.g. fixed-point
implementation) is undesirable. A number of methods have
been proposed in the literature for computing the PCA
transform with reduced computational complexity. Reddy
and Herron (2001) proposed modification to Jacobi’s
method which favours fixed-point implementations. Their
computational complexity is, however, still of order O(d3)
for each symmetric rotation (assuming symmetric matrix
of size d · d is previously computed). Basically the
improvement in computational complexity is negligible.
Roweis (1997) proposed expectation maximizing (EM)
algorithm for PCA, which is computationally effective than
EVD method for PCA. But this technique uses EM algorithm
which could be expensive in time. It also requires
matrix inverse1 computation in both the E-step and M-step
for each of the iteration, which is an expensive exercise.
Furthermore, EM algorithm does not converge to a global
maximum; it achieves only a local maximum and thus the
choice of the initial guess used in the algorithm becomes
crucial. The power method (Schilling and Harris, 2000) is
also used to find leading eigenvector which is less expensive
method but can compute only one most leading eigenvector.
Another method is snap-shot algorithm (Sirovich,
1987) which does not explicitly compute sample covariance
matrix, however, requires matrix inversion and is based on
the assumption that the eigenvectors being searched are linear
combinations of feature vectors.

ผลลัพธ์ (ไทย) 1:

การคำนวณของ PCA ต้องแยกส่วนประกอบของ eigenvalue(อีวีดี) ของเมตริกซ์ความแปรปรวนร่วมของเวกเตอร์คุณลักษณะหนึ่งวิธีอีวีดีรู้จักเป็นของ Jacobi ทุกรอบวิธีการ (อย่างไร Golub และสินเชื่อรถตู้ 1996) วิธีการของ Jacobiต้องที่ diagonalizes เมทริกซ์สมมาตรรอบO (ดี 3 + d2n) หนึ่ง (อย่างไร Golub และสินเชื่อรถตู้ 1996)(โดยที่ n คือ จำนวนของเวกเตอร์คุณลักษณะหรือตัวอย่างที่ใช้)คำนวณในโปรแกรมประยุกต์มากมาย (เช่นเรื่องนี้ดำเนินงาน) เป็นผล มีหลายวิธีรับการเสนอชื่อในวรรณคดีคอมพิวเตอร์สมาคมแปลงกับลดความซับซ้อนเชิงคำนวณ เรดดีและ Herron (2001) เสนอปรับเปลี่ยนของ Jacobiวิธีที่ favours ใช้งานควา ของพวกเขาความซับซ้อนเชิงคำนวณเป็น อย่างไรก็ตาม ยังสั่ง O(d3)สำหรับแต่ละวาระสมมาตร (สมมติว่าเมทริกซ์สมมาตรของ d ขนาด· d คือก่อนหน้านี้คำนวณ) โดยทั่วไปปรับปรุงคำนวณซับซ้อนเป็นระยะRoweis (1997) เสนอความคาดหวังเพิ่ม (EM)อัลกอริทึมสำหรับ PCA ซึ่งเป็น computationally มีประสิทธิภาพกว่าวิธีการอีวีดีสำหรับ PCA แต่เทคนิคนี้ใช้อัลกอริทึม EMซึ่งอาจมีราคาแพงในเวลา นอกจากนี้ยังต้องคำนวณ inverse1 เมตริกซ์ขั้นตอน E และ M ขั้นตอนสำหรับแต่ละการเกิดซ้ำ ซึ่งเป็นการออกกำลังกายราคาแพงนอกจากนี้ เอ็มอัลกอริทึมไม่มาบรรจบกันเป็นสากลสูงสุด จะได้รับสูงสุดท้องถิ่นเท่านั้น และทำการจะเดาเบื้องต้นที่ใช้ในอัลกอริทึมหลากหลายสำคัญ วิธีการใช้พลังงาน (Schilling และแฮร์ริส 2000)นอกจากนี้ยัง ใช้เพื่อค้นหา eigenvector ชั้นนำที่ไม่แพงวิธี แต่สามารถคำนวณ eigenvector เดียวชั้นนำมากที่สุดวิธีหนึ่งคือ อัลกอริทึมสแนปช็อต (Sirovich1987) ซึ่งไม่ได้ชัดเจนคำนวณความแปรปรวนร่วมของตัวอย่างเมตริกซ์ เมตริกซ์กลับต้องแต่ และอยู่อัสสัมชัญที่ลักษณะเฉพาะการค้นหาเชิงเส้นชุดของคุณลักษณะเวกเตอร์

ผลลัพธ์ (ไทย) 2:

คำนวณ PCA ต้องสลายตัว eigenvalue
(EVD) ของเมทริกซ์ความแปรปรวนของเวกเตอร์คุณลักษณะ.
วิธีการหนึ่ง EVD ที่รู้จักกันดีคือ Jacobi
วงจรของวิธีการ(Golub และรถตู้ของสินเชื่อ, 1996) วิธีการของจาโคบีซึ่ง diagonalizes เมทริกซ์สมมาตรต้องรอบ O (d3 + d2n) การคำนวณ (Golub และรถตู้ของสินเชื่อ, 1996) (ที่ n คือจำนวนของเวกเตอร์หรือที่กลุ่มตัวอย่างใช้). การคำนวณในการใช้งานมาก (เช่นจุดคงดำเนินการ) เป็นที่ไม่พึงประสงค์ จำนวนของวิธีการได้รับการเสนอชื่อในวรรณคดีสำหรับการคำนวณ PCA แปลงที่มีความซับซ้อนของคอมพิวเตอร์ที่ลดลง เรดดี้และเฮอรอน (2001) การปรับเปลี่ยนการเสนอที่จะ Jacobi ของวิธีการที่โปรดปรานการใช้งานคงที่จุด ของพวกเขาซับซ้อนของคอมพิวเตอร์เป็น แต่ยังคงมีการสั่งซื้อ O (d3) สำหรับแต่ละการหมุนสมมาตร (สมมติว่าเมทริกซ์สมมาตรขนาดd · d คำนวณก่อนหน้านี้) โดยทั่วไปการปรับปรุงในคอมพิวเตอร์ที่ซับซ้อนเป็นเล็กน้อย. Roweis (1997) ความคาดหวังที่นำเสนอการเพิ่ม (EM) อัลกอริทึมสำหรับ PCA ซึ่งเป็นคอมพิวเตอร์ที่มีประสิทธิภาพมากกว่าวิธีEVD สำหรับ PCA แต่เทคนิคนี้ใช้วิธี EM ซึ่งอาจจะมีราคาแพงในเวลา นอกจากนี้ยังต้องเมทริกซ์ inverse1 คำนวณทั้งใน E-M ขั้นตอนและขั้นตอนสำหรับแต่ละซ้ำซึ่งคือการออกกำลังกายที่มีราคาแพง. นอกจากนี้อัลกอริทึม EM ไม่ได้เพ่งความสนใจไปทั่วโลกสูงสุด มันประสบความสำเร็จสูงสุดเพียงท้องถิ่นและทำให้ทางเลือกของการคาดเดาเริ่มต้นใช้ในอัลกอริทึมจะกลายเป็นสิ่งสำคัญ วิธีการใช้พลังงาน (ชิลลิงและแฮร์ริส, 2000) จะใช้ในการพบวิคเตอร์ชั้นนำที่มีราคาแพงน้อยกว่าวิธีการแต่สามารถคำนวณเพียงคนเดียววิคเตอร์ชั้นนำมากที่สุด. อีกวิธีหนึ่งคือขั้นตอนวิธีการสแนปช็อต (Sirovich, 1987) ซึ่งไม่ชัดเจนคำนวณแปรปรวนตัวอย่างเมทริกซ์ แต่ต้องเมทริกซ์ผกผันและอยู่บนพื้นฐานของสมมติฐานที่ว่าeigenvectors ที่ถูกค้นหาเป็นเชิงเส้นการรวมกันของเวกเตอร์คุณลักษณะ