The computation of PCA requires eig

The computation of PCA requires eigenvalue decomposition
(EVD) of the covariance matrix of the feature vectors.
One well-known EVD method is the Cyclic Jacobi’s
method (Golub and van Loan, 1996). The Jacobi’s method
which diagonalizes a symmetric matrix requires around
O(d3 + d2n) computations (Golub and van Loan, 1996)
(where n is the number of feature vectors or samples used).
This computation in many applications (e.g. fixed-point
implementation) is undesirable. A number of methods have
been proposed in the literature for computing the PCA
transform with reduced computational complexity. Reddy
and Herron (2001) proposed modification to Jacobi’s
method which favours fixed-point implementations. Their
computational complexity is, however, still of order O(d3)
for each symmetric rotation (assuming symmetric matrix
of size d · d is previously computed). Basically the
improvement in computational complexity is negligible.
Roweis (1997) proposed expectation maximizing (EM)
algorithm for PCA, which is computationally effective than
EVD method for PCA. But this technique uses EM algorithm
which could be expensive in time. It also requires
matrix inverse1 computation in both the E-step and M-step
for each of the iteration, which is an expensive exercise.
Furthermore, EM algorithm does not converge to a global
maximum; it achieves only a local maximum and thus the
choice of the initial guess used in the algorithm becomes
crucial. The power method (Schilling and Harris, 2000) is
also used to find leading eigenvector which is less expensive
method but can compute only one most leading eigenvector.
Another method is snap-shot algorithm (Sirovich,
1987) which does not explicitly compute sample covariance
matrix, however, requires matrix inversion and is based on
the assumption that the eigenvectors being searched are linear
combinations of feature vectors.

ผลลัพธ์ (ไทย) 1:

การคำนวณของ PCA ต้องแยกส่วนประกอบของ eigenvalue(อีวีดี) ของเมตริกซ์ความแปรปรวนร่วมของเวกเตอร์คุณลักษณะหนึ่งวิธีอีวีดีรู้จักเป็นของ Jacobi ทุกรอบวิธีการ (อย่างไร Golub และสินเชื่อรถตู้ 1996) วิธีการของ Jacobiต้องที่ diagonalizes เมทริกซ์สมมาตรรอบO (ดี 3 + d2n) หนึ่ง (อย่างไร Golub และสินเชื่อรถตู้ 1996)(โดยที่ n คือ จำนวนของเวกเตอร์คุณลักษณะหรือตัวอย่างที่ใช้)คำนวณในโปรแกรมประยุกต์มากมาย (เช่นเรื่องนี้ดำเนินงาน) เป็นผล มีหลายวิธีรับการเสนอชื่อในวรรณคดีคอมพิวเตอร์สมาคมแปลงกับลดความซับซ้อนเชิงคำนวณ เรดดีและ Herron (2001) เสนอปรับเปลี่ยนของ Jacobiวิธีที่ favours ใช้งานควา ของพวกเขาความซับซ้อนเชิงคำนวณเป็น อย่างไรก็ตาม ยังสั่ง O(d3)สำหรับแต่ละวาระสมมาตร (สมมติว่าเมทริกซ์สมมาตรของ d ขนาด· d คือก่อนหน้านี้คำนวณ) โดยทั่วไปปรับปรุงคำนวณซับซ้อนเป็นระยะRoweis (1997) เสนอความคาดหวังเพิ่ม (EM)อัลกอริทึมสำหรับ PCA ซึ่งเป็น computationally มีประสิทธิภาพกว่าวิธีการอีวีดีสำหรับ PCA แต่เทคนิคนี้ใช้อัลกอริทึม EMซึ่งอาจมีราคาแพงในเวลา นอกจากนี้ยังต้องคำนวณ inverse1 เมตริกซ์ขั้นตอน E และ M ขั้นตอนสำหรับแต่ละการเกิดซ้ำ ซึ่งเป็นการออกกำลังกายราคาแพงนอกจากนี้ เอ็มอัลกอริทึมไม่มาบรรจบกันเป็นสากลสูงสุด จะได้รับสูงสุดท้องถิ่นเท่านั้น และทำการจะเดาเบื้องต้นที่ใช้ในอัลกอริทึมหลากหลายสำคัญ วิธีการใช้พลังงาน (Schilling และแฮร์ริส 2000)นอกจากนี้ยัง ใช้เพื่อค้นหา eigenvector ชั้นนำที่ไม่แพงวิธี แต่สามารถคำนวณ eigenvector เดียวชั้นนำมากที่สุดวิธีหนึ่งคือ อัลกอริทึมสแนปช็อต (Sirovich1987) ซึ่งไม่ได้ชัดเจนคำนวณความแปรปรวนร่วมของตัวอย่างเมตริกซ์ เมตริกซ์กลับต้องแต่ และอยู่อัสสัมชัญที่ลักษณะเฉพาะการค้นหาเชิงเส้นชุดของคุณลักษณะเวกเตอร์

ผลลัพธ์ (ไทย) 2:

คำนวณ PCA ต้องสลายตัว eigenvalue
(EVD) ของเมทริกซ์ความแปรปรวนของเวกเตอร์คุณลักษณะ.
วิธีการหนึ่ง EVD ที่รู้จักกันดีคือ Jacobi
วงจรของวิธีการ(Golub และรถตู้ของสินเชื่อ, 1996) วิธีการของจาโคบีซึ่ง diagonalizes เมทริกซ์สมมาตรต้องรอบ O (d3 + d2n) การคำนวณ (Golub และรถตู้ของสินเชื่อ, 1996) (ที่ n คือจำนวนของเวกเตอร์หรือที่กลุ่มตัวอย่างใช้). การคำนวณในการใช้งานมาก (เช่นจุดคงดำเนินการ) เป็นที่ไม่พึงประสงค์ จำนวนของวิธีการได้รับการเสนอชื่อในวรรณคดีสำหรับการคำนวณ PCA แปลงที่มีความซับซ้อนของคอมพิวเตอร์ที่ลดลง เรดดี้และเฮอรอน (2001) การปรับเปลี่ยนการเสนอที่จะ Jacobi ของวิธีการที่โปรดปรานการใช้งานคงที่จุด ของพวกเขาซับซ้อนของคอมพิวเตอร์เป็น แต่ยังคงมีการสั่งซื้อ O (d3) สำหรับแต่ละการหมุนสมมาตร (สมมติว่าเมทริกซ์สมมาตรขนาดd · d คำนวณก่อนหน้านี้) โดยทั่วไปการปรับปรุงในคอมพิวเตอร์ที่ซับซ้อนเป็นเล็กน้อย. Roweis (1997) ความคาดหวังที่นำเสนอการเพิ่ม (EM) อัลกอริทึมสำหรับ PCA ซึ่งเป็นคอมพิวเตอร์ที่มีประสิทธิภาพมากกว่าวิธีEVD สำหรับ PCA แต่เทคนิคนี้ใช้วิธี EM ซึ่งอาจจะมีราคาแพงในเวลา นอกจากนี้ยังต้องเมทริกซ์ inverse1 คำนวณทั้งใน E-M ขั้นตอนและขั้นตอนสำหรับแต่ละซ้ำซึ่งคือการออกกำลังกายที่มีราคาแพง. นอกจากนี้อัลกอริทึม EM ไม่ได้เพ่งความสนใจไปทั่วโลกสูงสุด มันประสบความสำเร็จสูงสุดเพียงท้องถิ่นและทำให้ทางเลือกของการคาดเดาเริ่มต้นใช้ในอัลกอริทึมจะกลายเป็นสิ่งสำคัญ วิธีการใช้พลังงาน (ชิลลิงและแฮร์ริส, 2000) จะใช้ในการพบวิคเตอร์ชั้นนำที่มีราคาแพงน้อยกว่าวิธีการแต่สามารถคำนวณเพียงคนเดียววิคเตอร์ชั้นนำมากที่สุด. อีกวิธีหนึ่งคือขั้นตอนวิธีการสแนปช็อต (Sirovich, 1987) ซึ่งไม่ชัดเจนคำนวณแปรปรวนตัวอย่างเมทริกซ์ แต่ต้องเมทริกซ์ผกผันและอยู่บนพื้นฐานของสมมติฐานที่ว่าeigenvectors ที่ถูกค้นหาเป็นเชิงเส้นการรวมกันของเวกเตอร์คุณลักษณะ

ผลลัพธ์ (ไทย) 3:

การคำนวณของพีซีต้องใช้ค่าการย่อยสลาย( evd ) ของเมทริกซ์ของความแปรปรวนร่วมคุณลักษณะเวกเตอร์วิธีหนึ่งที่รู้จักกันดี evd เป็นวงจรของโคบี้วิธี ( โกเลิบ และรถตู้เงินกู้ , 1996 ) วิธีของ จาโคบี้ซึ่ง diagonalizes เมตริกซ์สมมาตรต้องไปรอบ ๆ( D3 o + d2n ) การคำนวณ ( โกเลิบ และรถตู้เงินกู้ , 2539 )( โดยที่ n คือหมายเลขของเวกเตอร์คุณลักษณะ หรือตัวอย่างที่ใช้ )การคำนวณนี้ในการใช้งานหลายเรื่อง ( เช่นการ ) เป็นที่ไม่พึงประสงค์ จำนวนของวิธีการได้รับการเสนอสำหรับคอมพิวเตอร์พีซี ในวรรณคดีแปลงด้วยการลดความซับซ้อนในการคำนวณ . เรดดี้และ แฮร์เริ่น ( 2001 ) ได้เสนอการแก้ไขของ จาโคบี้วิธีที่โปรดปรานเรื่องใช้งาน ของพวกเขาการคำนวณที่ซับซ้อนเป็น , อย่างไรก็ตาม , ยังคงสั่งซื้อ O ( D3 )สำหรับแต่ละสมมาตรการหมุน ( สมมติว่าเมทริกซ์สมมาตรขนาด D ด้วย D ก่อนหน้านี้ครั้ง ) โดยทั่วไปการปรับปรุงในการคำนวณที่ซับซ้อนเป็นเล็กน้อยroweis ( 1997 ) เสนอความคาดหวังสูงสุด ( EM )ขั้นตอนวิธีสำหรับพีซี ซึ่งเป็น computationally มีประสิทธิภาพมากกว่าวิธี evd สำหรับ PCA . แต่เทคนิคนี้ใช้ในอัลกอริทึมซึ่งอาจจะมีราคาแพงในเวลา มันก็ต้องการคำนวณเมทริกซ์ inverse1 e-step m-step ทั้งในและสำหรับแต่ละซ้ำ ซึ่งเป็นการออกกำลังกายราคาแพงนอกจากนี้ขั้นตอนวิธีอีเอ็มไม่บรรจบกับโลกสูงสุด ; มันใช้เฉพาะท้องถิ่นมากที่สุด และดังนั้นทางเลือกของการเดาที่ใช้ในขั้นตอนวิธีการ กลายเป็นที่สําคัญ พลัง ( และวิธีชิลลิ่ง แฮร์ริส , 2000 )นอกจากนี้ยังใช้ในการค้นหาชั้นนำเวกเตอร์ลักษณะเฉพาะที่แพงน้อยกว่าวิธีการแต่สามารถคำนวณเพียงหนึ่งมากที่สุดชั้นนำเวกเตอร์ลักษณะเฉพาะ .อีกวิธีคือการยิงของ sirovich snap ,1987 ) ซึ่งไม่ได้ร่วมคำนวณตัวอย่างอย่างชัดเจนเมทริกซ์ อย่างไรก็ตาม ต้องผกผันเมทริกซ์และขึ้นอยู่กับสมมติฐานที่เสนอมีการค้นหาเป็นเชิงเส้นชุดของเวกเตอร์ลักษณะเฉพาะ