Chapter 5Least SquaresThe term leas

Chapter 5
Least Squares
The term least squares describes a frequently used approach to solving overdetermined
or inexactly specified systems of equations in an approximate sense. Instead
of solving the equations exactly, we seek only to minimize the sum of the squares
of the residuals.
The least squares criterion has important statistical interpretations. If appropriate
probabilistic assumptions about underlying error distributions are made,
least squares produces what is known as the maximum-likelihood estimate of the parameters.
Even if the probabilistic assumptions are not satisfied, years of experience
have shown that least squares produces useful results.
The computational techniques for linear least squares problems make use of
orthogonal matrix factorizations.
5.1 Models and Curve Fitting
A very common source of least squares problems is curve fitting. Let t be the
independent variable and let y(t) denote an unknown function of t that we want
to approximate. Assume there are m observations, i.e., values of y measured at
specified values of t:
yi = y(ti), i = 1, . . . , m.
The idea is to model y(t) by a linear combination of n basis functions:
y(t) ≈ β1ϕ1(t) + · · · + βnϕn(t).
The design matrix X is a rectangular matrix of order m by n with elements
xi;j = ϕj(ti).
The design matrix usually has more rows than columns. In matrix-vector notation,
the model is
y ≈ Xβ.
September 17, 2013
1
2 Chapter 5. Least Squares
The symbol ≈ stands for “is approximately equal to.” We are more precise about
this in the next section, but our emphasis is on least squares approximation.
The basis functions ϕj(t) can be nonlinear functions of t, but the unknown
parameters, βj , appear in the model linearly. The system of linear equations
Xβ ≈ y
is overdetermined if there are more equations than unknowns. The Matlab backslash
operator computes a least squares solution to such a system.
beta = Xy
The basis functions might also involve some nonlinear parameters, α1, . . . , αp.
The problem is separable if it involves both linear and nonlinear parameters:
y(t) ≈ β1ϕ1(t, α) + · · · + βnϕn(t, α).
The elements of the design matrix depend upon both t and α:
xi;j = ϕj(ti, α).
Separable problems can be solved by combining backslash with the Matlab function
fminsearch or one of the nonlinear minimizers available in the Optimization
Toolbox. The new Curve Fitting Toolbox provides a graphical interface for solving
nonlinear fitting problems.
Some common models include the following:
• Straight line: If the model is also linear in t, it is a straight line:
y(t) ≈ β1t + β2.
• Polynomials: The coefficients βj appear linearly. Matlab orders polynomials
with the highest power first:
ϕj(t) = tn−j , j = 1, . . . , n,
y(t) ≈ β1tn−1 + · · · + βn−1t + βn.
The Matlab function polyfit computes least squares polynomial fits by
setting up the design matrix and using backslash to find the coefficients.
• Rational functions: The coefficients in the numerator appear linearly; the
coefficients in the denominator appear nonlinearly:
ϕj(t) =
tn−j
α1tn−1 + · · · + αn−1t + αn
,
y(t) ≈ β1tn−1 + · · · + βn−1t + βn
α1tn−1 + · · · + αn−1t + αn
.
5.2. Norms 3
• Exponentials: The decay rates, λj , appear nonlinearly:
ϕj(t) = e
−j t,
y(t) ≈ β1e
−1t + · · · + βne
−nt.
• Log-linear: If there is only one exponential, taking logs makes the model linear
but changes the fit criterion:
y(t) ≈ Ket,
log y ≈ β1t + β2, with β1 = λ, β2 = logK.
• Gaussians: The means and variances appear nonlinearly:
ϕj(t) = e
−
(
t

ผลลัพธ์ (ไทย) 1:

บทที่ 5กำลังสองน้อยสุดสี่เหลี่ยมอย่างน้อยคำอธิบายวิธีการที่ใช้บ่อยการแก้ overdeterminedหรือระบบระบุ inexactly ของสมการในความรู้สึกโดยประมาณ แทนแก้ไขสมการว่า เราค้นหาเท่านั้นเพื่อลดผลรวมของสี่เหลี่ยมของค่าคงเหลือเกณฑ์กำลังสองน้อยสุดได้ตีความทางสถิติสำคัญ ถ้าเหมาะสมสมมติฐาน probabilistic เกี่ยวกับข้อผิดพลาดแบบกระจายจะกำลังสองน้อยที่สุดทำให้เกิดสิ่งที่เรียกว่าเป็นการประเมินความเป็นไปได้สูงสุดของพารามิเตอร์แม้ว่าสมมติฐาน probabilistic ไม่พอใจ ประสบการณ์ได้แสดงว่า กำลังสองน้อยที่สุดทำให้เกิดผลลัพธ์ที่เป็นประโยชน์เทคนิคการคำนวณปัญหากำลังสองน้อยสุดเส้นให้ใช้เมตริกซ์ orthogonal factorizationsรุ่น 5.1 และโค้งกระชับแหล่งกันมากปัญหาน้อยสี่เหลี่ยมเป็นเส้นโค้งกระชับ ให้ t เป็นการตัวแปรอิสระและ y(t) ให้แสดงฟังก์ชันไม่รู้จักของ t ที่เราต้องการเพื่อประมาณการ สมมติว่า มี m สังเกต เช่น ค่าของ y ที่วัดระบุค่าของ t:กำลังyi = y(ti) ฉัน = 1,..., mความคิดเป็นแบบ y(t) โดยการรวมกันเชิงเส้นฟังก์ชันพื้นฐาน n:y(t) ≈ β1ϕ1(t) + ··· + Βnϕn(t)ออกแบบเมตริกซ์ X เป็นเมตริกซ์สี่เหลี่ยมของ m สั่งด้วยกับองค์ประกอบซีอานซีกวน j = ϕj(ti)เมตริกซ์ออกแบบมักจะมีแถวมากกว่าคอลัมน์ ในสัญกรณ์เมตริกซ์เวกเตอร์รูปแบบคือy ≈ Xβ17 กันยายน 201312 บทที่ 5 กำลังสองน้อยสุด≈สัญลักษณ์ถึง "เป็นประมาณเท่ากับ" เรามีความชัดเจนมากขึ้นเกี่ยวกับในส่วนถัดไป แต่ของเราเน้นเป็นกำลังสองน้อยสุดประมาณΦj(t) ฟังก์ชันพื้นฐานสามารถฟังก์ชันไม่เชิงเส้นของ t แต่ไม่รู้จักพารามิเตอร์ βj ปรากฏขึ้นในแบบจำลองเชิงเส้น ตอบของระบบสมการเชิงเส้นXβ ≈ yเป็น overdetermined ถ้ามีสมการเพิ่มเติมกว่า unknowns สแล Matlabตัวดำเนินคำนวณการแก้ไขระบบการกำลังสองน้อยสุดเบต้า = Xyฟังก์ชันพื้นฐานยังอาจเกี่ยวข้องกับบางไม่เชิงเส้นพารามิเตอร์ α1,..., αpปัญหาคือ separable ถ้าเกี่ยวข้องกับพารามิเตอร์ทั้งเชิงเส้น และไม่เชิงเส้น:y(t) ≈ β1ϕ1 (t α) + ··· + Βnϕn (t α)องค์ประกอบของการออกแบบเมทริกซ์ขึ้น t และα:ซีอานซีกวน j = ϕj (ตี้ α)สามารถแก้ไขปัญหา separable โดยทับด้วย Matlab ฟังก์ชันfminsearch หรือ minimizers ไม่เชิงเส้นที่ใช้ในการเพิ่มประสิทธิภาพอย่างใดอย่างหนึ่งกล่องเครื่องมือ เส้นโค้งใหม่พอดีมือให้ส่วนติดต่อแบบกราฟิกสำหรับการแก้อุปกรณ์ไม่เชิงเส้นปัญหาการบางรุ่นทั่วไปมีดังนี้:•เส้น: ถ้ายังเป็นแบบเชิงเส้นในที เป็นเส้นตรง:y(t) ≈ β1t + β2• Polynomials: ปรากฏ βj สัมประสิทธิ์เชิงเส้น Matlab สั่ง polynomialsสูงสุดกับพลังงานแรก:Φj(t) = tn−j, j = 1,..., ny(t) ≈ β1tn−1 + ··· + Βn−1t + βnPolyfit ฟังก์ชัน Matlab จะเหมาะกับพหุนามกำลังสองน้อยที่สุดโดยการตั้งค่าเมทริกซ์ออกแบบ และใช้เครื่องหมายทับขวาหาสัมประสิทธิ์•ฟังก์ชันตรรกยะ: แสดงสัมประสิทธิ์ในด้านเชิงเส้น ที่สัมประสิทธิ์ในตัวหารปรากฏ nonlinearly:Φj(t) =tn−jΑ1tn−1 + ··· + Αn−1t + αn,y(t) ≈ β1tn−1 + ··· + Βn−1t + βnΑ1tn−1 + ··· + Αn−1t + αn.5.2. บรรทัดฐาน 3• Exponentials: ผุราคา λj ปรากฏ nonlinearly:Φj(t) = e− j ty(t) ≈ β1e−1t + · · · + Βne− nt•บันทึกเชิงเส้น: ถ้ามีเฉพาะเนน การบันทึกทำให้แบบจำลองเชิงเส้นแต่เปลี่ยนเกณฑ์พอดี:≈ y(t) Ke tล็อก y ≈ β1t + β2 กับ β1 =λ β2 = logK• Gaussians: วิธีการและผลต่างปรากฏ nonlinearly:Φj(t) = e−(t