Linear least squares regression is

Linear least squares regression is by far the most widely used modeling method. It is what most people mean when they say they have used "regression", "linear regression" or "least squares" to fit a model to their data. Not only is linear least squares regression the most widely used modeling method, but it has been adapted to a broad range of situations that are outside its direct scope. It plays a strong underlying role in many other modeling methods, including the other methods discussed in this section: nonlinear least squares regression, weighted least squares regression and LOESS.
Definition of a Linear Least Squares Model Used directly, with an appropriate data set, linear least squares regression can be used to fit the data with any function of the form
f(x→;β→)=β0+β1x1+β2x2+…
in which
each explanatory variable in the function is multiplied by an unknown parameter,
there is at most one unknown parameter with no corresponding explanatory variable, and
all of the individual terms are summed to produce the final function value.
In statistical terms, any function that meets these criteria would be called a "linear function". The term "linear" is used, even though the function may not be a straight line, because if the unknown parameters are considered to be variables and the explanatory variables are considered to be known coefficients corresponding to those "variables", then the problem becomes a system (usually overdetermined) of linear equations that can be solved for the values of the unknown parameters. To differentiate the various meanings of the word "linear", the linear models being discussed here are often said to be "linear in the parameters" or "statistically linear".
Why "Least Squares"? Linear least squares regression also gets its name from the way the estimates of the unknown parameters are computed. The "method of least squares" that is used to obtain parameter estimates was independently developed in the late 1700's and the early 1800's by the mathematicians Karl Friedrich Gauss, Adrien Marie Legendre and (possibly) Robert Adrain [Stigler (1978)] [Harter (1983)] [Stigler (1986)] working in Germany, France and America, respectively. In the least squares method the unknown parameters are estimated by minimizing the sum of the squared deviations between the data and the model. The minimization process reduces the overdetermined system of equations formed by the data to a sensible system of p, (where p is the number of parameters in the functional part of the model) equations in p unknowns. This new system of equations is then solved to obtain the parameter estimates. To learn more about how the method of least squares is used to estimate the parameters, see Section 4.4.3.1.
Examples of Linear Functions As just mentioned above, linear models are not limited to being straight lines or planes, but include a fairly wide range of shapes. For example, a simple quadratic curve,
f(x;β→)=β0+β1x+β11x2,
is linear in the statistical sense. A straight-line model in log(x),
f(x;β→)=β0+β1ln(x),
or a polynomial in sin(x),
f(x;β→)=β0+β1sin(x)+β2sin(2x)+β3sin(3x),
is also linear in the statistical sense because they are linear in the parameters, though not with respect to the observed explanatory variable, x.
Nonlinear Model Example Just as models that are linear in the statistical sense do not have to be linear with respect to the explanatory variables, nonlinear models can be linear with respect to the explanatory variables, but not with respect to the parameters. For example,
f(x;β→)=β0+β0β1x
is linear in x, but it cannot be written in the general form of a linear model presented above. This is because the slope of this line is expressed as the product of two parameters. As a result, nonlinear least squares regression could be used to fit this model, but linear least squares cannot be used. For further examples and discussion of nonlinear models see the next section, Section 4.1.4.2.
Advantages of Linear Least Squares Linear least squares regression has earned its place as the primary tool for process modeling because of its effectiveness and completeness.
Though there are types of data that are better described by functions that are nonlinear in the parameters, many processes in science and engineering are well-described by linear models. This is because either the processes are inherently linear or because, over short ranges, any process can be well-approximated by a linear model.
The estimates of the unknown parameters obtained from linear least squares regression are the optimal estimates from a broad class of possible parameter estimates under the usual assumptions used for process modeling. Practically speaking, linear least squares regression makes very efficient use of the data. Good results can be obtained with relatively small data sets.
Finally, the theory associated with linear regression is well-understood and allows for construction of different types of easily-interpretable statistical intervals for predictions, calibrations, and optimizations. These statistical intervals can then be used to give clear answers to scientific and engineering questions.
Disadvantages of Linear Least Squares The main disadvantages of linear least squares are limitations in the shapes that linear models can assume over long ranges, possibly poor extrapolation properties, and sensitivity to outliers.
Linear models with nonlinear terms in the predictor variables curve relatively slowly, so for inherently nonlinear processes it becomes increasingly difficult to find a linear model that fits the data well as the range of the data increases. As the explanatory variables become extreme, the output of the linear model will also always more extreme. This means that linear models may not be effective for extrapolating the results of a process for which data cannot be collected in the region of interest. Of course extrapolation is potentially dangerous regardless of the model type.
Finally, while the method of least squares often gives optimal estimates of the unknown parameters, it is very sensitive to the presence of unusual data points in the data used to fit a model. One or two outliers can sometimes seriously skew the results of a least squares analysis. This makes model validation, especially with respect to outliers, critical to obtaining sound answers to the questions motivating the construction of the model.

ผลลัพธ์ (ไทย) 1:

เชิงเส้นสี่เหลี่ยมน้อยถดถอยคือไกลโดยวิธีการสร้างแบบจำลองที่ใช้กันอย่างแพร่หลาย มันเป็นสิ่งที่คนส่วนใหญ่หมายถึงเมื่อพวกเขากล่าวว่าพวกเขาได้ใช้ "ถดถอย", "การถดถอยเชิงเส้น" หรือ "น้อยสแควร์" เพื่อให้เหมาะสมกับรูปแบบการให้ข้อมูลของพวกเขา ไม่เพียง แต่เป็นเชิงเส้นสี่เหลี่ยมน้อยถดถอยวิธีการสร้างแบบจำลองที่ใช้กันอย่างแพร่หลายมากที่สุด แต่จะได้รับการปรับให้มีความหลากหลายของสถ​​านการณ์ที่อยู่นอกขอบเขตโดยตรงมันมีบทบาทพื้นฐานที่แข็งแกร่งในหลายวิธีการสร้างแบบจำลองอื่น ๆ รวมถึงวิธีการอื่น ๆ ที่กล่าวถึงในส่วนนี้. น้อยสแควร์ไม่เชิงเส้นถดถอยถ่วงน้ำหนักการถดถอยกำลังสองน้อยและดินเหลือง
ความหมายของการเชิงเส้นแบบกำลังสองน้อยมาใช้โดยตรงกับชุดข้อมูลที่เหมาะสม เชิงเส้นสี่เหลี่ยมน้อยถดถอยสามารถนำมาใช้ให้เหมาะสมกับข้อมูลที่มีการทำงานในรูปแบบ
f (x →ใดβ→) = β0β1x1β2x2 ...

ซึ่งในแต่ละตัวแปรอธิบายในฟังก์ชั่นจะถูกคูณด้วยพารามิเตอร์ที่ไม่รู้จัก
มีอย่างหนึ่งพารามิเตอร์ที่รู้จักมากที่สุดที่มีตัวแปรอธิบายที่สอดคล้องกันและ
ทั้งหมดของข้อตกลงของแต่ละบุคคลจะมีการสรุปในการผลิต ค่าฟังก์ชั่นขั้นสุดท้าย.
ในแง่สถิติฟังก์ชั่นใด ๆ ที่ตรงกับเกณฑ์เหล่านี้จะถูกเรียกว่า "ฟังก์ชั่นเชิงเส้น"คำว่า "เส้นตรง" ถูกนำมาใช้แม้การทำงานอาจจะไม่เป็นเส้นตรงเพราะถ้าพารามิเตอร์ที่ไม่รู้จักจะถือเป็นตัวแปรและตัวแปรอธิบายได้รับการพิจารณาให้เป็นที่รู้จักสัมประสิทธิ์สอดคล้องกับบรรดา "ตัวแปร" จากนั้นจะกลายเป็นปัญหา ระบบ (ปกติ overdetermined) สมการเชิงเส้นที่จะสามารถแก้ไขได้สำหรับค่าของพารามิเตอร์ที่ไม่รู้จักความแตกต่างของความหมายต่างๆของคำว่า "เส้นตรง" แบบจำลองเชิงเส้นที่มีการกล่าวถึงที่นี่มักจะมีการกล่าวถึงเป็น "เชิงเส้นในพารามิเตอร์" หรือ "สถิติเชิงเส้น".
ทำไม "กำลังสองน้อย"? เชิงเส้นสี่เหลี่ยมน้อยถดถอยยังได้รับชื่อจากวิธีการประมาณการของพารามิเตอร์ที่ไม่รู้จักจะคำนวณ"วิธีการของสี่เหลี่ยมน้อย" ที่ถูกนำมาใช้เพื่อให้ได้ประมาณการพารามิเตอร์ได้รับการพัฒนาอย่างเป็นอิสระในปลายปี 1700 และ 1800 ในช่วงต้นโดยนักคณิตศาสตร์ karl เกาส์ฟรีดริช, Adrien marie Legendre และ (อาจจะ) โรเบิร์ต Adrain [Stigler (1978)] [harter ( 1983)] [Stigler (1986)] ที่ทำงานในเยอรมนีฝรั่งเศสและอเมริกาตามลำดับในวิธีกำลังสองน้อยพารามิเตอร์ที่ไม่รู้จักมีประมาณโดยการลดผลรวมของส่วนเบี่ยงเบนยกกำลังสองระหว่างข้อมูลและรูปแบบ ลดขั้นตอนการลด overdetermined ระบบของสมการที่เกิดจากข้อมูลไปยังระบบที่เหมาะสมของการพี, (โดย p คือจำนวนของพารามิเตอร์ในส่วนการทำงานของรุ่น) สมการในราชวงศ์พีระบบใหม่นี้ของสมการจะแก้ไขแล้วจะได้รับการประมาณการพารามิเตอร์ เพื่อเรียนรู้เพิ่มเติมเกี่ยวกับวิธีการวิธีการของสี่เหลี่ยมอย่างน้อยจะใช้ในการประมาณค่าพารามิเตอร์ให้ดูส่วน 4.4.3.1.
ตัวอย่างของฟังก์ชั่นเชิงเส้นดังกล่าวข้างต้นเป็นเพียงรูปแบบเชิงเส้นไม่ได้ จำกัด ที่จะเป็นเส้นตรงหรือเครื่องบิน แต่รวมกว้างพอสมควร ช่วงของรูปทรง เช่นเส้นโค้งกำลังสองง่าย
f (x;β→) = β0β1xβ11x2
เป็นเส้นตรงในความหมายทางสถิติ แบบเส้นตรงในการเข้าสู่ระบบ (x)
f (x; β→) = β0β1ln (x)
หรือพหุนามในบาป (x)
f (x; β→) = β0β1sin (x) β2sin (2x) β3sin (3x),
ยังเชิงเส้นในความหมายทางสถิติเพราะพวกเขาเป็นเชิงเส้นในพารามิเตอร์ที่แม้ว่าจะไม่ได้เกี่ยวกับการอธิบายตัวแปรสังเกต x.
เช่นรูปแบบเชิงเส้นเช่นเดียวกับรูปแบบที่เป็นเชิงเส้นในความหมายทางสถิติที่ไม่จำเป็นต้องเป็นเส้นตรงส่วนที่เกี่ยวกับตัวแปรอธิบายแบบจำลองเชิงเส้นสามารถเชิงเส้นที่เกี่ยวกับตัวแปรอธิบาย แต่ไม่เกี่ยวกับพารามิเตอร์ ตัวอย่างเช่น
f (x; β→) = β0β0β1x
เป็นเส้นตรงใน x แต่ก็ไม่สามารถเขียนในรูปแบบทั่วไปของรูปแบบเชิงเส้นที่นำเสนอข้างต้นนี้เป็นเพราะความชันของเส้นนี้จะแสดงเป็นผลิตภัณฑ์สองพารามิเตอร์ เป็นผลให้ไม่เชิงเส้นสี่เหลี่ยมน้อยถดถอยสามารถนำมาใช้เพื่อให้เหมาะสมกับรูปแบบนี้ แต่สี่เหลี่ยมเส้นน้อยไม่สามารถใช้ ตัวอย่างต่อไปและการอภิปรายของรูปแบบเชิงเส้นให้ดูที่ส่วนถัดไปส่วน 4.1.4.2
.ข้อดีของการเชิงเส้นสี่เหลี่ยมน้อยเชิงเส้นสี่เหลี่ยมน้อยถดถอยได้รับสถานที่ที่เป็นเครื่องมือหลักสำหรับการสร้างแบบจำลองกระบวนการเนื่องจากประสิทธิภาพและความสมบูรณ์ของ.
แม้ว่าจะมีชนิดของข้อมูลที่จะดีกว่าการอธิบายโดยฟังก์ชั่นที่มีความไม่เป็นเชิงเส้นในพารามิเตอร์กระบวนการต่างๆใน วิทยาศาสตร์และวิศวกรรมเป็นอย่างดีตามที่อธิบายรูปแบบเชิงเส้นนี้เป็นเพราะทั้งกระบวนการเป็นอย่างโดยเนื้อแท้เชิงเส้นหรือเพราะกว่าช่วงสั้นกระบวนการใด ๆ ที่สามารถเป็นห้วงโดยแบบจำลองเชิงเส้น.
ประมาณการของพารามิเตอร์ที่ไม่รู้จักที่ได้รับจากเส้นสี่เหลี่ยมน้อยถดถอยเป็นประมาณการที่ดีที่สุดจากการเรียนในวงกว้างของ ประมาณการค่าพารามิเตอร์ที่เป็นไปได้ภายใต้สมมติฐานตามปกติท​​ี่ใช้สำหรับการสร้างแบบจำลองกระบวนการ จริงพูดเชิงเส้นสี่เหลี่ยมน้อยถดถอยทำให้การใช้งานที่มีประสิทธิภาพมากของข้อมูล ผลลัพธ์ที่ดีสามารถรับได้กับชุดข้อมูลขนาดค่อนข้างเล็ก.
ในที่สุดทฤษฎีที่เกี่ยวข้องกับการถดถอยเชิงเส้นเป็นที่เข้าใจและช่วยให้สำหรับการก่อสร้างประเภทที่แตกต่างกันทางสถิติของช่วงเวลาได้อย่างง่ายดาย interpretable เพื่อการคาดการณ์, การสอบเทียบและการเพิ่มประสิทธิภาพสถิติเหล่านี้ช่วงเวลานั้นจะสามารถใช้ในการให้คำตอบที่ชัดเจนสำหรับคำถามทางวิทยาศาสตร์และวิศวกรรม.
ข้อเสียของกำลังสองน้อยเชิงเส้นในข้อเสียที่สำคัญของสแควร์เชิงเส้นอย่างน้อยข้อ จำกัด ในรูปทรงที่เชิงเส้นรุ่นสามารถถือว่าช่วงที่ยาวกว่าอาจจะเป็นคุณสมบัติของการคาดการณ์ที่ไม่ดีและ ความไวต่อค่าผิดปกติ.
รูปแบบเชิงเส้นกับเงื่อนไขในการไม่เชิงเส้นโค้งตัวแปรค่อนข้างช้าดังนั้นสำหรับกระบวนการเชิงเส้นโดยเนื้อแท้มันจะกลายเป็นเรื่องยากมากขึ้นที่จะหารูปแบบเชิงเส้นที่เหมาะสมกับข้อมูลที่เป็นช่วงของการเพิ่มข้อมูล เป็นตัวแปรที่อธิบายกลายเป็นมากผลลัพธ์ของแบบจำลองเชิงเส้นจะเสมอมากขึ้นนี้หมายความว่ารูปแบบเชิงเส้นอาจจะไม่ได้มีประสิทธิภาพสำหรับคะเนผลของกระบวนการที่ข้อมูลไม่สามารถเก็บในภูมิภาคท​​ี่น่าสนใจ แน่นอนการคาดการณ์อาจเป็นอันตรายโดยไม่คำนึงถึงประเภทรูปแบบ.
ในที่สุดในขณะที่วิธีการของสี่เหลี่ยมน้อยมักจะให้ประมาณการที่ดีที่สุดของพารามิเตอร์ที่ไม่รู้จักมันมีความสำคัญมากกับการปรากฏตัวของจุดข้อมูลที่ผิดปกติในข้อมูลที่ใช้เพื่อให้เหมาะสมกับรูปแบบการ หนึ่งหรือสองค่าผิดปกติบางครั้งอย่างจริงจังลาดผลลัพธ์ที่ได้จากการวิเคราะห์สี่เหลี่ยมอย่างน้อย นี้จะทำให้การตรวจสอบรูปแบบโดยเฉพาะอย่างยิ่งที่เกี่ยวกับค่าผิดปกติท​​ี่สำคัญที่จะได้รับเสียงตอบคำถามที่กระตุ้นการก่อสร้างของรูปแบบ

ผลลัพธ์ (ไทย) 2:

กำลังสองน้อยสุดเส้นถดถอยโดยเป็นวิธีการสร้างโมเดลที่ใช้กันอย่างแพร่หลาย หมายความว่าคนส่วนใหญ่ว่า เมื่อพวกเขากล่าวว่า พวกเขาได้ใช้ "ถดถอย" "การถดถอยเชิงเส้น" หรือ "กำลังสองน้อยที่สุด" ให้พอดีกับรูปแบบของข้อมูลได้ ไม่เพียงเป็นกำลังสองน้อยสุดเส้นถดถอยวิธีการสร้างโมเดลที่ใช้กันอย่างแพร่หลาย แต่ได้รับการดัดแปลงกับหลากหลายสถานการณ์ที่อยู่นอกขอบเขตของมันโดยตรง มันมีบทบาทเข้มแข็งต้นแบบในหลายโมเดลต่าง ๆ รวมถึงวิธีอื่น ๆ ที่กล่าวถึงในส่วนนี้: ถดถอยไม่เชิงเส้นอย่างน้อยสี่เหลี่ยม สี่เหลี่ยมน้อยน้ำหนักถดถอย และดินเหลือง.
นิยามเป็นเส้นสี่เหลี่ยมน้อยรุ่นใช้โดยตรง ด้วยการชุดข้อมูลที่เหมาะสม กำลังสองน้อยสุดเส้นถดถอยสามารถใช้ให้พอดีกับข้อมูล ด้วยฟังก์ชันใด ๆ ของฟอร์ม
f (x→Β→) = β0 β1x1 β2x2...
การ
แต่ละอธิบายตัวแปรในฟังก์ชันด้วยพารามิเตอร์ที่ไม่รู้จัก,
มากที่สุดมีหนึ่งพารามิเตอร์ที่ไม่รู้จักกับแปรอธิบายไม่สอดคล้องกัน และ
ทั้งหมดของแต่ละพจน์จะถูกบวกรวมกันในการผลิตค่าฟังก์ชันสุดท้าย
ในแง่สถิติ ฟังก์ชันใด ๆ ที่ตรงกับเงื่อนไขเหล่านี้จะเรียก "ฟังก์ชันเชิงเส้น" ในคำว่า "เชิง" กัน แม้ว่าฟังก์ชันอาจเป็นเส้นตรง เพราะพิจารณาถ้าพารามิเตอร์ไม่รู้จักจะถือเป็น ตัวแปรและตัวแปรอธิบายเพื่อทราบค่าสัมประสิทธิ์ที่สอดคล้องกับที่ "แปร" แล้วปัญหากลายเป็น ระบบ (ปกติ overdetermined) ของสมการเชิงเส้นที่สามารถแก้ไขได้สำหรับค่าของพารามิเตอร์ไม่รู้จัก เพื่อแบ่งแยกความหมายต่าง ๆ ของคำว่า "เชิงเส้น" แบบจำลองเชิงเส้นที่กำลังกล่าวถึงนี่คือมักกล่าว "เส้นในพารามิเตอร์" หรือ "เส้นทางสถิติ"
ทำไม "อย่างน้อยสี่เหลี่ยม" กำลังสองน้อยสุดเส้นถดถอยได้รับชื่อจากแบบประเมินของพารามิเตอร์ไม่รู้จักจะคำนวณยัง "วิธีกำลังสองน้อยที่สุด" ที่ใช้ในการขอรับประเมินพารามิเตอร์ถูกพัฒนาเป็น 1700 สายและของ 1800 ต้น โดย mathematicians คาร์ลฟรีดริชเกาส์ เอเดรียนมารีเลอฌ็องดร์ และ (อาจจะ) โรเบิร์ต Adrain [Stigler (1978)] [Harter (1983)] [Stigler (1986)] ทำงานในเยอรมนี ฝรั่งเศส และ อเมริกา ตามลำดับ ในวิธีกำลังสองน้อยที่สุด มีประเมินพารามิเตอร์ไม่รู้จัก โดยลดผลรวมของความเบี่ยงเบนกำลังสองระหว่างข้อมูลและแบบจำลอง กระบวนการลดการลดระบบ overdetermined ของสมการที่เกิดขึ้นจากข้อมูลระบบที่เหมาะสมของ p, (ที่ p คือ จำนวนของพารามิเตอร์ในส่วนทำงานของแบบจำลอง) สมการใน p unknowns แล้วมีแก้ระบบสมการนี้ใหม่เพื่อขอรับการประเมินพารามิเตอร์ การเรียนรู้เพิ่มเติมเกี่ยวกับวิธีใช้วิธีกำลังสองน้อยที่สุดเพื่อประเมินพารามิเตอร์ ดู 4.4.3.1.
Examples ในส่วนของเชิงเส้นฟังก์ชันเป็นเพียงกล่าว แบบจำลองเชิงเส้นจะไม่เป็น เส้นตรงหรือบิน แต่มีค่อนข้างหลากหลายรูปทรง ตัวอย่าง ตัวอย่างกำลังสองโค้ง,
f (xΒ→) = β0 β1x β11x2,
เป็นเชิงเส้นในแง่สถิติ แบบเส้นตรงใน log (x),
f (x β→) = β0 β1ln (x),
หรือพหุนามใน sin (x),
f (x β→) = β0 β1sin(x) β2sin(2x) β3sin(3x),
เป็นเชิงเส้นในแง่สถิติเพราะเป็นเชิงเส้นในพารามิเตอร์ แม้ว่าไม่เกี่ยวกับตัวแปรอธิบายสังเกต x.
ไม่เชิงเส้นแบบจำลองอย่างเพียงเป็นรูปแบบที่เป็นเชิงเส้นในแง่สถิติไม่เป็นเชิงเส้นกับตัวแปรอธิบาย แบบจำลองไม่เชิงเส้นเป็นเส้นตรง ด้วยความเคารพตัวแปรอธิบาย แต่ไม่ อิงพารามิเตอร์ ตัวอย่าง,
f (x β→) = β0 β0β1x
เป็นเชิงเส้นใน x แต่ไม่สามารถเขียนในรูปทั่วไปของแบบจำลองเชิงเส้นที่นำเสนอข้างต้น ทั้งนี้เนื่องจากความชันของเส้นนี้จะแสดงเป็นผลคูณของพารามิเตอร์ที่สอง ดัง สามารถใช้ถดถอยไม่เชิงเส้นอย่างน้อยสี่เหลี่ยมให้พอดีกับรูปแบบนี้ แต่ไม่สามารถใช้กำลังสองน้อยสุดเส้น สำหรับตัวอย่างต่อไปและสนทนาแบบจำลองไม่เชิงเส้นดูส่วนถัดไป ส่วน 4.1.4.2.
ข้อดีของการถดถอยเชิงเส้นสี่เหลี่ยมน้อยกำลังสองน้อยที่สุดได้รับความเป็นเครื่องมือหลักสำหรับกระบวนการสร้างโมเดลของประสิทธิภาพและความสมบูรณ์
ว่ามีชนิดของข้อมูลที่ดีกว่าอธิบาย ด้วยฟังก์ชันที่ไม่เชิงเส้นในพารามิเตอร์ กระบวนต่าง ๆ ในวิทยาศาสตร์และวิศวกรรมดีอธิบาย โดยแบบจำลองเชิงเส้น ทั้งนี้เนื่องจากกระบวนมีเส้นตั้ง หรือเนื่องจาก สั้นกว่าช่วง กระบวนการใด ๆ สามารถดงแห่ง โดยเป็นเชิงเส้นแบบจำลองการ
ประเมินของพารามิเตอร์ไม่รู้จักได้จากกำลังสองน้อยสุดเส้นถดถอยมีราคาประเมินสูงสุดจากระดับกว้างของพารามิเตอร์ได้ประเมินภายใต้สมมติฐานปกติที่ใช้ในกระบวนการสร้างโมเดล พูดจริง กำลังสองน้อยสุดเส้นถดถอยทำให้มีประสิทธิภาพมากใช้ข้อมูล สามารถได้รับผลลัพธ์ที่ดีกับชุดข้อมูลขนาดค่อนข้างเล็กได้
สุดท้าย ทฤษฎีที่เกี่ยวข้องกับการถดถอยเชิงเส้นคือเข้าใจดี และช่วยให้การก่อสร้างแตกต่างของช่วงสถิติง่าย ๆ interpretable คาดคะเน เสริม และเพิ่มประสิทธิภาพการ ช่วงทางสถิติเหล่านี้สามารถนำไปใช้เพื่อให้คำตอบที่ชัดเจนกับทางวิทยาศาสตร์ และวิศวกรรมศาสตร์คำถามได้
ข้อเสียของเส้นน้อยข้อเสียหลักของกำลังสองน้อยสุดเส้นมีข้อจำกัดในรูปทรงที่แบบจำลองเชิงเส้นสามารถสมมติช่วงยาว คุณสมบัติ extrapolation อาจไม่ดี และความไวการ outliers ได้
แบบจำลองเชิงเส้น ด้วยเงื่อนไขไม่เชิงเส้นในตัวแปร predictor เส้นโค้งค่อนข้างช้า ดังนั้นในกระบวนการไม่เชิงเส้นความ เป็นยากขึ้นที่จะค้นหาแบบเชิงเส้นที่เหมาะสมกับข้อมูลดีเป็นช่วงเพิ่มข้อมูล เป็นตัวแปรอธิบายเป็นมาก การแสดงผลของแบบจำลองเชิงเส้นจะยังเสมอเพิ่มเติมมาก ซึ่งหมายความ ว่า แบบจำลองเชิงเส้นอาจไม่มีผลสำหรับ extrapolating ผลลัพธ์ของกระบวนการข้อมูลไม่สามารถถูกเก็บรวบรวมในภูมิภาคที่น่าสนใจ Extrapolation เป็นอันตรายโดยไม่คำนึงถึงชนิดของแบบจำลองแน่นอน
ในที่สุด ในขณะที่วิธีการกำลังสองน้อยสุดประเมินมักจะให้ดีที่สุดของพารามิเตอร์ไม่รู้จัก จึงมีความสำคัญมากกับสถานะของจุดข้อมูลที่ผิดปกติในข้อมูลที่ใช้ให้เหมาะสมกับรูปแบบ Outliers หนึ่ง หรือสองอย่างจริงจังบางครั้งสามารถเอียงผลการวิเคราะห์แบบกำลังสองน้อยสุด นี้ให้ตรวจสอบแบบจำลอง โดยเฉพาะอย่างยิ่งกับ outliers ความสำคัญต่อการรับเสียงคำตอบของคำถามที่สร้างแรงจูงใจการก่อสร้างแบบ

ผลลัพธ์ (ไทย) 3:

สหสัมพันธ์เชิงเส้นตามแนวยาวอย่างน้อยจตุรัสมีอยู่ไม่ไกลจากวิธีการสร้างแบบจำลองที่ใช้อย่างกว้างขวางมากที่สุด มันเป็นสิ่งที่ผู้คนหมายความว่าอย่างไรเมื่อเขาบอกว่าเขาได้ถูกนำมาใช้"( Log ","ตามแนวยาว( Log "หรือ"อย่างน้อยจัตุรัส"เพื่อความกระชับที่รุ่นของข้อมูล. ไม่เพียงแห่งเดียวที่มี( Log จตุรัสอย่างน้อยการสร้างแบบจำลองแนวยาววิธีการใช้อย่างกว้างขวางมากที่สุดแต่มันได้รับการดัดแปลงเพื่อความหลากหลายของสถานการณ์ที่อยู่นอกขอบเขตของตนโดยตรงสามารถเล่นได้อย่างแข็งแกร่งพื้นฐานมีบทบาทในการสร้างแบบจำลองวิธีการอื่นๆจำนวนมากซึ่งรวมถึงวิธีการอื่นๆที่กล่าวถึงในส่วนนี้: nonlinear อย่างน้อยจตุรัส( Log ,ถ่วงน้ำหนักอย่างน้อยจตุรัส( Log และ Loess Plateau บ้านพักพื้นเมือง.
คำนิยามของที่ตามแนวยาวอย่างน้อยจตุรัสรุ่นใช้งานโดยตรงด้วยข้อมูลที่เหมาะสมตั้งค่า,ตามแนวยาวอย่างน้อยจตุรัส( Log สามารถใช้ให้เหมาะสมกับข้อมูลที่มีการใช้งานในรูปแบบ
F ( x→ ;β→)=เฉพาะ 0 เฉพาะ 1 x 1 เฉพาะ 2 x 2 ...................

ซึ่งจะช่วยในการอธิบายได้ตามต้องการในแต่ละครั้งที่ใช้งานได้เพิ่มขึ้นอีกโดยที่ไม่รู้จักพารามิเตอร์,
มีที่มากที่สุดคนหนึ่งที่ไม่รู้จักพารามิเตอร์ที่เกี่ยวข้องพร้อมด้วยไม่มีการอธิบายแบบปรับได้หลายระดับและ
ทั้งหมดของแต่ละเงื่อนไขได้สรุปในการผลิตที่ใช้งานครั้งสุดท้ายมูลค่า.
ในเชิงสถิติข้อกำหนดใดๆที่ฟังก์ชันที่ตรงตามเงื่อนไขเหล่านี้จะได้รับการเรียกว่า"ตามแนวยาวทำงาน".คำว่า"ตามแนวยาว"คือใช้ได้แม้จะทำงานที่อาจไม่ได้รับสายโดยตรงเพราะหากพารามิเตอร์ที่ไม่รู้จักที่จะได้รับการพิจารณาให้เป็นตัวแปรต่างๆและตัวแปรการอธิบายที่ได้รับการพิจารณาให้เป็นเป็นที่รู้จักกันในชื่อ coefficients ที่เกี่ยวข้องกับ"เป็นตัวแปรสำคัญที่"แล้วยังมีปัญหาที่จะกลายเป็นระบบ(โดยปกติแล้ว overdetermined )ของสมตามแนวยาวที่สามารถแก้ไขได้สำหรับค่าพารามิเตอร์ที่ไม่รู้จักในการสร้างความแตกต่างให้กับความหมายของคำว่า"ตามแนวยาว"รุ่นตามแนวยาวที่กำลังกล่าวถึงนี้กล่าวกันว่าจะเป็น"ตามแนวยาวในพารามิเตอร์ที่"หรือ"ตามแนวยาวทางสถิติ"..
ทำไม"จัตุรัสอย่างน้อยมาก" สหสัมพันธ์เชิงเส้นตามแนวยาวอย่างน้อยจตุรัสนอกจากนั้นยังจะมีชื่อเรียกจากทางได้ประมาณการไว้ที่ของพารามิเตอร์ที่ไม่รู้จักที่จะคำนวณ"วิธีการอย่างน้อยจัตุรัส"ที่จะใช้ในการขอรับค่าพารามิเตอร์ประเมินได้พัฒนาอย่างเป็นอิสระในช่วงปลายปี 1700 และช่วงต้นปี 1800 โดยนักคณิตศาสตร์ Karl Friedrich เกาซ, adrien Marie legendre และ(อาจจะ) Robert adrain [ stigler ( 1978 )][ harter ( 1983 )][ stigler ( 1986 )]กำลังทำงานในเยอรมนี,ฝรั่งเศสและอเมริกาเหนือ,ตามลำดับ.ในวิธีการอย่างน้อยที่จตุรัสพารามิเตอร์ที่ไม่รู้จักที่จะมีการประเมินโดยการลดจำนวนเงินที่บนสังเวียนของตัวแปรที่ระหว่างข้อมูลและรุ่น ที่การลดขั้นตอนที่ overdetermined ระบบของสมโดยที่ข้อมูลในระบบที่มีเหตุผลของ P ,(สถานที่ซึ่งเป็นที่ของพารามิเตอร์ที่เต็มไปด้วยประโยชน์ใช้สอยในส่วนของรุ่น)และใน P ' s Gravesite .ระบบใหม่นี้จะช่วยแก้ปัญหาของสมในการขอรับประเมินค่าพารามิเตอร์นี้แล้ว เมื่อต้องการศึกษาเพิ่มเติมเกี่ยวกับวิธีการใช้วิธีการของช่องอย่างน้อยจะใช้ในการประเมินค่าพารามิเตอร์ที่ดูที่ส่วน 4.4.3.1 .
ตัวอย่างของการทำงานตามแนวยาวเป็นเพียงกล่าวถึงข้างต้นรุ่นตามแนวยาวไม่จำกัด(มหาชน)เพื่อเป็นสายตรงหรือเครื่องบินแต่รวมถึงขนาดค่อนข้างหลากหลายของรูปร่าง ตัวอย่างเช่นความโค้งมนในพีชคณิตที่มีกำลังสองแบบเรียบง่ายที่
F ( xβ→)=เฉพาะ 0 เฉพาะ 1 x 11 x 2 เฉพาะ
เป็นเส้นตรงในความหมายทางสถิติที่ ตรง - สายการผลิตของรุ่นในล็อกอินเข้าสู่( X ),(~ F ( X ;β→)=เฉพาะ 0 เฉพาะ 1 ลักษณะคล้ายกัน( X ),
หรือ polynomial ในเครื่องบูชาไถ่บาป( X ),(~ F ( X ;β→)=เฉพาะ 0 เฉพาะ 1 เครื่องบูชาไถ่บาป( X )เฉพาะ 2 เครื่องบูชาไถ่บาป( 2 x )เฉพาะ 3 เครื่องบูชาไถ่บาป( 3 x ),
ยังเป็นแนวยาวในเชิงสถิติความรู้สึกเพราะพวกเขาเป็นเส้นตรงในพารามิเตอร์,แม้ไม่มีความเคารพในที่สังเกตการอธิบายได้, X .
nonlinear รุ่นตัวอย่างเช่นเพียงเป็นรุ่นที่ได้รับตามแนวยาวในความรู้สึกทางสถิติที่ไม่ต้องได้รับตามแนวยาวพร้อมด้วยความเคารพในตัวแปรการอธิบายให้รุ่น nonlinear สามารถตามแนวยาวพร้อมด้วยความเคารพในตัวแปรการอธิบายได้แต่ไม่ได้พร้อมด้วยความเคารพในพารามิเตอร์ที่. ตัวอย่างเช่น
not F ( x β→)=เฉพาะ 0 เฉพาะ 0 เฉพาะ 1 x
ซึ่งจะช่วยเป็นแนวยาวใน X แต่ไม่สามารถจะมีการบันทึกไว้ในรูปแบบทั่วไปของรุ่นตามแนวยาวที่แสดงข้างต้น.โรงแรมแห่งนี้เป็นเพราะความลาดชันของสายนี้คือการแสดง ผลิตภัณฑ์ ของสองพารามิเตอร์ เป็นผลมาจากจัตุรัสสหสัมพันธ์เชิงเส้นอย่างน้อย nonlinear สามารถใช้ให้เหมาะกับรุ่นนี้แต่จตุรัสตามแนวยาวอย่างน้อยไม่สามารถนำมาใช้ สำหรับการประชุมและตัวอย่างของ nonlinear รุ่นโปรดดูที่ส่วนถัดไปที่มาตรา 4.1.4.2 .
ข้อดีของตามแนวยาวอย่างน้อยจตุรัสตามแนวยาวอย่างน้อยจตุรัส( Log ได้รับของพื้นที่สถานที่ที่เป็นเครื่องมือหลักสำหรับขั้นตอนการสร้างแบบจำลองเพราะของที่มี ประสิทธิภาพ และความสมบูรณ์.
แม้ว่าจะยังมี ประเภท ของข้อมูลที่ดีตามที่อธิบายไว้ในการทำงานที่มี nonlinear ในที่พารามิเตอร์,จำนวนมากขั้นตอนในด้านวิศวกรรมและวิทยาศาสตร์มีการจัดให้บริการเป็นอย่างดี - อธิบายได้ตามแนวยาวรุ่น.โรงแรมแห่งนี้เป็นเพราะทั้งที่กระบวนการก่อความเสียหายโดยตรงเป็นแบบ linear หรือเพราะ,ในระยะสั้นช่วง,กระบวนการสามารถเป็นอย่างดีโดยที่ตามแนวยาวโดยรุ่น.
ได้ประมาณการไว้ในที่ที่ไม่รู้จักพารามิเตอร์ได้รับจากตามแนวยาวอย่างน้อยจตุรัส( Log จะได้ผลดีที่สุดมีการประเมินโดยจากที่กว้าง class ของพารามิเตอร์ที่เป็นไปได้ตามที่มีการประเมินโดยตามปกติข้อสมมติที่ใช้สำหรับขั้นตอนการสร้างแบบจำลอง. สื่อสารด้วยพื้นที่ใช้งานจริง( Log จตุรัสอย่างน้อยตามแนวยาวทำให้ใช้งานอย่างมี ประสิทธิภาพ ของข้อมูล ผลลัพธ์ที่ดีสามารถรับได้กับชุดข้อมูลขนาดเล็ก.
สุดท้ายทฤษฎีที่เกี่ยวข้องกับสหสัมพันธ์เชิงเส้นแนวยาวมีที่ตั้งที่ดี - ทำความเข้าใจและช่วยให้การก่อสร้างใน ประเภท ที่แตกต่างกันในแต่ละช่วงของข้อมูลทางสถิติได้อย่างง่ายดาย - interpretable สำหรับ calibrations ทำนายและได้รับการปรับแต่งเหล่านี้ทางสถิติในแต่ละช่วงจึงสามารถใช้ในการทำให้ล้างคำตอบเป็นวิทยาศาสตร์และวิศวกรรมคำถาม.
ข้อเสียเปรียบของตามแนวยาวอย่างน้อยจัตุรัสหลักข้อเสียเปรียบของตามแนวยาวอย่างน้อยจตุรัสมีข้อจำกัดในด้านรูปทรงตามแนวยาวรุ่นที่สามารถจะต้องเป็นผู้รับผิดชอบในช่วงที่เป็นไปได้ว่าอาจเป็นผู้น่าสงสารกลั่นกรองคุณสมบัติและความไวในการ outliers .
รุ่นตามแนวยาวพร้อมด้วยข้อกำหนด nonlinear ในตัวแปรตัวทำนายความโค้งมนค่อนข้างช้าลงดังนั้นสำหรับกระบวนการ nonlinear หมายความว่ามันกลายเป็นเรื่องยุ่งยากมากยิ่งขึ้นในการค้นหารุ่นตามแนวยาวที่มีขนาดพอดีกับข้อมูลได้เป็นอย่างดีแต่ช่วงที่มีปริมาณเพิ่มขึ้นข้อมูล การอธิบายเป็นตัวแปรที่จะกลายเป็นสุดยอดเอาต์พุตของรุ่นตามแนวยาวที่จะมีมากกว่าทุกครั้ง Extremeซึ่งหมายความว่ารุ่นตามแนวยาวอาจจะไม่มีผลบังคับใช้สำหรับดังผลของการที่ไม่สามารถเก็บรวบรวมข้อมูลในพื้นที่ที่น่าสนใจ แน่นอนว่ากลั่นกรองเป็นอันตรายอาจทำให้เกิดความเสียหายโดยไม่คำนึงถึง ประเภท รุ่น.
สุดท้ายในขณะที่วิธีการของช่องอย่างน้อยมักจะให้ประเมิน ประสิทธิภาพ ของพารามิเตอร์ที่ไม่รู้จักเป็นอย่างมากที่สำคัญการมีอยู่ของจุดข้อมูลผิดปกติในข้อมูลที่ใช้ในการพอดีกับที่ หนึ่งหรือสอง outliers สามารถบางครั้งลาดผลการวิเคราะห์จตุรัสอย่างน้อยหนึ่งอย่างจริงจัง รุ่นนี้จะทำให้การตรวจสอบโดยเฉพาะ outliers ที่มีความสำคัญในการหาคำตอบเสียงไปที่คำถามที่สร้างแรงจูงใจการก่อสร้างของรุ่นที่