The approach to this binary classif

The approach to this binary classification problem was to implement several supervised learning algorithms and compare and contrast their results and error properties. The first such algorithm was logistic regression, which is a discriminative learning algorithm directly modeling the conditional probability, p(y|x). The fitting parameters ✓ 2 Rn+1, including the intercept terms are computed via the maximum likelihood estimators and then an optimization algorithm is used to find the optimal ✓. Both the second order Newton’s method and gradient ascent were explored. Newton’s Method was preferred to both stochastic and batch gradient ascent. Even though the implementation of the gradient ascent is simpler and each iteration is cheaper, since it only requires calculating the gradient rather the Hessian, it took far more iterations to converge.
Newton’s Method already had error, as measured by the norm of the gradient, of approximately machine
precision ✏ after 9-11 iterations, in comparison to the hundreds for both gradient ascents. Another challenge
of gradient descent is choosing the proper step length ↵ to expedite convergence. This could be done via
parameter fitting or by choosing an adaptive ↵ via a bisection method. However, a downside to Newton’s
Method is that it is more subject to round-o↵ errors. The Hessian must stay negative semi-definite and not
be poorly-conditioned, since it is being inverted in the algorithm. In order to avoid these poor numerical
properties, the feature data in the design matrix X 2 Rmx(n+1) was normalized for logistic regression, since
the original feature data given had very di↵erent scales of magnitude. Note that this normalization was
not necessary the Gaussian Discriminant Analysis (GDA) algorithm and so the implementation of GDA was
fairly straightforward in such that no modifications needed to be made.
GDA is a generative learning algorithm, which contrary to discriminative algorithms, first builds a model
for p(x|y = 1), the positive class of malignant tumors and also builds a model for p(x|y = 0), the negative
class of benign tumors. It then learns p(y|x) using Bayes’ Rule:

ผลลัพธ์ (ไทย) 1:

วิธีปัญหาฐานสองประเภทนี้คือการ ใช้อัลกอริทึมการเรียนรู้มีหลาย และเปรียบเทียบ และเปรียบต่างผลลัพธ์และข้อผิดพลาดคุณสมบัติของพวกเขา แรก ที่อัลกอริทึมดังกล่าวถูกถดถอยโลจิสติก ซึ่งเป็นที่ discriminative เรียนรู้ขั้นตอนวิธีความน่าเป็นแบบมีเงื่อนไข การสร้างแบบจำลองโดยตรง p(y|x) กระชับ✓พารามิเตอร์ 2 Rn + 1 รวมทั้งจุดตัดแกนเงื่อนไขการคำนวณผ่าน estimators โอกาสสูงสุดแล้ว ใช้อัลกอริทึมการปรับหา✓เหมาะสม มีสำรวจทั้งสองสั่งของนิวตันวิธีและไล่ระดับขึ้น วิธีการของนิวตันถูกต้องทั้งแบบเฟ้นสุ่ม และชุดไล่โทนสีขึ้น แม้ว่าปฏิบัติการขึ้นไล่ระดับสีได้ง่ายกว่า และเกิดซ้ำแต่ละถูกกว่า ตั้งแต่เพียงต้องคำนวณไล่ระดับสีเป็นกระสอบ ใช้วนซ้ำที่ไกลมากกว่าจะมาบรรจบกันวิธีการของนิวตันมีข้อผิดพลาด ให้แล้ววัดจากบรรทัดฐานของการไล่ระดับสี ของเครื่องประมาณ✏ความแม่นยำหลังจาก 9-11 ซ้ำ โดยร้อยสำหรับ ascents ทั้งไล่ระดับ ความท้าทายอีกของเชื้อสายไล่ระดับจะเลือก↵ยาวขั้นตอนเหมาะสมเร่งบรรจบกัน ทำผ่านพารามิเตอร์เหมาะสม หรือ โดยการเลือก↵แบบอะแดปทีฟการผ่านวิธี bisection อย่างไรก็ตาม มี downside ของนิวตันวิธีเป็นที่เป็นมากอาจ มีข้อผิดพลาด o↵ รอบ ในกระสอบต้องพักลบแน่นอนกึ่ง และไม่ได้งานปรับอากาศ เนื่องจากเป็นการกลับในอัลกอริทึมการ เพื่อหลีกเลี่ยงยากจนเหล่านี้เป็นตัวเลขคุณสมบัติ คุณลักษณะข้อมูลในเมตริกซ์ออก X 2 Rmx(n+1) ได้ตามปกติการถดถอยโลจิสติก ตั้งแต่ข้อมูลคุณลักษณะเดิมให้ได้ระดับมาก di↵erent ของขนาด หมายเหตุที่ฟื้นฟูนี้ไม่จำเป็นขั้นตอนวิธีการวิเคราะห์ Discriminant Gaussian (GDA) และได้ถูกนำไปใช้ของ GDAค่อนข้างตรงไปตรงมาในที่แก้ไขไม่จำเป็นที่จะทำGDA เป็นแบบ generative เรียนอัลกอริทึม ซึ่งขัดกับอัลกอริทึม discriminative ก่อน สร้างแบบจำลองสำหรับ p(x|y = 1) เนื้องอกร้ายชั้นบวก และยัง สร้างแบบจำลองสำหรับ p(x|y = 0) การลบชั้นของเนื้องอกที่อ่อนโยน แล้วรู้ p(y|x) ใช้กฎ Bayes':

ผลลัพธ์ (ไทย) 2:

วิธีการในการแก้ไขปัญหาการจัดหมวดหมู่ไบนารีนี้คือการดำเนินการตามขั้นตอนวิธีการเรียนรู้ภายใต้การดูแลหลายและเปรียบเทียบผลการและความคมชัดและคุณสมบัติข้อผิดพลาดของพวกเขา ขั้นตอนวิธีการดังกล่าวเป็นครั้งแรกที่การถดถอยโลจิสติกซึ่งเป็นขั้นตอนวิธีการเรียนรู้การสร้างแบบจำลองจำแนกโดยตรงน่าจะเป็นเงื่อนไขพี (y | x) พารามิเตอร์ที่เหมาะสม✓ Rn 2 + 1, รวมทั้งข้อตกลงตัดคำนวณทางประมาณความน่าจะเป็นสูงสุดและจากนั้นขั้นตอนวิธีการเพิ่มประสิทธิภาพใช้ในการค้นหาที่ดีที่สุด✓ ทั้งสองวิธีการสั่งซื้อของนิวตันและปีนขึ้นทางลาดสำรวจ วิธีการของนิวตันเป็นที่ต้องการทั้งสุ่มขึ้นและการไล่ระดับสีชุด แม้ว่าการดำเนินการปีนขึ้นทางลาดที่มีความง่ายและซ้ำกันมีราคาถูกกว่าเพราะมันจะต้องคำนวณการไล่ระดับสีค่อนข้างรัฐที่จะเข้ามาทำซ้ำมากขึ้นจะมาบรรจบกัน.
วิธีของนิวตันแล้วมีข้อผิดพลาดที่วัดจากบรรทัดฐานของการไล่ระดับสีที่
ของเครื่องประมาณแม่นยำ✏หลังจากที่9-11 ทำซ้ำในการเปรียบเทียบกับร้อยทั้งการไล่ระดับขึ้นเป็น
ท้าทายอีกประการหนึ่งของการไล่ระดับสีโคตรคือการเลือกความยาวขั้นตอนที่เหมาะสมเพื่อเร่ง↵คอนเวอร์เจนซ์ นี้สามารถทำได้ผ่านทางพารามิเตอร์ที่เหมาะสมหรือโดยการเลือกการปรับตัว↵ผ่านทางวิธี bisection แต่ข้อเสียของนิวตันวิธีการก็คือว่ามันเป็นเรื่องที่มากขึ้นในการข้อผิดพลาดรอบo↵ แคว้นเฮ็ซต้องอยู่ในเชิงลบกึ่งชัดเจนและไม่ได้รับการปรับอากาศไม่ดีเพราะมันจะถูกคว่ำในอัลกอริทึม เพื่อหลีกเลี่ยงตัวเลขเหล่านี้น่าสงสารคุณสมบัติข้อมูลคุณลักษณะในการออกแบบเมทริกซ์ X 2 Rmx (1 + n) เป็นปกติสำหรับการถดถอยโลจิสติกตั้งแต่ข้อมูลคุณลักษณะเดิมที่กำหนดมีเกล็ดdi↵erentมากของขนาด โปรดทราบว่าการฟื้นฟูนี้คือไม่จำเป็นเสียนจำแนกวิเคราะห์ (GDA) ขั้นตอนวิธีการและเพื่อให้การดำเนินงานของ GDA เป็นธรรมตรงไปตรงมาในการดังกล่าวว่าการปรับเปลี่ยนไม่จำเป็นต้องที่จะทำ. GDA เป็นขั้นตอนวิธีการเรียนรู้เกี่ยวกับการกำเนิดซึ่งขัดกับขั้นตอนวิธีการจำแนกแรกสร้าง รูปแบบสำหรับพี(xy | = 1) ชั้นในเชิงบวกของเนื้องอกมะเร็งและยังสร้างแบบจำลองสำหรับพี (xy | = 0), ลบชั้นเรียนของเนื้องอกอ่อนโยน แล้วก็เรียนรู้ที่พี (y | x) โดยใช้กฎของเบย์:

ผลลัพธ์ (ไทย) 3:

วิธีการนี้ไบนารีประเภทปัญหาที่จะใช้หลายขั้นตอนวิธีการเรียนรู้แบบ Supervised Learning และ เปรียบเทียบผลของพวกเขาและคุณสมบัติข้อผิดพลาด ขั้นตอนวิธีดังกล่าวครั้งแรกคือ Logistic Regression ซึ่งเป็นอัลกอริทึมการเรียนรู้โดยตรงและแบบจำลองความน่าจะเป็นเงื่อนไข , P ( Y | X ) พารามิเตอร์ที่เหมาะสม✓ 2 Rn 1รวมทั้งการตัดเงื่อนไขการคำนวณทางความเป็นไปได้สูงสุดและมีขั้นตอนวิธีการหาค่าประมาณเพื่อใช้ในการหา✓ที่ดีที่สุด ทั้งใบที่สองของนิวตันและทางขึ้นเป็นวิธีการสํารวจ วิธีของนิวตันเป็นที่ต้องการทั้ง Stochastic และชุดไล่ระดับขึ้น . แม้ว่าการดำเนินงานของการไล่ระดับสีขึ้นง่ายกว่าและแต่ละ iteration จะถูกกว่าเพราะมันต้องใช้คำนวณความลาดชันค่อนข้าง Hessian , ใช้เวลามากขึ้นซ้ำไปบรรจบ .
วิธีนิวตันแล้วมีข้อผิดพลาด ซึ่งเป็นบรรทัดฐานของการไล่ระดับสี , ประมาณ 9-11 รอบเครื่อง
✏ที่ต้องการหลังจากการร้อยทั้งลาดขึ้นเป็น .
ความท้าทายอื่นการเลือกที่เหมาะสมของเชื้อสายเป็นก้าว↵เพื่อเร่งการลู่เข้า . นี้สามารถทำได้ผ่านทางพารามิเตอร์
เหมาะสมหรือเลือกการ↵ผ่าน bisection วิธี อย่างไรก็ตาม ข้อเสียของวิธีการ
นิวตันก็คือว่ามันมีการผิดพลาด↵ round-o . มีกระสอบต้องลบแน่นอน และไม่ใช่เป็นกึ่ง
งานปรับอากาศ เนื่องจากมันถูกคว่ำในขั้นตอนวิธีการเพื่อหลีกเลี่ยงเหล่านี้จนตัวเลข
คุณสมบัติ , คุณสมบัติของข้อมูลในการออกแบบเมทริกซ์ X 2 RMX ( 1 ) เป็นมาตรฐานสำหรับถดถอยโลจิสติก เนื่องจากข้อมูลที่ให้มีคุณลักษณะ
เดิมมาก ดิ ↵ erent เกล็ดขนาด ทราบว่าบรรทัดฐานนี้
ไม่จำเป็นการวิเคราะห์จำแนกเสียน ( ตัวแทน ) ขั้นตอนวิธีและการเป็น
จีดีเอค่อนข้างตรงไปตรงมาในเรื่องที่ไม่มีการปรับเปลี่ยนจะต้องทำ คือขั้นตอนวิธีการเรียนรู้
จีดีเอเข้า ซึ่งตรงกันข้ามกับขั้นตอนวิธีค่าแรกสร้างแบบจำลอง
ให้ P ( x | Y = 1 ) บวกรุ่นเนื้องอกมะเร็งและสร้างแบบจำลองสำหรับ P ( x | y = 0 ) , คลาส ลบ
เนื้องอกเนื้องอก จากนั้นเรียนรู้ P ( Y | X ) โดยใช้กฎ Bayes ' :