How should statistical procedures b

How should statistical procedures be designed so as to be scalable computationally to the massive datasets that are increasingly the norm? When coupled with the requirement that an answer to an inferential question be delivered within a certain time budget, this question has significant repercussions for the field of statistics. With the goal of identifying “time-data tradeoffs,” we investigate some of the statistical consequences of computational perspectives on scability, in particular divide-and-conquer methodology and hierarchies of convex relaxations.

The fields of computer science and statistics have undergone mostly separate evolutions during their respective histories. This is changing, due in part to the phenomenon of “Big Data.” Indeed, science and technology are currently generating very large datasets and the gatherers of these data have increasingly ambitious inferential goals, trends which point towards a future in which statistics will be forced to deal with problems of scale in order to remain relevant. Currently the field seems little prepared to meet this challenge. To the key question “Can you guarantee a certain level of inferential accuracy within a certain time budget even as the data grow in size?” the field is generally silent. Many statistical procedures either have unknown runtimes or runtimes that render the procedure unusable on large-scale data. Although the field of sequential analysis provides tools to assess risk after a certain number of data points have arrived, this is different from an algorithmic analysis that predicts a relationship between time and risk. Faced with this situation, gatherers of large-scale data are often forced to turn to ad hoc procedures that perhaps do provide algorithmic guarantees but which may provide no statistical guarantees and which in fact may have poor or even disastrous statistical properties. On the other hand, the field of computer science is also currently poorly equipped to provide solutions to the inferential problems associated with Big Data. Database researchers rarely view the data in a database as noisy measurements on an underlying population about which inferential statements are desired. Theoretical computer scientists are able to provide analyses of the resource requirements of algorithms (e.g., time and space), and are often able to provide comparative analyses of different algorithms for solving a given problem, but these problems rarely refer to inferential goals. In particular, the notion that it may be possible to save on computation because of the growth of statistical power as problem instances grow in size is not (yet) a common perspective in computer science. In this paper we discuss some recent research initiatives that aim to draw computer science and statistics closer together, with particular reference to “Big Data” problems. There are two main underlying perspectives driving these initiatives, both of which present interesting conceptual challenges for statistics. The first is that large computational problems are often usefully addressed via some notion of “divide-and-conquer.” That is, the large problem is divided into subproblems that are hopefully simpler than the original problem, these subproblems are solved (sometimes again with a divide-andconquer strategy) and the solutions are pieced together to solve the original problem. In the statistical setting, one natural subdivision strategy involves breaking the data into subsets. The estimator of interest is applied to the subsets and the results are combined. The challenge in the statistical setting is that the analysis of subsets of data may present different statistical properties than the overall dataset. For example, confidence intervals based on subsets of data will generally be wider than confidence intervals based on the original data; thus, care must be taken that the overall divide-and-conquer procedure yields a correctly calibrated interval. The second perspective involves a notion of “algorithmic weakening,” whereby we do not consider a single algorithm for solving an inference problem, but instead consider a hierarchy of algorithms that are ordered by computational complexity. As data accrue, we want to back off to cheaper algorithms that run more quickly and deliver a result that would be viewed as being of poorer quality from a classical algorithmic point of view. We hope to do this in a way such that the increasing statistical strength of the data compensate for the poor algorithmic quality, so that in fact the overall quality of inference increases as data accrue, even if we impose a computational budget. The challenge is to do this in a theoretically sound way. The remainder of the paper is organized into three subsections, the first two concerned with divide-and-conquer algorithms, and the third concerned with algorithmic weakening.

ผลลัพธ์ (ไทย) 1:

วิธีควรกระบวนงานทางสถิติถูกออกแบบมาเพื่อปรับสเกล computationally จะ datasets ขนาดใหญ่ที่เป็นปกติมากขึ้นได้หรือไม่ เมื่อควบคู่กับความต้องการที่ส่งคำตอบเป็นคำถามเพียงน้อยนิดภายในบางครั้งงบประมาณ คำถามนี้มีสถิติในด้านร้ายอย่างมีนัยสำคัญ มีเป้าหมายจะระบุ "เวลาข้อมูลยืนยัน" เราสอบสวนบางผลสถิติของการคำนวณมุมใน scability วิธีการเฉพาะแบ่ง และพิชิต และลำดับชั้นของ relaxations นูนThe fields of computer science and statistics have undergone mostly separate evolutions during their respective histories. This is changing, due in part to the phenomenon of “Big Data.” Indeed, science and technology are currently generating very large datasets and the gatherers of these data have increasingly ambitious inferential goals, trends which point towards a future in which statistics will be forced to deal with problems of scale in order to remain relevant. Currently the field seems little prepared to meet this challenge. To the key question “Can you guarantee a certain level of inferential accuracy within a certain time budget even as the data grow in size?” the field is generally silent. Many statistical procedures either have unknown runtimes or runtimes that render the procedure unusable on large-scale data. Although the field of sequential analysis provides tools to assess risk after a certain number of data points have arrived, this is different from an algorithmic analysis that predicts a relationship between time and risk. Faced with this situation, gatherers of large-scale data are often forced to turn to ad hoc procedures that perhaps do provide algorithmic guarantees but which may provide no statistical guarantees and which in fact may have poor or even disastrous statistical properties. On the other hand, the field of computer science is also currently poorly equipped to provide solutions to the inferential problems associated with Big Data. Database researchers rarely view the data in a database as noisy measurements on an underlying population about which inferential statements are desired. Theoretical computer scientists are able to provide analyses of the resource requirements of algorithms (e.g., time and space), and are often able to provide comparative analyses of different algorithms for solving a given problem, but these problems rarely refer to inferential goals. In particular, the notion that it may be possible to save on computation because of the growth of statistical power as problem instances grow in size is not (yet) a common perspective in computer science. In this paper we discuss some recent research initiatives that aim to draw computer science and statistics closer together, with particular reference to “Big Data” problems. There are two main underlying perspectives driving these initiatives, both of which present interesting conceptual challenges for statistics. The first is that large computational problems are often usefully addressed via some notion of “divide-and-conquer.” That is, the large problem is divided into subproblems that are hopefully simpler than the original problem, these subproblems are solved (sometimes again with a divide-andconquer strategy) and the solutions are pieced together to solve the original problem. In the statistical setting, one natural subdivision strategy involves breaking the data into subsets. The estimator of interest is applied to the subsets and the results are combined. The challenge in the statistical setting is that the analysis of subsets of data may present different statistical properties than the overall dataset. For example, confidence intervals based on subsets of data will generally be wider than confidence intervals based on the original data; thus, care must be taken that the overall divide-and-conquer procedure yields a correctly calibrated interval. The second perspective involves a notion of “algorithmic weakening,” whereby we do not consider a single algorithm for solving an inference problem, but instead consider a hierarchy of algorithms that are ordered by computational complexity. As data accrue, we want to back off to cheaper algorithms that run more quickly and deliver a result that would be viewed as being of poorer quality from a classical algorithmic point of view. We hope to do this in a way such that the increasing statistical strength of the data compensate for the poor algorithmic quality, so that in fact the overall quality of inference increases as data accrue, even if we impose a computational budget. The challenge is to do this in a theoretically sound way. The remainder of the paper is organized into three subsections, the first two concerned with divide-and-conquer algorithms, and the third concerned with algorithmic weakening.

ผลลัพธ์ (ไทย) 2:

วิธีควรสถิติได้รับการออกแบบเพื่อที่จะขยายขีดความสามารถให้กับคอมพิวเตอร์ชุดข้อมูลขนาดใหญ่ที่มีมากขึ้นบรรทัดฐาน? เมื่อคู่กับความต้องการที่คำตอบของคำถามที่อนุมานถูกส่งภายในเวลางบประมาณบางคำถามนี้มีผลกระทบอย่างมีนัยสำคัญสำหรับเขตข้อมูลสถิติ โดยมีเป้าหมายในการระบุ "ความสมดุลเวลาข้อมูล" เราจะตรวจสอบบางส่วนของผลกระทบทางสถิติของมุมมองในการคำนวณ scability โดยเฉพาะอย่างยิ่งการแบ่งและพิชิตวิธีการและลำดับชั้นของ relaxations นูน. สาขาวิทยาการคอมพิวเตอร์และสถิติได้รับการแยกส่วนใหญ่ วิวัฒนาการในช่วงประวัติศาสตร์ของตน นี้มีการเปลี่ยนแปลงเนื่องจากในส่วนที่ปรากฏการณ์ของ "ข้อมูลขนาดใหญ่." แท้จริงวิทยาศาสตร์และเทคโนโลยีกำลังสร้างชุดข้อมูลขนาดใหญ่มากและเก็บข้อมูลเหล่านี้มีเป้าหมายเชิงอนุมานทะเยอทะยานมากขึ้นแนวโน้มที่ชี้ไปในอนาคตซึ่งจะเป็นสถิติ บังคับให้จัดการกับปัญหาที่เกิดขึ้นของระดับเพื่อที่จะยังคงอยู่ที่เกี่ยวข้อง ปัจจุบันสนามดูเหมือนว่าเตรียมที่เล็ก ๆ น้อย ๆ เพื่อตอบสนองความท้าทายนี้ คำถามที่สำคัญ "คุณสามารถรับประกันในระดับหนึ่งของความถูกต้องสรุปภายในงบประมาณเวลาที่แน่นอนแม้ในขณะที่ข้อมูลที่เติบโตในขนาด" สนามเงียบทั่วไป วิธีการทางสถิติหลายคนอาจมี runtimes ที่ไม่รู้จักหรือ runtimes ที่ทำให้ขั้นตอนการใช้ไม่ได้กับข้อมูลขนาดใหญ่ แม้ว่าด้านการวิเคราะห์ลำดับให้เครื่องมือในการประเมินความเสี่ยงหลังจากที่จำนวนหนึ่งของจุดข้อมูลที่ได้มาถึงนี้จะแตกต่างจากการวิเคราะห์อัลกอริทึมที่คาดการณ์ความสัมพันธ์ระหว่างเวลาและความเสี่ยง ต้องเผชิญกับสถานการณ์เช่นนี้เก็บข้อมูลขนาดใหญ่มักจะถูกบังคับให้หันไปโฆษณาเฉพาะกิจขั้นตอนที่อาจจะไม่ให้การค้ำประกันอัลกอริทึม แต่ที่อาจจะไม่ให้การค้ำประกันทางสถิติและซึ่งในความเป็นจริงอาจจะมีคุณสมบัติทางสถิติที่ไม่ดีหรือแม้กระทั่งภัยพิบัติ ในทางตรงกันข้าม, สาขาวิทยาศาสตร์คอมพิวเตอร์ยังเป็นอุปกรณ์ที่ไม่ดีในขณะนี้เพื่อให้การแก้ปัญหาเชิงอนุมานที่เกี่ยวข้องกับข้อมูลขนาดใหญ่ ฐานข้อมูลนักวิจัยไม่ค่อยดูข้อมูลในฐานข้อมูลเป็นวัดที่มีเสียงดังในประชากรพื้นฐานเกี่ยวกับการที่งบอนุมานเป็นที่ต้องการ นักวิทยาศาสตร์คอมพิวเตอร์ทฤษฎีสามารถที่จะให้การวิเคราะห์ความต้องการทรัพยากรของขั้นตอนวิธี (เช่นเวลาและพื้นที่) และมักจะสามารถที่จะให้การวิเคราะห์เปรียบเทียบขั้นตอนวิธีการที่แตกต่างกันสำหรับการแก้ปัญหาที่กำหนด แต่ปัญหาเหล่านี้ไม่ค่อยอ้างถึงเป้าหมายเชิงอนุมาน โดยเฉพาะอย่างยิ่งความคิดที่ว่ามันอาจจะเป็นไปได้ที่จะบันทึกในการคำนวณเพราะการเจริญเติบโตของการใช้พลังงานทางสถิติเช่นกรณีปัญหาเติบโตในขนาดไม่ได้ (ยัง) มุมมองร่วมกันในสาขาวิชาวิทยาการคอมพิวเตอร์ ในบทความนี้เราจะหารือบางความคิดริเริ่มการวิจัยล่าสุดที่มุ่งมั่นที่จะวาดวิทยาการคอมพิวเตอร์และสถิติใกล้ชิดกันมีการอ้างอิงโดยเฉพาะ "ข้อมูลขนาดใหญ่" ปัญหา มีสองมุมมองที่พื้นฐานหลักคือขับรถริเริ่มเหล่านี้ซึ่งทั้งสองนำเสนอความท้าทายแนวความคิดที่น่าสนใจสำหรับสถิติ แรกคือปัญหาการประมวลผลขนาดใหญ่ที่มักจะเป็นประโยชน์ผ่านทางความคิดของบางคน "แบ่งและพิชิต." นั่นคือปัญหาใหญ่แบ่งออกเป็นปัญหาย่อยที่มีความหวังว่าจะง่ายกว่าปัญหาเดิม subproblems เหล่านี้จะแก้ไขได้ (บางครั้งอีกครั้งกับ กลยุทธ์หาร andconquer) และการแก้ปัญหาที่มีการปะติดปะต่อในการแก้ปัญหาเดิม ในการตั้งค่าทางสถิติซึ่งเป็นหนึ่งในกลยุทธ์การแบ่งธรรมชาติที่เกี่ยวข้องกับการทำลายข้อมูลในส่วนย่อย ประมาณการที่สนใจจะนำไปใช้ย่อยและผลที่จะรวมกัน ความท้าทายในการตั้งค่าทางสถิติคือการวิเคราะห์ย่อยของข้อมูลที่อาจมีคุณสมบัติที่แตกต่างกันทางสถิติกว่าชุดข้อมูลโดยรวม ยกตัวอย่างเช่นช่วงความเชื่อมั่นอยู่บนพื้นฐานของข้อมูลย่อยโดยทั่วไปจะกว้างกว่าช่วงความเชื่อมั่นอยู่บนพื้นฐานของข้อมูลเดิม; จึงต้องระมัดระวังเป็นพิเศษว่าขั้นตอนการแบ่งและพิชิตโดยรวมมีผลเป็นช่วงเวลาการสอบเทียบอย่างถูกต้อง มุมมองที่สองเกี่ยวข้องกับความคิดของ "อัลกอริทึมลดลง" โดยที่เราไม่ได้พิจารณาขั้นตอนวิธีการเดียวในการแก้ปัญหาการอนุมาน แต่แทนที่จะพิจารณาลำดับขั้นตอนวิธีการที่ได้รับคำสั่งจากคอมพิวเตอร์ที่ซับซ้อน เกิดขึ้นเป็นข้อมูลที่เราต้องการที่จะกลับออกไปขั้นตอนวิธีการที่ถูกกว่าที่ทำงานได้อย่างรวดเร็วและส่งผลที่จะถูกมองว่าเป็นความเป็นอยู่ของด้อยคุณภาพจากจุดขั้นตอนวิธีคลาสสิกของมุมมอง เราหวังที่จะทำเช่นนี้ในลักษณะดังกล่าวที่มีความแข็งแรงทางสถิติที่เพิ่มขึ้นของข้อมูลชดเชยอัลกอริทึมที่มีคุณภาพไม่ดีเพื่อที่ว่าในความเป็นจริงที่มีคุณภาพโดยรวมของการเพิ่มขึ้นของการอนุมานเป็นข้อมูลเกิดขึ้นแม้ว่าเรากำหนดงบประมาณการคำนวณ ความท้าทายคือการทำเช่นนี้ในทางเสียงตามหลักวิชา ที่เหลือของกระดาษจัดเป็นสามส่วนย่อยสองคนแรกที่เกี่ยวข้องกับการแบ่งและพิชิตอัลกอริทึมและคนที่สามที่เกี่ยวข้องกับการลดลงอัลกอริทึม

ผลลัพธ์ (ไทย) 3:

แล้ววิธีการทางสถิติถูกออกแบบมาเพื่อให้สามารถจัดการกับข้อมูลที่มีขนาดใหญ่ computationally มากขึ้นปกติ ? เมื่อบวกกับความต้องการที่คำตอบของคำถามที่ 2 จะจัดส่งภายในงบประมาณ เวลา ที่แน่นอน คำถามนี้ มีผลกระทบทางด้านสาขาสถิติ มีเป้าหมายในการระบุ " เวลา tradeoffs ข้อมูล" เราตรวจสอบบางส่วนของผลกระทบทางสถิติของการคำนวณในมุมมอง scability โดยแบ่งและพิชิตวิธีการลำดับชั้นของนูน เป็นการผสมผสานระหว่างศิลปะ

สาขาวิทยาการคอมพิวเตอร์และสถิติได้รับส่วนใหญ่ของตนแยกวิวัฒนาการในประวัติศาสตร์ นี้มีการเปลี่ยนแปลง เนื่องจากในส่วนของปรากฏการณ์ของ " บิ๊ก ดาต้า " แน่นอนวิทยาศาสตร์และเทคโนโลยีในการสร้างข้อมูลที่มีขนาดใหญ่มาก และ gatherers ข้อมูลเหล่านี้ได้ทะเยอทะยานมากขึ้นด้วยเป้าหมาย ซึ่งชี้ถึงแนวโน้มในอนาคตซึ่งสถิติจะถูกบังคับให้จัดการกับปัญหา ) เพื่อที่จะยังคงอยู่ที่เกี่ยวข้อง ขณะนี้สนามดูเหมือนเล็กน้อยเตรียมที่จะตอบสนองความท้าทายนี้สำหรับคำถาม " คีย์คุณสามารถรับประกันระดับของความถูกต้องและภายในงบประมาณเวลาที่แน่นอนเช่นเดียวกับข้อมูลที่เติบโตในขนาด " สนามโดยทั่วไปเงียบ วิธีการทางสถิติหลาย ทั้งไม่รู้จัก runtimes หรือ runtimes ที่แสดงขั้นตอนการใช้งานข้อมูล ขนาดใหญ่แม้ว่าด้านการวิเคราะห์ระบบมีเครื่องมือในการประเมินความเสี่ยง หลังจากที่จำนวนหนึ่งของจุดข้อมูลที่ได้มานี้ จะแตกต่างจากที่คาดการณ์ ขั้นตอนวิธีการวิเคราะห์ความสัมพันธ์ระหว่างระยะเวลาและความเสี่ยง ประสบกับสถานการณ์นี้gatherers ข้อมูลขนาดใหญ่มักจะถูกบังคับให้เปิดเฉพาะกิจที่อาจทำให้กระบวนการขั้นตอนที่รับประกัน แต่อาจให้ไม่รับประกันและสถิติซึ่งในความเป็นจริงอาจจะไม่ดี หรือแม้กระทั่งภัยพิบัติทางสถิติ . บนมืออื่น ๆสาขาวิทยาศาสตร์คอมพิวเตอร์อยู่ยังไม่ดีพร้อม เพื่อให้การแก้ไขปัญหาและเกี่ยวข้องกับข้อมูลใหญ่ ฐานข้อมูลวิจัยไม่ค่อยดูข้อมูลในฐานข้อมูล เช่น การวัดเสียงดังบนพื้นฐานประชากร ซึ่งอ้างอิงข้อความที่ต้องการนักวิทยาศาสตร์คอมพิวเตอร์เชิงทฤษฎีสามารถให้การวิเคราะห์ความต้องการทรัพยากรของขั้นตอนวิธี ( เช่นเวลาและพื้นที่ ) และมักจะสามารถให้เปรียบเทียบการวิเคราะห์ขั้นตอนวิธีที่แตกต่างกันสำหรับการแก้ไขปัญหาให้ แต่ปัญหาเหล่านี้มักจะอ้างถึงเป้าหมายเชิงอนุมาน โดยเฉพาะอย่างยิ่งความคิดว่ามันอาจเป็นไปได้เพื่อช่วยในการคำนวณ เพราะการเจริญเติบโตของอำนาจทางสถิติ เช่น กรณีปัญหาเติบโตในขนาด ยังเป็นมุมมองทั่วไปในสาขาวิทยาศาสตร์คอมพิวเตอร์ ในบทความนี้เราจะหารือเกี่ยวกับบางผลวิจัยล่าสุดที่มีจุดมุ่งหมายเพื่อวาดวิทยาศาสตร์คอมพิวเตอร์และสถิติใกล้เคียงกันด้วยโดยเฉพาะการอ้างอิงถึงข้อมูล " " ปัญหาใหญ่ .มีอยู่สองหลักภายใต้มุมมองทำให้โครงการเหล่านี้ ซึ่งทั้งสองนำเสนอความท้าทายแนวคิดที่น่าสนใจสำหรับสถิติ แรกคือ ปัญหาคอมพิวเตอร์ที่มีขนาดใหญ่มักจะเป็นประโยชน์ระบุผ่านบางความคิดของ " แบ่งแยกและพิชิต " นั่นคือปัญหาใหญ่ แบ่งเป็น subproblems ที่หวังว่าง่ายกว่าปัญหาเดิมsubproblems เหล่านี้จะแก้ไขได้ ( บางครั้งอีกครั้งกับการแบ่ง andconquer กลยุทธ์ ) และโซลูชั่นเป็น pieced ร่วมกันเพื่อแก้ปัญหาเดิม ในการตั้งค่าทางกลยุทธ์ที่เกี่ยวข้องกับการทำลายธรรมชาติ หนึ่งแบ่งข้อมูลเป็นส่วนย่อย . ประมาณการของดอกเบี้ยที่ใช้กับข้อมูล และผลลัพธ์ที่ได้รวมความท้าทายในการตั้งค่าทางสถิติ คือ การวิเคราะห์ข้อมูลทางสถิติของข้อมูลอาจแสดงแตกต่างกว่า ข้อมูลโดยรวม ตัวอย่าง ช่วงความเชื่อมั่นอยู่ในส่วนย่อยของข้อมูลโดยทั่วไปจะกว้างกว่าความเชื่อมั่นตามข้อมูลเดิม ดังนั้นการดูแลจะต้องถ่ายที่แบ่งและพิชิตขั้นตอนโดยรวมผลผลิตได้อย่างถูกต้องปรับช่วง มุมมองที่สองเกี่ยวข้องกับความคิดของ " อ่อนตัว Algorithmic Trading " โดยที่เราไม่พิจารณาวิธีเดียวสำหรับการแก้ไขปัญหาการอนุมาน แต่แทนที่จะพิจารณาลำดับขั้นของขั้นตอนวิธีที่ถูกสั่งโดยการคำนวณที่ซับซ้อน . เป็นข้อมูลเกิดขึ้น ,เราอยากกลับไปถูกกว่าขั้นตอนวิธีที่วิ่งอย่างรวดเร็วและส่งมอบผลลัพธ์ที่อาจจะดูเป็นภาพที่ยากจนจากจุดขั้นตอนวิธีคลาสสิกของมุมมอง เราหวังว่าจะทำมันในวิธีดังกล่าวที่เพิ่มความแข็งแรงของข้อมูลสถิติชดเชยคุณภาพขั้นตอนวิธีไม่ดีดังนั้นในความเป็นจริงคุณภาพโดยรวมของการเพิ่มข้อมูลเกิดขึ้น ,ถ้าเรากำหนดงบประมาณในการคำนวณ ความท้าทายคือการทำเช่นนี้ในทางเสียงในทางทฤษฎี ส่วนที่เหลือของกระดาษแบ่งเป็นสามส่วนย่อย แรก สอง เกี่ยวข้องกับการแบ่งและพิชิตขั้นตอนวิธีและที่สามเกี่ยวข้องกับการปรับขั้นตอนวิธี