Journal’s ban on null hypothesis si

Journal’s ban on null hypothesis significance testing: reactions from the statistical arena
Written by Oz Flanagan on 04 March 2015. Posted in Opinion

The decision of one academic journal to ban null hypothesis significance testing procedures (NHSTP) has caused a stir in the statistical community. It makes you wonder if the editors of Basic and Applied Social Psychology, David Trafimow and Michael Marks, realised what a nerve they would hit when they published their editorial.
The journal’s new rule has opened up debate surrounding the wider issue of how statistics is performed in the pursuit of scientific analysis. It poses the question of what conclusions can you draw from the result of a statistical test and how definitively does this verify your conclusion. It also makes you ponder what Ronald Fisher, Jerzy Neyman and Egon Pearson would have made of the way modern science employs the statistical theories they developed.

The news provoked a range of opinions from academics across the globe. To provide a snapshot of the discussion, we asked Peter Diggle, Stephen Senn, Andrew Gelman, Geoff Cummings and Robert Grant for their initial reaction to the issues raised.

Peter Diggle – RSS president and professor of biostatistics, epidemiology and population health at Lancaster University

The recent editorial in the journal Basic and Applied Social Psychology announces a ban on any use of significance testing in papers published in the journal. The editorial begins with a questionable assertion that ‘the null hypothesis significance testing procedure (NHSTP) is invalid’, but later states that papers which do use significance testing will not be automatically rejected. Rather, if a paper is accepted for publication ‘authors will have to remove all vestiges of the NHSTP.’ So it is acceptable to use significance testing as an integral part of your scientific method, but not to admit in print that you have done so.

The editorial is kinder to Bayesian inference, but not by much, stating that ‘The usual problem with Bayesian procedures is that they... generate numbers where none exist.’ The journal’s preferred approach is to rely on descriptive statistics. This begs the admittedly difficult question of what, in any particular circumstance, is the correct way to convert a description into a conclusion. 

I share the editors’ concerns that inferential statistical methods are open to mis-use and mis-interpretation, but do not feel that a blanket ban on any particular inferential method is the most constructive response.

Stephen Senn - Head of Competence Center for Methodology and Statistics at the Luxembourg Institute of Health

The problem is not the inference in psychology it’s the psychology of inference. Some scientists have unreasonable expectations of replication of results and, unfortunately, many of those currently fingering p-values have no idea what a reasonable rate of replication should be.

Banning formal statistical methods will not make the so-called crisis of replication better, it will only make it worse. The editors’ policy will only add to the current confusion. They can ban formal inferences but the informal inferences will just multiply. Psychologists will still attempt to separate signal from noise.

Consider the field I research in, drug development. A common illogical complaint is that not all phase III trials are successful. However, they could only be made successful by making phase II trials so much larger that money and lives would be wasted investigating potential cures. The crisis of non-replication of positive results would be reduced at the cost of a massive increase in false negatives, promising drugs would be binned and the average cost of finding successful treatments would increase.

The editors would be better exercised in promising space to studies that try to repeat previous studies rather than trying to ban all inferential statistics. They should also try to promote a better standard of inference (proper control, pre-specification, avoiding spurious precision, dealing with regression to the mean etc). Even the most dogged anti-frequentists rarely go so far as outlawing the humble standard error.

If you don’t make mistakes you don’t learn. Attempting to eliminate false positives in inference is to attempt scientific sterility and banning formal inferential methods won’t even help to achieve this foolish aim.

Andrew Gelman - Professor of statistics and political science and director of the Applied Statistics Center at Columbia University

The day this came out, I received 10 emails about it, mostly from people I don’t even know. So, at the very least, this was an effective publicity stunt. One of my correspondents pointed me to a post by John Kruschke who flagged this part of the editorial in question: 

‘The usual problem with Bayesian procedures is that they depend on some sort of Laplacian assumption to generate numbers where none exist. The Laplacian assumption is that when in a state of ignorance, the research should assign an equal probability to each possibility.’

This seems a bit odd to me, given that I just about always work on continuous problems, so that the ‘possibilities’ can’t be counted and it is meaningless to talk about assigning probabilities to each of them. Plus, the bit about ‘generating numbers where none exist’ seems to reflect a misunderstanding of the distinction between a distribution (which reflects uncertainty) and data (which are specific). You don’t want to deterministically impute numbers where the data don’t exist, but it’s OK to assign a distribution to reflect your uncertainty about such numbers. It’s what we always do when we do forecasting - the only thing special about Bayesian analysis is that it applies the principles of forecasting to all unknowns in a problem.

I was amused to see that, when they were looking for an example where Bayesian inference is OK, they used a book by Ronald Fisher! Trafimow and Marks conclude:

‘Some might view the NHSTP ban as indicating that it will be easier to publish in Basic and Applied Social Psychology, or that less rigorous manuscripts will be acceptable. This is not so. On the contrary, we believe that the p < 0.05 bar is too easy to pass and sometimes serves as an excuse for lower quality research. We hope and anticipate that banning the NHSTP will have the effect of increasing the quality of submitted manuscripts by liberating authors from the stultified structure of NHSTP thinking thereby eliminating an important obstacle to creative thinking.’

I’m with them on that. Actually, I think standard errors, p-values, and confidence intervals can be very helpful in research when considered as convenient parts of a data analysis. Standard errors etc. are helpful in giving a lower bound on uncertainty. The problem comes when they’re considered as the culmination of the analysis, as if ‘p less than 0.05’ represents some kind of proof of something. I do like the idea of requiring that research claims stand on their own without requiring the (often spurious) support of p-values.

Geoff Cumming - Emeritus professor at the School of Psychological Science at La Trobe University

NHSTP and p-values are deeply flawed. The greatest cause of the replication crisis may be the imperative to achieve 0.05, as John Ioannidis famously explained in his paper - Why most published research findings are false. I make the case for moving entirely from NHSTP to estimation or other good approaches in a tutorial article I wrote for the top journal Psychological Science in January 2014. The article accompanied new editorial policies that encourage estimation (the 'new statistics') rather than NHSTP, and also a range of open science practices.

Sure, p-values and confidence intervals are based on the same theory and, given a little extra information, it's easy to translate between them. But they are importantly different. We have published evidence that, at least in some common situations, researchers often make better interpretations when they see confidence intervals (without p-values) and think in terms of estimates, without invoking statistical significance.

One big problem is that p is a single value, which suggests certainty, whereas the extent of a confidence interval makes uncertainty salient. On replication, p-values bounce around amazingly - the 'dance of the p-values'. Confidence intervals also bounce, but the extent of any interval gives a reasonable idea of the amount of bouncing. In stark contrast, a single p-value gives almost no idea how much p is likely to bounce on replication. Using estimation and meta-analysis, and not NHSTP, is the way to better research and more quantitative disciplines.

In 1990, Ken Rothman was founding editor of the journal Epidemiology. He declared he would not publish p values, and for 10 years he didn't. The journal published good science, and flourished. It's possible and it's also highly desirable.

Robert Grant - Senior lecturer in health and social care statistics at St George's, University of London and Kingston University

When studying the causes and risk factors for disease, one is at great risk of heeding false alarms. That is how we get risible headlines announcing that coffee prevents depression or oversleeping causes strokes. The problem is one of education.

At school and afterwards, we learn deductive science: predict a result based on a hypothesis, run an experiment to see if the result happens, and on that basis incontrovertibly prove or destroy the hypothesis. Deduction is simple, strong and objective, and NHSTP wears a deductive uniform. But science is not like that, because we push our instruments to their limits, and have to distinguish signal from noise.

Complex systems like society, economy or the human body make inference difficult too. More fundamentally, science has always been inductive (or strictly speaking, abductive) because

ผลลัพธ์ (ไทย) 1:

บ้าน ของสมุดรายวันในการทดสอบนัยสำคัญของสมมติฐานว่าง: ปฏิกิริยาจากเวทีทางสถิติเขียน โดยฟลานาแกน Oz บน 04 2015 มีนาคม ความคิดเห็นลงในการตัดสินใจศึกษาสมุดหนึ่งบ้านสำคัญ null สมมติฐานทดสอบกระบวนการ (NHSTP) ได้เกิดจากคนในชุมชนทางสถิติ มันทำให้คุณสงสัยถ้า Basic และใช้จิตวิทยาสังคม David Trafimow และเครื่อง หมายของ Michael บรรณาธิการเองก็ยังคิดว่าเส้นประสาทจะต้องตีเมื่อพวกเขาเผยแพร่กองของพวกเขากฎใหม่ของสมุดรายวันได้เปิดอภิปรายรอบออกกว้างวิธีทำสถิติในการวิเคราะห์ทางวิทยาศาสตร์แสวงหา จะทำคำถามของบทสรุปใดคุณสามารถวาดจากผลการทดสอบทางสถิติ และแน่นอนว่าไม่นี้ตรวจสอบบทสรุปของคุณ นอกจากนี้ยังทำให้คุณไตร่ตรองอะไร Jerzy Neyman โรนัลด์ฟิชเชอร์ และ Egon Pearson จะทำของทางวิทยาการสมัยใหม่ใช้ทฤษฎีทางสถิติที่จะพัฒนาข่าวท่านมีความคิดเห็นจากนักวิชาการทั่วโลก เพื่อให้ภาพรวมของการอภิปราย เราขอ Diggle ปีเตอร์ Stephen Senn แอนดรูว์เกลแมน Geoff Cummings และโรเบิร์ตให้ปฏิกิริยาของพวกเขาเริ่มต้นการอ่านDiggle ปีเตอร์ – RSS ประธานและศาสตราจารย์ชีวสถิติ ระบาดวิทยา และประชากรสุขภาพมหาวิทยาลัยแลงคาสเตอร์The recent editorial in the journal Basic and Applied Social Psychology announces a ban on any use of significance testing in papers published in the journal. The editorial begins with a questionable assertion that ‘the null hypothesis significance testing procedure (NHSTP) is invalid’, but later states that papers which do use significance testing will not be automatically rejected. Rather, if a paper is accepted for publication ‘authors will have to remove all vestiges of the NHSTP.’ So it is acceptable to use significance testing as an integral part of your scientific method, but not to admit in print that you have done so.The editorial is kinder to Bayesian inference, but not by much, stating that ‘The usual problem with Bayesian procedures is that they... generate numbers where none exist.’ The journal’s preferred approach is to rely on descriptive statistics. This begs the admittedly difficult question of what, in any particular circumstance, is the correct way to convert a description into a conclusion. I share the editors’ concerns that inferential statistical methods are open to mis-use and mis-interpretation, but do not feel that a blanket ban on any particular inferential method is the most constructive response.Stephen Senn - Head of Competence Center for Methodology and Statistics at the Luxembourg Institute of Healthปัญหาไม่ใช่ข้อจิตวิทยาเป็นจิตวิทยาของข้อ นักวิทยาศาสตร์บางคนมีความคาดหวัง unreasonable จำลองผล และ แต่ หลายคนกำลังโยนค่า p มีความคิดใดที่เหมาะสมควรมีอัตราของการจำลองแบบห้ามวิธีทางสถิติจะไม่ทำให้วิกฤตเรียกว่าการจำลองดี มันจะทำมันแย่ เฉพาะนโยบายของบรรณาธิการที่จะเพิ่มให้สับสนปัจจุบัน พวกเขาสามารถบ้าน inferences อย่างเป็นทางการ แต่เพียงจะคูณ inferences เป็น นักจิตวิทยาจะยังคงพยายามแยกสัญญาณจากเสียงรบกวนพิจารณาฟิลด์ผมวิจัยใน ยาพัฒนา ร้องเรียนเรื่องไร้เหตุผลทั่วไปเป็นทดลอง III ระยะไม่ประสบความสำเร็จ อย่างไรก็ตาม พวกเขาสามารถเพียงทำประสบความสำเร็จ โดยทำการทดลองระยะ II มากใหญ่เงิน และจะเสียชีวิตตรวจรักษาเป็นไปได้ วิกฤตไม่ใช่จำลองแบบผลบวกจะลดลงค่าการเพิ่มในสิ่งที่เท็จ จะ binned สัญญายา และต้นทุนเฉลี่ยของการค้นหาการรักษาประสบความสำเร็จจะเพิ่มขึ้นบรรณาธิการจะถูกใช้ในพื้นที่ว่าการศึกษาที่พยายามที่จะทำซ้ำการศึกษาก่อนหน้านี้แทนที่พยายามบ้านสถิติทั้งหมดเพียงน้อยนิด ดีกว่า นอกจากนี้พวกเขายังควรพยายามส่งเสริมมาตรฐานที่ดีของข้อ (ควบคุมเหมาะสม ข้อมูลจำเพาะก่อน ความแม่นยำเก๊ เผชิญกับการถดถอยเพื่อเป็นต้นหมายถึงการหลีกเลี่ยง) แม้ที่สุด dogged anti-frequentists ไม่ค่อยไปตราบใดที่ outlawing ข้อผิดพลาดมาตรฐานอีกถ้าคุณไม่ทำผิดพลาด คุณไม่เรียน พยายามกำจัดทำงานผิดพลาดเท็จในข้อจะพยายาม sterility วิทยาศาสตร์ และแม้จะไม่ช่วยห้ามวิธีเพียงน้อยนิดอย่างเป็นทางการเพื่อให้บรรลุจุดมุ่งหมายนี้โง่เกลแมนแอนดรูว์ - ศาสตราจารย์สถิติ และรัฐศาสตร์และผู้อำนวยการศูนย์สถิติประยุกต์ที่มหาวิทยาลัยโคลัมเบียวันนี้มา ฉันรับอีเมล์ 10 เกี่ยวกับเรื่องนี้ ส่วนใหญ่จากคนที่ฉันไม่ได้รู้ ดังนั้น อย่างน้อย นี้ได้แสดงความสามารถการประชาสัมพันธ์ที่มีประสิทธิภาพ ร่วมของฉันหนึ่งชี้ฉันไปโพสต์โดยจอห์น Kruschke ผู้กองสอบถามในส่วนนี้ค่าสถานะ: ' ปกติปัญหากับขั้นตอนของทฤษฎีคือ ว่า ขึ้นอยู่กับการเรียงลำดับบางอย่างของอัสสัมชัญ Laplacian เพื่อสร้างหมายเลขที่ไม่มีอยู่ อัสสัมชัญ Laplacian คือ ว่า เมื่ออยู่ในสถานะของความไม่รู้ วิจัยควรกำหนดพอ ๆ กันมีความเป็นไปได้แต่ละกัน 'นี้บิตคี่ ฉันเหมือน ที่ฉันเกือบตลอดเวลาทำงานอย่างต่อเนื่องปัญหา เพื่อ ให้ไม่นับ 'ไป' และจะไม่พูดคุยเกี่ยวกับการกำหนดกิจกรรมไว้ พลัส บิตเกี่ยวกับ 'สร้างหมายเลขที่ไม่มีอยู่' ดูเหมือนว่าจะ สะท้อนถึงความเข้าใจผิดของความแตกต่างระหว่างการกระจาย (ซึ่งสะท้อนถึงความไม่แน่นอน) และข้อมูล (ซึ่งมีเฉพาะ) คุณไม่ต้องการ deterministically impute เลขที่ข้อมูลไม่มีอยู่ แต่ก็ตกลงเพื่อกำหนดแจกจ่ายเพื่อแสดงถึงความไม่แน่นอนของคุณเกี่ยวกับตัวเลขดังกล่าว สิ่งที่เรามักจะทำเมื่อเราทำการคาดการณ์ - สิ่งเดียวที่พิเศษเกี่ยวกับทฤษฎีวิเคราะห์คือ ว่า มันใช้หลักการคาดการณ์ทั้งหมด unknowns ในปัญหาได้ผมเราจะเห็นว่า เมื่อพวกเขากำลังมองหาตัวอย่างที่ทฤษฎีข้อได้ พวกเขาใช้หนังสือ โดยโรนัลด์ฟิชเชอร์ Trafimow และเครื่องหมายสรุป:' บางอย่างอาจดูบ้าน NHSTP เป็นการบ่งชี้ว่า มันจะง่ายต่อการเผยแพร่ใน Basic และใช้จิตวิทยาสังคม หรือว่า ต้นฉบับอย่างเข้มงวดน้อยกว่าจะยอมรับได้ นี่ไม่ใช่เพื่อการ ดอก เราเชื่อว่า เป็นเรื่องง่ายเกินไปที่ผ่านแถบ < 0.05 p และบางครั้งทำหน้าที่เป็นข้อแก้ตัวสำหรับการวิจัยคุณภาพต่ำ เราหวัง และคาดว่า ห้าม NHSTP จะมีผลของการเพิ่มคุณภาพของต้นฉบับที่เขียนโดยผู้สร้างจากโครงสร้าง stultified ของจึงขจัดอุปสรรคสำคัญในความคิดสร้างสรรค์คิด NHSTP ปลด 'I’m with them on that. Actually, I think standard errors, p-values, and confidence intervals can be very helpful in research when considered as convenient parts of a data analysis. Standard errors etc. are helpful in giving a lower bound on uncertainty. The problem comes when they’re considered as the culmination of the analysis, as if ‘p less than 0.05’ represents some kind of proof of something. I do like the idea of requiring that research claims stand on their own without requiring the (often spurious) support of p-values.Geoff Cumming - Emeritus professor at the School of Psychological Science at La Trobe UniversityNHSTP and p-values are deeply flawed. The greatest cause of the replication crisis may be the imperative to achieve 0.05, as John Ioannidis famously explained in his paper - Why most published research findings are false. I make the case for moving entirely from NHSTP to estimation or other good approaches in a tutorial article I wrote for the top journal Psychological Science in January 2014. The article accompanied new editorial policies that encourage estimation (the 'new statistics') rather than NHSTP, and also a range of open science practices.Sure, p-values and confidence intervals are based on the same theory and, given a little extra information, it's easy to translate between them. But they are importantly different. We have published evidence that, at least in some common situations, researchers often make better interpretations when they see confidence intervals (without p-values) and think in terms of estimates, without invoking statistical significance.
One big problem is that p is a single value, which suggests certainty, whereas the extent of a confidence interval makes uncertainty salient. On replication, p-values bounce around amazingly - the 'dance of the p-values'. Confidence intervals also bounce, but the extent of any interval gives a reasonable idea of the amount of bouncing. In stark contrast, a single p-value gives almost no idea how much p is likely to bounce on replication. Using estimation and meta-analysis, and not NHSTP, is the way to better research and more quantitative disciplines.

In 1990, Ken Rothman was founding editor of the journal Epidemiology. He declared he would not publish p values, and for 10 years he didn't. The journal published good science, and flourished. It's possible and it's also highly desirable.

Robert Grant - Senior lecturer in health and social care statistics at St George's, University of London and Kingston University

When studying the causes and risk factors for disease, one is at great risk of heeding false alarms. That is how we get risible headlines announcing that coffee prevents depression or oversleeping causes strokes. The problem is one of education.

At school and afterwards, we learn deductive science: predict a result based on a hypothesis, run an experiment to see if the result happens, and on that basis incontrovertibly prove or destroy the hypothesis. Deduction is simple, strong and objective, and NHSTP wears a deductive uniform. But science is not like that, because we push our instruments to their limits, and have to distinguish signal from noise.

Complex systems like society, economy or the human body make inference difficult too. More fundamentally, science has always been inductive (or strictly speaking, abductive) because

ผลลัพธ์ (ไทย) 2:

ห้ามวารสารอย่างมีนัยสำคัญในการทดสอบสมมติฐาน:
ปฏิกิริยาจากเวทีสถิติเขียนโดยฟลานาแกนออนซ์เมื่อวันที่4 มีนาคม 2015 โพสต์ในความเห็นการตัดสินใจของหนึ่งในวารสารวิชาการที่จะห้ามสมมติฐานขั้นตอนการทดสอบอย่างมีนัยสำคัญ(NHSTP) ได้ก่อให้เกิดความปั่นป่วนในชุมชนทางสถิติ มันจะทำให้คุณสงสัยว่าบรรณาธิการพื้นฐานและจิตวิทยาสังคม, เดวิด Trafimow และไมเคิลมาร์คตระหนักถึงสิ่งที่เส้นประสาทที่พวกเขาจะตีเมื่อพวกเขาตีพิมพ์บทบรรณาธิการของพวกเขาก. กฎใหม่ของวารสารได้เปิดอภิปรายโดยรอบปัญหาที่กว้างขึ้นของวิธีการที่สถิติจะดำเนินการ ในการแสวงหาของการวิเคราะห์ทางวิทยาศาสตร์ มันก่อให้เกิดคำถามว่าข้อสรุปที่คุณสามารถวาดจากผลจากการทดสอบทางสถิติและวิธีการแตกหักนี้ไม่ตรวจสอบข้อสรุปของคุณ นอกจากนี้ยังทำให้คุณไตร่ตรองสิ่งที่โรนัลด์ฟิชเชอร์, เจอร์ซี Neyman และ Egon เพียร์สันจะได้ทำทางวิทยาศาสตร์ที่ทันสมัยมีพนักงานทฤษฎีทางสถิติที่พวกเขาพัฒนา. ข่าวเจ็บใจช่วงของความคิดเห็นจากนักวิชาการทั่วโลก เพื่อให้ภาพรวมของการอภิปรายที่เราถามปีเตอร์ดิ๊กเกิ้ล, สตีเฟ่น Senn, แอนดรู Gelman เจฟฟ์คัมมิ่งส์และโรเบิร์ตแกรนท์สำหรับปฏิกิริยาแรกของพวกเขาไปปัญหาที่เกิดขึ้น. ปีเตอร์ดิ๊กเกิ้ล - ประธาน RSS และศาสตราจารย์ด้านชีวสถิติระบาดวิทยาและสุขภาพของประชากรที่ Lancaster University บรรณาธิการล่าสุดในวารสารพื้นฐานและจิตวิทยาสังคมประกาศห้ามในการใช้งานของการทดสอบอย่างมีนัยสำคัญใด ๆ ในเอกสารที่ตีพิมพ์ในวารสาร บรรณาธิการเริ่มต้นด้วยการยืนยันที่น่าสงสัยว่าสมมติฐานขั้นตอนการทดสอบอย่างมีนัยสำคัญ (NHSTP) ไม่ถูกต้อง 'แต่ต่อมาระบุว่าเอกสารที่จะใช้ในการทดสอบอย่างมีนัยสำคัญจะไม่ถูกปฏิเสธโดยอัตโนมัติ แต่ถ้ากระดาษเป็นที่ยอมรับให้ตีพิมพ์ 'ผู้เขียนจะต้องลบร่องรอยทั้งหมดของ NHSTP ได้.' ดังนั้นจึงเป็นที่ยอมรับที่จะใช้ทดสอบความสำคัญในฐานะที่เป็นส่วนหนึ่งของวิธีการทางวิทยาศาสตร์ของคุณ แต่ไม่ได้ที่จะยอมรับในการพิมพ์ที่คุณได้ทำเพื่อ. บรรณาธิการเป็นเมตตาที่จะอนุมานแบบเบส์ แต่ไม่มากที่ระบุว่า 'ปัญหาปกติกับเบย์ วิธีการที่พวกเขา ... สร้างตัวเลขที่ไม่มีผู้ใดอยู่. วิธีการที่ต้องการของวารสารคือการพึ่งพาสถิติเชิงพรรณนา นี้ begs คำถามยากที่ยอมรับในสิ่งที่ในกรณีใด ๆ เป็นวิธีที่ถูกต้องในการแปลงคำอธิบายลงไปในข้อสรุป.  ร่วมกันฉันกังวลบรรณาธิการที่วิธีการทางสถิติเชิงอนุมานมีการเปิดให้ผิดพลาดการใช้งานและผิดพลาดการตีความ แต่ทำไม่ได้ รู้สึกว่าห้ามผ้าห่มกับวิธีการอนุมานใด ๆ โดยเฉพาะอย่างยิ่งคือการตอบสนองที่สร้างสรรค์มากที่สุด. สตีเฟ่น Senn - หัวหน้าศูนย์ความสามารถวิธีการและสถิติที่ลักเซมเบิร์กสถาบันสุขภาพปัญหาไม่ได้ข้อสรุปในด้านจิตวิทยาก็จิตวิทยาของการอนุมาน นักวิทยาศาสตร์บางคนมีความคาดหวังที่ไม่สมควรของการจำลองแบบของผลลัพธ์และโชคไม่ดีที่หลายคนในปัจจุบันนิ้วค่าพีมีความคิดว่าอัตราที่เหมาะสมของการจำลองแบบควรจะไม่. ห้ามวิธีการทางสถิติอย่างเป็นทางการจะไม่ทำให้วิกฤตที่เรียกว่าการทำแบบจำลองที่ดีกว่ามัน จะทำให้มันแย่ลง นโยบายบรรณาธิการ 'จะเพิ่มความสับสนในปัจจุบัน พวกเขาสามารถหาข้อสรุปอย่างเป็นทางการห้าม แต่ข้อสรุปที่เป็นทางการก็จะคูณ นักจิตวิทยาจะยังคงพยายามที่จะแยกสัญญาณจากเสียง. พิจารณาสนามผมวิจัยในการพัฒนายา ร้องเรียนที่พบบ่อยคือเหตุผลว่าไม่ทุกขั้นตอนที่สามการทดลองที่ประสบความสำเร็จ แต่พวกเขาเท่านั้นที่จะทำให้ประสบความสำเร็จโดยการทดลองระยะที่สองเพื่อให้มีขนาดใหญ่มากว่าเงินและชีวิตที่สูญเสียไปจะได้รับการตรวจสอบการรักษาที่มีศักยภาพ วิกฤตที่ไม่ใช่การจำลองแบบของผลในเชิงบวกจะลดค่าใช้จ่ายของเพิ่มขึ้นมากในเชิงลบเท็จยาเสพติดมีแนวโน้มที่จะได้รับการ binned และค่าใช้จ่ายเฉลี่ยในการหาวิธีการรักษาที่ประสบความสำเร็จจะเพิ่มขึ้น. บรรณาธิการจะดีกว่าการใช้สิทธิในพื้นที่ที่มีแนวโน้มการศึกษา ที่มีความพยายามที่จะทำซ้ำการศึกษาก่อนหน้ามากกว่าการพยายามที่จะห้ามสถิติอนุมานทั้งหมด นอกจากนี้ยังควรพยายามที่จะส่งเสริมให้มีมาตรฐานที่ดีขึ้นของการอนุมาน (การควบคุมที่เหมาะสมเปก่อนหลีกเลี่ยงความแม่นยำปลอมที่เกี่ยวข้องกับการถดถอยจะหมายถึง ฯลฯ ) แม้เชื่อฟังมากที่สุดป้องกัน frequentists-ไม่ค่อยไปไกลที่สุดเท่าที่ห้ามข้อผิดพลาดมาตรฐานที่อ่อนน้อมถ่อมตน. ถ้าคุณไม่ได้ทำผิดพลาดที่คุณไม่ได้เรียนรู้ ความพยายามที่จะกำจัดบวกเท็จในการอนุมานคือการพยายามที่แห้งแล้งทางวิทยาศาสตร์และห้ามวิธีการสรุปอย่างเป็นทางการจะไม่ได้ช่วยให้บรรลุจุดมุ่งหมายที่โง่เขลานี้. แอนดรู Gelman - ศาสตราจารย์ของสถิติและวิทยาศาสตร์ทางการเมืองและผู้อำนวยการศูนย์สถิติประยุกต์ที่มหาวิทยาลัยโคลัมเบียในวันนี้ออกมาผมได้รับอีเมลที่ 10 เกี่ยวกับเรื่องนี้ส่วนใหญ่มาจากคนที่ผมไม่ได้รู้ว่า ดังนั้นอย่างน้อยที่สุดนี้เป็นความสนใจจากสาธารณชนที่มีประสิทธิภาพ หนึ่งในผู้สื่อข่าวของฉันชี้ให้ฉันที่โพสต์โดยจอห์น Kruschke ที่ตั้งค่าสถานะเป็นส่วนหนึ่งของกองบรรณาธิการในคำถามนี้:  'ปัญหาที่เกิดขึ้นตามปกติด้วยวิธีการแบบเบย์ที่พวกเขาขึ้นอยู่กับการจัดเรียงของ Laplacian สมมติฐานบางอย่างเพื่อสร้างตัวเลขที่ไม่มีผู้ใดอยู่ สมมติฐาน Laplacian คือว่าเมื่ออยู่ในสถานะของความไม่รู้วิจัยควรกำหนดความน่าจะเป็นเท่ากับความเป็นไปได้ในแต่ละ. นี้ดูเหมือนว่าแปลกสักหน่อยให้ฉันให้ที่ฉันเพียงเกี่ยวกับการทำงานเกี่ยวกับปัญหาอย่างต่อเนื่องเพื่อให้ 'ความเป็นไปได้' สามารถ t 'ถูกนับและมันก็เป็นความหมายที่จะพูดคุยเกี่ยวกับการกำหนดความน่าจะเป็นที่จะแต่ละของพวกเขา บวกบิตเกี่ยวกับตัวเลขการสร้างที่ไม่มีผู้ใดอยู่ 'ดูเหมือนว่าจะสะท้อนให้เห็นถึงความเข้าใจผิดของความแตกต่างระหว่างการกระจาย (ซึ่งสะท้อนให้เห็นถึงความไม่แน่นอน) และข้อมูล (ซึ่งเป็นที่เฉพาะเจาะจง) คุณไม่ต้องการที่จะใส่ร้าย deterministically ตัวเลขที่ข้อมูลไม่อยู่ แต่ก็ตกลงที่จะกำหนดให้กระจายไปยังสะท้อนให้เห็นถึงความไม่แน่นอนของคุณเกี่ยวกับตัวเลขดังกล่าว มันเป็นสิ่งที่เราเคยทำเมื่อเราทำคาดการณ์ -. สิ่งเดียวที่พิเศษเกี่ยวกับการวิเคราะห์แบบเบย์ก็คือว่ามันใช้หลักการของการพยากรณ์เพื่อราชวงศ์ทั้งหมดในปัญหาผมก็สนุกที่จะเห็นว่าเมื่อพวกเขากำลังมองหาตัวอย่างที่อนุมานแบบเบย์คือตกลงพวกเขาใช้หนังสือโดยโรนัลด์ฟิชเชอร์กัน! Trafimow และ Marks สรุป: 'บางคนอาจดูห้าม NHSTP เป็นแสดงให้เห็นว่ามันจะง่ายที่จะเผยแพร่ในพื้นฐานและจิตวิทยาสังคมหรือว่าต้นฉบับที่เข้มงวดน้อยกว่าจะเป็นที่ยอมรับ ไม่เป็นเช่นนั้น ในทางตรงกันข้ามเราเชื่อว่า p <0.05 บาร์เป็นเรื่องง่ายเกินไปที่จะผ่านและบางครั้งก็ทำหน้าที่เป็นข้ออ้างสำหรับการวิจัยที่มีคุณภาพต่ำ เราหวังและคาดหวังว่าห้าม NHSTP จะมีผลต่อการเพิ่มคุณภาพของต้นฉบับที่ส่งโดยผู้เขียนปลดปล่อยจากโครงสร้างของ stultified NHSTP คิดจึงไม่เป็นอุปสรรคสำคัญที่จะคิดสร้างสรรค์. ฉันกับพวกเขาว่า อันที่จริงผมคิดว่าข้อผิดพลาดมาตรฐาน, p-ค่านิยมและความเชื่อมั่นที่จะมีประโยชน์มากในการวิจัยเมื่อพิจารณาเป็นชิ้นส่วนที่สะดวกในการวิเคราะห์ข้อมูล ข้อผิดพลาดมาตรฐานอื่น ๆ ที่เป็นประโยชน์ในการให้ความผูกพันที่ลดลงในความไม่แน่นอน ปัญหามาเมื่อพวกเขากำลังพิจารณาว่าเป็นสุดยอดของการวิเคราะห์เช่นถ้า 'พีน้อยกว่า 0.05 นี้เป็นชนิดของหลักฐานการบางสิ่งบางอย่างบาง ฉันชอบความคิดของการที่ต้องเรียกร้องการวิจัยยืนได้ด้วยตัวเองโดยไม่ต้องมีที่ (มักปลอม) การสนับสนุนของพีค่า. เจฟฟ์คัมมิง - ศาสตราจารย์กิตติคุณที่โรงเรียนวิทยาศาสตร์ทางจิตวิทยาที่ La Trobe University NHSTP p และค่ามีข้อบกพร่องอย่างลึกซึ้ง . สาเหตุที่ยิ่งใหญ่ที่สุดของวิกฤตการจำลองแบบอาจจะเป็นความจำเป็นเพื่อให้บรรลุ 0.05, จอห์น Ioannidis ชื่อเสียงที่อธิบายไว้ในกระดาษของเขา - ทำไมตีพิมพ์ผลการวิจัยส่วนใหญ่เป็นเท็จ ฉันจะทำให้กรณีสำหรับการย้ายจากทั้งหมด NHSTP ประมาณการหรือวิธีการที่ดีอื่น ๆ ในบทความกวดวิชาที่ผมเขียนด้านบนวารสารวิทยาศาสตร์จิตวิทยาในเดือนมกราคม 2014 บทความมาพร้อมกับนโยบายของกองบรรณาธิการใหม่ที่ส่งเสริมให้เกิดการประมาณค่า (ที่สถิติใหม่ ') มากกว่า NHSTP และยังช่วงของการปฏิบัติวิทยาศาสตร์เปิด. แน่นอน, p-ค่านิยมและความเชื่อมั่นอยู่บนพื้นฐานของทฤษฎีเดียวกันและได้รับข้อมูลเพิ่มเติมเล็กน้อยมันเป็นเรื่องง่ายที่จะแปลระหว่างพวกเขา แต่พวกเขามีความแตกต่างที่สำคัญ เราได้รับการตีพิมพ์หลักฐานที่แสดงว่าอย่างน้อยในสถานการณ์บางอย่างร่วมกันนักวิจัยมักจะทำให้การตีความที่ดีขึ้นเมื่อพวกเขาเห็นช่วงความเชื่อมั่น (โดยพีค่า) และคิดว่าในแง่ของการประมาณการโดยไม่ต้องเรียกนัยสำคัญทางสถิติ. หนึ่งปัญหาใหญ่คือที่พีเป็นหนึ่ง ค่าซึ่งแสดงให้เห็นความเชื่อมั่นในขณะที่ขอบเขตของช่วงความเชื่อมั่นที่จะทำให้ความไม่แน่นอนที่สำคัญ ในการจำลองแบบ, p-ค่าตีกลับรอบที่น่าอัศจรรย์ใจ - การเต้นรำของค่าพี ' ช่วงความเชื่อมั่นยังตีกลับ แต่ขอบเขตของช่วงเวลาใด ๆ ให้ความคิดที่เหมาะสมของจำนวนเงินของการตีกลับ ในทางตรงกันข้ามเป็น p-value ให้ความคิดเดียวเกือบจะไม่มีเท่าใดพีมีแนวโน้มที่จะตีกลับในการจำลองแบบ ใช้การประมาณค่าและการวิเคราะห์อภิมาและไม่ NHSTP เป็นวิธีการวิจัยที่ดีขึ้นและสาขาเชิงปริมาณ. ในปี 1990 เคนรอ ธ แมนได้รับการก่อตั้งบรรณาธิการของวารสารระบาดวิทยา เขาบอกว่าเขาจะไม่เผยแพร่ค่าพีและเป็นเวลา 10 ปีที่เขาทำไม่ได้ วารสารที่ตีพิมพ์วิทยาศาสตร์ที่ดีและความเจริญรุ่งเรือง มันเป็นไปได้และมันก็ยังเป็นที่ต้องการอย่างมาก. โรเบิร์ตแกรนท์ - อาจารย์อาวุโสในด้านสุขภาพและสถิติการดูแลสังคมที่เซนต์จอร์จมหาวิทยาลัยลอนดอนและมหาวิทยาลัยคิงส์ตันเมื่อศึกษาสาเหตุและปัจจัยเสี่ยงต่อการเป็นโรคหนึ่งที่มีความเสี่ยงที่ดีของความระมัดระวังเตือนที่ผิดพลาด นั่นคือวิธีการที่เราได้รับการพาดหัวข่าวหัวเราะประกาศว่ากาแฟช่วยป้องกันการเกิดภาวะซึมเศร้าหรือ oversleeping จังหวะสาเหตุ ปัญหาที่เกิดขึ้นเป็นหนึ่งในการศึกษา. ที่โรงเรียนและหลังจากนั้นเราเรียนรู้วิทยาศาสตร์นิรนัย: คาดการณ์ผลบนพื้นฐานของสมมติฐานให้เรียกใช้การทดสอบเพื่อดูว่าผลที่เกิดขึ้นและบนพื้นฐานที่ว่า incontrovertibly พิสูจน์หรือทำลายสมมติฐาน หักง่ายแข็งแรงและวัตถุประสงค์และ NHSTP สวมเครื่องแบบนิรนัย แต่วิทยาศาสตร์ไม่ได้เป็นเช่นนั้นเพราะเราผลักดันเครื่องมือของเราที่จะขีด จำกัด ของตนและมีการแยกความแตกต่างจากเสียงสัญญาณ. ระบบที่ซับซ้อนเช่นสังคมเศรษฐกิจหรือร่างกายมนุษย์ทำให้อนุมานยากเกินไป เพิ่มเติมพื้นฐานวิทยาศาสตร์ได้เสมออุปนัย (หรือพูดอย่างเคร่งครัด abductive) เพราะ

ผลลัพธ์ (ไทย) 3:

บันทึกของบ้านบนสมมติฐานว่าง ทดสอบความมีนัยสำคัญทางสถิติ : ปฏิกิริยาจากเวที
เขียนโดยออนซ์ ฟลานาแกน ที่ 04 มีนาคม 2015 โพสต์ในความเห็น

ใจหนึ่งวิชาการบ้านความสำคัญขั้นตอนการทดสอบสมมติฐานว่าง ( nhstp ) ได้ก่อให้เกิดความปั่นป่วนในชุมชนสถิติ มันทำให้คุณสงสัยว่าบรรณาธิการของพื้นฐานและจิตวิทยาสังคมประยุกต์เดวิดและไมเคิล trafimow เครื่องหมาย , ตระหนักว่าพวกเขาจะตีประสาทเมื่อพวกเขาเผยแพร่บทความของพวกเขา .
ของวารสารกฎใหม่ได้เปิดการอภิปรายรอบกว้าง ปัญหาของวิธีการสถิติจะดําเนินการในการแสวงหา การวิเคราะห์ทางวิทยาศาสตร์ มัน poses คำถามของสิ่งที่ข้อสรุปคุณสามารถวาดจากผลการทดสอบทางสถิติและวิธีการที่มันตรวจสอบข้อสรุปของคุณมันยังทำให้คุณไตร่ตรองสิ่งที่โรนัลด์ฟิชเชอร์ เจอร์ซี่ อีกอน เพียร์สัน และเนย์เมิ่น ทำให้ทางวิทยาศาสตร์สมัยใหม่ใช้สถิติทฤษฎีพวกเขาพัฒนา

ข่าวยั่วยุช่วงของความคิดเห็นจากนักวิชาการทั่วโลก เพื่อให้ภาพรวมของการสนทนา เราถามปีเตอร์ ดิกเกิ้ล , สตีเฟน เซน , แอนดรูว์ เกลแมน ,เจฟ คัมมิ่ง และโรเบิร์ต แกรนท์สำหรับปฏิกิริยาเริ่มต้นของปัญหาที่เกิดขึ้น

ปีเตอร์ ดิกเกิ้ล– RSS ประธานและศาสตราจารย์ ชีวสถิติ ระบาดวิทยาและสุขภาพประชากรที่มหาวิทยาลัยแลงคาสเตอร์

บทความล่าสุดในวารสารอะไรพื้นฐานและประยุกต์จิตวิทยาสังคมประกาศห้ามใช้ใด ๆของ ทดสอบความมีนัยสำคัญในเอกสารที่เผยแพร่ในวารสารบทบรรณาธิการ เริ่มต้นด้วยการยืนยันที่น่าสงสัยว่า ' กำหนดวิธีการทดสอบสมมติฐานว่าง ( nhstp ) ไม่ถูกต้อง แต่รัฐภายหลังว่าเอกสารที่ใช้ในการทดสอบโดยจะไม่สามารถปฏิเสธ ถ้ากระดาษเป็นที่ยอมรับสำหรับผู้เขียนสิ่งพิมพ์จะต้องลบทุกร่องรอยของ nhstp .' มันเป็นที่ยอมรับที่จะใช้ทดสอบความสำคัญเป็นส่วนหนึ่งของวิธีทางวิทยาศาสตร์ แต่ต้องยอมรับในพิมพ์ที่คุณได้กระทำเพื่อให้

: kinder เพื่อการอนุมานแบบเบย์ แต่โดยมากไม่ระบุว่า ' ปัญหาปกติด้วยวิธีการคชกรรม คือ ว่า พวกเขา . . . . . . . สร้างหมายเลขที่ไม่มีอยู่จริง ' ของวารสารที่ต้องการวิธีการอาศัยสถิติเชิงพรรณนานี้ begs คำถามที่เป็นที่ยอมรับได้ยากว่า ในสถานการณ์ที่เฉพาะเจาะจงใด ๆ เป็นวิธีที่ถูกต้องเพื่อแปลงคำอธิบายเป็นบทสรุป รึเปล่า

ผมแบ่งปันบรรณาธิการ ' ความกังวลว่าวิธีการทางสถิติเชิงอนุมานเพื่อเปิดใช้และตีความผิด แต่ไม่ได้รู้สึกว่าผ้าห่มในบ้านใดวิธีเฉพาะคือการอนุมาน

ที่สร้างสรรค์ที่สุดสตีเฟนเซน - หัวของศูนย์ระเบียบวิธีวิจัยและสถิติที่ลักเซมเบิร์กสถาบันสุขภาพ

ปัญหาไม่ได้ข้อสรุปในด้านจิตวิทยา มันเป็นจิตวิทยาของการอนุมาน นักวิทยาศาสตร์บางคนมีความคาดหวังที่ไร้เหตุผลของการจำลองแบบของผลลัพธ์ และ น่าเสียดายที่หลายคนยังมึน p-values ไม่มีความคิดอะไรที่เหมาะสม ซึ่งควร

ซ้ำ .ห้ามสถิติอย่างเป็นทางการจะไม่ทำให้วิกฤตขนาดใหญ่ที่เรียกว่าดี มันมีแต่จะทำให้มันแย่ลง นโยบายบรรณาธิการจะเพิ่มความสับสนในปัจจุบัน พวกเขาสามารถห้ามใช้อย่างเป็นทางการแต่ใช้ไม่เป็น จะคูณ นักจิตวิทยาจะยังคงพยายามที่จะแยกสัญญาณจากเสียงรบกวน

พิจารณาด้านงานวิจัยในการพัฒนายา