environment in parallel while subse

environment in parallel while subsequent measurements
are taken at the instrument and other instruments are
sending data.
Once the data file is stored within an HPC environment,
the next stage of the workflow includes conversion
to a data model suitable for HPC-based analysis,
generally using the Hierarchical Data Format version 5
(HDF5). With the data set now converted and resident
on a parallel file system, the next stage of the workflow,
analysis via scalable methods, can be executed. At this
juncture, an analysis algorithm is selected based on the
instrument, the measurement, the material composition,
and other user-specified criteria. Once selected, the analysis
is executed on an HPC system. The resultant data
and statistics are then made available to the user for inspection
and further analysis. Initial experimentation of
this concept has shown that analysis can be completed
in seconds, allowing near real-time feedback from the
measurement. Upon completion of the analysis, the data
is then organized for possible archival. Once data movement
and analysis is completed, interactive visual analysis
is made available for further inspection of the data.
Scalable analytics
It is important to note that the difficulties surrounding
scalable analytics in the context of the imaging methods
insofar discussed extend far beyond the need for taskbased
and data-based parallelism. In particular, one of
the primary challenges expected to impede further progress
is the application of statistical methods in extremely
high dimensions. Due to the structure of the
analysis problems in computational settings, the complexity
of the problem space manifests itself as a highdimensional
analysis problem, where dimensionality is
most often associated with the number of measurements
being considered simultaneously. The curse of dimensionality
is a persistent phenomenon in modern statistics due
to our ability to measure at rates and scales unheard of
until the modern era [94]. However, there are many strategies
to mitigate the statistical consequences of high
dimensionality.
While some of the methods noted earlier in this paper
are computationally scalable, in many cases, they are not
appropriate for other reasons. For example, although
PCA, ICA, k-means, and back propagation for neural
networks all fit the Statistical Query Model, and thus belong
to a known set of problems that can essentially
scale linearly, this does not necessarily solve the issues
raised by high-dimensional analysis [95]. For example, it
is important to observe that in high-dimensional spaces,
nearest neighbors become nearly equidistant [96]. This
is particularly problematic for clustering algorithms but
also has significant consequences for other dimensionality
reduction techniques.

ผลลัพธ์ (ไทย) 1:

สิ่งแวดล้อมขนานในขณะที่วัดในเวลาต่อมานำเครื่องมือและเครื่องมืออื่น ๆ ได้การส่งข้อมูลเมื่อแฟ้มข้อมูลถูกเก็บไว้ภายในแวดล้อม HPCขั้นตอนต่อไปของกระแสงานรวมถึงการแปลงรูปแบบข้อมูลเหมาะสำหรับ HPC ใช้การวิเคราะห์โดยทั่วไปใช้รูปแบบข้อมูลแบบลำดับชั้น 5(HDF5) ตอนนี้ แปลงเป็นชุดข้อมูลและถิ่นที่อยู่บนระบบแฟ้มแบบขนาน ขั้นตอนถัดไปของลำดับวิเคราะห์ผ่านวิธีการปรับขนาด สามารถดำเนินการ ที่นี้ยานยนต์ อัลกอริทึมการวิเคราะห์ไว้ตามเครื่องมือ การวัด ส่วน ประกอบและเงื่อนไขอื่นที่ระบุผู้ใช้ เมื่อเลือก การวิเคราะห์จะดำเนินการบนระบบ HPC ข้อมูลผลลัพธ์และสถิติแล้วผู้รับกับผู้ใช้สำหรับการตรวจสอบและวิเคราะห์เพิ่มเติม การทดลองเบื้องต้นของแนวคิดนี้ได้แสดงให้เห็นว่า สามารถดำเนินการวิเคราะห์ในวินาที ให้ใกล้คำติชมแบบเรียลไทม์จากการการวัด เมื่อเสร็จสิ้นการวิเคราะห์ ข้อมูลแล้วถูกจัดระเบียบสำหรับการเก็บถาวรได้ ย้ายข้อมูลครั้งเดียวและการวิเคราะห์เป็นการวิเคราะห์ภาพเสร็จสมบูรณ์ โต้ตอบจะมีพร้อมสำหรับการตรวจสอบเพิ่มเติมข้อมูลการวิเคราะห์ขนาดจะต้องทราบว่า ปัญหารอบข้างการวิเคราะห์ขนาดในบริบทของวิธีการถ่ายภาพกล่าวถึงในเรื่องขยายมากเกินความต้องการ taskbasedและขนานตามข้อมูล เฉพาะ หนึ่งความท้าทายหลักที่คาดว่าเป็นอุปสรรคต่อความก้าวหน้าเป็นการประยุกต์ใช้วิธีการทางสถิติมากขนาดสูง เนื่องจากโครงสร้างของการวิเคราะห์ปัญหาในการตั้งค่าการคำนวณ ความซับซ้อนปัญหา พื้นที่ปรากฏตัวเป็นแบบ highdimensionalวิเคราะห์ปัญหา มิติส่วนใหญ่มักจะเกี่ยวข้องกับจำนวนของการวัดมีการพิจารณาพร้อมกัน คำสาปของมิติเป็นปรากฏการณ์ถาวรในสถิติที่ทันสมัยที่ครบกำหนดเพื่อความสามารถในการวัดที่เครื่องชั่งของและราคาจนถึงยุคปัจจุบัน [94] อย่างไรก็ตาม มีหลายกลยุทธ์เพื่อลดผลกระทบทางสถิติของสูงมิติในขณะที่บางวิธีที่บันทึกไว้ก่อนหน้าในเอกสารนี้จะ computationally ขนาด ส่วนใหญ่ พวกเขาจะไม่เหมาะสมกับสาเหตุอื่น ๆ เช่น แม้ว่าPCA, ICA, k-หมายถึง และกลับมาเผยแพร่สำหรับระบบประสาทเครือข่ายทั้งหมดให้พอดีกับแบบสอบถามสถิติ และดังนั้นจึง เป็นปัญหาที่ทราบ ที่สามารถเป็นหลักมาตราส่วนเชิงเส้น นี่ไม่จำเป็นต้องแก้ปัญหายก โดยการวิเคราะห์มิติสูง [95] เช่น มันสิ่งสำคัญคือการสังเกตที่ในช่องว่างมิติสูงเพื่อนบ้านที่ใกล้ที่สุดกลายเป็น เกือบเท่า [96] นี้มีปัญหาโดยเฉพาะอย่างยิ่งสำหรับอัลกอริทึมคลัสเตอร์ แต่มีผลสำคัญสำหรับมิติอื่น ๆเทคนิคการลด

ผลลัพธ์ (ไทย) 2:

สภาพแวดล้อมในแบบคู่ขนานขณะที่วัดต่อมา
ถูกนำมาที่เครื่องมือและเครื่องมืออื่น ๆ ที่มี
การส่งข้อมูล.
เมื่อแฟ้มข้อมูลจะถูกเก็บไว้ในสภาพแวดล้อม HPC เป็น
ขั้นตอนต่อไปของเวิร์กโฟลว์รวมถึงการแปลง
รูปแบบข้อมูลที่เหมาะสมสำหรับการวิเคราะห์ HPC-based
โดยทั่วไปใช้ รูปแบบลำดับชั้นข้อมูลรุ่น 5
(HDF5) ด้วยข้อมูลที่กำหนดแปลงในขณะนี้และมีถิ่นที่อยู่
ในระบบไฟล์แบบขนานขั้นต่อไปของเวิร์กโฟลว์
การวิเคราะห์ผ่านทางวิธีการปรับขนาดได้สามารถดำเนินการได้ นี้ใน
ช่วงหัวเลี้ยวหัวต่อขั้นตอนวิธีการวิเคราะห์ถูกเลือกขึ้นอยู่กับ
เครื่องมือวัดองค์ประกอบของวัสดุ,
และเกณฑ์ที่ผู้ใช้ระบุอื่น ๆ เมื่อเลือกการวิเคราะห์
จะถูกดำเนินการในระบบ HPC ข้อมูลผล
และสถิติที่ทำแล้วใช้ได้กับผู้ใช้สำหรับการตรวจสอบ
และวิเคราะห์ต่อไป การทดลองเริ่มต้นของ
แนวคิดนี้ได้แสดงให้เห็นว่าการวิเคราะห์สามารถจะแล้วเสร็จ
ในไม่กี่วินาทีช่วยให้ข้อเสนอแนะที่อยู่ใกล้เวลาจริงจาก
วัด เมื่อเสร็จสิ้นการวิเคราะห์ข้อมูลที่
มีการจัดระเบียบแล้วสำหรับการเก็บถาวรที่เป็นไปได้ เมื่อเคลื่อนย้ายข้อมูล
และการวิเคราะห์เสร็จสมบูรณ์การวิเคราะห์ภาพแบบโต้ตอบ
มีให้สำหรับการตรวจสอบเพิ่มเติมของข้อมูล.
วิเคราะห์ Scalable
มันเป็นสิ่งสำคัญที่จะต้องทราบว่าปัญหาที่เกิดขึ้นรอบ
การวิเคราะห์ที่ปรับขนาดได้ในบริบทของวิธีการถ่ายภาพที่
กล่าวถึงในส่วนขยายไกลเกินความจำเป็นในการ taskbased
และขนานข้อมูลตาม โดยเฉพาะอย่างยิ่งหนึ่งใน
ความท้าทายหลักที่คาดว่าจะเป็นอุปสรรคต่อความคืบหน้า
คือการประยุกต์ใช้วิธีการทางสถิติในมาก
ขนาดสูง เนื่องจากโครงสร้างของ
การวิเคราะห์ปัญหาในการตั้งค่าการคำนวณความซับซ้อน
ของพื้นที่ปัญหาปรากฏตัวเป็น highdimensional
วิเคราะห์ปัญหาที่มิติเป็น
ส่วนใหญ่มักจะเชื่อมโยงกับหมายเลขของการวัด
การพิจารณาพร้อมกัน คำสาปของมิติ
เป็นปรากฏการณ์ถาวรในสถิติที่ทันสมัยเนื่องจาก
เพื่อความสามารถของเราในการวัดอัตราและเกล็ดเคยได้ยินมาก่อน
จนถึงยุคปัจจุบัน [94] แต่มีหลายกลยุทธ์
เพื่อลดผลกระทบทางสถิติที่สูง
มิติ.
ขณะที่บางส่วนของวิธีการที่ระบุไว้ก่อนหน้าในบทความนี้
เป็นคอมพิวเตอร์ที่ปรับขนาดได้ในหลาย ๆ กรณีพวกเขาจะไม่
เหมาะสมสำหรับเหตุผลอื่น ๆ ตัวอย่างเช่นแม้ว่า
PCA, ICA, K-หมายถึงและกลับมาขยายพันธุ์ประสาท
ทุกเครือข่ายพอดีกับสถิติแบบสอบถามรุ่นและทำให้อยู่ใน
ชุดที่รู้จักกันของปัญหาที่เป็นหลักสามารถ
ปรับขนาดเส้นตรงนี้ไม่จำเป็นต้องแก้ปัญหา
โดยยกสูง การวิเคราะห์มิติ [95] ยกตัวอย่างเช่นมัน
เป็นสิ่งสำคัญที่จะสังเกตเห็นว่าในพื้นที่สูงมิติ
เพื่อนบ้านที่ใกล้ที่สุดกลายเป็นเกือบเท่ากัน [96] นี้
เป็นปัญหาโดยเฉพาะอย่างยิ่งสำหรับขั้นตอนวิธีการจัดกลุ่ม แต่
ยังมีผลกระทบอย่างมีนัยสำคัญสำหรับมิติอื่น ๆ
เทคนิคการลด

ผลลัพธ์ (ไทย) 3:

สิ่งแวดล้อมในแบบคู่ขนาน ขณะที่การวัดตามมาไปที่เครื่องมือและอุปกรณ์อื่น ๆส่งข้อมูลที่เมื่อไฟล์จะถูกเก็บไว้ภายในสภาพแวดล้อม HPC ,ขั้นตอนต่อไปของเวิร์กโฟลว์รวมถึงการแปลงเป็นรูปแบบข้อมูลที่เหมาะสมสำหรับ HPC การวิเคราะห์ตามโดยทั่วไปใช้รุ่นของรูปแบบข้อมูลแบบลำดับชั้น 5( hdf5 ) กับชุดข้อมูลแล้วแปลงและถิ่นที่อยู่บนระบบแฟ้มแบบขนานขั้นต่อไปของเวิร์กโฟลว์การวิเคราะห์ผ่านทางวิธีการที่ยืดหยุ่น สามารถดำเนินการ ในนี้ช่วงหัวเลี้ยวหัวต่อ การวิเคราะห์ขั้นตอนวิธีที่ใช้ในเครื่องมือ , วัด , องค์ประกอบของวัสดุและผู้ใช้อื่น ๆที่ระบุไว้ เมื่อเลือก , การวิเคราะห์เป็นดำเนินการบนอุปกรณ์ระบบ ข้อมูล ผลลัพธ์และสถิติจะทำใช้ได้กับผู้ใช้สำหรับการตรวจสอบและการวิเคราะห์เพิ่มเติม เริ่มต้นการทดลองของแนวคิดนี้ได้แสดงการวิเคราะห์สามารถเสร็จในวินาทีที่ให้ความคิดเห็นแบบเรียลไทม์จากใกล้การวัด เมื่อเสร็จสิ้นการวิเคราะห์ข้อมูลแล้วจัดที่สุด จดหมายเหตุ เมื่อเคลื่อนไหวข้อมูลและการวิเคราะห์การวิเคราะห์ภาพแบบสมบูรณ์มีให้สำหรับการตรวจสอบเพิ่มเติม ของข้อมูลระบบการวิเคราะห์มันเป็นสิ่งสำคัญที่จะทราบว่าปัญหาโดยรอบระบบวิเคราะห์ในบริบทของภาพ วิธีการลดได้ขยายไกลเกินกว่าความจำเป็น taskbasedและข้อมูลความตาม โดยเฉพาะหนึ่งของความท้าทายหลักคาดว่าจะขัดขวางความคืบหน้าเพิ่มเติมคือ การประยุกต์ใช้วิธีการทางสถิติมากขนาดสูง เนื่องจากโครงสร้างของการวิเคราะห์ปัญหาในการตั้งค่าการคำนวณ , ความซับซ้อนของปัญหาพื้นที่ปรากฏตัวเป็น highdimensionalการวิเคราะห์ปัญหาที่ dimensionality คือส่วนใหญ่มักจะเกี่ยวข้องกับจำนวนของการวัดการพิจารณาพร้อมกัน คำสาปของ dimensionalityเป็นปรากฏการณ์ที่ถาวรในสถิติใหม่เนื่องจากความสามารถของเราที่จะวัดอัตราและระดับ unheard ของจนกระทั่งยุคสมัย [ 94 ] อย่างไรก็ตาม มีกลยุทธ์มากมายเพื่อลดผลกระทบทางด้านสูงdimensionality .ในขณะที่บางส่วนของวิธีการที่กล่าวไว้ก่อนหน้านี้ในบทความนี้เป็น computationally ยืดหยุ่น ในหลายกรณี พวกเขาจะไม่ที่เหมาะสมสำหรับเหตุผลอื่น ๆ ตัวอย่างเช่น แม้ว่าPCA ICA , k-means และ back propagation ประสาทเครือข่ายทั้งหมดให้พอดีกับรูปแบบของแบบสอบถามสถิติ และดังนั้นจึงมารู้จักชุดของปัญหาที่สามารถเป็นหลักขนาดน้ำหนักนี้ไม่ต้องแก้ปัญหายกสูง - มิติการวิเคราะห์ [ 95 ] ตัวอย่างเช่นเป็นสิ่งสำคัญที่จะสังเกตว่าในสูง - มิติช่องว่างเพื่อนบ้านที่ใกล้ที่สุดกลายเป็นเกือบเท่ากัน [ 96 ] นี้โดยเฉพาะอย่างยิ่งปัญหาสำหรับการจัดกลุ่มขั้นตอนวิธีแต่นอกจากนี้ยังมีผลกระทบทางด้าน dimensionality อื่น ๆเทคนิคในการลด