4.1 Data Storage and Management Our

4.1 Data Storage and Management
Our problem requires ad-hoc navigation of time series at different aggregation granularities, and fast access to sentiments for demographic groups. Therefore, it makes sense to organize the data storage around a time-indexed and aggregating structure named Demographics Tree (DTree), which at its nodes provides access to aggregated sentiment values via the demographics lattice. We demonstrate this structure in Figure 3 and describe below.
DTree is a hierarchically organized balanced tree, where each level in the hierarchy stores information relevant to years, month, weeks, and days. Each node in the tree corresponds to one of these intervals, and is connected to the parent and children nodes inthehierarchy, as well as to the adjacent nodes at the same level. Each DTree node stores statistical aggregations of sentiments for different topics for the specific time interval: (count, sum, sum of squares), where topic t ∈ T. These aggregations allow us to reconstruct sentiment mean, variance, volume and their derivatives, and they are also incrementally maintainable, allowing the easy update of the DTree as new data come in. In addition, DTree nodes store top-k correlations for the particular time interval and topic, in order to facilitate query answering. We provide more details on the construction of top-k correlations in Section4.3. DTree nodes maintain physical aggregations only for the top-level demographic groups for each topic (e.g., only for group(1.1)in Figure 3). Detailed aggregations for all individual groups are accessible by following a pointer to a separate structure, the sequential file storage for lattices. This pointer indicates an offset in the file that contains the demographics lattice snapshot with the aggregations for all demographic groups for the particular topic and time interval. By traversing this sequential file storage structure, we can simultaneously reconstruct the sentiment time series for all demographic groups for a particular topic and time aggregation level.
Thanks to this layout, a time index with high-level aggregates and pointers remains compact and can be kept in main memory (Figure3,left), while sentiment time series can be organized as a collection of individual files(Figure3,right). The additional benefit of this organization is that it ensures fast sequential access for time series of sentiments, compared to relational databases.
We note that the number of sentiment values monotonically decreases as we navigate down the demographics lattice and down the DTree levels, so many of the demographics leaf nodes will contain zeroes at lower time granularities. This allows storing sentiment values in a more compact way, by storing only non-zero values (e.g., using run-length encoding methods).

ผลลัพธ์ (ไทย) 2:

4.1 การจัดเก็บและการจัดการข้อมูล
ปัญหาของเราต้องนำทางเฉพาะกิจของอนุกรมเวลาที่ละเอียดการรวมตัวที่แตกต่างกันและการเข้าถึงอย่างรวดเร็วเพื่อให้ความรู้สึกสำหรับกลุ่มประชากร ดังนั้นจึงทำให้ความรู้สึกที่จะจัดเก็บข้อมูลรอบโครงสร้างเวลาจัดทำดัชนีและรวมประชากรที่มีชื่อต้นไม้ (DTree) ซึ่งที่โหนดของตนให้การเข้าถึงค่าความเชื่อมั่นที่รวบรวมผ่านทางประชากรขัดแตะ เราแสดงให้เห็นถึงโครงสร้างนี้ในรูปที่ 3 และอธิบายด้านล่าง.
DTree คือการจัดลำดับชั้นต้นไม้สมดุลที่แต่ละระดับในลำดับชั้นจัดเก็บข้อมูลที่เกี่ยวข้องกับปีเดือนสัปดาห์และวันที่ โหนดในต้นไม้แต่ละสอดคล้องกับหนึ่งในช่วงเวลาเหล่านี้และมีการเชื่อมต่อไปยังผู้ปกครองและเด็กโหนด inthehierarchy, เช่นเดียวกับโหนดที่อยู่ติดกันในระดับเดียวกัน แต่ละ DTree โหนดร้านค้ารวมตัวทางสถิติของความรู้สึกสำหรับหัวข้อที่แตกต่างกันสำหรับช่วง Fi C เวลา speci: (นับรวมผลรวมของสี่เหลี่ยม) ซึ่งหัวข้อ T ∈ตันรวมเหล่านี้ช่วยให้เราสามารถสร้างความเชื่อมั่นหมายถึงความแปรปรวนของปริมาณและอนุพันธ์ของพวกเขาและ พวกเขายังมีการบำรุงรักษาที่เพิ่มขึ้นช่วยให้การปรับปรุงง่ายของ DTree เป็นข้อมูลใหม่มาใน. นอกจากนี้ความสัมพันธ์ DTree โหนดร้านค้าบน K สำหรับช่วงเวลาใดเวลาหนึ่งและหัวข้อเพื่อความสะดวกในการตอบแบบสอบถาม เราให้รายละเอียดเพิ่มเติมเกี่ยวกับการก่อสร้างของความสัมพันธ์ด้านบน-K ใน Section4.3 โหนด DTree รักษารวมทางกายภาพเท่านั้นสำหรับกลุ่มประชากรระดับบนสุดสำหรับแต่ละหัวข้อ (เช่นเฉพาะกลุ่ม (1.1) ในรูปที่ 3) รวมละเอียดสำหรับกลุ่มบุคคลทั้งหมดจะสามารถเข้าถึงได้โดยทำตามตัวชี้ไปยังโครงสร้างแยกลำดับ Fi จัดเก็บข้อมูลสำหรับ Le โปรย ชี้นี้บ่งบอกชดเชยใน Le Fi ที่มีประชากรขัดแตะภาพรวมที่มีการรวมสำหรับกลุ่มประชากรทั้งหมดสำหรับหัวข้อเฉพาะและช่วงเวลา โดย traversing Fi le โครงสร้างการจัดเก็บนี้ตามลำดับเราพร้อมกันสามารถสร้างอนุกรมเวลาความเชื่อมั่นสำหรับกลุ่มประชากรทั้งหมดสำหรับหัวข้อและเวลาระดับรวมโดยเฉพาะอย่างยิ่ง.
ขอบคุณรูปแบบนี้ดัชนีเวลากับมวลรวมในระดับสูงและตัวชี้ยังคงมีขนาดกะทัดรัดและสามารถเก็บไว้ ในหน่วยความจำหลัก (Figure3 ซ้าย) ขณะที่ความเชื่อมั่นของอนุกรมเวลาสามารถจัดเป็นชุดของแต่ละ Fi les A (Figure3 ขวา) เพิ่มเติม T Bene Fi ขององค์กรนี้ก็คือว่ามันทำให้สามารถเข้าถึงลำดับอย่างรวดเร็วสำหรับอนุกรมเวลาของความรู้สึกเมื่อเทียบกับฐานข้อมูลเชิงสัมพันธ์.
เราทราบว่าจำนวนของค่าความเชื่อมั่น monotonically ลดลงในขณะที่เรานำทางลงประชากรขัดแตะและลงระดับ DTree ดังนั้นหลายของ โหนดใบประชากรจะมีเลขศูนย์ที่ต่ำกว่าระดับรายละเอียดเวลา นี้จะช่วยให้การจัดเก็บค่าความเชื่อมั่นในทางที่ขนาดกะทัดรัดมากขึ้นโดยการจัดเก็บค่าที่ไม่ใช่ศูนย์เท่านั้น (เช่นการใช้วิธีการเข้ารหัสวิ่งยาว)

ผลลัพธ์ (ไทย) 3:

กระเป๋า 4.1 ข้อมูลและการจัดการปัญหาของเราต้องนำทางของอนุกรมเวลาที่ granularities aggregation ที่แตกต่างกันและการเข้าถึงอย่างรวดเร็วที่ระลึก สำหรับกลุ่มประชากร ดังนั้นมันทำให้รู้สึกเพื่อจัดระเบียบข้อมูลกระเป๋ารอบเวลาการสร้างดัชนีและโครงสร้างประชากรปีชื่อต้นไม้ ( dtree ) ซึ่งเป็นโหนดที่ให้การเข้าถึงรวมค่าความเชื่อมั่นทางสถิติแบบขัดแตะ เราแสดงให้เห็นถึงโครงสร้างนี้ในรูปที่ 3 และอธิบายด้านล่างdtree เป็นจัดลําดับชั้นสมดุลต้นไม้ ซึ่งแต่ละระดับในระบบจัดเก็บข้อมูลที่เกี่ยวข้องกับ ปี เดือน สัปดาห์ และวัน แต่ละโหนดในต้นไม้ที่สอดคล้องกับหนึ่งในช่วงเวลาเหล่านี้ และเชื่อมต่อกับแม่และเด็ก inthehierarchy โหนดเป็นโหนดที่อยู่ติดกันในระดับเดียวกัน แต่ละโหนดเก็บสถิติ dtree หลายชนิด ของที่ระลึก สำหรับหัวข้อที่แตกต่างกันสำหรับประเภท C ( ถ่ายทอดช่วงเวลานับผลรวมผลรวมของสี่เหลี่ยม ) ที่หัวข้อ T ∈ต. เหล่านี้หลายชนิด ให้เราสร้างความเชื่อมั่นหมายถึง ความแปรปรวนของปริมาณและอนุพันธ์ของพวกเขาและพวกเขายังมีแบบเพิ่มหน่วยสนับสนุนให้ปรับปรุงได้ง่ายของ dtree เป็นข้อมูลใหม่เข้ามา นอกจากนี้ dtree โหนดเก็บ top-k ความสัมพันธ์สำหรับเฉพาะช่วงเวลา และ หัวข้อ เพื่อความสะดวกในการตอบคำถาม เราให้รายละเอียดเพิ่มเติมเกี่ยวกับการสร้าง top-k ความสัมพันธ์ใน section4.3 . dtree โหนดรักษาการรวมทางกายภาพเท่านั้นสำหรับประชากรกลุ่มบนสุดของแต่ละหัวข้อ เช่น เฉพาะกลุ่ม ( 1.1 ) ในรูปที่ 3 ) การรวมของกลุ่มบุคคลทั้งหมดจะสามารถเข้าถึงได้โดยต่อไปนี้ตัวชี้ไปยังโครงสร้างแยก จึงลำดับเลอกระเป๋าสำหรับแลตทิซ . ชี้ให้ชดเชยในจึงเล ที่มีประชากรตาราง snapshot กับการรวมกลุ่มประชากรทั้งหมดสำหรับหัวข้อที่เฉพาะเจาะจงและช่วงเวลา โดย traversing จึงลำดับนี้เลอกระเป๋าโครงสร้าง เราสามารถสร้างความเชื่อมั่นให้กลุ่มประชากรทั้งหมดอนุกรมเวลาสำหรับหัวข้อเฉพาะและระดับเวลารวม .ขอบคุณกับรูปแบบนี้ ดัชนีมวลรวมสูงและเวลากับตัวชี้ยังคงมีขนาดกะทัดรัด และสามารถเก็บไว้ในหน่วยความจำหลัก ( figure3 ซ้าย ) ในขณะที่ความเชื่อมั่นของอนุกรมเวลาที่สามารถจัดเป็นคอลเลกชันของแต่ละบุคคลจึงเลส ( figure3 ใช่ไหม ) เพิ่มเติมครับจึงไม่ขององค์กรนี้ก็คือว่ามันช่วยให้เข้าถึงได้อย่างรวดเร็วต่อเนื่องอนุกรมเวลาของความรู้สึก เปรียบเทียบกับฐานข้อมูลเชิงสัมพันธ์เราทราบว่าจำนวนของค่าความเชื่อมั่น monotonically ลดลงเมื่อเราเลื่อนลงมาถึงขัดแตะและลงระดับ dtree มากของประชากรโหนดใบจะประกอบด้วย ศูนย์ ที่ granularities เวลาที่ลดลง นี้จะช่วยให้จัดเก็บค่าความเชื่อมั่นในทางกระชับมากขึ้น โดยจัดเก็บเฉพาะค่าไม่เป็นศูนย์ ( เช่น การใช้ความยาวการเข้ารหัสวิธีการ )