Entropy: Encoding UncertaintyEntrop

Entropy: Encoding Uncertainty
Entropy is an information-theoretic measure for the uncertainly in a multi-set of elements. If the multi-set contains many different elements and each element is unique, then variation is maximal and it takes many “bits” to encode the individual elements. Hence, the entropy is “high”. If all elements in the multi-set are the same, then actually no bits are needed to encode the individual elements. In this case the entropy is “low”. For example, the entropy
of the multi-set [a, b, c, d, e] is much higher than the entropy of the multi-set
[a5] even though both multi-sets have the same number of elements (5).

Assume that there is a multi-set X with n elements and there are k possible values, say v1, v2,..., vk , i.e., X is a multi-set over V = {v1, v2,..., vk } with
|X| = n. Each value vi appears ci times in X, i.e., X = [(v1)c1 , (v2)c2 ,..., (vk )ck ]. Without loss of generality, we can assume that ci ≥ 1 for all i, because values that do not appear in X can be removed from V upfront. The proportion of elements having value vi is pi , i.e., pi = ci /n. The entropy of
X is measured in bits of information and is defined by the formula:

ผลลัพธ์ (ไทย) 1:

เอนโทรปี: เข้ารหัสความไม่แน่นอนเอนโทรปีเป็นการวัดข้อมูล theoretic uncertainly ในหลายชุดขององค์ประกอบ ถ้าตั้งหลายประกอบด้วยหลายองค์ประกอบที่แตกต่างกัน และแต่ละองค์ไม่ซ้ำกัน แล้ว ปรับเปลี่ยนเป็นสูงสุด และใช้เวลามาก "บิต" การเข้ารหัสแต่ละองค์ประกอบ ดังนั้น เอนโทรปีจะเป็น "สูง" ถ้าองค์ประกอบทั้งหมดในหลายชุดเหมือนกัน แล้วจริง บิตไม่จำเป็นต้องเข้ารหัสแต่ละองค์ประกอบ ในกรณีนี้ entropy คือ "ต่ำ" ตัวอย่าง เอนโทรปีชุดหลาย [ b, c, d, e] จะสูงกว่าเอนโทรปีของชุดหลายแบบ[a5] ถึงแม้ว่าชุดทั้งหลายมีหมายเลขเดียวกันขององค์ประกอบ (5)สมมติว่า มี X หลายชุด มีองค์ประกอบของ n และมี k ได้ค่า พูด v1, v2,..., vk เช่น X เป็นชุดหลาย V = {v1, v2,..., vk } ด้วย| X| = n แต่ละค่า vi ปรากฏ เวลา ci ใน X เช่น X = [c1 (v1) (v2) c2,..., ck (vk)] โดยไม่สูญเสีย generality เราสามารถสมมติว่า ci ≥ 1 ทั้งหมด เนื่องจากค่าที่ไม่ปรากฏใน X สามารถถูกเอาออกจาก V ล่วงหน้าได้ สัดส่วนขององค์ประกอบที่มีค่า vi คือผี เช่น ผี = ci ราคา 800 เอนโทรปีของX วัดเป็นบิตของข้อมูล และกำหนดตามสูตร:

ผลลัพธ์ (ไทย) 2:

เอนโทรปี: ความไม่แน่นอนการเข้ารหัส
เอนโทรปีเป็นวัดที่ข้อมูลทฤษฎีสำหรับความไม่แน่นอนในหลายชุดขององค์ประกอบ ถ้าหลายชุดที่มีองค์ประกอบที่แตกต่างกันจำนวนมากและแต่ละองค์ประกอบที่ไม่ซ้ำกันแล้วเป็นรูปแบบสูงสุดและจะใช้เวลาหลายคน "บิต" การเข้ารหัสแต่ละองค์ประกอบ ดังนั้นเอนโทรปีคือ "สูง" ถ้าทุกองค์ประกอบในหลายชุดเหมือนกันแล้วจริงบิตไม่ต้องมีการเข้ารหัสแต่ละองค์ประกอบ ในกรณีนี้เอนโทรปีคือ "ต่ำ" ตัวอย่างเช่นเอนโทรปี
ของหลายชุด [A, B, C, D, E] จะสูงกว่าเอนโทรปีของหลายชุด
[a5] แม้ว่าทั้งสองชุดหลายมีหมายเลขเดียวกันขององค์ประกอบ (5) . สมมติว่ามี X หลายชุดที่มีองค์ประกอบ n และมีค่าที่เป็นไป k พูด v1, v2, ... , VK คือ X เป็นหลายตั้ง V = {v1, v2, ... , VK} กับ| X | n = vi แต่ละค่าจะปรากฏขึ้นในครั้ง CI X คือ X = [(v1) c1 (v2) c2, ... , (VK) CK] โดยไม่สูญเสียทั่วไปเราสามารถสรุปได้ว่า CI ≥ 1 สำหรับฉันเลยเพราะค่าที่ไม่ปรากฏใน X สามารถลบออกจาก V ล่วงหน้า สัดส่วนขององค์ประกอบ vi มีค่าเป็นปี่คือปี่ = CI / n เอนโทรปีของX เป็นวัดในบิตของข้อมูลและจะถูกกำหนดโดยสูตร:

ผลลัพธ์ (ไทย) 3:

เอนโทรปี : ความไม่แน่นอน
เป็นข้อมูลเกี่ยวกับทฤษฎีการเข้ารหัสเอนโทรปีสำหรับความไม่แน่นอนในการวัดหลายชุดขององค์ประกอบ ถ้าชุดมัลติประกอบด้วยหลายองค์ประกอบที่แตกต่างกันและแต่ละองค์ประกอบที่เป็นเอกลักษณ์ จากนั้นการเปลี่ยนแปลงเป็นสูงสุดและมันใช้เวลามาก " บิต " การเข้ารหัสแต่ละองค์ประกอบ ดังนั้น เอนโทรปีคือ " สูง " ถ้าองค์ประกอบทั้งหมดในการตั้งค่าหลายเหมือนกันแล้วที่จริงไม่บิตจะต้องเข้ารหัสองค์ประกอบของแต่ละบุคคล ในกรณีนี้ เอนโทรปีคือ " ต่ำ " ตัวอย่างเช่น เอนโทรปี
ของหลายชุด [ A , B , C , D , E ] จะสูงกว่าเอนโทรปีของหลายชุด
[ A5 ] แม้ว่าทั้งหลายชุดมีหมายเลขเดียวกันขององค์ประกอบ ( 5 ) .

คิดว่ามีหลายชุด X กับองค์ประกอบ มีความเป็นไปได้ว่าค่า K , V1 , V2 , . . . , วี เช่นX เป็นหลายชุดมากกว่า V = { V1 , V2 , . . . , VK } ด้วย
| x | = . แต่ละค่า 6 ปรากฏ CI ครั้ง X ( X = [ ( V1 ) C1 , C2 ( v2 ) , . . . , ( VK ) CK ] โดยไม่สูญเสียโดยทั่วไปเราสามารถสมมติว่า CI ≥ 1 สำหรับผม เพราะค่านิยมที่ไม่ได้ปรากฏใน x สามารถลบออกจาก V ก่อน สัดส่วนขององค์ประกอบที่ 6 ค่า พาย เช่น พาย = CI / เอนโทรปีของ
.x มีหน่วยเป็นบิตของข้อมูล และกำหนดโดยสูตร :