Information Theoryof Claude Shannon

Information Theory
of Claude Shannon & Warren Weaver
(From the Third Edition of A First Look at Communication Theory by Em Griffin, (1991) 8th.ed. 2014, McGraw-Hill, Inc. This text-only version of the article appears on the World Wide Web site www.afirstlook.com. The text version does not contain any figures. A facsimile of the original article, which includes all figures, is also available in PDF format.)

In the late 1940s, a Bell Telephone Company research scientist by the name of Claude Shannon developed a mathematical theory of signal transmission. As you might expect from a telephone engineer, his goal was to get maximum line capacity with minimum distortion.
Shannon showed little interest in the semantic meaning of a message or its pragmatic effect on the listener. Like today’s manufacturers of state-of-the-art compact disc players, he wasn’t concerned whether the channel carried Beethoven, the Beatles, or The Boss. He didn’t care whether the listener preferred the beat of rock or the counterpoint of Bach. His theory merely aimed at solving the technical problems of high-fidelity transfer of sound.
Technical Solutions To Social Problems
In the wake of scientific discoveries spawned by World War II, Americans were optimistic that all social problems could be recast into mechanical terms susceptible to engineering solutions. Shannon was somewhat wary about the wholesale application of his mathematical equations to the semantic and pragmatic issues of interpersonal communication. But his hesitation was not shared by Warren Weaver, an executive with the Rockefeller Foundation and the Sloan-Kettering Institute on Cancer Research, and a consultant to a number of private scientific foundations. Shannon’s published theory was paired with an interpretive essay by Weaver that presented information theory as ‘‘exceedingly general in its scope, fundamental in the problems it treats, and of classic simplicity and power in the results it reaches."1 The essay suggested that whatever the communication problem, reducing information loss was the solution.
Most people working in the field of human communication had trouble following the mathematics of Shannon’s theory, but Weaver’s translation and commentary were easy to understand. Since the discipline was ripe for a model of communication and information theory was there to fill the need, its source-channel-receiver diagram quickly became the standard description of what happens when one person talks to another. Many of the terms we use today originated with Shannon and Weaver—message fidelity, multiple channels, information loss, source credibility, and feedback.
Because Shannon’s theory explores the electronic transmission of messages, it might seem appropriate to discuss it in the context of mass media theories. But his twenty-three theorems focus on syntax, the relationship between words. Research since the theory’s introduction contributes mainly to the field of applied linguistics. For these reasons, I include information theory in the section on messages.
A Linear Model Of Communication
Since Bell Laboratories paid the bill for Shannon’s research, it seems only fair to use a telephone example to explain his model, which is shown in Figure 4.1. Imagine you have a summer job at a camp located far from civilization. A few weeks’ absence from a romantic partner has given you a strong desire to ‘‘reach out and touch someone." Finances, work schedule, and a line of others wanting to use the only pay phone available limit you to a three-minute long-distance call.
Shannon would see you as the information source. You speak your message into the telephone mouthpiece, which transmits a signal through the telephone-wire channel. The received signal picks up static noise along the way, and this altered signal is reconverted to sound by the receiver in the earpiece at the destination end of the line. Information loss occurs every step of the way so that the message received differs from the one you sent.
During his lifetime, Weaver applied the model to the interpersonal features of conversation. Your brain is the information source, your voice the transmitter. Noise could include a hoarse throat from yelling at the campers, background chatter of those waiting to use the phone, or the distraction of mosquitoes drawing blood. The received signal may be diminished by an ear that’s been overexposed to hard rock, and your friend is quite capable of altering the message as it moves from ear to brain.
Shannon concentrates on the technical center of his model. (Will the phone system work sufficiently well so that you can get your message across?) Weaver focused on the source-destination relationship. (What’s going on between the two of you?) But all information theorists share a common goal of maximizing the amount of information the system can carry.
Information: The Reduction of Uncertainty
Most of us are comfortable with Wilbur Schramm’s notion that information is simply stuff that matters or anything that makes a difference.2 Shannon, however, has a technical definition for the word that doesn’t equate information with the idea of meaning. He emphasizes that ‘‘the semantic aspects of communication are irrelevant to the engineering aspects."3 For Shannon, information refers to the opportunity to reduce uncertainty. It gives us a chance to reduce entropy.
Shannon borrowed the idea of entropy from the second law of thermodynamics, which states that the universe is winding down from an organized state to chaos, moving from predictability to uncertainty. Entropy is randomness. How much information a message contains is measured by the extent it combats entropy. The less predictable the message, the more information it carries.
Picture yourself making that long-distance call, but this time in response to a blistering letter from your friend, who has heard that you’re having a summer fling with a co-worker. The letter is clear: ‘‘Call me and just say yes it’s true, or no it’s not—nothing more!" That either/or demand means you won’t require the three-minute channel capacity of the telephone line. But since your wavering friend has only an even chance of predicting your answer, that one bit of information will reduce his or her uncertainty by 50 percent. As a matter of fact, that’s how the theory defines a bit (taken from binary digit) of information. It’s communication that can cut entropy in half. Let’s play out the scene a few bits further.
Reducing Entropy Bit by Bit
At the beginning of the telephone conversation, you truthfully acknowledge romantic feelings for someone else. Your former friend breaks the rule stated in the letter and demands to know which one of the potential sixteen staff workers is the object of your affection. The conversation could literally narrow down the alternatives bit by bit.
Friend: Is this special someone on the sports staff or the kitchen crew?
You: Sports staff. [Cut in half to eight.]
Friend: Which cabin does this new friend live in, Sequoia or Cherokee?
You: Sequoia. [Cut in half to four.]
Friend: First-year staff or an old-timer?
You: First year. [Cut in half to two.]
Friend: The redhead or the blond?
You: The blond. [All uncertainty gone.]

Removing all uncertainty took four bits of information. Of course, it would have been less cumbersome simply to say the name in the first place, but either way four bits of entropy were eliminated.
If this conversation really happened, and if you truly cared about the person on the other end of the line, you would try to squeeze every bit of innovative explanation for your conduct into the three-minute period. That’s what Shannon and Weaver mean by information. As they use the term, it ‘‘relates not so much to what you do say, as to what you could say."4 Their focus on message possibilities inspired a touch of doggerel from University of Colorado professor Don Darnell:
What one does is only one
Of several things he might have done.
One must know the things rejected
To appreciate the one selected.5

A good connection for three minutes provides lots of opportunity to draw on a wide repertoire of messages. If lack of imagination or situational constraints limit you to a few predictable clichés such as ‘‘only good friends" or ‘‘doesn’t mean a thing to me," Shannon, Weaver, and probably your ex-friend will regard your efforts as uninformative and redundant.
There are many fine things that can be said over a communication channel that don’t qualify as information. Perhaps your phone call wasn’t crisis motivated, but was merely a way to announce ‘‘I just called to say I love you." If the person on the other end had no doubt that you cared in the first place, the call is a warm ritual rather than information. If the destination party already knows what’s coming, or the source isn’t free to choose the message sent, information is zero.
Noise vs. Information
Noise is the enemy of information. For Shannon and Weaver, noise is more than an irritating sound or static on the line. It is anything added to the signal that’s not intended by the source. Usually that kind of interference is an unintended by-product of the situation. In nonelectrical channels, noise can be smudged newsprint, ah-um-er vocal filler, or visual movement that distracts the listener. There is a ground-floor seminar room at my college that overlooks a grassy knoll. The first warm day in May brings out a flock of sunbathers to soak up the rays. No teacher can begin to compete with the view; the room is too noisy.
Noise may be intentional. For many years, the government of the former Soviet Union jammed the Voice of America broadcasts so that its citizens wouldn’t hear news from the west. Hecklers try to drown out the words of a speaker in order to prevent the audience from considering an opposing viewpoint. We can even generate white noise to mask more disruptive sounds. That’s the purpose of Muzak.

ผลลัพธ์ (ไทย) 1:

ทฤษฎีข้อมูลคล็อดแชนนอนและช่างทอผ้าวอร์เรน(ตั้งแต่รุ่นที่สามของแบบแรกที่ทฤษฎีการสื่อสารโดย Em กริฟฟอน, (1991) 8th.ed. 2014, McGraw-Hill, inc รุ่นนี้ข้อความของบทความปรากฏบน www.afirstlook.com เว็บไซต์เวิลด์ไวด์ เวอร์ชันข้อความไม่ประกอบด้วยตัวเลขใด ๆ โทรสารของบทความต้นฉบับ ซึ่งประกอบด้วยตัวเลขทั้งหมด เรายังมีในรูปแบบ PDF)ใน 2483 เป็นนักวิทยาศาสตร์วิจัย บริษัทโทรศัพท์เบลล์ โดยชื่อของคล็อดแชนนอนพัฒนาทฤษฎีทางคณิตศาสตร์ส่งผ่านสัญญาณ คุณอาจคาดหวังจากวิศวกรโทรศัพท์ เป้าหมายของเขาคือการ ได้รับกำลังสูงสุดของรายการ มีความผิดเพี้ยนต่ำแชนนอนแสดงให้เห็นว่าสนใจเล็กน้อยในความหมายความหมายของข้อความหรือผลการปฏิบัติการฟัง เช่นวันนี้ผู้ผลิตของเล่นสมัยของคอมแพคดิสก์ เขาไม่ได้สนใจว่าสถานีทำบีโธเฟน บีเทิลส์ หรือบอส เขาไม่ได้สนใจว่า ฟังที่ต้องการชนะของหินหรือ counterpoint ของ Bach ทฤษฎีของเขาเพียงเพื่อแก้ปัญหาทางเทคนิคของการโอนย้ายเสียงคุณภาพสูงเทคนิคแก้ไขปัญหาสังคมในการปลุกของการค้นพบทางวิทยาศาสตร์ที่เกิดจากสงครามโลกครั้งที่สอง ชาวอเมริกันได้ในเชิงบวกที่สามารถ recast ปัญหาสังคมทั้งหมดเป็นเงื่อนไขไวต่อการแก้ปัญหาทางวิศวกรรมเครื่องกล แชนนอนค่อนข้างระมัดระวังเกี่ยวกับแอพลิเคชันส่งของสมการทางคณิตศาสตร์ของเขาปัญหาทางตรรก และปฏิบัติการสื่อสารมนุษยสัมพันธ์ แต่ไม่ลังเลของเขาถูกใช้ร่วมกัน โดยวอร์เรนช่างทอผ้า ผู้บริหารมูลนิธิร็อคกี้เฟลเลอร์และ สถาบันสโลนเดย์ตันการวิจัยมะเร็ง และปรึกษาของมูลนิธิวิทยาศาสตร์ส่วนตัว ทฤษฎีการเผยแพร่ของแชนนอนถูกจับคู่กับเรียงความ interpretive โดยช่างทอผ้าที่นำเสนอข้อมูลทฤษฎีเป็น ''อบอวลทั่วไปในขอบเขตของ พื้นฐานไปปฏิบัติต่อ และเรียบง่ายคลาสสิกและในผล มันถึง "1 เรียงความแนะนำที่สิ่งสื่อสารปัญหา การลดข้อมูลที่สูญหายเป็นการแก้ปัญหาคนส่วนใหญ่ทำงานในด้านการสื่อสารที่บุคคลมีปัญหาต่อไปนี้คณิตศาสตร์ของทฤษฎีของแชนนอน แต่แปลและอรรถกถาของช่างทอผ้าเข้าใจง่าย เนื่องจากวินัยในสุกสำหรับแบบจำลองการสื่อสาร และทฤษฎีข้อมูลถูกประจุต้องมี ไดอะแกรมของแหล่งช่องรับสัญญาณอย่างรวดเร็วกลายเป็น คำอธิบายมาตรฐานของสิ่งที่เกิดขึ้นเมื่อคนหนึ่งพูดอีก หลายคำที่เราใช้วันนี้มากับแชนนอนและช่างทอผ้า — ข้อความจงรักภักดี หลายสถานี สูญหายของข้อมูล ความน่าเชื่อถือแหล่งที่มา และข้อเสนอแนะเนื่องจากทฤษฎีของแชนนอนสำรวจการส่งข้อความอิเล็กทรอนิกส์ อาจดูเหมาะสมกับการพูดคุยในบริบทของทฤษฎีสื่อมวลชน แต่ทฤษฎีของเขายี่สิบสามเน้นไวยากรณ์ ความสัมพันธ์ระหว่างคำ งานวิจัยตั้งแต่บทนำของทฤษฎีสนับสนุนส่วนใหญ่ด้านภาษาศาสตร์ประยุกต์ ด้วยเหตุนี้ ผมรวมข้อมูลทฤษฎีในส่วนของข้อความแบบจำลองเชิงเส้นของการสื่อสารเนื่องจากห้องปฏิบัติการเบลล์ชำระส่วนวิจัยของแชนนอน น่าเพียงพอใช้อย่างโทรศัพท์อธิบายรุ่นของเขา ซึ่งแสดงในรูป 4.1 สมมติว่า คุณมีงานฤดูร้อนที่ค่ายอยู่แหล่งอารยธรรม ขาดงานกี่สัปดาห์จากพันธมิตรโรแมนติกมีให้ปรารถนา ''เข้าถึง และสัมผัสคน " เงิน ตารางการทำงาน และรายการอื่นอยากใช้เฉพาะค่าจ้างโทรศัพท์มีจำกัดคุณไปสามนาทีโทรทางไกลแชนนอนจะเห็นคุณเป็นแหล่งข้อมูล คุณพูดข้อความของคุณเข้าไปในปากเป่าโทรศัพท์ การส่งสัญญาณผ่านช่องทางสายโทรศัพท์ สัญญาณได้รับเลือกเสียงคงตามแบบ และสัญญาณนี้เปลี่ยนเป็น reconverted เสียง โดยรับในมือถือที่ปลายทางสิ้นสุดของบรรทัด ข้อมูลที่สูญเสียเกิดขึ้นทุกขั้นตอนของวิธีการเพื่อให้ข้อความที่ได้รับแตกต่างจากคุณส่งระหว่างชีวิต ช่างทอผ้าใช้แบบกับลักษณะการทำงานมนุษยสัมพันธ์ของการสนทนา สมองของคุณเป็นแหล่งข้อมูล ตัวรับสัญญาณเสียงของคุณ เสียงอาจรวมถึงเครือคอจากตะโกนในแค้มพ์ พื้นหลังเรื่องไร้สาระของบรรดาผู้ที่รอใช้โทรศัพท์ หรือเพลิดเพลินไปกับรูปวาดเลือดยุง สัญญาณได้รับอาจลดลง โดยฝักที่เป็นแบบโอเวอร์ไปฮาร์ดร็อค และเพื่อนมากสามารถเปลี่ยนแปลงข้อความขณะที่เคลื่อนย้ายจากหูสู่สมองแชนนอนเน้นศูนย์เทคนิครุ่นของเขา (จะทำโทรศัพท์ระบบที่ดีเพียงพอเพื่อให้คุณสามารถรับข้อความของคุณ) ช่างทอผ้าเน้นความสัมพันธ์ต้นทางปลายทาง (สิ่งที่เกิดขึ้นระหว่างคุณสอง) แต่ข้อมูลทั้งหมด theorists ร่วมเป้าหมายทั่วไปของการเพิ่มจำนวนของข้อมูลที่สามารถดำเนินการระบบรายละเอียด: การลดความไม่แน่นอนส่วนใหญ่เราจะรู้สึกสบาย Wilbur Schramm คิดว่า ข้อมูลเป็นเพียงสิ่งที่สำคัญหรือสิ่งที่ทำให้ difference.2 แชนนอน อย่างไรก็ตาม มีข้อกำหนดทางเทคนิคสำหรับคำที่ไม่คิดว่าข้อมูล มีความคิดความหมาย เขาเน้นว่า ''ด้านความหมายของการสื่อสารจะไม่เกี่ยวข้องด้านวิศวกรรม"3 สำหรับแชนนอน ข้อมูลอ้างอิงถึงโอกาสที่จะลดความไม่แน่นอน มันทำให้เรามีโอกาสที่จะลดเอนโทรปีแชนนอนยืมแนวคิดของเอนโทรปีจากกฎหมายที่สองของอุณหพลศาสตร์ ซึ่งระบุว่า จักรวาลเป็นที่ ๆ จากสถานะที่เป็นระเบียบเพื่อความวุ่นวาย ย้ายจากแอพพลิเคชันเพื่อความไม่แน่นอน Entropy คือ randomness วัดปริมาณข้อมูลที่ประกอบด้วยข้อความ โดยขอบเขต combats เอนโทรปี ได้น้อยข้อความ ข้อมูลเพิ่มเติมจะดำเนินการรูปภาพตัวเองที่ทำให้โทรทางไกล แต่เวลานี้ตอบจดหมาย blistering จากเพื่อนของคุณ ซึ่งได้ยินว่า คุณมีร้อนพุ่งกับผู้ร่วมงาน ตัวอักษรจะชัดเจน: '' เรียกฉันและเพียงแค่พูดได้จริง หรือไม่ก็ไม่ — ไม่มีอะไรเพิ่มเติม! " ที่อย่างใดอย่างหนึ่ง / หรือความต้องการหมายความว่า คุณไม่ต้องการกำลังการผลิตช่องสามนาทีของสายโทรศัพท์ แต่เนื่องจากเพื่อน wavering มีเฉพาะแม้โอกาสคาดการณ์คำตอบของคุณ ที่หนึ่งบิตของข้อมูลจะช่วยลดความไม่แน่นอนของเขา หรือเธอ โดยร้อยละ 50 เป็นแท้ นั่นคือวิธีทฤษฎีกำหนดบิต (มาจากเลขฐานสอง) ของข้อมูล เรื่องของการสื่อสารที่สามารถตัดเอนโทรปีครึ่ง ลองเล่นออกฉากกี่บิตต่อไปเอนโทรปีลดบิตโดยบิตเมื่อเริ่มต้นการสนทนาโทรศัพท์ คุณสมบูรณ์ทราบความรู้สึกโรแมนติกสำหรับใครบางคน เพื่อนเก่ากฎที่ระบุไว้ในจดหมาย และต้องรู้ที่หนึ่งของผู้ปฏิบัติงานพนักงานสิบหกอาจเป็นเป้าหมายของจิตของคุณ การสนทนาได้อย่างแท้จริงแคบลงแทนบิตโดยบิตเพื่อน: เป็นพิเศษคนบนเรือครัวหรือพนักงานกีฬาคุณ: กีฬาพนักงาน [ตัดในครึ่ง-8]เพื่อน: เคบินที่นี้เพื่อนใหม่อยู่ใน Sequoia หรือเชโรกีคุณ: Sequoia [ตัดในครึ่ง-4]เพื่อน: ดีปีแรกหรือ old-timerคุณ: ปีแรก [ตัดในครึ่ง-สอง]เพื่อน: จะแดงหรือสีทองคุณ: สีทอง [ทั้งหมดความไม่แน่นอนไป]เอาความไม่แน่นอนทั้งหมดเอา 4 บิตของข้อมูล แน่นอน มันจะได้ไม่ยุ่งยากเพียงแค่จะบอกว่า ชื่อแรก แต่ด้วยวิธีใดบิตสี่ของเอนโทรปีถูกตัดได้ถ้าบทสนทนานี้เกิดขึ้นจริง ๆ และ ถ้าคุณดูแลเกี่ยวกับบุคคลในส่วนอื่น ๆ ของบรรทัดอย่างแท้จริง คุณจะพยายามบีบทุกบิตของคำอธิบายนวัตกรรมสำหรับดำเนินการในระยะเวลาสามนาที ที่เป็นแชนนอนและช่างทอผ้าหมายถึงอะไรด้วย เป็นคำใช้ ''เกี่ยวข้องไม่มากกับสิ่งที่คุณพูด เป็นสิ่งที่คุณสามารถพูด "4 ของ doggerel จากศาสตราจารย์มหาวิทยาลัยโคโลราโด Don Darnell การเน้นข้อความไปเป็นแรงบันดาลใจ:มีอย่างเดียวสิ่งที่หลาย ท่านอาจมีแล้วหนึ่งต้องรู้ในสิ่งที่ถูกปฏิเสธชื่นชม selected.5 หนึ่งการเชื่อมต่อที่ดีสามนาทีให้โอกาสวาดในละครหลายข้อความมากมาย ถ้าขาดจินตนาการหรือข้อจำกัดในสถานการณ์จำกัดคุณสำนวนซ้ำ ๆ ซาก ๆ ได้กี่เช่น ''ดีเท่าเพื่อน"หรือ"ไม่หมายถึง สิ่งที่ผม" แชนนอน ช่างทอผ้า และอาจจะ เพื่อนอดีตจะพิจารณาความพยายามของคุณเป็น uninformative และซ้ำซ้อนดีสิ่งที่สามารถกล่าวผ่านช่องทางการสื่อสารซึ่งไม่จัดเป็นข้อมูลที่ได้ บางทีโทรศัพท์ของคุณไม่ได้วิกฤตแรงจูงใจ แต่เป็นเพียงวิธีการประกาศ ''ฉันเพียงเรียกว่าฉันรักคุณ" ถ้าบุคคลในส่วนอื่น ๆ มีข้อสงสัยว่า คุณดูแลในสถานแรก เรียกจะเป็นพิธีกรรมที่อบอุ่นมากกว่าข้อมูล ถ้าฝ่ายปลายทางแล้วรู้อะไรมา หรือแหล่งที่มาไม่ได้เลือกข้อความที่ส่ง ข้อมูลเป็นศูนย์เสียงเทียบกับข้อมูลเสียงเป็นศัตรูของข้อมูล แชนนอนและช่างทอผ้า เสียงเป็นมากกว่าระคายเคืองมีเสียง หรือคงบรรทัด อะไรเพิ่มสัญญาณที่ไม่ได้มีไว้ โดยแหล่งที่มาได้ ปกติสัญญาณรบกวนชนิดที่เป็นผลพลอยได้ไม่ได้ตั้งใจของสถานการณ์ ในช่อง nonelectrical เสียงสามารถเป็น smudged หนังสือพิมพ์ อา อึมเอ้อ vocal ฟิลเลอร์ หรือภาพเคลื่อนไหวที่ distracts ที่ฟัง ยังมีห้องจัดสัมมนาชั้นที่วิทยาลัยของฉันจาก knoll หญ้า วันแรกที่อบอุ่นพฤษภาคมนำออกฝูงของไนต์คลับแช่ไล้ ครูไม่สามารถเริ่มต้นการแข่งขันกับดู ห้องพักมีเสียงดังเกินไปเสียงอาจจะตก หลายปี รัฐบาลสหภาพโซเวียต jammed ถ่ายทอดเสียงของอเมริกาเพื่อให้ประชาชนไม่ได้ยินข่าวจากตะวันตก Hecklers พยายามจมน้ำตายหมดคำพูดเพื่อป้องกันไม่ให้ผู้ชมพิจารณาจุดฝ่ายตรงข้าม เรายังสามารถสร้างเสียงสีขาวกับหน้ากากขวัญเสียงเพิ่มเติม นั่นคือวัตถุประสงค์ของ Muzak

ผลลัพธ์ (ไทย) 3:

ทฤษฎีข่าวสารของนีโครโนมิคอน&วอร์เรนเวอร์
( จากรุ่นที่สามของแรกดูทฤษฎีการสื่อสารโดยเอ็ม กริฟฟิน ( 1991 ) 8th.ed . 2014 , McGraw Hill สำหรับข้อความนี้รุ่นเฉพาะของบทความที่ปรากฏบนเว็บไซต์ www.afirstlook.com . รุ่นข้อความไม่ประกอบด้วยตัวเลข เป็นสำเนาของบทความต้นฉบับซึ่งรวมถึงตัวเลขทั้งหมดนอกจากนี้ยังสามารถใช้ได้ในรูปแบบ PDF )

ในปลายทศวรรษที่ 1940 , กริ่งโทรศัพท์บริษัทวิจัยนักวิทยาศาสตร์โดยใช้ชื่อของนีโครโนมิคอนพัฒนาทฤษฎีทางคณิตศาสตร์ของการส่งผ่านสัญญาณ ในขณะที่คุณอาจคาดหวังจากโทรศัพท์ วิศวกร เป้าหมายของเขาคือการได้รับความจุสายสูงสุดด้วยการบิดเบือนน้อยที่สุด .
แชนน่อน แสดงความสนใจน้อยในความหมายของข้อความหรือผลในทางปฏิบัติของผู้ฟัง เหมือนวันนี้ผู้ผลิตเครื่องเล่นแผ่นดิสก์ขนาดกะทัดรัดทันสมัย เขาไม่ได้กังวลว่าช่องพาบีโทเฟน บีทเทิล หรือเจ้านาย เขาไม่สนใจว่าคนฟังชอบตีหินหรือ counterpoint ของ Bachทฤษฎีของเขาเพียงมุ่งแก้ปัญหาทางเทคนิคของการถ่ายโอนความจงรักภักดีสูงเสียง เทคนิคแก้ไขปัญหา

ในการปลุกของการค้นพบทางวิทยาศาสตร์เกิดสงครามโลกครั้งที่สองสังคมอเมริกันเป็นคนมองโลกในแง่ดีว่า ปัญหาทางสังคม ทั้งหมดอาจจะสร้างขึ้นใหม่ในแง่ต่อการแก้ปัญหาทางวิศวกรรมเครื่องกลแชนน่อนก็ค่อนข้างระมัดระวังเกี่ยวกับการส่งของสมการทางคณิตศาสตร์ของเขาและปัญหาทางปฏิบัติของการสื่อสารระหว่างบุคคล แต่ลังเลของเขาไม่ได้ใช้ร่วมกันโดยวอร์เรน วีเวอร์ ผู้บริหารกับมูลนิธิร็อคกี้เฟลเลอร์ และสถาบันวิจัยมะเร็งสโลน Kettering และที่ปรึกษาให้กับหมายเลขของส่วนวิทยาศาสตร์พื้นฐานแชนน่อนเผยแพร่ทฤษฎีถูกจับคู่กับเรียงความแปลว่าข้อมูลที่นำเสนอโดยผู้ประกอบทฤษฎี ' 'exceedingly ทั่วไปในขอบเขตของมัน พื้นฐานในปัญหาดังกล่าวถือว่าและความเรียบง่ายคลาสสิกและอำนาจในการไปถึง " 1 เรียงความแนะนำว่าไม่ว่าปัญหาการสื่อสาร ลดการสูญหายของข้อมูลเป็นโซลูชั่น .
คนส่วนใหญ่ทำงานในฟิลด์ของการสื่อสารของมนุษย์มีปัญหาต่อคณิตศาสตร์ของทฤษฎีแชนน่อน แต่แปล วีเวอร์ และความเห็นถูกเข้าใจง่าย เพราะวินัยสุกแบบทฤษฎีการสื่อสารและข้อมูลก็มีให้กรอก ต้องแหล่งของ ช่องสัญญาณได้อย่างรวดเร็วกลายเป็นมาตรฐานของแผนภาพอธิบายสิ่งที่เกิดขึ้นเมื่อคนคนหนึ่งพูดกับคนอื่น หลายเงื่อนไขที่เราใช้วันนี้ที่มากับแชนนันและวีเวอร์ข้อความจงรักภักดีหลายช่อง , การสูญหายของข้อมูล , ความน่าเชื่อถือ , แหล่งข้อมูลและข้อเสนอแนะ .
เพราะทฤษฎีแชนน่อนสำรวจส่งข้อมูลทางอิเล็กทรอนิกส์ของข้อความมันอาจดูเหมือนที่เหมาะสมเพื่อหารือเกี่ยวกับมันในบริบทของทฤษฎีสื่อสารมวลชน แต่ของเขาทฤษฎีบท 23 เน้นไวยากรณ์ , ความสัมพันธ์ระหว่างคำ วิจัยตั้งแต่ทฤษฎีเบื้องต้นคาดการณ์ส่วนใหญ่เป็นด้านภาษาศาสตร์ประยุกต์ ด้วยเหตุผลเหล่านี้ผมรวมข้อมูลทฤษฎีในส่วนของข้อความ รูปแบบเชิงเส้นของการสื่อสาร

เนื่องจากห้องปฏิบัติการเบลล์ จ่ายบิล แชนนอน การวิจัย มันยุติธรรมที่จะใช้โทรศัพท์ตัวอย่างเพื่ออธิบายรูปแบบของเขา ซึ่งแสดงในรูปที่ 4.1 . ลองนึกภาพคุณมีงานฤดูร้อนที่ค่ายตั้งอยู่ห่างไกลจากอารยธรรม ไม่กี่สัปดาห์ของการขาดคู่โรแมนติกให้ความปรารถนาแรงกล้าที่จะ ' 'reach และสัมผัสกับคน " ตารางเวลางาน , การเงินและบรรทัดอื่น ๆที่ต้องการใช้โทรศัพท์จ่ายเท่านั้น จำกัด คุณสามนาทีทางไกลโทร .
แชนน่อนจะเห็นคุณเป็นแหล่งข้อมูล คุณพูดข้อความของคุณลงในโทรศัพท์ หนังสือพิมพ์ ซึ่งส่งสัญญาณผ่านสายโทรศัพท์ที่ช่อง ได้รับสัญญาณการรับเสียงแบบคงที่ตลอดทางและเปลี่ยนเป็นสัญญาณเสียง โดย reconverted ตัวรับในหูฟังที่ปลายทางสิ้นสุดของบรรทัด การสูญหายของข้อมูลที่เกิดขึ้นทุกขั้นตอนของวิธีการเพื่อให้ข้อความที่ได้รับแตกต่างจากคนที่คุณส่ง .
ในช่วงชีวิตของเขา วีเวอร์ ประยุกต์รูปแบบลักษณะบุคคลของการสนทนา สมองของคุณเป็นแหล่งข้อมูลเสียงที่เครื่องของคุณเสียงอาจรวมถึงคอแหบแห้งจากตะโกนที่ค่าย , พื้นหลังเสียงของผู้รอใช้โทรศัพท์ หรือรบกวนยุงเลือด . ได้รับสัญญาณอาจจะลดลง โดยหูที่ถูก overexposed กับฮาร์ดร็อคและเพื่อนของคุณจะค่อนข้างมีความสามารถของการแก้ไขข้อความตามที่ย้ายจากหูไปยังสมอง .
แชนน่อน มุ่งเน้นที่ศูนย์เทคนิครูปแบบของเขา ( งานระบบโทรศัพท์ พอ ดี เพื่อที่คุณจะได้รับข้อความของคุณข้าม ? วีเวอร์เน้นแหล่งปลายทางความสัมพันธ์ ( เกิดอะไรขึ้นระหว่างคุณ 2 คน ? ) แต่นักทฤษฎีข้อมูลทั้งหมดมีเป้าหมายร่วมกันของการเพิ่มจำนวนของข้อมูลที่ระบบสามารถพก .

ข้อมูล : การลดความไม่แน่นอนพวกเราส่วนใหญ่จะคุ้นเคยกับความคิดของวิลเบอร์ ชแรมม์ข้อมูลนั้นเป็นเพียงสิ่งที่สำคัญ หรืออะไรที่ทำให้มันแตกต่าง 2 แชนนอล อย่างไรก็ตาม มีนิยามทางเทคนิคสำหรับคำที่ไม่ได้รับข้อมูลกับความคิดของความหมาย เขาเน้นว่า " ทางด้านของการสื่อสารจะไม่เกี่ยวข้องกับทางด้าน " 3 สำหรับแชนนอนข้อมูล หมายถึง โอกาสที่จะลดความไม่แน่นอน มันช่วยให้เรามีโอกาสที่จะลดเอนโทรปี .
แชนนอนยืมความคิดของเอนโทรปีจากกฎข้อที่สองของอุณหพลศาสตร์ ซึ่งระบุว่า จักรวาลจะเลื้อยลงจากการจัดสภาพให้วุ่นวาย ย้ายจากการคาดการณ์ถึงความไม่แน่นอน เอนโทรปีคือการสุ่ม .ข้อความมีข้อมูลแค่ไหน วัดจากค่าขอบเขตมันต่อสู้ . น้อยกว่าที่คาดการณ์ข้อความ ข้อมูลเพิ่มเติมที่เนิน .
ภาพตัวเองทำโทรศัพท์ทางไกล แต่เวลาในการตอบสนองต่อความ จดหมายจากเพื่อน ที่ได้ยินว่าคุณมีความสัมพันธ์ในฤดูร้อนกับเพื่อนร่วมงาน ตัวอักษรมีความชัดเจน : ' 'call ฉันและพูดได้จริงหรือไม่ก็ไม่มีอะไรเพิ่มเติม อย่างใดอย่างหนึ่ง / หรือความต้องการที่หมายความว่าคุณจะไม่ต้องใช้สามนาที ความจุช่องสัญญาณของโทรศัพท์ แต่ตั้งแต่คุณโลเลเพื่อนมีเพียงโอกาสแม้แต่ในคำตอบของคุณ หนึ่งบิตของข้อมูลจะช่วยลดความไม่แน่นอนของเขา หรือเธอ โดยร้อยละ 50 อันที่จริงแล้วทฤษฎีกำหนดบิต ( นำมาจากเลขฐานสอง ) ของข้อมูลมันคือการสื่อสารที่สามารถตัดเอนโทรปีในครึ่ง ลองเล่น ฉากไม่กี่บิตต่อไป . .

ลดเอนโทรปีบิตโดยบิตที่จุดเริ่มต้นของการสนทนาทางโทรศัพท์ จริงๆ แล้วคุณยอมรับความรู้สึกโรแมนติกสำหรับใครบางคน อดีตเพื่อนแหกกฎที่ระบุไว้ในจดหมาย และความต้องการที่จะทราบว่าหนึ่งในศักยภาพ 16 คนงานเป็นวัตถุของความรักของคุณการสนทนาอาจหมายแคบลงทางเลือก บิตโดยบิต
เพื่อน : นี้เป็นคนพิเศษ ในกีฬาบุคลากรหรือทีมงานในครัวเหรอ
คุณ : เจ้าหน้าที่กีฬา [ ตัดครึ่งถึงแปด ]
เพื่อนซึ่งห้องโดยสารเพื่อนใหม่นี้อยู่ในพิพิธภัณฑ์ หรือเชโรกี ?
คุณ : ซีเควียร์ [ ตัดครึ่งถึงสี่ ]
เพื่อนพนักงานปีแรกหรือตัวจับเวลาเก่า
คุณ : ปีแรก [ ตัดครึ่ง 2 ]
เพื่อน :แดงหรือสีบลอนด์ ?
คุณ : สีบลอนด์ [ ทั้งหมดไม่หายไป ]

เอาความไม่แน่นอนเอาสี่บิตของข้อมูล แน่นอน มันคงจะยุ่งยากน้อยกว่าเพียงแค่พูดชื่อในตอนแรก แต่ทั้งสองวิธีสี่บิตของเอนโทรปีที่ถูกตัดออก .
ถ้าเรื่องนี้เกิดขึ้นจริง และถ้าคุณอย่างแท้จริงสนใจคนที่อยู่ปลายสายคุณพยายามที่จะบีบทุกบิตของคำอธิบายใหม่สำหรับดำเนินการใน 3 นาที ระยะเวลา ที่แชนนันและวีเวอร์ หมายถึงข้อมูล ที่พวกเขา ใช้คำว่า มัน 'relates ไม่มากสิ่งที่คุณทำว่าเป็นสิ่งที่คุณจะพูด . " 4 ของพวกเขามุ่งเน้นไปที่ความเป็นไปได้ข้อความแรงบันดาลใจจากสัมผัสของ doggerel จากมหาวิทยาลัยโคโลราโด ศาสตราจารย์ ดอน ดาร์เนลล์ :
คนที่ทำอะไรคนเดียว
หลาย ๆ สิ่งเขาอาจจะทำ ก็ต้องรู้สิ่งที่ปฏิเสธ

ซาบซึ้งหนึ่งเลือก 5

การเชื่อมต่อที่ดีสำหรับสามนาที มีมากมายของโอกาสที่จะวาดในความกว้างของข้อความ ถ้าขาดจินตนาการ หรือข้อจำกัดของสถานการณ์ จํากัด ให้คุณไม่กี่บริษัทอื่นได้เช่น ' 'only ดีเพื่อน " หรือ " 'doesn ไม่ได้มีความหมายอะไรกับผม" แชนนอน วีเวอร์ และคงเป็นเพื่อนเก่าของคุณจะเกี่ยวกับความพยายามของคุณและไม่ได้ให้ซ้ำซ้อน
มีสิ่งที่ที่ดีมากที่สามารถพูดผ่านช่องทางการสื่อสารที่ไม่ถือว่าเป็นข้อมูล บางทีโทรไม่ได้วิกฤตแรง แต่เป็นเพียงวิธีการประกาศ " ฉันเพียงแค่จะบอกว่า ฉัน รัก เธอ" ถ้าคนในส่วนอื่น ๆ มีไม่มีการสงสัยที่ คุณสนใจในสถานที่แรกที่เรียกคือพิธีกรรมที่อุ่นกว่าข้อมูล ถ้าปลายทางพรรคแล้วรู้อะไรมา หรือมาไม่ฟรี ให้เลือกข้อความที่ส่งข้อมูลเสียงและข้อมูลศูนย์

เสียงคือศัตรูของข้อมูล สำหรับแชนนันและวีเวอร์เสียงมากกว่าน่ารำคาญเสียงหรือไฟฟ้าสถิตบนเส้น มันมีอะไรเพิ่มสัญญาณที่ไม่มีเจตนาโดยแหล่งที่มา โดยปกติชนิดของการแทรกแซงเป็นผลพลอยได้ที่ไม่ได้ตั้งใจของสถานการณ์ ในช่อง nonelectrical เสียงสามารถเปื้อนกระดาษหนังสือพิมพ์ , อาเอ้อเอ้อ , ฟิลเลอร์ , หรือภาพเคลื่อนไหวที่ทำให้ผู้ฟังมีชั้นล่างห้องสัมมนาที่มหาวิทยาลัยที่สามารถมองเห็นเนินหญ้า วันแรกที่อบอุ่น อาจทำให้ฝูง sunbathers การอาบรังสี . ครูไม่สามารถเริ่มต้นที่จะแข่งขันกับมุมมอง ห้องก็เสียงดังด้วย
รบกวนอาจจะตั้งใจ เป็นเวลาหลายปีรัฐบาลของสหภาพโซเวียตทำให้เสียงของอเมริกาออกอากาศเพื่อให้พลเมืองของตนไม่ได้ยินข่าวจากตะวันตก hecklers พยายามกลบคำพูดของผู้พูด เพื่อป้องกันไม่ให้ผู้ชมจากการพิจารณาตรงข้ามจุดชมวิว เราสามารถสร้างเสียงสีขาวเพื่อปกปิดเสียงก่อกวนมากกว่า นั่นคือจุดประสงค์ของไอเพลง .