Стаття «Математична теорія зв'язку» була опублікована в 1948 році і зробила Клода Шеннона всесвітньо відомим. В ній Шеннон виклав свої ідеї, які стали в майбутньому основою сучасних теорій і технологій обробки, передачі і зберігання інформації. Результати його робіт у галузі передачі інформації каналами зв'язку спричинили по всьому світу велику кількість досліджень. Шеннон повідомив ідеї Хартлі і ввів поняття інформації, яка міститься в повідомлені, що передається (далі за текстом — повідомлення). В якості міри інформації повідомлення М. Хартлі запропонував використовувати логарифмічну функцію .

 

Шеннон першим почав розглядати повідомлення і шуми в канал зв'язку з точки зору статистики, розглядаючи як кінцеві множини повідомлень, так і неперервні множини повідомлень. Розвинута Шенноном теорія інформації допомогла вирішити головні проблеми, пов'язані з передачею повідомлень, а саме: усунути надлишковість повідомлень, виконати кодування і передачу повідомлень каналами зв'язку з шумами. Вирішення проблеми надлишковості повідомлення, яке підлягає передачі дозволяє максимально ефективно використовувати канал зв'язку.

 

Наприклад, сучасні широко використовувані методи зниження надлишковості в системах телебачення на сьогоднішній день дозволяють передавати до шести цифрових програм комерційного ТБ у смузі частот, яку займає звичайний сигнал аналогового телебачення. Вирішення проблеми передачі повідомлення каналами зв'язку з шумами при заданому відношенні потужності корисного сигналу до потужності сигналу перешкоди в місті прийому дозволяє передавати каналом зв'язку повідомлення з задано малою ймовірністю помилкової передачі повідомлення. Також це відношення визначає пропускну можливість каналу. Це забезпечується використання стійкиїх до перешкод кодів, при цьому швидкість передачі повідомлень даним каналом повинна бути нижче його пропускної здатності.

 

У своїх роботах Шеннон довів принципову можливість вирішення означених проблем, це було справжньою сенсацією в наукових колах 40-х років. Дана робота, як і роботи, в яких досліджувалася потенційна перешкодостійкість, дали початок великій кількості досліджень, які продовжуються і по цей час — вже більш ніж півстоліття. Вчені з Радянського Союзу і США (Пінскер, Хінчин, Добрушин, Колмогоров; США — Галлахер, Вольфовиц, Фейнштейн) дали строге трактування теорії викладеної Шенноном. На сьогоднішній день всі системи цифрового зв'язку проектуються на основі фундаментальних принципів і законів передачі інформації, розроблених Шенноном. Відповідно до теорії інформації спочатку з повідомлення усувається надлишковість, потім інформація кодується за допомогою стійких до перешкод кодів, і тільки потім передається каналом користувачу. Значно була скорочена надлишковість телевізійних, мовних і факсимільних повідомлень саме завдяки теорії інформації.

 

Велика кількість досліджень була присвячена створенню кодів, які є стійкими до перешкод і простих кодів декодування повідомлень. Дослідження проведені за останні п'ятдесят років взято за основу створеної Рекомендації МСЕ з використання перешкодостійкого кодування і методів кодування джерел інформації в сучасних цифрових системах.