Теория информации. Предыстория Unix, часть седьмая

Теория информации
Являемся ли мы результатом решений, которые мы принимаем по своей свободной воле, или есть превосходящая сила, которая направляет наши шаги? Библиография Клода Шеннона консультировалась для эта серия статей, казалось бы, приводили аргументы сторонникам Судьбы. Шеннон был человеком, которого интересовало многое; жонглирование, джаз, авиация, кроссворды или создание игровых автоматов. Часть его профессиональной жизни была посвящена математическим исследованиям, применяемым в генетических исследованиях или в оружейной промышленности. Однако время от времени обстоятельства заставляли его строить основу своей главной работы: Теория информации.

Небольшая табличка на стене в Университете Миннесоты подтолкнула его к работе с дифференциальным анализатором Массачусетского технологического института. Там он связал булеву алгебру с построением схем. Во время стажировки в Bell Laboratories он получил доступ к статье, которая натолкнула его на мысль, что одна теория может объяснить передачу информации независимо от носителя. Постоянно включенный в Bell, куда он в основном вошел, чтобы избежать призыва, он заинтересовался криптографией и обнаружил избыточность языка и необходимость не передавать полные предложения, чтобы сообщение имело смысл.

Теория информации

Шеннон был частью команды, работавшей над сменой парадигмы в телекоммуникациях, так называемой технологией PCM или импульсной кодовой модуляцией. Вместо передачи голоса с помощью электрических волн, как это делалось с тех пор, как Александр Грэм Белл изобрел телефон, целью было передать информацию о поведении электрических волн. чтобы приемник мог их восстановить. Здесь необходимо учитывать два важных момента.

  • Информация о поведении волн не передается в течение всего разговора, но каждые определенное время производится выборка, и получатель заполняет пробелы. Вспомните замечания Шеннона о избыточности и отсутствии необходимости отправлять полное сообщение.
  • Информацию о волнах можно передать, закодировав их нулями и единицами. Здесь они применяют идеи Шеннона об использовании булевой алгебры для передачи информации по цепи.

Однако этот метод применим не только к голосу. Та же технология может применяться для удаленной передачи любого контента, который может быть преобразован в нули и единицы; неподвижные и движущиеся изображения, тексты, графика, музыка и т. д.

Обеспечение верности сообщения

Наверное, в каждой стране есть вариант игры, который в детстве мы называли «сломанный телефон». Один человек шепчет сообщение партнеру по соседству, который, в свою очередь, делает то же самое со следующим в очереди. Таким образом, до последнего вы должны повторять сообщение вслух. Это почти никогда не совпадает с тем, что сказал первый.

Задача Bell Labs - не допустить этого в коммуникациях. И здесь на помощь приходит теория информации.

Шеннон предложил общую модель связи, в которой отправитель излучает через передатчик сигнал, который, проходя через канал, достигает получателя. Он отвечает за декодирование сообщения, ранее закодированного передатчиком, и его доставку получателю. В каждом канале присутствует так называемый «шум» - искажения, влияющие на прием сообщения.

Его предложение включает следующие утверждения:

  • Все коммуникации, независимо от формата, можно рассматривать как информацию.
  • Вся информация может быть измерена в битах. Один бит (сокращение от двоичной цифры) указывает на выбор между двумя возможными альтернативами: точкой или тире телеграфа, орлом или решкой при подбрасывании монеты или включением или выключением импульсов в технологии PCM.
  • Самая сложная информация может быть передана с помощью последовательности бит в заранее определенном формате. Например, представление по основанию 2 числового кода, присвоенного букве.

В своей работе по криптографии Шеннон показала, что размер сообщения можно уменьшить, устранив избыточность. Здесь он предложил пойти противоположным путем; бороться с шумом, добавляя дополнительные биты, чтобы приемник мог исправлять ошибки, возникшие во время передачи.

Хотя во многих случаях теоретическая формулировка могла бы потребоваться десятилетия, прежде чем она стала бы практическим приложением, у инженеров уже был способ измерить способность различных каналов передавать информацию. Все было готово для новых материалов, которые заменят традиционный медный кабель, что в геометрической прогрессии увеличивает количество циркулирующих сообщений. И, конечно же, вам понадобится способ обрабатывать весь этот объем информации. Мы увидим это в следующих статьях.

Предыстория Unix
Теме статьи:
Предыстория Unix и роль Bell Labs
Объединяя ученых и инженеров
Теме статьи:
Объединяя ученых и инженеров. Предыстория Unix. Часть 2
Вакуумные трубки
Теме статьи:
Вакуумные трубки. Предыстория Unix, часть 3
Прибытие транзистора
Теме статьи:
Прибытие транзистора. Предыстория Unix, часть четвертая
Теме статьи:
Мистер Клод Шеннон. Предыстория Unix, часть пятая
Работа Шеннона
Теме статьи:
Работа Шеннона. Предыстория Unix, часть 6

Содержание статьи соответствует нашим принципам редакционная этика. Чтобы сообщить об ошибке, нажмите здесь.

2 комментариев, оставьте свой

Оставьте свой комментарий

Ваш электронный адрес не будет опубликован. Обязательные для заполнения поля помечены *

*

*

  1. Ответственный за данные: AB Internet Networks 2008 SL
  2. Назначение данных: контроль спама, управление комментариями.
  3. Легитимация: ваше согласие
  4. Передача данных: данные не будут переданы третьим лицам, кроме как по закону.
  5. Хранение данных: база данных, размещенная в Occentus Networks (ЕС)
  6. Права: в любое время вы можете ограничить, восстановить и удалить свою информацию.

  1.   Симби сказал

    Пожалуйста, источники! в шестой части был кусок, который заставил меня подумать, что это перевод, хотя я не уверен. Откуда все это взялось?

    1.    Диего Герман Гонсалес сказал

      Я обещаю, что к пятнице будет предоставлен подробный список источников и того, что я получил от каждого из них. То, что вам кажется плагиатом, - это первое предложение. Я украл это у Айзека Азимова из книги, в которой собраны его ответы на научные вопросы.