Для этого предположим, что информация – это устраненная неопределенность. По мере увеличения упорядоченности движения энтропия стремится к нулю (например, когда возможно только одно значение и направление скорости).

Одним из основных вопросов этой теории был вопрос о возможности измерения количества информации. Первые отчетливые предложения об общих способах измерения количества информации были сделаны Р. Фишером (1921 г.) в процессе решения вопросов математической статистики. Например, если находится сумма двух чисел 5 и 10, то она в равной мере будет справедлива для любых объектов, определяемых этими числами.

Такая взаимная обратимость понятий вероятности и неопределенности послужила основой для использования понятия вероятности при измерении степени неопределенности в теории информации. Поэтому ответ на первый вопрос несет больше информации! Это можно сделать, определив число N возможных сообщений, которые могут быть переданы при помощи этого алфавита.

При наличии алфавита, состоящего из одного символа, т.е. когда m = 1, возможно появление только этого символа. Следовательно, неопределенности в этом случае не существует, и появление этого символа не несет никакой информации. Если же все множество возможных сообщений состоит из одного (N = m = 1), то I (N) = log 1 = 0, что соответствует отсутствию информации в этом случае.

Количество информации, переданное в этом простейшем случае, наиболее удобно принять за единицу количества информации. Бит является не только единицей количества информации, но и единицей измерения степени неопределенности. При этом имеется в виду неопределенность, которая содержится в одном опыте, имеющем два равновероятных исхода. На количество информации, получаемой из сообщения, влияет фактор неожиданности его для получателя, который зависит от вероятности получения того или иного сообщения.

Что же такое информация?

Сообщение, вероятность которого высока и, соответственно, низка степень неожиданности, несет немного информации. Наиболее широкое распространение при определении среднего количества информации, которое содержится в сообщениях от источников самой разной природы, получил подход. Знак минус в формуле Шеннона не означает, что количество информации в сообщении – отрицательная величина. В результате развития теории информации и ее приложений идеи Шеннона быстро распространяли свое влияние на самые различные области знаний.

Энтропия обозначает степень неупорядоченности статистических форм движения молекул. Энтропия максимальна при равновероятном распределении параметров движения молекул (направлении, скорости и пространственном положении).

Используя различие формул количества информации Шеннона и энтропии Больцмана (разные знаки), Л. Бриллюэн охарактеризовал информацию как отрицательную энтропию, или негэнтропию. В связи с тем, что внешний вид формул совпадает, можно предположить, что понятие информация ничего не добавляет к понятию энтропии.

Трудно переоценить значение идей теории информации в развитии самых разнообразных научных областей. Этот подход и основанная на нем мера количества информации выражают, прежде всего, «структурно-синтаксическую» сторону ее передачи, т.е. выражают отношения сигналов. В данном случае единицей измерения информации может быть элементарное различие, т.е. различие между двумя объектами в каком-либо одном фиксированном свойстве.

При этом регулятор допускает такое их разнообразие, которое необходимо и полезно для системы. При допустимом разнообразии состояний кибернетической системы Рc и разнообразии возмущений Рв количество разнообразия регулятора Рр=Рв/Рc. С понятием информации в кибернетике не связано свойство ее осмысленности в обычном житейском понимании. В данном случае понятие информации определяется уже на уровне таких изначальных понятий философии, как материя и энергия.

Это сложное простое понятие!

В.М. Глушков развивает этот подход, предлагая очень общее и емкое понятие информации и подчеркивая при этом ее независимость от получателя, что оставляет в стороне и смысловую сторону информации. Очень близка к «разнообразностной» трактовке информации идея алгоритмического измерения ее количества, выдвинутая в 1965 г. А.Н. Колмогоровым.

Количество информации ее интересует лишь с точки зрения возможности передачи данных сообщении оптимальным образом. Они служат средством обмена информацией между высокоорганизованными системами (способными к обучению и самоорганизации). Отметим в связи с этим, что рассматриваемые ранее способы определения количества информации можно отнести к синтаксическим способам.

Основная идея семантической концепции информации заключается в возможности измерения содержания (предметного значения) суждений. Но содержание всегда связано с формой, поэтому синтаксические и семантические свойства информации взаимосвязаны, хотя и различны.

Поэтому и исследования семантики базировались на понятии информации как уменьшении или устранении неопределенности, с которым мы уже знакомы. Первую попытку построения теории семантической информации предприняли Р. Карнап и И. Бар-Хиллел. Для всех подходов здесь характерно стремление связать понятие прагматической информации с целью, целенаправленным поведением и выдвинуть те или иные количественные меры ценности информации.

Именно к этому результату переработки сообщений, а не к сообщениям в их первоначальной форме могут быть применены количественные меры информации. Созданная Харрахом логическая модель коммуникации служит тем языковым каркасом, в рамках которого программа может быть образована и применена.

Поэтому формула Хартли позволяет определить количество информации в сообщении только для случая, когда появление символов равновероятно и они статистически независимы. При составлении какого-либо сообщения (текста) с помощью энтропии можно характеризовать степень неупорядоченности движения (чередования) символов.