Какой буквой выражается количество возможных информационных сообщений

Какой буквой выражается количество возможных информационных сообщений

Процесс познания окружающего мира приводит к накоплению информации в форме знаний (фактов, научных теорий и т. д.). Получение новой информации приводит к расширению знаний или, как иногда говорят, к уменьшению неопределенности знания. Если некоторое сообщение приводит к уменьшению неопределенности нашего знания, то можно говорить, что такое сообщение содержит информацию.

Например, после сдачи зачета или выполнения контрольной работы вы мучаетесь неопределенностью, вы не знаете, какую оценку получили. Наконец, учитель объявляет результаты, и вы получаете одно из двух информационных сообщений: «зачет» или «незачет», а после контрольной работы одно из четырех информационных сообщений: «2», «3», «4» или «5».

Информационное сообщение об оценке за зачет приводит к уменьшению неопределенности вашего знания в два раза, так как получено одно из двух возможных информационных сообщений. Информационное сообщение об оценке за контрольную работу приводит к уменьшению неопределенности вашего знания в четыре раза, так как получено одно из четырех возможных информационных сообщений.

Ясно, что чем более неопределенна первоначальная ситуация (чем большее количество информационных сообщений возможно), тем больше мы получим новой информации при получении информационного сообщения (тем в большее количество раз уменьшится неопределенность знания).

Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений.

Рассмотренный выше подход к информации как мере уменьшения неопределенности знания позволяет количественно измерять информацию. Существует формула, которая связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение:

N = 2 i

(1.1)

Бит. Для количественного выражения любой величины необходимо сначала определить единицу измерения. Так, для измерения длины в качестве единицы выбран метр, для измерения массы — килограмм и т. д. Аналогично, для определения количества информации необходимо ввести единицу измерения.

За единицу количества информации принимается такое количество информации, которое содержится в информационном сообщении, уменьшающем неопределенность знания в два раза. Такая единица названа битом.

Если вернуться к рассмотренному выше получению информационного сообщения о результатах зачета, то здесь неопределенность как раз уменьшается в два раза и, следовательно, количество информации, которое несет сообщение, равно 1 биту.

Производные единицы измерения количества информации. Минимальной единицей измерения количества информации является бит, а следующей по величине единицей — байт, причем:

1 байт = 8 битов = 2 3 битов.

В информатике система образования кратных единиц измерения несколько отличается от принятых в большинстве наук. Традиционные метрические системы единиц, например Международная система единиц СИ, в качестве множителей кратных единиц используют коэффициент 10 n , где n = 3, 6, 9 и т. д., что соответствует десятичным приставкам «Кило» (10 3 ), «Мега» (10 6 ), «Гига» (10 9 ) и т. д.

В компьютере информация кодируется с помощью двоичной знаковой системы, и поэтому в кратных единицах измерения количества информации используется коэффициент 2 n

Так, кратные байту единицы измерения количества информации вводятся следующим образом:

1 килобайт (Кбайт) = 2 10 байт = 1024 байт;

1 мегабайт (Мбайт) = 2 10 Кбайт = 1024 Кбайт;

1 гигабайт (Гбайт) = 2 10 Мбайт = 1024 Мбайт.

Контрольные вопросы

1. Приведите примеры информационных сообщений, которые приводят к уменьшению неопределенности знания.
2. Приведите примеры информационных сообщений, которые несут 1 бит информации.

Определение количества информации

Определение количества информационных сообщений.По формуле (1.1) можно легко определить количество возможных информационных сообщений, если известно количество информации. Например, на экзамене вы берете экзаменационный билет, и учитель сообщает, что зрительное информационное сообщение о его номере несет 5 битов информации. Если вы хотите определить количество экзаменационных билетов, то достаточно определить количество возможных информационных сообщений об их номерах по формуле (1.1):

Таким образом, количество экзаменационных билетов равно 32.

Определение количества информации. Наоборот, если известно возможное количество информационных сообщений N, то для определения количества информации, которое несет сообщение, необходимо решить уравнение относительно I.

Представьте себе, что вы управляете движением робота и можете задавать направление его движения с помощью информационных сообщений: «север», «северо-восток», «восток», «юго-восток», «юг», «юго-запад», «запад» и «северо-запад» (рис. 1.11). Какое количество информации будет получать робот после каждого сообщения?

Рис. 1.4. Управление роботом с использованием информационных сообщений

Всего возможных информационных сообщений 8, поэтому формула (1.1) принимает вид уравнения относительно I:

Разложим стоящее в левой части уравнения число 8 на сомножители и представим его в степенной форме:

8 = 2 × 2 × 2 = 2 3 .

Равенство левой и правой частей уравнения справедливо, если равны показатели степени числа 2. Таким образом, I = 3 бита, т. е. количество информации, которое несет роботу каждое информационное сообщение, равно 3 битам.

Алфавитный подход к определению количества информации

При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы.

Информационная емкость знака. Представим себе, что необходимо передать информационное сообщение по каналу передачи информации от отправителя к получателю. Пусть сообщение кодируется с помощью знаковой системы, алфавит которой состоит из N знаков . В простейшем случае, когда длина кода сообщения составляет один знак, отправитель может послать одно из N возможных сообщений «1», «2», . «N», которое будет нести количество информации I (рис. 1.5).

Рис. 1.5. Передача информации

Формула (1.1) связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение. Тогда в рассматриваемой ситуации N — это количество знаков в алфавите знаковой системы, а I — количество информации, которое несет каждый знак:

С помощью этой формулы можно, например, определить количество информации, которое несет знак в двоичной знаковой системе:

N = 2 => 2 = 2 I => 2 1 = 2 I => I=1 бит.

Таким образом, в двоичной знаковой системе знак несет 1 бит информации. Интересно, что сама единица измерения количества информации «бит» (bit) получила свое название ОТ английского словосочетания «Binary digiT» — «двоичная цифра».

Информационная емкость знака двоичной знаковой системы составляет 1 бит.

Чем большее количество знаков содержит алфавит знаковой системы, тем большее количество информации несет один знак. В качестве примера определим количество информации, которое несет буква русского алфавита. В русский алфавит входят 33 буквы, однако на практике часто для передачи сообщений используются только 32 буквы (исключается буква «ё»).

С помощью формулы (1.1) определим количество информации, которое несет буква русского алфавита:

N = 32 => 32 = 2 I => 2 5 = 2 I => I=5 битов.

Таким образом, буква русского алфавита несет 5 битов информации (при алфавитном подходе к измерению количества информации).

Количество информации, которое несет знак, зависит от вероятности его получения. Если получатель заранее точно знает, какой знак придет, то полученное количество информации будет равно 0. Наоборот, чем менее вероятно получение знака, тем больше его информационная емкость.

В русской письменной речи частота использования букв в тексте различна, так в среднем на 1000 знаков осмысленного текста приходится 200 букв «а» и в сто раз меньшее количество буквы «ф» (всего 2). Таким образом, с точки зрения теории информации, информационная емкость знаков русского алфавита различна (у буквы «а» она наименьшая, а у буквы «ф» — наибольшая).

Количество информации в сообщении. Сообщение состоит из последовательности знаков, каждый из которых несет определенное количество информации.

Если знаки несут одинаковое количество информации, то количество информации I_c в сообщении можно подсчитать, умножив количество информации I_з, которое несет один знак, на длину кода (количество знаков в сообщении) К:

Так, каждая цифра двоичного компьютерного кода несет информацию в 1 бит. Следовательно, две цифры несут информацию в 2 бита, три цифры — в 3 бита и т. д. Количество информации в битах равно количеству цифр двоичного компьютерного кода (табл. 1.1).

Таблица 1.1. Количество информации, которое несет двоич ный компьютерный код

Двоичный компьютерный код	1	0	1	0	1
Количество информации	1 бит	1 бит	1 бит	1 бит	1 бит

Алфавитный подход к измерению информации

Алфавитный подход используется в технике, в данном случае количество информации не зависит от содержания, а зависит от мощности алфавита и количества символов в тексте.

I_сооб — объем информации в сообщении

I_сооб= K* I

К — количество символов в сообщении

I Информационный объем одного символа

Для кодировки ASCII – мощность алфавита=256

I=log₂256=8(бит); При кодировании символьной информации в кодах каждый символ, включая пробелы и знаки препинания, кодируется 1 байтом (8 битами).

Единицы измерения информации в вычислительной технике

1 бит (технический подход)

минимальная единица измерения информации

количество информации измеряется только целым числом бит

1 Кбайт (килобайт)

= 2 10 байт = 1024 байт

1 Мбайт (мегабайт)

= 2 10 Кбайт = 2 20 байт

1 Гбайт (гигабайт)

= 2 10 Мбайт = 2 30 байт

~ 1 миллиард байт

• Главная
• 1. Информционные технологии. Поятие, классификация.
• 2. Вычислительные системы, сети и телекоммуникации
• 3. Технологии передачи данных. Ethernet, Token Ring, ISDN, X.25, Frame Relay.
• 4. Устройства межсетевого интерфейса: повторители, мосты, маршрутизаторы, шлюзы. Методы коммутации и маршрутизации. Способы повышения производительности сети
• 5 .Одноранговые и серверные сети: сравнительная характеристика. Основные виды специализированных серверов.
• 6. Технологическая основа сети Интернет. Система адресации (IP-адреса, доменные имена, система DNS). Основные протоколы общения в сети.
• 7. Базовые пользовательские технологии работы в сети Интернет. WWW, FTP, TELNET, E-MAIL. Поиск информации в сети Интернет.
• 8. Модель взаимодействия открытых систем OSI.
• 9. Базы данных: данные, модель данных, база данных, система управления базами данных, информационная система. Модели данных. Реляционная модель данных.
• 10. Компоненты СУБД. Преимущества и недостатки СУБД.
• 11. Архитектура многопользовательских СУБД
• 12. Проектирование информационных систем. Структура и модели жизненного цикла.
• 13. Моделирование и представление структуры предприятия. Диаграммы IDEF0.
• 14. Моделирование и представление потоков данных. DFD-диаграммы.
• 15. Логическое проектирование БД. ER-диаграммы
• 16. Экспертные системы (ЭС): понятие, назначение, архитектура, отличительные особенности. Классификация ЭС. Этапы разработки ЭС.
• 17. Базы знаний экспертных систем. Методы представления знаний: логические модели, продукционные правила, фреймы, семантические сети.
• 18 Знания. Виды знаний. Методы извлечения знаний: коммуникативные, текстологические.
• 19 Языки программирования, их характеристики (Пролог, Delphi, C++).
• 20. Языки программирования, их характеристики (PHP, Perl, JavaScript).
• 21. Цели, задачи, принципы и основные направления обеспечения информационной безопасности Российской Федерации. Правовая, организационная, инженерно-техническая защита информации.
• 22. Электронные издания: понятие, состав. Классификация ЭИ. Регистрация ЭИ.
• 23. Информационные ресурсы: понятие, состав. Государственные информационные ресурсы.
• 24. Операционная система персонального компьютера как средство управления ресурсами (на примере изучаемой ОС). Структура и компоненты ОС.
• 25. Вредоносное программное обеспечение: классификации, методы обнаружения и удаления.
• 26 Структура web-приложений. Протокол HTTP. Cookie. Функции web-приложения. Протокол CGI.
• 27 Обеспечение надежности работы ИС. Транзакции. OLTP-системы.
• 28. Эргономические цели и показатели качества программного продукта.
• 29. Медицинские информационные системы.
• 30.Правовые информационные системы.
• 31.Информационный менеджмент: понятие и основные функции.
• 32. Информационные системы: понятие, классификации.
• 33 Стандартизация в области программного обеспечения. Стандарты документирования программных средств.
• 34. Оценка качественных и количественных характеристик информационных систем. Модели оценки характеристик надежности программного и информационного обеспечения. Основные понятия, показатели и методы обеспечения надежности информационных систем.
• 35. Основы CASE – технологии.
• 36.Особенности выполнения инновационных программ в сфере информатизации (характеристика информационной политики в сфере информатизации, принципы формирования проекта и внедрения ИС, управление проектами информатизации).
• 37.Охрана интеллектуальной собственности: авторские и смежные права.
• 38.Понятие патентного права. Объекты патентного права: изобретение, полезная модель, промышленный образец.
• 39. Безопасность web-приложений.
• 40. Теория цвета. Цветовые модели.
• 41. Загрузка веб-приложений на удалённый сервер при помощи протокола ftp. Установка и настройка веб-приложения (на примере CMS PhpBB или MOODLE). Пример
• 42 Язык HTML. Структура HTML-документа. Основные тэги. Пример – создание списков и таблиц.
• 43. Объектно-ориентированный подход (ООП) программированию и проектированию. Парадигмы (принципы) объектно-ориентированного программирования: инкапсуляция, наследование, полиморфизм. Классы и объекты. Пример
• 44. Интегрированная среда разработки приложений Delphi, ее возможности. Взаимодействие между приложениями Windows (технология OLE). Пример
• 45. Основные компоненты Delphi. Общие свойства компонентов: иерархия компонентов; положение, размеры и оформление компонентов; события мыши и клавиатуры. Обработка текстовой информации. Пример
• 46. Интегрированная среда разработки приложений Delphi, ее возможности. Основные элементы среды: палитра компонентов, инспектор объектов, форма с редактором кода. Структура программы: файлы проекта, модулей, ресурсов, настройки. Создание Windows-приложений. Пример
• 47. Алгоритмы сортировки (обзор, классификация и сравнение различных алгоритмов). Пример
• 48. Алгоритмы поиска. Поиск в неупорядоченной/упорядоченной последовательности. Пример
• 49. Понятие о процессах и потоках в Windows-приложениях. Пример.
• 50 Мультимедиа технологии: обработка звука.
• 51. Мультимедиа технологии: обработка видео. Пример
• 52. Язык программирования ПРОЛОГ. Факты, правила, запросы. Структура ПРОЛОГ-программы. Пример экспертной системы на ПРОЛОГЕ
• 53. Структура серверного скрипта. Язык Perl. Пример
• 54. Структура клиентского скрипта. Язык Java Script. Пример
• 55. Логические операции над высказываниями. Основные равносильности алгебры логики. Пример в MS Exсel.
• 56. Растровая графика (достоинства и недостатки, построение и работа с изображениями, форматы растровой графики).
• 57. Векторная графика (достоинства и недостатки, построение и работа с изображениями, векторные и универсальные форматы). Пример.
• 58 Язык SQL. Операторы Select, Insert, Delete, Update. Пример.
• 59. Позиционные системы счисления. Перевод целых и дробных чисел из десятичной системы счисления . Перевод целых и дробных чисел в десятичную систему счисления. . Пример в MS Exсel.
• 60. Измерение информации – вероятностный и алфавитный подходы. Формулы Хартли, Шеннона. Пример в MS Exсel.

Какой буквой выражается количество возможных информационных сообщений

Измерение информации: содержательный подход

Как измерить знания у человека? Вспомним определение информации и знаний.

Чтобы узнать что-то, люди задают вопросы. Наименьшую порцию знаний человек получает услышав в ответ «ДА» или «НЕТ». Если вопрос сформулирован правильно, то область незнания (неопределенность знаний) уменьшается в 2 раза. Минимальная порция получила название бит : binary digit — двоичная цифра.

Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации.

Неопределенность знаний о некотором событии — это количество возможных результатов события.

Пример: игра в отгадывание чисел. Ведущий задумал целое число в интервале от 1 до 8. Нам нужно за наименьшее количество вопросов, на которые можно услышать один из ответов (Да или Нет) отгадать число. Алгоритм должен гарантировать получение результата в любом случае. Закодируем ответ ДА цифрой 1, НЕТ цифрой 0.

Среди каких чисел ищем	Вопрос	Ответ	Бит
1 2 3 4 5 6 7 8	Число > 4	Да	1
5 6 7 8	Число > 6	Нет	0
5 6	Это число = 5	Да	1

Задумано число 5. Получили результат за 3 вопроса. Знания увеличились на 3 бита: 101. Нетрудно понять, что при 16 числах понадобится 4 вопроса и т.д.

Среди каких чисел ищем	Вопрос	Ответ	Бит
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16	Число > 8	Да	1
9 10 11 12 13 14 15 16	Число 10	Нет	0
9 10	Это число = 10	Нет	0

Задумано число 9. Объем знаний возрос на 4 бита: 1100

Составим таблицу количества возможных вариантов выбора и объема информации, получаемой при решении задачи.

Количество вариантов	Количество вопросов (бит)
2	1
4	2
8	3
16	4
32	5
64	6
128	7
256	8
512	9
1024	10
.	.

Пример: после сдачи зачета или выполнения контрольной работы ученик мучается неопределенностью, он не знает, какую оценку получил: «Зачет», «незачет»? «2», «3», «4» или «5»?

Наконец, учитель объявляет результаты, и он получаете одно из двух информационных сообщений: «зачет» или «незачет», а после контрольной работы одно из четырех информационных сообщений: «2», «3», «4» или «5».

Информационное сообщение об оценке за зачет приводит к уменьшению неопределенности знания в два раза, так как получено одно из двух возможных информационных сообщений. Информационное сообщение об оценке за контрольную работу приводит к уменьшению неопределенности знания в четыре раза, так как получено одно из четырех возможных информационных сообщений.

Пример: на книжном стеллаже восемь полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где находится книга? Смотрите таблицу 1.

Составим итоговую таблицу. Введем обозначения: N — количество вариантов, i — количество бит (вопросов — ответов)

N количество вариантов	i количество вопросов (бит)	Связь между N и i
2	1	2 1
4	2	2 2
8	3	2 3
16	4	2 4
32	5	2 5
64	6	2 6
128	7	2 7
256	8	2 8
512	9	2 9
1024	10	2 10
.	.	.

Формула вычисления количества информации

2 i = N

Количество информации, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения уравнения 2 i = N.

Задача 1: Сколько информации содержит сообщение о том, что из колоды карт достали король пик? В колоде 32 карты.

В перемешенной колоде выпадение любой карты равновероятное событие.

Задача 2: Сколько информации содержит сообщение о выпадении грани с числом 3 на шестигранном игральном кубике?

i > 2 и i Объем информации может быт дробным числом! Решение таких уравнений изучают в старших класса. Здесь приведем готовый ответ: i = 2,5849625007211561814537389439478 бит

Задача 3: Сколько информации содержит сообщение о том, что на поле 4х4 клетки одна из клеток закрашена? (Сначала найдите N)

Задача 4: В книге 512 страниц. Сколько информации несет сообщение о том, что закладка лежит на какой-либо странице?

Измерение информации: алфавитный подход

Познакомимся с способом измерения информации, который не связывает количество информации с содержанием сообщения, и называется он алфавитным подходом.

При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы.

Применение алфавитного подхода удобно прежде всего при использовании технических средств работы с информацией. В этом случае теряют смысл понятия «новые — старые», «понятные — непонятные» сведения. Алфавитный подход является объективным способом измерения информации в отличие от субъективного содержательного подхода при измерении знаний конкретного человека.

Вспомним определение алфавита и его мощности (не забудьте вернуться назад).

Мощность алфавита только из заглавных русских букв равна 32.

Будем писать, как это делали до 4-го века нашей эры: без пробелов и знаков препинания, т.е. слитно.

Сколько информации тогда несет один символ?

Представьте себе, что текст к вам поступает последовательно, по одному знаку, словно бумажная ленточка, выползающая из телеграфного аппарата. Предположим, что каждый появляющийся на ленте символ с одинаковой вероятностью может быть любым символом алфавита.
В каждой очередной позиции текста может появиться любой из N символов.
Тогда, согласно известной нам формуле 2 i = N , каждый такой символ несет i бит информации, которое можно определить из решения уравнения: 2 i = 32.

Получаем: i = 5 бит.

Количество информации в тексте

А теперь для того, чтобы найти количество информации во всем тексте, нужно посчитать число символов в нем и умножить на i.

Посчитаем количество информации на одной странице книги.

Пусть страница содержит 50 строк. В каждой строке — 60 символов. Значит, на странице умещается
50 * 60=3000 знаков. Тогда объем информации будет равен: 5 * 3000 = 15000 бит.

Вывод: при алфавитном подходе к измерению информации количество информации зависит не от содержания, а от размера текста и мощности алфавита.

А что если алфавит состоит только из двух символов 0 и 1?

В этом случае: N = 2; 2 i = N; 2 i = 2; i = 1

При использовании двоичной системы (алфавит состоит из двух знаков: 0 и 1) каждый двоичный знак несет 1 бит информации.

«Компьютерный» алфавит (смотрите таблицу)

Удобнее всего измерять информацию, когда размер алфавита N равен целой степени двойки. Например, если N=16, то каждый символ несет 4 бита информации потому, что 2 4 = 16. А если N =32, то один символ «весит» 5 бит.

Ограничения на максимальный размер алфавита теоретически не существует. Однако есть алфавит, который можно назвать достаточным. С ним мы скоро встречаемся при работе с компьютером. Это алфавит мощностью 256 символов. В алфавит такого размера можно поместить все практически необходимые символы: латинские и русские буквы, цифры, знаки арифметических операций, всевозможные скобки, знаки препинания.

Поскольку 256 = 2 8 , то один символ этого алфавита «весит» 8 бит. Причем 8 бит информации — это настолько характерная величина, что ей даже присвоили свое название — байт.

Количество информации в тексте

В настоящее время для подготовки писем, документов, статей, книг и пр. используют компьютерные текстовые редакторы. Компьютерные редакторы, в основном, работают с алфавитом размером 256 символов.

В этом случае легко подсчитать объем информации в тексте. Если 1 символ алфавита несет 1 байт информации, то надо просто сосчитать количество символов; полученное число даст информационный объем текста в байтах.

Пусть небольшая книжка, сделанная с помощью компьютера, содержит 150 страниц; на каждой странице — 40 строк, в каждой строке — 60 символов.
Значит страница содержит 40 * 60=2400 байт информации.
Объем всей информации в книге: 2400 * 150 = 360 000 байт.

Более крупные единицы информации

• 8 бит = 1 байт
• 1 КБайт = 1024 Байт = 2 10 Байт
• 1 МБайт = 1024 КБайт = 2 10 КБайт
• 1 ГигаБайт = 1024 МБайт = 2 10 МБайт
• 1 ТераБайт = 1024 ГБайт = 2 10 ГБайт
• 1 ПетаБайт = 1024 ТБайт = 2 10 ТБайт

Перевод из одной единицы в другую

5 МБайт = 5 * 1024 КБайт = 5120 КБайт

2 КБайт = 2 * 1024 Байт = 2048 Байт

20 Байт = 20 * 8 бит = 160 бит

4 МБайт = 4 * 1024 * 1024 Байт = 4194304 Байт

1/256 МБайт = 1/256 * 1024 * 1024 * 8 бит = 32768 бит

4096 КБайт = 4096 : 1024 МБайт = 4 МБайт

512 МБайт = 512 : 1024 ГБайт = 0,5 ГБайт

Скорость передачи информации

Прием-передача информации могут происходить с разной скоростью.

Количество информации, передаваемое за единицу времени, есть скорость передачи информации или скорость информационного потока.

Очевидно, эта скорость выражается в таких единицах, как бит в секунду (бит/с),
килобит в секунду (Кбит/с), байт в секунду (байт/с), килобайт в секунду (Кбайт/с) и т.д.

Задача 5: Племя Мумбу-Юмбу использует алфавит из букв: α β γ δ ε ζ η θ λ μ ξ σ φ ψ точка и для разделения слов используется пробел.
Сколько информации несет свод законов племени, если в нем 12 строк и в каждой строке по 20 символов?

Задача 6: Вычислите мощность алфавита N, с помощью которого записано сообщение, содержащее 2048 символов, если его объем составляет 1.25 Кбайт.

1.25 КБ = 1.25 * 1024 * 8 бит = 10240 бит. Столько информации в тексте.

i = 10240 : 2048 = 5 (бит) приходится на 1 символ

Находим количество символов в алфавите языка (N), на котором написан текст:

N = 32 символа в алфавите

1. Что такое «алфавит»? Что такое «мощность алфавита»?
2. Как определяется количество информации в сообщении с алфавитной точки зрения?
3. Что больше: 1 Кбайт или 1000 байт?
4. Расположите единицы измерения информации в порядке возрастания:
   ГигаБайт; Байт; МегаБайт; КилоБайт, бит.
5. Сколько информации содержится в сообщении, если для кодирования одного символа использовать 1 байт: «Компьютер — универсальный прибор.»
6. Два текста содержат одинаковое количество символов. Первый текст составлен в алфавите мощностью 32 символа, второй — мощностью 64 символа. Во сколько раз отличается количество информации в этих текстах?

Информатика

Единицей измерения количества информации является бит . 1 бит — это количество информации, содержащейся в сообщении, которое вдвое уменьшает неопределенность знаний о чем-либо.

Связь между количеством возможных событий N и количеством информации I определяется формулой Хартли:

Например, пусть шарик находится в одной из четырех коробок. Таким образом, имеется четыре равновероятных события (N = 4). Тогда по формуле Хартли 4 = 2 I . Отсюда I = 2. То есть сообщение о том, в какой именно коробке находится шарик, содержит 2 бита информации.

Вероятностный подход к измерению количества информации применяют, когда возможные события имеют различные вероятности реализации. В этом случае количество информации определяют по формуле Шеннона:

Где I — количество информации;

N — количество возможных событий;

pi— вероятность i-го события.

При алфавитном подходе к определению количества информации отвлекаются от содержания (смысла) информации и рассматривают ее как последовательность знаков определенной знаковой системы. Набор символов языка (алфавит) можно рассматривать как различные возможные события. Тогда, если считать, что появление символов в сообщении равновероятно, по формуле Хартли можно рассчитать, какое количество информации несет каждый символ:

Например, в русском языке 32 буквы (буква ё обычно не используется), т. е. количество событий будет равно 32. Тогда информационный объем одного символа будет равен:

I = log 2 32 = 5 битов.

Если N не является целой степенью 2, то число log 2 N не является целым числом, и для I надо выполнять округление в большую сторону. При решении задач в таком случае I можно найти как log 2 N’, где N′ — ближайшая к N степень двойки — такая, что N′ > N.

Например, в английском языке 26 букв. Информационный объем одного символа можно найти так:

N = 26; N’ = 32; I = log 2 N’ = log 2 (2 5 ) = 5 битов.

Если количество символов алфавита равно N, а количество символов в записи сообщения равно М, то информационный объем данного сообщения вычисляется по формуле: