С О Ц И Н Т Е Г Р У М

цивилизационный форум
     На главную страницу сайта Социнтегрум      Люди и идеи      Организации      Ресурсы Сети      Публикации      Каталог      Публикатор_картинок
                       
 
Текущее время: Чт мар 28, 2024 11:43 pm

Часовой пояс: UTC + 3 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 110 ]  На страницу 1, 2, 3, 4, 5 ... 8  След.
Автор Сообщение
 Заголовок сообщения: И все-таки она увеличивается! (энтропия)
СообщениеДобавлено: Вт авг 31, 2004 1:01 pm 
Не в сети
Давний участник
Давний участник

Зарегистрирован: Вт авг 31, 2004 12:32 pm
Сообщения: 29
Откуда: Минск
Энтропия в процессе эволюции увеличивается, и это здорово. Те кто с этим не согласен, могут ознакомиться с моими (Швец)работами на страничках: http://www.ephes.ru/articl/section.php и http://www.ephes.ru/resh.php?conf_id=1


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср сен 01, 2004 12:50 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Вопросов, конечно, у меня очень много. Для начала хочу уточнить некоторые исходные позиции.
Для науки 19 и 20 столетий была характерна абсолютизация понятий энтропии, второго начала термодинамики и т.д. Отсюда и нелепые выводы о противоречии органической жизни второму началу, о тепловой смерти и т.д. Вы справедливо критикуете эту абсолютизацию, и если я правильно понял, отмечаете, что
а)энтропия имеет два разных смысла (1 - мера сложности системы и 2 - мера неопределённости).
б) энтропия-2 может относиться к разным объектам (микроуровень и макроуровень).
И всё это - разные вещи. Так ? Или Вы всё-таки считаете, что это разные проявления одного и того же ?


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср сен 01, 2004 5:04 pm 
Не в сети
Давний участник
Давний участник

Зарегистрирован: Вт авг 31, 2004 12:32 pm
Сообщения: 29
Откуда: Минск
Я бы сказал так: энтропия-1 - термодинамическая (формула Больцмана), энтропия-2 - мера неопределенности (формула Шеннона). При определении энтропии-2 необходимо указывать класс объектов и событий чья неопределенность таким образом вычисляется (микроуровень, макроуровень). Тогда как для энтропии-1 такой свободы не предусмотренно, для нее четко оговорено, что учитываются различные микро-состояния при одном неизменном макро-. Уже поэтому термодинамическую энтропию-1 нельзя применять ни в социологии, ни в экономике, поскольку точно заданы ее объекты - элементарные частицы.

Связаны ли между собой энтропии 1 и 2? Безусловно. Если бы все частицы системы были не тождественны между собой, то энтропия-1 системы была бы равна сумме энтропий-2 всех ее частиц. Поэтому я и утверждаю, что термодинамическая энтропия это энтропия-2 микроуровня. Однако в силу того, что любая система состоит из большого количества тождественых частиц, законы квантовой механики вносят свои коррективы, и значение термодинамической энтропии будет отличаться от суммы энтропий-2. Однако в любом случае энтропия-1 продолжает оставаться мерой неопределенности на микроуровне: чем большим количеством микросостояний реализуется одно какое-нибудь макросостояние, тем больше неопределенность и тем больше энтропия-1.

Энтропию-1 называют мерой сложности по недоразумению. Так более сложные молекулы обладают большей энтропией-1, хотя по этому мнению, все должно быть наоборот.

Итак, энтропией-1 мы не можем пользоваться при анализе макроуровня. Потому что она характеризует только неопределенность микроуровня, состоящего из элементарных частиц, подчиняющихся законам квантовой механики. Можно обращаться только к энтропии-2 (более общей), и вот она в процессе эволюции увеличивается.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср сен 01, 2004 5:10 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Я не это имел ввиду. Не разницу в формулах. Одна и та же формула, например, Шеннона, может оценивать разные вещи. Либо неопределённость, либо сложность объекта.


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 02, 2004 12:46 pm 
Не в сети
Давний участник
Давний участник

Зарегистрирован: Вт авг 31, 2004 12:32 pm
Сообщения: 29
Откуда: Минск
Формула Шеннона не оценивает сложность объекта. Да и определения "сложности" по большому счету пока не существует.

Пусть сложность - количество связей между элементами системы. Теперь взглянем на формулу Шеннона. Мы не увидим в ней никаких связей. В ней учитываются количество состояний которые может принять система. И даже если в ней огромное их количество, то энтропия может быть либо равна нулю (если она статична), либо равняться огромной величине. Согласитесь, трудно назвать мерой сложности величину, которая при одной и той же сложности может принимать совершенно разные значения.

Возможно, Вы скажете, что если взять систему и накладывать в ней связи между элементами, то сложность будет расти, а энтропия падать, и в этом их взаимосвязь. Но это не всегда так. Зачастую новые связи добавляют новые параметры по которым оцениваются состояния, и новые возможности. Поэтому в подавляющем чиле случаев химических реакций, при которых образуются более сложные вещества, энтропия увеличивается. И, опять же, разве правомерно называть энтропию мерою сложности, раз при ее (сложности) увеличении энтропия может как уменьшаться, так и увеличиваться?

Предположим, что сложность - число независимых переменных, которыми описывается система. В этом случае энтропия действительно может являться мерой сложности, но совсем с другим знаком. В этом случае, чем больше энтропия тем больше сложность.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 02, 2004 1:15 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Цитата:
определения "сложности" по большому счету пока не существует.


Судя по этой фразе, Вы не знакомы с математической теорией сложности, где уже давно имеется математически строгое её определение.
Но:
Цитирую Вашу статью ЭНТРОПИЯ ЖИВЫХ СИСТЕМ
Цитата:
... чем больше информации требуется для описания системы, тем она сложнее

Судя по последней цитате интуитивно вы подошли к тому самому определению.
Сложность по Колмогорову - это, грубо говоря, длина алгоритма (или компьютерной программы), в котором задано описание данного объекта, будь то узор на ковре, геометрическая фигура, часовой механизм, дом, фирма и т.д.
При этом математически доказано, что нельзя предложить какую-либо универсальную процедуру, позволяющую эту самую сложность точно количественно вычислить. Однако можно вычислить мажоранту этой величины, то есть такое число, которое будет заведомо больше или равно сложности по Колмогорову.
Также доказано, что этой мажорантой является количество информации, которой можно описать данный объект, выраженное через формулу Шеннона.
Итак, энтропия по Шеннону - это ещё и мера информации, и следовательно - мера сложности объекта. Энтропия в этом понимании к неопределённости вообще не имеет отношения. Хотя математически - та же самая формула.


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 02, 2004 11:00 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Вообще, я встречал тольку одну хорошую книгу, где просто и понятно написано о связи сложности по Колмогорову и энтропии информации по Шеннону и вообще о прблеме сложности:
Число и мысль. Вып. 8 (Математики измеряют сложность). Юдин Д.Б., Юдин А.Д., 1985. 202 с.

Более формально-математически, и следовательно, менее понятно, эти вопросы изложены:
Ю.И.Манин, Вычислимое и невычислимое, М.: Советское радио (серия "Кибернетика"), 1980


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт сен 03, 2004 11:54 am 
Не в сети
Давний участник
Давний участник

Зарегистрирован: Вт авг 31, 2004 12:32 pm
Сообщения: 29
Откуда: Минск
Из предложенных мною двух определений сложности мне больше импонирует второе, которого я и придерживаюсь в своих работах, и которое соответствует математическому. Однако во многих работах по экономике и по социологии под сложностью понимается увеличение числа связей, что противоречит (я поясню) колмогоровскому. То есть в нашей области однозначно принятого определения еще нет.

Вот несколько цитат из сети, показывающие, что чуть ли не в каждой области знания существует свое представление об сложности:

"Следует стремиться к минимизации числа связей между компонентами информационной системы, поскольку именно оно определяет сложность ."

"Если заглянуть в справочники, то увидим, что подходы к определению степени сложности сводятся всего к двум. Первый подход опирается на попытку совмещения описания структуры технического объекта с механическими характеристиками его элементов. Например, предлагается рассчитать степень сложности как отношение между произведением числа элементов, числа связей между ними, числа используемых физических и других эффектов и т.п. на произведение показателей точности изготовления и функционирования [3]. Затруднительно представить себе расчёт по такой формуле из-за заведомой несопоставимости подставляемых в неё величин. Ну, скажем, в каждом креплении непременно существует эффект трения. В резьбе используются геометрические эффекты. Строго говоря, в любом техническом объекте мы используем (осознанно или нет) множество самых разнообразных эффектов. Даже если мы и не подозреваем о существовании таковых. А если задаваться критериями (что учитывать, а что нет), то получим очень условную оценку, не имеющую практической ценности. И что понимать под точностью функционирования? Её можно измерить в миллиметрах, метрах, градусах, паскалях … да мало ли в чём приходится измерять изменение состояния обрабатываемого объекта (если точность считать по нему)? Смысл тоже не очень улавливается - достаточно пройтись по предельным условиям, чтобы получить полную чепуху. С другой стороны, здесь косвенно присутствует оценка по числу исполняемых функций. И хотя это вполне субъективная оценка, этот подход позволяет оценивать не только иерархические структуры. В какой-то мере этот подход близок к пониманию идеальности в ТРИЗ при всех расхождениях в толковании этого термина.


Второй подход (самый распространённый) основан на сведении понятия "сложность" к числу системных уровней [4]: чем их больше, тем система сложнее. То есть, трёхуровневая система сложнее двухуровневой. Здесь возможна градация степени сложности по числу уровней. Правда, разница между системами разной сложности при таком подходе заметна лишь при малом числе уровней (например, 2-3). При большом числе уровней (например, 10-11) она практически незаметна. Более того, сомнительно, что к обычным иерархическим системам, различающимся только числом уровней, вообще можно применить понятие "сложность"."

" В самом общем случае сложность структуры зависит от числа и разнообразия её элементов, от числа существующих и потенциальных связей между ними. То есть, от материала, на котором могут возникать деревья, образующие мангровые кусты."

"М. Перах пишет: "К сожалению, сам Бэхэ не предлагает четко сформулированного определения сложности ." И далее приводит определение сложности ... задачи у Дембского, философа и математика, приверженца идеи разумного замысла! Внеся путаницу в вопрос сложности (объединяя сложность системы со сложностью задачи), Перах затем разбирает созданный им самим завал, признавая, что "на самом деле мы имеем дело с двумя различными понятиями сложности,.. сложность, подразумеваемая Бэхэ, состоит в структуре биохимической системы. Она определяется количеством компонентов системы и количеством связей и взаимодействий между этими компонентами. Указанные два понятия сложности существенно различны"."

Однако, я рад, что стучался в открытую дверь. Итак, придерживаемся математического определения.

Вот определение: Сложность слова относительно оптимального способа описания, определенная с точностью до ограниченного слагаемого, называется алгоритмической энтропией слова .

Что такое неопределенность? Если система изменяется точно заданным образом, то нам не нужно получать о ней никакой дополнительной информации для ее описания. Объем информации которую будет "нести" такая система будет постоянным, но точно определить его невозможно, так как его объем будет зависеть от способа обработки информации, и в принципе (в пределе) может быть равным нулю. Теперь устроим так, что эта система начинает "нести" дополнительную информацию. Как это можно сделать? Только внеся неопределенность в ее поведение! Так как без этой неопределенности объем информации оставался бы на прежнем уровне.

Эта неопределенность измеряется объемом дополнительной информации и определяется через формулу Шеннона. Таким образом, информация о системе равна сумме некоторого постоянного объема, соответствующего "безэнтропийной" системе, и объема дополнительной информации, объем которой равен значению энтропии. Если постоянный объем равен нулю, то информация о системе равна ее энтропии (и это минимальный объем которым можно описать систему). То есть неопределенность измеряется дополнительной информацией, необходимой для описания изменяющейся системы. Если сложность измеряется минимально возможным объемом информации полностью описывающим систему, то и такая информация, и сложность, и энтропия - одно и тоже.

Поэтому, если придерживаться математического определения сложности, то формула Шеннона описывает и минимальную информацию полно описывающую систему, и ее энтропию, и сложность только потому, что это одно и то же. Впрочем, другое и представить себе трудно. Да, в математике есть выражения одинаковые по форме, которые описывают разные «вещи» в зависимости от того какие аргументы мы в них подставляем. Но в формуле Шеннона такого плюрализма нет. С одним и тем же аргументом, эта функция может означать и информацию, и энтропию, и сложность только потому, что в рассмотренном контексте это одно и то же.

То есть если брать за основу математическое определение сложности (а я так и делаю в своих работах), то в процессе эволюции увеличивается и энтропия, и информация, и сложность.

Сегодня господствует точка зрения, что в процессе эволюции общества его энтропия уменьшается, а сложность увеличивается. Но в приведенном математическом определении сложность это энтропия (в общем и целом), поэтому они либо вместе уменьшаются либо вместе увеличиваются. То же что бытует указанное мнение, говорит о том, что далеко не все подразумевают под сложностью его математическое определение.

Все что говорилось выше я написал вчера, но из-за плохой связи не смог отправить. Текст получился очень сумбурным из-за спешки, и из-за раздражения на то, что Вы могли подумать, будто я взялся рассуждать о «сложности» не зная даже ее математического определения. Тем более, что так оно и было. То есть я знал, что это должно быть так-то и так-то (по логике) но конкретно ничего не читал. А гуляя вечером со своим кобелем, я думал о том, что было бы правильней всего называть этим термином. И вот наши с ним соображения:

Представьте себе плату, на которой смонтировано замысловатое электронное устройство (работающее) и простой маятник (качающийся), уровни энтропии и там и там одинаковы. Для нас будет естественным считать электронное устройство более сложным. Но как это выглядит с математической точки зрения? Пусть под сложностью мы будем понимать объем информации необходимый для описания системы. Но он будет в значительной степени зависеть от субъекта, то есть того, кто эту информацию воспринимает. Так можно вообразить себе робота, единицей восприятия которого является такая вот плата именно этого устройства. То есть описание любого объекта у него будет сводиться к перечислению отличий этого объекта от данной платы. Понятно, что поскольку это электронное устройство не имеет отличий от самого себя, то информация полностью его описывающая будет равна только его энтропии, но только для данного робота. Для робота плата будет гораздо проще, чем маятник, который сильно от нее отличается. Таким образом, если попытаться абстрагироваться от субъекта восприятия, то объективная сложность (зависящая только от объекта) будет равна энтропии. Но, во-первых, такая трактовка будет отличаться от нашего интуитивного представления (плата все-таки сложнее! J), а, во-вторых, если эта «сложность» становится тождественной «энтропии», то для чего она нам нужна? Зачем нам два термина обозначающих одно и то же?

Я считаю, что целесообразней было бы считать сложностью тот объем информации, который необходим тому или иному субъекту (без отрыва от него) для описания объекта. Это могло бы выглядеть так: Сложность=К1*Энтропия+К2, где К1 и К2 - какие-то константы зависящие от способа обработки информации субъектом (скажем, людьми). Такая «сложность» не была бы тождественна энтропии, но находилась бы с ней в прямой зависимости - при увеличении энтропии увеличивается и сложность.

Теперь еще раз о том, какой энтропией пользоваться. Дадим три определения (одной и той же) энтропии (это именно разные определения одного и того же).
1) – мера неопределенности;
2) – объем информации необходимый для полного описания объекта за вычетом той информации, которая описывает этот объект в отсутствии всякой неопределенности. «Дополнительная» информация об изменениях.
3) – сложность объекта, в том случае если в отсутствии неопределенности его сложность равна нулю. «Минимальная» сложность.

Самое простое и ясное из них – первое, им и предлагаю пользоваться. Но если в анализе мы коснемся сложности или информации, то вспомним и об остальных определениях. Это одно и то же.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт сен 03, 2004 1:35 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
То, что сложность объекта может быть описана разными способами, и подход Колмогорова - не единственный - совершенно верно. В частности, в книге Юдиных, ссылку на которую я привёл выше, кроме определения по Колмогорову, даны ещё несколько других подходов к определению сложности.
Теперь об энтропии.
Приведённые три определения - действительно, одно и то же.
Существенно:
Цитата:
объем информации необходимый для полного описания объекта за вычетом той информации, которая описывает этот объект в отсутствии всякой неопределенности

С этим я согласен. Но для того, чтобы описать объект в отсутствии всякой неопределённости, тоже нужна информация ! И она тоже описывается по формуле Шеннона. Напимер, возмём несколько двоичных чисел:
а) 0
б) 1
в) 10
г) 1010
Здесь по формуле Шеннона числа а) и б) содержат в себе 1 бит информации
каждое, в) содержит два бита, г) содержит 4 бита информации. Но никакой неопределённости здесь нет ! Ноль есть ноль, единица есть единица, 1010 есть 1010 и т.д.
Аналогично, например, строение живых организмов может быть описано некоторой совокупностью символов, и, в конечном итоге, переведено в двоичные символы, и соотвественно, в шенноновские биты. Понятно, что для описания строения дождевого червя нужно меньше бит информации, чем для описания строения лягушки, а человек потребует ещё больше бит, чем лягушка. Но это всё будут детерминированные описания, никакой неопределённости здесь нет. У лягушки, как и у человека, не может быть или одно, или два, или три сердца.
Поэтому, кроме перечисленных Вами трёх определений энтропии, которые действительно синонимы, есть и качественно отличное понятие энтропии -
энтропия как количество информации, описывающей данный объект в отсутствии неопределённости.
Вывод: я считаю, что бессмысленно говорить об энтропии вообще, можно говорить об энтропии конкретно того, что мы описываем. В то же время практически общепринятым является мнение об энтропии как некой универсальной характеристике, отсюда и проистекают разные псевдозаконы типа "тепловой смерти Вселенной" и т.д. Вы критикуете эти представления, но тем не менее при этом следует, на мой взгляд, чётко определиться, что не может быть энтропии вообще, как не может быть, например, информации вообще, энергии вообще и т.д.


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт сен 03, 2004 2:14 pm 
Не в сети
Давний участник
Давний участник

Зарегистрирован: Вт авг 31, 2004 12:32 pm
Сообщения: 29
Откуда: Минск
Напишите, как по формуле Шеннона определить, что двоичное число 1010 содержит 4 бита информации?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт сен 03, 2004 2:27 pm 
Не в сети
Давний участник
Давний участник

Зарегистрирован: Вт авг 31, 2004 12:32 pm
Сообщения: 29
Откуда: Минск
Цитата:

"Энтропия — мера непредсказуемости. Это понятие Шеннон взял из статистической термодинамики. Пусть вероятность i-того символа алфавита, состоящего из n символов (мера частоты, с которой встречается символ во всех сообщениях языка), равна pi. Тогда информация одного символа:

(здесь идет "стандартная" формула, не знаю как вставить формулу)



(здесь log — логарифм по основанию 2).
Шеннон пишет: «Величина H играет центральную роль в теории информации в качестве меры количества информации, возможности выбора и неопределенности». Количество информации, передаваемое в сообщении, тесно связано с мерой неопределенности, или непредсказуемости передаваемых символов."

Из нее видно что информация по формуле Шеннона имеет именно тот смысл, на который я указал в предыдущем сообщении: объем информации необходимый для полного описания объекта за вычетом той информации, которая описывает этот объект в отсутствии всякой неопределенности. «Дополнительная» информация об изменениях.

И это то же самое что и "мера неопределенности".


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт сен 03, 2004 2:42 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Цитата:
Количество информации, передаваемое в сообщении, тесно связано с мерой неопределенности, или непредсказуемости передаваемых символов."

Первоначально теория информации разрабатывалась Хартли и Шенноном для целей анализа влияния случайных помех канала связи на передаваемое сообщение, что и отражает данная цитата. Тем не менее, известная формула
энтропии информации может использоваться и просто как измеритель количества информации, в том числе - чисто детерминированной информации, вне влияния какой-либо неопределённости. Например, двоичное число 0 содержит 1 бит информации. Это значит, что число равно конкретному детерминированному значению из двух в принципе возможных.
Анологично, и описание любых детерминированных объектов содержит некоторое количество информации, которое также оценивается в конечном итоге по формуле Шеннона.


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт сен 03, 2004 2:47 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Замечание. Формула может быть вставлена только как рисунок,
а рисунок должен быть размещён где-то на отдельном сайте. Так что просто так вставить формулу не получиться.


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн сен 06, 2004 1:47 pm 
Не в сети
Давний участник
Давний участник

Зарегистрирован: Вт авг 31, 2004 12:32 pm
Сообщения: 29
Откуда: Минск
Предположим, что в нашем микрорайоне расположена фабрика, гудок которой не замолкает не на секунду, и не меняется. С точки зрения теории информации, такой сигнал никакой информации не несет.

Хотя сам гудок можно описывать (тембр, громкость и т.д.) но эта информация не меняется, то есть мы ее и так знаем, ничего нового. В теории информации за передаваемую информацию принимается только та, о которой мы не знаем заранее. А объем информации, которой мы не знаем заранее, указывает на неопределенность сигнала, его энтропию.

Поэтому информация передаваемая безэнтропийным постоянным гудком равна нулю. И поэтому чем больше энтропия, тем больше передается информации (тем больше новостей).

Итак, информация определяемая в одноименной теории подходит под следующее определение: "объем информации необходимый для полного описания объекта за вычетом той информации, которая описывает этот объект в отсутствии всякой неопределенности. «Дополнительная» информация об изменениях. " А это определение, как Вы сказали, является синонимом " меры неопределенности".

Эта информация и энтропия потому вычисляются по одной формуле, что это одно и тоже. Можно сказать так: данный объем информации ("новости") является мерой неопределенности (новизны) сигнала.

Путаница о которой я писал в своих работах, вызвана не разночтением формулы Шеннона, а тем что она применяется к разным классам объектов ( микро- макро-уровни).

Итак, сложность общества в процессе эволюции увеличивается, а это значит что возрастает объем информации, которым оно описывается, и, следовательно, увеличивается его энтропия (на макроуровне).


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн сен 06, 2004 5:17 pm 
Цитата:
В теории информации за передаваемую информацию принимается только та, о которой мы не знаем заранее

Это не так. Формула Хартли-Шеннона описывает любую информацию. От неё пошли привычные нам понятия "бит" и "байт". Емкость файла столько-то килобайт или мегабайт - это количество информации, которое в нём содержится. В конечном счёте его перевести в биты. То, что описывает формула Хартли-Шеннона, и измеряется в битах.
Мера неопределённости ситуации - это уже другая область приложения данной формулы.
Что касается гудка - это аналоговый сигнал. Чтобы применить формулу Шеннона, то есть узнать, сколько в нём содержится бит информации - его нужно отцифровать. Иначе и формула неприменима.


Вернуться к началу
  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 110 ]  На страницу 1, 2, 3, 4, 5 ... 8  След.

Часовой пояс: UTC + 3 часа [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 9


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron






Powered by phpBB2
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB