Четкой теории информации - нет, так что спор бессмысленен.
Согласен.
Вадим писал(а):
Начнём с того, что бит это не способ, а единица измерения информации.
Это способ измерения данных.
Вадим писал(а):
Но количество информации, считанное с диска, от интерпретации не зависит.
Данных, а не информации. Даже термин используется не information, а data... и База данных (Data base) отсюда же... Компьютеры работают с данными. Правда в русском это почему-то смазалось, но... это так.
Вобщем, информация - это мера воздействия на неопределенность, НО воздействие битового ответа на вопрос "Вася дома? (Да/Нет)" влияет на неопределенность по разному в зависимости от ответа. Ответ "Да" снимает неопределенность полностью, ответ "Нет" лишь снижает ее... Причем степень снижения зависит от количества мест, где может быть Вася. Кроме того, есть еще ответ "Незнаю" (вообще не имеющий выражения в двоичной логике или двоичном бите)...
Данных, а не информации. Даже термин используется не information, а data... и База данных (Data base) отсюда же... Компьютеры работают с данными. Правда в русском это почему-то смазалось, но... это так.
Вобщем, информация - это мера воздействия на неопределенность, НО воздействие битового ответа на вопрос "Вася дома? (Да/Нет)" влияет на неопределенность по разному в зависимости от ответа. Ответ "Да" снимает неопределенность полностью, ответ "Нет" лишь снижает ее... Причем степень снижения зависит от количества мест, где может быть Вася. Кроме того, есть еще ответ "Незнаю" (вообще не имеющий выражения в двоичной логике или двоичном бите)...
Бит - это единица измерения информации и энтропии. Бит равен величине информации, полученной при срабатывании события с двумя равновероятными состояниями.
Способ измерения - это, например, вычисления минус логарифма по основанию двойки от априорной вероятности события.
Если взять натуральный логарифм, то получится другая единица измерения - нат. Если три - получается трит. Если взять десятичный, то получится хартли. Существенная часть - логарифм.
Это к вопросу о способе измерения и единице измерения.
Дальше. Поскольку такой способ измерения предполагает наличие априорной информации, зададимся вопросом - откуда она появляется. Очевидно - из измерений состояния системы.
Если мы точно знаем, дома Вася или нет в каждый конкретный момент, то априорная вероятность ответа "Вася дома" в тот момент времени, когда Вася таки дома, равна единице, ответ "Вася дома" несёт ровно ноль бит информации. Вероятность равна единице, логарифм равен нулю. При наличии полной информации о системе измерения не несут больше информации. Иными словами, вся информация о системе "квартира васи", которую можно получить по протоколу "Вася дома? (да/нет)", уже полностью скопирована в память наблюдателя.
Но это уже конечный результат - всю информацию уже скопировали. Рассмотрим промежуточную ситуацию - мы не обладаем точной информацией, но что-то знаем. Допустим, что Вася парализованный инвалид, и мы знаем, что его вывозят на процедуры раз в году на три часа, причём расписаниие процедур равномерно случайно (с нашей точки зрения наблюдателя), тогда априорная вероятность (с точки зрения наблюдателя) встретить Васю дома равна 1-3/(365*24) и приблизительно равна 0.999657534246575342465753424657534. Информация (уменьшение неопределённости), полученная от ответа "Вася дома" равна приблизительно 0.0004941582651118578488951133495 бит. Или 0.0001487564604039430381873257519 хартли.
То есть если мы уже обладаем информацией (информация в нашей памяти коррелирует с информацией о системе), то скорее всего дополнительная информация может быть маленькой, но уже больше нуля.
Конкретная информация от ответа "Васи нет дома" может быть и больше одного бита. Это величина вероятностная и часто вместо неё используют её же усреднённое значение. Предположим, что этот Вася не просто Вася, а Вася Маклауд из клана Маклаудов, и живёт вечно. Тогда можно каждый раз делать замеры и определять накапливающуюся информацию. Большое значение "Васи нет дома" компенсируется тем, что этот ответ встречается редко. Усреднённая информация о событии уже называется энтропией.
Легко понять, что по мере увеличения информации о системе, скаченной в нашу (наблюдателя) память, каждый новый сигнал, в среднем, будет добавлять всё меньше новой информации, в предельном случае она станет равна нулю, после того, как мы точно узнаем алгоритм поведения системы "Вася в квартире".
Теперь зададимся вопросом - а что было в начале? В начале, когда наша память и состояние системы "квартира Васи" абсолютно некоррелированы. У нас нет никакой априорной информации о Васе. Всё, что мы знаем, это то, что согласно протоколу, состояния могут принимать только одно из двух возможных значений - "Вася дома" и "Вася не дома". Угадайте, чему равна информация, несомая самым первым ответом "Вася дома"? Правильно, поскольку у нас нет абсолютно никакой информации о распределении ответов, мы должны считать их априори равновероятными, у нас нет никакой информации для того, чтобы предпочесть один ответ другому. Вероятность - одна вторая, минус логарифм по основанию двойки от одной второй - единица. Один бит. И если первый ответ будет "Вася не дома", то он тоже будет нести один бит.
Вернёмся теперь к диску. Предположим, что у нас на диске хранятся десять битов данных (вот такой маленький диск). Протокол позволяет нам узнать, установлен ли бит под номером N, получив ответ "Да/Нет".
Рассмотрим опять финальную стадию - мы точно знаем, что все биты в диске равны нулю. Тогда сколько бы мы ни считывали информацию о байтах, мы не получим больше ничего. Наше знание о том, что все биты данных равны нулю эквивалентно тому, что мы скопировали всю информацию с диска в нашу память.
Промежуточная стадия - мы знаем состояние бита данных №1 - он равен нулю. Про остальные нам ничего не известно. Первое считывание бита данных №1 дало нам один бит информации. Повторное считывание бита данных №1 не несёт дополнительной информации. Остальные - несут. Каждый, в зависимости от того, что мы знаем о этой последовательность бит.
Легко заметить, что максимальный усреднённый объём информации из диска получается, когда информация там нам не извесна и мы не в состоянии предположить никакую зависимость между битами данных, чтобы начать предугадывать априорную вероятность следующего бита данных по предыдущим. Мы как бы начинаем каждый новый бит данных с нулевого знания о нём (любое априорное знание уменьшает информацию). Нулевое априорное знание и измерение одного из двух возможных состояний даёт один бит. Собственно, биты данных поэтому так и называются. Измерение каждого даёт максимум один бит.
Иными словами, максимум полученной информации достигается, если последовательность из этих десяти битов данных некомпрессируема (обладает максимальной энтропией, говоря языком Больцмана - находится в термодинамическом равновесии) и нам не известна.
Чему же равна максимальная информационная ёмкость диска из десяти битов данных? Десяти битам информации. И абсолютно не зависит от наблюдателя. Потому что зависимость от наблюдателя компенсируется требованием того, что максимальная ёмкость достигается когда данный конкретный наблюдатель ничего об информации на диске не знает. Для меня это будет одна последовательность битов данных, для вас - другая. Но максимальная инфомация, которую и я и вы сможем получить с такого диска - десять бит информации.
WingLion писал(а):
Информацию прекрасно меряют... Только не всю подряд, а профильтрованную, по признаку - надо/ненадо...
на винчестере 750Gb информации
Информацию прекрасно меряют. Это минус логарифм априорной вероятности события.
В системе "источник информации - протокол получения информации - приёмник информации со своей памятью" также прекрасно меряется информация, полученная из источника (зависит от состояния памяти приёмника и от протокола. От так называемой интерпретации).
В системе "носитель информации - протокол получения информации" - прекрасно меряется максимальная информационная ёмкость. От приёмника максимальная информационная ёмкость не зависит. С IDE диска объёмом 750GB можно считать максимум 750GB максимально скомпрессированной информации по протоколу IDE.
И что самое интересное, максимальную информационную ёмкость можно замерять и просто для конкретного носителя. Вне зависимости от протокола. И получается, что максимальная информация которую можно записать на "винчестере" зависит только от массы и не зависит от того, каким образом информация закодирована (магнитными доменами или отдельными кварками)! Правда, для достижения максимальной ёмкости, этот винчестер нужно будет сжать. До пересечения шварцшильдовского радиуса. Абсолютная информационная ёмкость винчестера пропорциональна поверхности горизонта событий чёрной дыры с массой, равной массе винчестера. Так что покупайте тяжёлые винчестеры, они потенциально более вместительны
Правда такие "максимизированные" винчестеры будут достаточно быстро "испаряться" в Хокинсковское излучение.
Последний раз редактировалось: Вадим (Пн, 20 Окт, 2008 06:26), всего редактировалось 1 раз
Абсолютная информационная ёмкость винчестера пропорциональна поверхности горизонта событий чёрной дыры с массой, равной массе винчестера. Так что покупайте тяжёлые винчестеры, они потенциально более вместительны Smile
Правда такие "максимизированные" винчестеры будут достаточно быстро "испаряться" в Хокинсковское излучение.
Ох уж эти сказочки! ох уж эти СКАЗОЧНИКИ! (с)... _________________ Говорят, что добро - это свет,
а зло - это тьма.
Но, каждый физик знает,
что Солнце - это абсолютно черное тело.
А абсолютно белое тело никогда не излучает
и не поглощает свет.
Оно может только отражать чужой...
Надеюсь, что этот поток сознания хоть кто-то поймёт. У меня уже ночь на дворе, и я уже сам не понимаю, что написал. Похоже, я попытался с помощью "Васи дома" доказать одно из свойств энтропии - максимум достигается при равновероятном распределении. Прошу меня простить за сумбур, кто хочет знать настоящее доказательство должен читать работы Клода Шенона.
WingLion, это не я, честное слово, это Стив Хокинг из Кэмбриджа и Хуан Малдасена из принстонского университета. Я только перепеваю вслед за великими сказочникам.
Хокинг - известный сказочник - ему заняться нечем, вот он и считает
чертей на кончике иглы методами, которые никто кроме него самого
не понимает. Журналистам же плевать на истину, они только сенсации
ищут, а Хокинг им умело подыгрывает, потому и раздута эта компания
про Чермые Дыры, только вот, не всякому давно понять, что они есть
почти точная копия Неуловимого Джо, который неуловим потому что
нафиг никому не нужен. А ЧД не обнаружены, по тий же причине,
по какой не обнаружено Бабы Яги. Ну, нету их! Сказочки все! _________________ Говорят, что добро - это свет,
а зло - это тьма.
Но, каждый физик знает,
что Солнце - это абсолютно черное тело.
А абсолютно белое тело никогда не излучает
и не поглощает свет.
Оно может только отражать чужой...
WingLion, как известно, необнаружение чего-то не обозначает отсутствие чего-то. Если не становиться на позицию солипсизма. И уж тем более, если речь идёт об объектах, принципиально обнаружимыми только по косвенным признакам. Да и чёрными дырами не только Хокинг занимается. Достаточно многих учёных проверяют его выкладки. Те же Сасскинд и Хоофт (нобелевка 1999). И излучение Хокинга до сих пор никто не опровергнул. Так что не надо воду мутить. Даже если чёрных дыр и нету, то они всё равно представляют собой великолепный "теоретический" объект для мысленных экспериментов, из которых растут многие новые космологические теории. _________________ If I sit the way other people do, my reasoning ability drops by 40 percent.
Да, обычным человеческим восприятием сверъестественного не увидеть. Может, это и к лучшему: 99% людей просто бы сошло с ума. И даже не знаю, какое число из сохранивших рассудок смогло бы влиять.
Вадим, понятное дело в звезде никакой ДНК быть не может.
ДНК - это реализация "средство для превращения всех звезд в разумные" на уровне биологических структур. У Головачева еще "скромнее": разумны системы черных дыр и звезд. А что представляет описанный тамже Конструктор - вообще простор для фантазии. Теже Сеятели и Чужане кажутся едва ли не родственниками людей.
Даже если чёрных дыр и нету, то они всё равно представляют собой великолепный "теоретический" объект для мысленных экспериментов, из которых растут многие новые космологические теории.
Тем более, что доказана незначимость изначальной аксиоматики для верных выводов. При правильных методах преобразования из любой начальной точки (т.е. аксиоматики) можно получить верное (наблюдаемое или нет) заключение
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете голосовать в опросах Вы не можете вкладывать файлы Вы можете скачивать файлы
Прошу меня простить за сумбур, кто хочет знать настоящее доказательство должен читать работы Клода Шенона.
