Differential entropy

rdf:langString Дифференциальная энтропия

rdf:langString Дифференциальная энтропия — функционал, заданный на множестве абсолютно непрерывных распределений вероятностей, формальный аналог понятия информационной энтропии Шеннона для случая непрерывной случайной величины. В теории информации функционал был эвристически введён К. Шенноном, однако он не является автором термина «дифференциальная энтропия». Сам термин был введён А. Н. Колмогоровым совместно с И. М. Гельфандом и А. М. Ягломом и подчёркивает то, что данное понятие имеет иной смысл, нежели энтропия дискретных распределений. Ими же получен строгий вывод дифференциальной энтропии как первого члена асимптотического разложения энтропии, в котором проявляется зависимость от распределения случайной величины. Для непрерывной случайной величины , распределённой на, дифференциальная энтропия определяется как , где — плотность распределения случайной величины (или сигнала непрерывного источника как случайной величины). Выбор основания логарифма в этой формуле (оно должно быть больше 1) определяет единицу измерения соответствующего количества информации. Так, в теории информации часто используют двоичный логарифм, что соответствует единице количества информации бит, а функционал интерпретируется как средняя информация непрерывного источника. В математической статистике в определении дифференциальной энтропии по соображениям удобства обычно используют натуральный логарифм (соответствующая единица нат), функционал интерпретируется как мера неопределённости непрерывного распределения. Дифференциальная энтропия неинвариантна по отношению к преобразованиям координат случайной величины и не имеет самостоятельного смысла (имеет неинтерпретируемое числовое значение). Более того, если случайная величина имеет размерность, то функционал дифференциальной энтропии будет некорректен с точки зрения размерности, поскольку под знаком логарифма оказывается размерная величина. Однако разность дифференциальных энтропий двух случайных величин, распределённых на одном множестве, является корректной, причём безразмерной величиной и совпадает с разностью их энтропий. Поскольку энтропия любой непрерывной случайной величины бесконечна, при взятии разности энтропий нужно раскрыть неопределённость, используя асимптотическое разложение. Таким образом, возможность выражать дифференциальную энтропию в битах (или других единицах) довольно условна: ситуация здесь подобна измерению температуры в градусах Цельсия, которые, хотя и совпадают по величине с кельвинами, не являются абсолютной шкалой температуры, а имеют относительно неё некоторый сдвиг (по этой причине дифференциальная энтропия, как и температура по шкале Цельсия, может быть отрицательной). Отличие состоит в том, что в случае с дифференциальной энтропией этот сдвиг является бесконечным по отношению к абсолютной шкале, определяемой значениями энтропии. Т.е. абсолютную шкалу для энтропии непрерывных распределений нельзя выбрать, но с помощью дифференциальной энтропии можно сравнивать энтропии различных распределений. В некоторых источниках дифференциальную энтропию распределения интерпретируют как его энтропию относительно энтропии равномерного распределения на промежутке единичной длины, поскольку последнее имеет равную нулю дифференциальную энтропию. Нужно заметить, что такой подход не вполне корректен, так как энтропия в непрерывном случае зависит от того, каким образом шаг дискретизации при разбиении промежутка стремится к нулю. Лишь в случае, когда рассматривается один и тот же промежуток, можно считать, что при вычислении энтропии используется одинаковая его дискретизация для каждого из распределений, тогда разность энтропий стремится к конечному пределу. В общем случае (при произвольной дискретизации) разность энтропий непрерывных случайных величин не стремится ни к какому пределу.