Каковы разновидности условий энтропии дискретного источника сообщений?

Условия энтропии дискретного источника сообщений могут быть различными в зависимости от контекста и задачи, которую мы рассматриваем. Одним из наиболее распространенных условий является условная энтропия.

Условная энтропия определяется как энтропия сообщений, при условии, что нам известна некоторая информация о предыдущих сообщениях или о состоянии источника. Формально, условная энтропия H(X|Y) между двумя случайными переменными X и Y определяется следующим образом:

H(X|Y) = - Σ...