在通讯系统中，一个离散信息源（discrete source）之输出字符的平均资讯量称为熵（entropy）。而熵编码是一种冗量信息源编码法（redundant source coding），使得资讯源之平均位元率等于熵。常用之哈富曼编码法（Huffman）即为一种熵编码，系利用出现机率较高之字符使用较短码之原理而设计，因此代表字符之码字（codeword），长度并非等常。