克勞德·香農(nóng)（Claude Shannon）在1948年發(fā)表的著名論文中引入了熱力學的一個概念熵，根據(jù)平均概率定量報文所含信息的期望值。信息論中的熵又被稱為香農(nóng)熵。在通用通信系統(tǒng)中使用香農(nóng)熵沒有什么錯誤，因為數(shù)據(jù)流的特性會迅速收斂于統(tǒng)計平均。但如果將香農(nóng)熵應用于密碼學，則大錯特錯，因為密碼學真正關心的不是平均情況，而是最壞情況。

密碼破譯者只需要文本加密和未加密版本的一個可靠的相關性就可以推斷其它的相關性。MIT和愛爾蘭國立大學的研究人員在信息論國際 研討會上發(fā)表論文（PDF）指出了香農(nóng)熵應用于密碼學的缺陷。在另一篇研究報告中，研究人員稱一些加密方案沒有我們想象的安全。