mutual information

[mjuːtʃuəl ɪnfəˈmeɪʃn] ミューチュアル インフォメーション

1. 二つの事象が互いにどの程度依存しているかを表す情報理論の尺度。

情報理論における重要な概念で、2つの確率変数がどれだけ関連しているか、または一方が他方の不確実性をどれだけ減少させるかを示します。主に機械学習や通信理論で用いられます。
Mutual information is a measure of the mutual dependence between two random variables. (相互情報量は、2つの確率変数の間の相互依存性の尺度です。)
関連
conditional entropy
Bayesian inference