Kullback-Leibler divergence

[ˌkʊlbæk ˈlaɪblər daɪˈvɜːrdʒəns] カルバック・ライブラー ダイバージェンス

1. 2つの確率分布の間の差異を測る尺度。

カルバック・ライブラー情報量(KLダイバージェンス)は、統計学や情報理論で使われる、2つの確率分布がどれだけ異なるかを測るための指標です。特に機械学習では、モデルの予測分布と実際の分布との違いを評価するためによく用いられます。
Kullback-Leibler divergence is a measure of the difference between two probability distributions. (カルバック・ライブラー情報量は、2つの確率分布の間の差異を測る尺度です。)
関連
probability distribution
cross-entropy