cross-entropy

ˈkrôsˌentrəpē クロスエントロピー

1. 2つの確率分布間の類似度や予測誤差を測る尺度。特に機械学習の分類問題でモデルの予測が真の分布とどれだけ異なっているかを測る損失関数として用いられる。

情報理論において、ある確率分布が別の確率分布をどれだけうまく近似しているかを示す指標です。特に、機械学習の分類問題でモデルの予測が真の分布とどれだけ異なっているかを測る損失関数として広く用いられます。

Cross-entropy loss is commonly used for classification problems in machine learning. (交差エントロピー損失は、機械学習の分類問題で一般的に使用されます。)

• Cross-entropy loss: 交差エントロピー損失。機械学習における損失関数の一種を指します。
• is commonly used: 一般的に使われる、という意味です。
• for classification problems: 分類問題のために、という意味です。
• in machine learning: 機械学習において、という意味です。

Minimizing cross-entropy helps to make the predicted distribution closer to the true distribution. (交差エントロピーを最小化することは、予測分布を真の分布に近づけるのに役立ちます。)

• Minimizing: 最小化すること、という意味です。
• cross-entropy: 交差エントロピー。情報理論の概念です。
• helps to make: ～するのに役立つ、という意味です。
• the predicted distribution: 予測された分布、という意味です。
• closer to: ～により近い、という意味です。
• the true distribution: 真の分布、という意味です。

In deep learning, cross-entropy is often the preferred loss function for multi-class classification. (ディープラーニングでは、交差エントロピーは多クラス分類の損失関数としてしばしば好まれます。)

• In deep learning: ディープラーニングにおいて、という意味です。
• cross-entropy: 交差エントロピー。
• is often the preferred: しばしば好まれる、という意味です。
• loss function: 損失関数。モデルの誤差を評価する関数です。
• for multi-class classification: 多クラス分類のために、という意味です。

関連

• Entropy
• Kullback-Leibler divergence
• Information theory
• Loss function
• Machine learning
• Classification