conditional entropy

/kənˈdɪʃənl ˈɛntrəpi/ コンディショナル エントロピー

1. 確率変数Xの不確かさが、別の確率変数Yが与えられた場合にどれだけ残るかを示す情報理論の概念。

情報理論において、ある事象の不確かさが、関連する別の事象の情報がわかっているときにどれだけ減少するか、または残るかを示す概念です。データの依存関係を理解する際に利用されます。

The conditional entropy of X given Y measures the average uncertainty of X when Y is known. (Yが既知の場合のXの条件付きエントロピーは、Yが分かっている時のXの平均的な不確かさを測定します。)

• The conditional entropy of X given Y: 「Yが与えられた場合のXの条件付きエントロピー」を指します。情報理論における特定の尺度です。
• measures: 「測定する」という意味の動詞です。
• the average uncertainty: 「平均的な不確かさ」を意味します。
• of X: 「Xの」という意味で、不確かさの対象がXであることを示します。
• when Y is known: 「Yが既知であるとき」という意味で、条件がYが分かっている状態であることを示します。

Calculating conditional entropy is crucial in understanding the dependencies between random variables. (条件付きエントロピーの計算は、確率変数間の依存関係を理解する上で非常に重要です。)

• Calculating conditional entropy: 「条件付きエントロピーを計算すること」を指します。
• is crucial: 「非常に重要である」という意味です。
• in understanding: 「理解する上で」という意味です。
• the dependencies: 「依存関係」を意味します。
• between random variables: 「確率変数間での」という意味です。

High conditional entropy implies that knowing Y does not significantly reduce the uncertainty about X. (高い条件付きエントロピーは、Yを知っていてもXに関する不確かさが大幅に減少しないことを意味します。)

• High conditional entropy: 「高い条件付きエントロピー」を指します。
• implies: 「〜を意味する」「〜を暗示する」という意味の動詞です。
• that knowing Y: 「Yを知っていることが」という節の始まりです。
• does not significantly reduce: 「大幅に減少させない」という意味です。
• the uncertainty about X: 「Xに関する不確かさ」を意味します。

関連

• entropy
• mutual information
• information theory
• joint entropy
• relative entropy