ReLU

/ˈriːluː/ レル―

1. 整流線形ユニット

ニューラルネットワークにおいて、入力が負の値であればゼロを出力し、正の値であればその値をそのまま出力する活性化関数です。これにより、モデルに非線形性を導入し、勾配消失問題を軽減する効果があります。

ReLU is widely used as an activation function in deep neural networks due to its computational efficiency. (ReLUはその計算効率の高さから、深層ニューラルネットワークで活性化関数として広く使用されています。)

• ReLU: 「Rectified Linear Unit（整流線形ユニット）」の略称です。
• is widely used: 広く使われています。
• as an activation function: 活性化関数として。
• in deep neural networks: 深層ニューラルネットワークにおいて。
• due to its computational efficiency: その計算効率の高さにより。

Unlike sigmoid, ReLU helps mitigate the vanishing gradient problem in deeper layers. (シグモイドとは異なり、ReLUは深い層での勾配消失問題を軽減するのに役立ちます。)

• Unlike sigmoid: シグモイドとは異なり。
• ReLU: 整流線形ユニットの略称です。
• helps mitigate: 軽減するのに役立ちます。
• the vanishing gradient problem: 勾配消失問題。
• in deeper layers: より深い層において。

The output of a ReLU function is zero for negative inputs. (ReLU関数の出力は、負の入力に対してはゼロになります。)

• The output: その出力。
• of a ReLU function: ReLU関数の。
• is zero: ゼロです。
• for negative inputs: 負の入力に対して。

Many state-of-the-art neural networks incorporate ReLU or its variants like Leaky ReLU. (多くの最先端のニューラルネットワークは、ReLUやLeaky ReLUのようなその派生形を取り入れています。)

• Many state-of-the-art: 多くの最先端の。
• neural networks: ニューラルネットワーク。
• incorporate: 取り入れています。
• ReLU: 整流線形ユニットの略称です。
• or its variants: またはその派生形。
• like Leaky ReLU: Leaky ReLUのように。

関連

• Activation Function
• Sigmoid
• Tanh
• Leaky ReLU
• Neural Network
• Deep Learning
• Machine Learning
• AI
• Gradient Descent
• Backpropagation