lexical analyzer

/ˈlɛksɪkəl ˈænəlaɪzər/ レキシカルアナライザー

1. ソースコードを最小単位の「トークン」に分解するコンパイラの構成要素。

プログラミング言語で書かれたソースコードを読み込み、意味を持つ最小単位の要素（キーワード、識別子、演算子など）であるトークンに分解する役割を果たすコンパイラの主要部分です。これにより、次の段階である構文解析（パーシング）が可能になります。

The lexical analyzer is the first phase of a compiler. (字句解析器はコンパイラの最初の段階です。)

• The lexical analyzer: 「字句解析器」を指します。コンパイラの初期段階でソースコードをトークンに分解するプログラムの部品です。
• is: 「～である」という状態を表す動詞です。
• the first phase: 「最初の段階」という意味で、一連の処理の中で最初に行われる部分を指します。
• of a compiler: 「コンパイラの」という意味で、プログラミング言語を機械語などに変換するプログラムの全体を示します。

It transforms a stream of characters into a stream of tokens. (それは文字のストリームをトークンのストリームに変換します。)

• It: 前に出た「lexical analyzer」（字句解析器）を指す代名詞です。
• transforms: 「～を変換する」という意味の動詞です。
• a stream of characters: 連続した文字の並びを指します。ここではソースコードのテキストを意味します。
• into: 「～に（変換する）」という変化の結果を示す前置詞です。
• a stream of tokens: 連続したトークンの並びを指します。字句解析によって生成される意味のある最小単位の集合です。

Errors like misspelled keywords are detected by the lexical analyzer. (スペルミスのキーワードのようなエラーは、字句解析器によって検出されます。)

• Errors: 「誤り」や「間違い」を意味します。
• like misspelled keywords: 「スペルミスのあるキーワードのような」という意味で、具体的なエラーの例を示しています。
• are detected: 「検出される」という受動態の表現で、エラーが見つけられることを意味します。
• by the lexical analyzer: 「字句解析器によって」という意味で、エラーを検出する主体が字句解析器であることを示します。

関連

• compiler
• parser
• token
• syntax analyzer
• semantic analyzer
• front end