Lexical analysis

/ˈlɛksɪkəl əˈnæləsɪs/ レキシカル アナリシス

1. プログラミング言語のコンパイラやインタープリタにおいて、ソースコードを構成する文字の並びを、意味を持つ最小単位である「トークン」に分解するプロセス。

コンパイラの最初の段階であり、入力されたソースコードを、予約語、識別子、定数、演算子などのトークンに変換します。この段階でコメントや空白文字は通常無視されます。

Lexical analysis is the first phase of a compiler. (字句解析はコンパイラの最初の段階です。)

• Lexical analysis: プログラミング言語のソースコードをトークンに分解するプロセス。
• is: 「～である」という状態を表す動詞。
• the first phase: 「最初の段階」という意味。
• of: 「～の」という所有や関連を示す前置詞。
• a compiler: プログラムを機械語に変換するソフトウェア。

During lexical analysis, comments and whitespace are typically ignored. (字句解析中、コメントと空白文字は通常無視されます。)

• During: 「～の間」という期間を示す前置詞。
• lexical analysis: 字句解析のプロセス。
• comments: プログラム中に記述される説明文。
• and: 「～と」という接続詞。
• whitespace: プログラム内のスペース、タブ、改行などの見えない文字。
• are: 「～である」という状態を表す動詞（be動詞の複数形）。
• typically: 「通常」「一般的に」という意味の副詞。
• ignored: 「無視される」という意味の動詞の過去分詞形。

The output of lexical analysis is a stream of tokens. (字句解析の出力はトークンのストリームです。)

• The output: 「出力」という意味。
• of: 「～の」という所有や関連を示す前置詞。
• lexical analysis: 字句解析のプロセス。
• is: 「～である」という状態を表す動詞。
• a stream: 「流れ」「連続したデータ」という意味。
• of tokens: 意味を持つ最小単位の列。

関連

• tokenization
• scanner
• lexer
• parsing
• syntax analysis
• compiler