Tokenization

/ˌtoʊkənaɪˈzeɪʃən/ トークナイゼーション

1. テキストをトークンと呼ばれる最小単位に分割する処理。

自然言語処理（NLP）やコンピュータサイエンスの分野で、連続したテキストデータを、個々の単語、記号、句などの意味を持つ最小単位（トークン）に区切るプロセスを指します。これにより、機械がテキストを分析し、理解しやすくなります。

The first step in natural language processing is tokenization. (自然言語処理の最初のステップはトークン化です。)

• The first step: 最初の段階や工程を指します。
• in natural language processing: 自然言語処理という分野において、という意味です。
• is tokenization: それは「トークン化」である、という状態を表します。

Word tokenization separates a sentence into individual words. (単語のトークン化は、文を個々の単語に分割します。)

• Word tokenization: 「単語をトークン化する」という処理を指します。
• separates a sentence: 文を区分けする、分離するという意味です。
• into individual words: それぞれ独立した単語、という意味になります。

Punctuation marks are also considered tokens during tokenization. (句読点もトークン化の際にトークンとみなされます。)

• Punctuation marks: 文の区切りを示す記号（句読点）を指します。
• are also considered tokens: それらもトークンとして扱われる、という意味です。
• during tokenization: トークン化という工程が進行している間に、という意味です。

Different languages require different tokenization rules. (異なる言語では、異なるトークン化の規則が必要です。)

• Different languages: 世界中の様々な言語を指します。
• require: 何かを必要とする、求めるという意味です。
• different tokenization rules: それぞれの言語に応じた、独自のトークン化の規則を指します。

Tokenization is crucial for text analysis. (トークン化はテキスト分析にとって極めて重要です。)

• Tokenization: テキストをトークンに分解するプロセスを指します。
• is crucial: 極めて重要である、不可欠であるという意味です。
• for text analysis: テキストを分析する目的のために、という意味です。

2. 機密データを一意の識別子（トークン）に置き換えるセキュリティ技術。

クレジットカード番号や口座情報などの機密性の高い実際のデータを、ランダムに生成された、意味を持たない一意の識別子（トークン）に変換するセキュリティ手法です。これにより、実際のデータがシステム外に流出するリスクを大幅に低減できます。

Credit card tokenization enhances payment security. (クレジットカードのトークン化は決済セキュリティを強化します。)

• Credit card tokenization: クレジットカード情報をトークンに変換する技術を指します。
• enhances: 品質や能力などを高める、向上させるという意味です。
• payment security: 決済における安全性、確実性を指します。

The tokenization process replaces sensitive data with a non-sensitive equivalent. (トークン化プロセスは、機密データを非機密の等価物に置き換えます。)

• The tokenization process: トークン化という一連の手順や工程を指します。
• replaces sensitive data: 機密性の高い情報を別のものに差し替える、という意味です。
• with a non-sensitive equivalent: 機密性を持たない、しかし同じ価値を持つもの、という意味です。

After tokenization, the original card number is not stored in the merchant's system. (トークン化後、元のカード番号は加盟店のシステムには保存されません。)

• After tokenization: トークン化の処理が完了した後、という意味です。
• the original card number: 最初に発行された、本物のカード番号を指します。
• is not stored: 保管されていない、保存されていないという意味です。
• in the merchant's system: 商品やサービスを提供する事業者のシステム内、という意味です。

This method reduces the scope of PCI DSS compliance. (この方法は、PCI DSS準拠の範囲を縮小します。)

• This method: ここで述べられている特定の方式や手段を指します。
• reduces the scope: 影響範囲や適用範囲を小さくする、という意味です。
• of PCI DSS compliance: 決済カード業界データセキュリティ基準（PCI DSS）への適合、遵守を指します。

Tokenization is more secure than simple encryption in some scenarios. (トークン化は、いくつかのシナリオにおいて単純な暗号化よりも安全です。)

• Tokenization: 機密情報をトークンに置き換える技術を指します。
• is more secure: より安全である、という意味です。
• than simple encryption: 基本的な、または単純な暗号化よりも、という意味です。
• in some scenarios: 特定の状況や場面において、という意味です。

関連

• token
• tokenize
• segmentation
• parsing
• data security
• encryption
• NLP