web crawler

/wɛb ˈkrɔːlər/ ウェブクローラー

1. ウェブページを自動的に巡回し、情報を収集するプログラム。

インターネット上の膨大な情報を検索エンジンなどがデータベース化するために使用する、特定のルールに基づいてウェブサイトを巡回するソフトウェアを指します。

Search engines use web crawlers to index new content. (検索エンジンは新しいコンテンツをインデックス化するためにウェブクローラーを使用します。)

• Search engines: 検索エンジン。インターネット上の情報を検索するためのシステム。
• use: 使う、利用する。
• web crawlers: ウェブクローラー。インターネットを自動的に巡回するプログラム。
• to index: インデックス化するために。情報を見つけやすく整理すること。
• new content: 新しいコンテンツ、新しい情報。

A web crawler can be designed to gather specific data from websites. (ウェブクローラーは、ウェブサイトから特定のデータを収集するように設計することができます。)

• A web crawler: ウェブクローラー。
• can be designed: 設計することができる。
• to gather: 集めるために。
• specific data: 特定のデータ、特定の情報。
• from websites: ウェブサイトから。

Optimizing your site for web crawlers is crucial for SEO. (ウェブクローラーのためにサイトを最適化することは、SEOにとって非常に重要です。)

• Optimizing: 最適化すること。最も良い状態にすること。
• your site: あなたのサイト、あなたのウェブサイト。
• for web crawlers: ウェブクローラーのために。
• is crucial: 非常に重要である。
• for SEO: SEO（検索エンジン最適化）のために。ウェブサイトが検索エンジンの結果で上位に表示されるようにする取り組み。

Some websites block web crawlers to prevent data theft. (一部のウェブサイトはデータ盗難を防ぐためにウェブクローラーをブロックします。)

• Some websites: 一部のウェブサイト。
• block: 阻止する、ブロックする。
• web crawlers: ウェブクローラー。
• to prevent: 防ぐために。
• data theft: データ盗難、情報の不正取得。

2. インターネット上のデータを自動的に収集する仕組みやプロセス。

ウェブ上の情報を自動的に巡回・収集する技術やその行為全般を指すこともあります。検索エンジンのクローラーはその典型例です。

The efficiency of a web crawler greatly impacts search results. (ウェブクローラーの効率は、検索結果に大きく影響します。)

• The efficiency: 効率。無駄なく物事をこなす能力。
• of a web crawler: ウェブクローラーの。
• greatly impacts: 大きく影響する。
• search results: 検索結果。

Understanding how a web crawler works is important for web developers. (ウェブクローラーがどのように機能するかを理解することは、ウェブ開発者にとって重要です。)

• Understanding: 理解すること。
• how a web crawler works: ウェブクローラーがどのように機能するか。
• is important: 重要である。
• for web developers: ウェブ開発者にとって。

Many companies utilize web crawlers for market research. (多くの企業が市場調査のためにウェブクローラーを利用しています。)

• Many companies: 多くの企業。
• utilize: 利用する、活用する。
• web crawlers: ウェブクローラー。
• for market research: 市場調査のために。

New regulations aim to control how web crawlers collect personal data. (新しい規制は、ウェブクローラーが個人データを収集する方法を管理することを目指しています。)

• New regulations: 新しい規制、新しい規則。
• aim to control: 制御することを目的としている。
• how web crawlers collect: ウェブクローラーがどのように収集するか。
• personal data: 個人データ、個人情報。

関連

• spider
• bot
• indexer
• search engine
• scraping
• data mining