📅 最終更新日: 2026-04-08
📌 この記事のポイント（30秒で理解）
- robots.txt：1994年誕生の「門番」。クローラーのアクセスを許可/禁止する制御ファイル
- llms.txt：2024年誕生の「案内人」。AIに重要コンテンツを優先案内するナビゲーションファイル
- 関係性：競合しない。robots.txtで許可したコンテンツの中で、llms.txtが優先度を案内
- 実装順序：robots.txt（必須）→ llms.txt（推奨）の順で設置
- AIブロック：AIクローラーのブロックはrobots.txtで行う（llms.txtにブロック機能はない）
🏢 ビルに例えると...
robots.txt = 正面玄関の警備員（門番）
「この階は立入禁止」「あの部屋は撮影禁止」と、どこに入れるか/入れないかを指示します。
llms.txt = 館内案内係（案内人）
「重要な会議室は3階です」「資料室はここです」と、入れる場所の中でどこが重要かを案内します。
両者は協力関係にあり、警備員が許可した範囲内で案内係がガイドします。
robots.txtとllms.txtの概要
ウェブサイトを運営していると、「クローラーにどう対応すべきか」という問題に直面します。従来はrobots.txtだけで十分でしたが、AI時代には新たなファイル「llms.txt」が登場しました。
🚧 robots.txt
- 誕生：1994年（30年以上の歴史）
- 目的：クローラーのアクセス制御
- 役割：「ここは見てOK」「ここは禁止」
- 形式：独自のテキスト形式
- 対象：すべてのクローラー
- サポート：全主要検索エンジンが対応
📋 llms.txt
- 誕生：2024年9月（Jeremy Howard氏提唱）
- 目的：AIへのコンテンツ案内
- 役割：「ここが重要」「ここを優先して読んで」
- 形式：Markdown形式
- 対象：LLM/AIクローラー
- サポート：公式サポートは未発表（将来性あり）
詳細比較表
| 比較項目 | robots.txt | llms.txt |
|---|---|---|
| 誕生年 | 1994年 | 2024年 |
| 提唱者/標準化 | Martijn Koster氏（RFC 9309で標準化） | Jeremy Howard氏（llmstxt.org） |
| 主な機能 | アクセス許可/禁止（Allow/Disallow） | 優先コンテンツの案内（リンクリスト） |
| ファイル形式 | 独自テキスト形式 | Markdown形式 |
| 設置場所 | /robots.txt（ルート固定） | /llms.txt（ルートまたはサブパス） |
| ブロック機能 | ✅ あり（Disallow） | ❌ なし |
| クロール頻度指定 | ✅ あり（Crawl-delay） | ❌ なし |
| サイトマップ指定 | ✅ あり（Sitemap:） | ❌ なし（コンテンツ案内のみ） |
| 対象クローラー | すべて（User-agentで指定） | LLM/AI特化 |
| 採用率 | ほぼ100% | 5〜15% |
| 公式サポート | Google、Bing、全主要エンジン | 未発表（Anthropicは自社実装） |
💡 重要な違い
robots.txtは「禁止リスト」を作成するファイルですが、llms.txtは「推薦リスト」を作成するファイルです。robots.txtで禁止されていないコンテンツの中で、llms.txtが「特にこれを読んで」と案内します。
robots.txtは「禁止リスト」を作成するファイルですが、llms.txtは「推薦リスト」を作成するファイルです。robots.txtで禁止されていないコンテンツの中で、llms.txtが「特にこれを読んで」と案内します。
robots.txt完全解説
基本構文
/robots.txt
# すべてのクローラーに対する設定
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
# Googlebotに対する設定
User-agent: Googlebot
Allow: /
Crawl-delay: 1
# AI学習用クローラーをブロック
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: PerplexityBot
Disallow: /
# サイトマップの場所
Sitemap: https://example.com/sitemap.xml主要なAIクローラーのUser-agent
| AI/サービス | User-agent | 目的 |
|---|---|---|
| OpenAI（ChatGPT） | GPTBot | AIトレーニング |
| OpenAI（ChatGPT Search） | ChatGPT-User | リアルタイム検索 |
| Anthropic（Claude） | ClaudeBot | AI開発 |
| Perplexity | PerplexityBot | AI検索 |
| Google（AIトレーニング） | Google-Extended | Geminiトレーニング |
| Meta | FacebookBot | AIトレーニング |
| Common Crawl | CCBot | データセット構築 |
robots.txtでできること・できないこと
✅ robots.txtでできること
- 特定のクローラーのアクセスをブロック
- 特定のディレクトリ/ファイルへのアクセスを禁止
- クロール頻度の指定（Crawl-delay）
- サイトマップの場所を通知
❌ robots.txtでできないこと
- 強制力のあるブロック（善意のクローラーのみ従う）
- すでにインデックスされたページの削除
- コンテンツの優先度付け（llms.txtの役割）
- ページ内の特定部分のみをブロック
llms.txt完全解説
基本構文
/llms.txt
# サイト名
> サイトの簡潔な説明（1〜2文）
サイトの詳細説明。提供するサービスや
特徴をここに記述します。
## 主要コンテンツ
- [トップページ](https://example.com/): サイト概要
- [サービス紹介](https://example.com/services): 提供サービス一覧
- [料金プラン](https://example.com/pricing): 各プランの詳細
## ドキュメント
- [APIリファレンス](https://example.com/api/docs): API仕様書
- [チュートリアル](https://example.com/tutorial): 使い方ガイド
## ブログ
- [最新記事](https://example.com/blog/latest): 最新のブログ記事llms.txtの役割
llmstxt.orgの公式説明によると：
📋 公式サイトの説明
「サイトマップがすべてのページを検索エンジン向けにリストするのに対し、llms.txtはLLM向けにキュレーションされた概要を提供します。robots.txtで許可されたコンテンツに対してコンテキストを提供することで、robots.txtを補完します。」
「サイトマップがすべてのページを検索エンジン向けにリストするのに対し、llms.txtはLLM向けにキュレーションされた概要を提供します。robots.txtで許可されたコンテンツに対してコンテキストを提供することで、robots.txtを補完します。」
llms.txtの現状と将来性
2026年3月時点での現状を正直にお伝えします：
- 公式サポート：OpenAI、Google、Anthropicは正式サポートを未発表
- 実際の利用：Adobe調査では、GPTBot/ClaudeBot/PerplexityBotによるllms.txtへのアクセスは確認されず
- ただし：Anthropic自身が自社サイトにllms.txtを設置しており、将来的な採用に前向きな姿勢
- 普及率：5〜15%（技術先進企業が中心）
ユースケース別の使い分け
ケース1：AIトレーニングをブロックしたい
使用ファイル：robots.txt
# AI学習用クローラーをブロック
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /ケース2：AIに優先的に読んでほしいページがある
使用ファイル：llms.txt
# サイト名
> サイト説明
## 優先コンテンツ
- [製品ガイド](URL): 最も重要な製品情報
- [価格表](URL): 最新の料金体系ケース3：AI検索には対応したいが、トレーニングは拒否したい
両方を使用
robots.txtでAIトレーニング用クローラーをブロックしつつ、AI検索用クローラー（ChatGPT-Userなど）は許可。llms.txtで重要コンテンツを案内。
/robots.txt
# トレーニング用をブロック
User-agent: GPTBot
Disallow: /
# 検索用は許可
User-agent: ChatGPT-User
Allow: /ケース4：すべてのAI活用を歓迎
両方を設置
robots.txtで全クローラーを許可し、llms.txtで優先コンテンツを明示的に案内。
両方を設置する実践ガイド
推奨される実装順序
- robots.txtの確認/設置（必須）
- 既存のrobots.txtを確認
- 必要に応じてAIクローラーの設定を追加
- サイトマップの指定を確認
- llms.txtの作成（推奨）
- サイトの重要ページをリストアップ
- Markdown形式で記述
- ルートディレクトリに設置
- 動作確認
- 両ファイルにブラウザからアクセスできることを確認
- robots.txtテスターで構文チェック
💡 ベストプラクティス
- robots.txtは必ず設置（30年以上の標準）
- llms.txtは将来への投資として追加
- 両ファイルは独立しているため、片方の変更が他方に影響しない
- 定期的に内容を見直し、新しいページを追加
よくある質問（FAQ）
robots.txtとllms.txtは競合しますか？
競合しません。robots.txtはアクセス制御（許可/禁止）を担当し、llms.txtはコンテンツナビゲーション（優先案内）を担当します。両方を設置することで、クローラー制御とAI向け案内の両方を実現できます。
llms.txtがあればrobots.txtは不要ですか？
いいえ、両方必要です。robots.txtはGoogle、Bing、AIクローラーのアクセス制御に不可欠です。llms.txtはrobots.txtで許可されたコンテンツの中で、どれを優先的に読むべきかを案内する補完的な役割を果たします。
AIクローラーをブロックするにはどちらを使いますか？
AIクローラーのブロックにはrobots.txtを使用します。例えば、GPTBot、ClaudeBot、PerplexityBotなどをUser-agentで指定し、Disallowディレクティブでブロックできます。llms.txtにはブロック機能はありません。
どちらを先に設置すべきですか？
robots.txtを先に設置してください。robots.txtは30年以上の歴史を持つ標準であり、Googleを含むすべての主要クローラーがサポートしています。llms.txtは将来への投資として追加で設置することを推奨します。
llms.txtでAIトレーニングを禁止できますか？
llms.txtにはトレーニング禁止の機能はありません。AIトレーニング用クローラーをブロックするにはrobots.txtを使用してください。llms.txtは「案内」専用であり、「禁止」の指示はできません。
サイトマップとの関係は？
サイトマップ（sitemap.xml）は「すべてのページの一覧」、robots.txtは「アクセス制御」、llms.txtは「AIへの優先案内」です。3つとも異なる役割を持ち、すべて設置することを推奨します。robots.txtにはSitemap:ディレクティブでサイトマップの場所を指定できます。
🔍 あなたのサイトのrobots.txtとllms.txtをチェック
サイト診断Proでは、robots.txtの構文チェック、llms.txtの存在確認、AI対応度の評価など、包括的な診断を無料で提供しています。
無料でAI対応度を診断する