SEO
sitemapとrobots.txtを正しく使う
sitemapは発見性を助けるファイル、robots.txtはクロール交通整理のファイルです。非公開情報を守るセキュリティ機構として扱ってはいけません。
ui.design: meta-wellknown
まず確認する症状
- 新規ページが内部リンクやsitemapから見つけにくい。
- 非公開にしたいURLをrobots.txtだけで隠している。
なぜ問題か
- 新しいナレッジページ群はsitemapに含めることで発見されやすくなります。
- robots.txtはアクセス制御ではないため、公開すべきでない情報は公開しない設計が必要です。
診断で見る指標
sitemap.xmlの有無
robots.txtのSitemap行
noindex/robotsの矛盾
公開ページの内部リンク
修正方法
最小修正
sitemapに公開ページを入れる
静的ページとLearn記事をsitemapへ含めます。
推奨修正
robotsの目的を限定する
APIや一時ページを整理し、公開したいLearnページをブロックしないようにします。
さらに改善
Search Consoleで発見状況を見る
送信済みsitemap、検出済みURL、クロールエラーを確認します。
受け入れ条件
- 01PCとスマホの両方で目視確認し、主なCTAまたは操作対象が迷わず見つかる。
- 02キーボード操作、読み上げ補助、または自動検査で再発しやすい項目を確認する。
- 03修正後にui.designで再スキャンし、同じ所見が残る場合は原因を分解する。
コーディングエージェント向け修正指示
目的: sitemap.xmlに公開ページとLearn記事を含め、robots.txtにSitemap行があることを確認してください。公開したいページをDisallowやnoindexで塞がないでください。
参考資料
よくある失敗
- robots.txtを認証や秘密保持の代わりに使う。
- 見た目だけを整え、見出し、リンク、フォームラベルなどの意味構造を直さない。
- 1つの指摘だけを直し、同じ原因から出た別画面の再発を確認しない。