robots.txt生成ツール(サイトマップ対応)
サイトマップURLを(1行に1件ずつ)貼り付けるだけで、それらを参照するrobots.txtファイルが手に入ります。
FAQ
生成されるrobots.txtは何を許可しますか?
常にUser-agent: *とAllow: /で始まるため、すべてのクローラーがサイト全体をインデックスできます。その後に、入力したURLごとのSitemap:行が続きます。
複数のサイトマップを指定できますか?
はい — サイトマップURLを1行ずつ記載すれば(例:メインのsitemap.xmlと別のsitemap-index.xml)、そのすべてに対するSitemap:ディレクティブが出力に含まれます。
生成されたファイルはどこに置けばいいですか?
出力をrobots.txtとして保存し、ドメインのルートにアップロードしてください(例:https://example.com/robots.txt)— 検索エンジンが確認するのはその場所だけです。