robots.txt生成ツール(サイトマップ対応)

サイトマップURLを(1行に1件ずつ)貼り付けるだけで、それらを参照するrobots.txtファイルが手に入ります。

FAQ

生成されるrobots.txtは何を許可しますか?

常にUser-agent: *とAllow: /で始まるため、すべてのクローラーがサイト全体をインデックスできます。その後に、入力したURLごとのSitemap:行が続きます。

複数のサイトマップを指定できますか?

はい — サイトマップURLを1行ずつ記載すれば(例:メインのsitemap.xmlと別のsitemap-index.xml)、そのすべてに対するSitemap:ディレクティブが出力に含まれます。

生成されたファイルはどこに置けばいいですか?

出力をrobots.txtとして保存し、ドメインのルートにアップロードしてください(例:https://example.com/robots.txt)— 検索エンジンが確認するのはその場所だけです。