HelpBrainBot：ウェブサイトの読み取り方

すべてのリクエストに、次のユーザーエージェント文字列が付きます：

Mozilla/5.0 (compatible; HelpBrainBot/1.0; +https://helpbrain.net/docs/crawler)

+https://… の部分は検索エンジンと同じ慣習で、このページへのリンクです。判断する前に、このボットが何者かを確認できます。

読み取るのは、HelpBrainのお客様がボットの学習時に入力したウェブサイトだけです。所有していないサイトを指定すれば、そのサイトはその人自身のボットのナレッジに、名前付きで、見える形で現れます。まずrobots.txtと/sitemap.xmlからサイトマップを読み、なければホームページからリンクをたどります。最初の短いバーストの後は、1サイトあたり毎秒最大1ページの速度です。初回の読み取り後は毎晩1回サイトを再確認し、内容が変わったページだけを再学習します。

PDFもページとして読みます。ページから価格表、求人票、パンフレット、規約などのPDFがリンクされている場合、そのPDFを取得し、アップロードされたPDFとまったく同じように読み取ります。テキストレイヤーがあればそれを、スキャンであれば文字起こしを使います。サイトマップに載っていても、ページからリンクされているだけでも同じです。また、www.example.comからリンクされたdocs.example.comのファイルのように、同じサイトのサブドメイン上のドキュメントもたどります。多くのサイトがそこにドキュメントを置いているためです。その際、取得前にそのホスト自身のrobots.txtを確認します。25MBを超えるファイルは読み飛ばし、スキャンPDFの文字起こしは1回の実行につき数件までで、残りは翌晩に回します。

なくなったページは忘れます。学習済みのURLが404を返すようになったり、サイトから消えたりした場合、そのページは次回の夜間チェックでボットのナレッジから削除されます。募集が終了した求人票を訪問者に引用し続けることはありません。サイト全体が到達不能になった場合や、サイトマップが壊れて通常よりはるかに少ないページしか返さなかった場合は、何も削除せず、その旨をソースに表示します。

User-agent: *グループのDisallowルールに従います。禁止されたパスは、リンク発見のためであっても取得しません。HelpBrainBotをサイトから完全に締め出すには、次を追加してください：

User-agent: HelpBrainBot
Disallow: /

学習が「リーダーをブロックしました」のようなメッセージで失敗する場合、ファイアウォールやボット対策が自動アクセスを拒否しています。多くはCloudflareの「AIボットをブロック」やBot Fight Modeで、多数のサイトで初期設定のまま有効です。選択肢は3つあります：

1. ボットを許可する。 Cloudflareの場合：Security → WAF → Custom rules で、式(http.user_agent contains "HelpBrainBot")、アクションSkip（残りのカスタムルール、Bot Fight Mode、マネージドチャレンジをスキップ）のルールを作成します。他のファイアウォールにも同等のユーザーエージェント許可リストがあります。
2. 特定のページを追加する。 ホームページやサイトマップだけを守っている対策もあります。ナレッジ画面の「特定のページ」は、指定したURLだけを読み取ります。
3. ウェブサイトを使わない。 PDF、Word、Excelファイルをアップロードするか、テキストを直接貼り付けてください。ボットはクロールしたページとまったく同じように、そこから回答します。

運営しているサイトにHelpBrainBotが来ていて、望まない場合は、ドメインを添えて [email protected] までご連絡ください。読み取りを停止します。