ナレッジソース
ボットが回答に使えるものすべてと、種類ごとの最新化のしかた。
5つの種類
5種類とも同じパイプラインを通り、同じ種類の知識になります。違うのは、テキストの出どころと、あとで読み直す対象があるかどうかだけです。
| 種類 | 向いている用途 | 更新 |
|---|---|---|
| ウェブサイト | 主力のソースです。ドメインを指定すると、リンクとサイトマップをたどって到達できるものをすべて読みます。 | 毎晩 |
| サイトマップ | 公開しているURLだけを対象にし、クローラーが迷い込む先を含めたくないサイト向け。 | 毎晩 |
| 単一ページ | 料金ページやポリシーなど、重要なURLを1件。リンクをたどっても見つからなかったページにも使えます。 | 毎晩 |
| ファイル | そもそもウェブ上にない内容 — マニュアル、価格表、社内FAQなど。 | なし — 変更は再アップロード |
| テキスト | ひと段落で書ける答えで、どこにも公開したくないもの。 | なし — 変更は直接編集 |
ウェブサイトを読む
読み取りボットは指定されたURLから始め、同一サイト内のリンクをたどり、到達できるページをすべて読みます。画像・動画・アーカイブなどのアセットは、テキストでないと分かるために取得しにいくのではなく、最初からたどりません。
サイトマップ
サイトマップを公開していれば利用します。他のサイトマップを指すサイトマップインデックスにも対応しており、パンフレット規模を超えるサイトではむしろこれが普通の形です。子サイトマップは共通の予算のもとでまとめて走査され、重複するURLは一度だけ読み、1件の子が到達できなくても残りは失われません。
リンクされたPDF
サイトがリンクしているPDFは、ページと同じように読みます。コンテンツタイプを鵜呑みにせず実際のバイト列を見ます — サーバーがダウンロードのラベルを誤ることは日常的にあるためです。そのうえで、アップロード時と同じ抽出処理に渡します。リンクされた価格表とアップロードした価格表は、まったく同じ知識になります。
ファイルと貼り付けテキスト
ファイルをアップロードするか、テキストを直接貼り付けます。どちらも追加した時点で一度だけ読み取られます。
PDF、Word（.docx）、Excel（.xlsx）、CSV、プレーンテキスト、Markdownに対応し、1件あたり25MBまでです。実質ページの画像であるスキャンPDFも、飛ばさずに文字起こしします。
注意
ファイルと貼り付けテキストは再同期されません。読み直す対象が存在しないためです — ファイルは確認しにいけるURL上ではなく、こちらの側にあります。元の文書が変わったら、新しい版をアップロードしてください。同じ理由で、これらが毎晩のサイトクロールを遅らせたり妨げたりすることもありません。
最新に保つ
ウェブサイト・サイトマップ・単一ページのソースは、毎晩、協定世界時05:00に読み直されます。変わったページは学習し直し、変わっていないページはそのままです。
ソースページから手動で再同期することもできます。明日ではなく今日から答えられるようにしたいものを公開した直後には、こちらが適切です。
メモ
手動の再同期はリクエストの中で実行せずキューに積み、ページ側が結果をポーリングします。サイト全体のクロールは1回のHTTPレスポンスの中では終わらず、終わるふりをしても、答えの代わりにタイムアウトが返るだけだからです。
1ページだけ取り除く
都合の悪いページが1つあるだけなら、ソース全体を消す必要はありません。そのページ1件をソースから除外すれば、内容は直ちに使われなくなります。
ページの除外は、レコードの削除ではなく「除外」の印を付ける操作で、以後のクロールはそれを飛ばします。これは意図的です。レコードを削除すると今夜のクロールで再発見され、黙って学習し直されます — つまり誰も何もしていないのに、除外したページが戻ってきてしまいます。
答える材料がないとき
ボットは、どのページにも裏付けのない答えを作り出しません。実際の訪問者が、コンテンツでカバーしていないことを尋ねると、次の3つが起きます。
- 訪問者にはもっともらしい推測ではなく、確信が持てないことを伝え、担当者を提案します。
- その質問が、受信トレイに「ギャップ」として記録されます。
- 一度答えれば — コンテンツを追加しても、こちらから送るメールに返信しても — 以後同じことを尋ねた全員に答えられるようになります。