受信トレイと回答レビュー
目を通す価値のある短いリストと、1件ずつ片付けることの意味。
2つのリスト、2つの異なる問題
受信トレイには2種類の項目が並びます。見た目は似ていますが、意味は正反対です。どちらがどちらかを、はっきりさせておく価値があります。
待っている質問
ボットが答えられなかった、実際の質問です。その場で答えられないことを認め、訪問者に担当者を提案しました。1件ごとがコンテンツの穴 — お客様が求めたのに、ボットに渡したどのページにも書かれていなかったことです。
確認が必要な回答
ボットが自信を持って返した回答のうち、別のモデルが — あとから同じページを読み直して — 裏付けを取れなかったものです。1件ごとが穴ではなく「主張」であり、しかもすでに実際の訪問者に伝わっています。2つのうち、代償が大きいのはこちらです。
回答が確認される仕組み
ここでの正確性は、小テストではなく実際の回答に対して、毎晩測られます。毎晩、別のモデルが、直近1週間に実際の訪問者へ返した回答を読み直し、その回答が組み立てられた当のページと照合します。
- 訪問者が実際に受け取った回答を対象にします — こちらで考えた質問セットではありません。
- 回答が書かれたときの文脈をそのまま再構成するため、「いま起きること」ではなく「実際に起きたこと」を採点します。
- 裏付けが取れなかったものが、「確認が必要な回答」として受信トレイに現れます。
メモ
3つのものは意図的に採点しません。エスカレーションには採点対象の回答がありません。あなたが登録した回答から返ったものは、モデルではなくあなたの言葉です。そしてシミュレーションの通信はお客様ではありません — どれを採点しても、数字が動くだけで、本当のことは何も分かりません。
項目を片付ける
どちらのリストも、同じ2つの方法で片付きます。
- 修正を登録する。本来どう答えるべきだったかを書きます。以後その質問に使われ、項目は解決済みになります。
- 却下する。指摘された回答が問題ない場合もあります。この確認は慎重ではありますが絶対ではないので、却下という形でそれを伝えてください。
- あるいは元のコンテンツを直す。ページ自体が誤っていたり古かったりするなら、ページを直すのが持続する解決で、今夜のクロールがそれを拾います。
最近の引き継ぎ
2つのリストの下には、直近1週間でボットが訪問者をあなたに引き継いだ会話が、それぞれ全文付きで並びます。引き継ぎの前に訪問者が実際に何を尋ねたかが分かる場所で、多くの場合、引き継ぎそのものより役に立ちます。
無理のない回し方
この画面に張り付く必要はありません。実際の運用としては、
- 届いたメールにその場で返信する。質問1件、返信1通、クリック1回 — これでダッシュボードを開かずに大半のギャップが埋まります。
- 週に一度、受信トレイを開いて「確認が必要な回答」に目を通す。誰も苦情を言わなかったものを拾えるのは、このリストです。
- 月曜のダイジェストで週の全体像を掴む。何が処理され、何が引き継がれ、リードにいくらの価値があったか。