情報が足りないプロンプトと足りているプロンプト、AIに5回ずつ投げて比べてみた
ホッタAIエンジニア一文だけの指示でも、AIはそれらしい文章を書いてくれます。しかし十分な情報を与えれば、より場面に適した文章を書いてくれます。結果、添削の時間は減り、効率化することができます。いわゆる「プロンプトエンジニアリング」の考え方ですね。
先日、「AIが言うことを聞かない」のはなぜか — 普通のプログラムとの違いからという記事が社内から出ました。言葉が二通りに読めるとき、AIはそのうちの一つを選んでいる、という話です。記事の中に「解約について教えてください」というメールの例が出てきます。解約したいのか、手続きを知りたいだけなのか、人が読んでも分からない文です。
これを実際にAIに渡したらどうなるのか。気になったので試してみました。
Claudeに、同じメールへの返信を2種類の指示で書かせる
サポート担当者のところに、お客様から解約についての問い合わせメールが届いた。担当者はそのメールを見ながら、Claudeに返信の下書きを頼む。という場面を想定します。頼み方を2種類用意しました。
A：情報が足りない指示
お客様から「解約について教えてください」というメールが来ました。返信を書いてください。
B：手元の情報を指示に足す（Aに、以下をコピペして追加して指示）
【お客様のメール全文】
いつもお世話になっております。株式会社〇〇の田中です。
解約について教えてください。
4月から従業員が3名に減り、今のプランだと割高に感じています。
解約した場合、これまでの打刻データはどうなりますか？
【お客様の契約情報】
・サービス：月額制の勤怠管理クラウド「サンプル勤怠」（架空）
・プラン：スタンダード（1名あたり月額500円、最低10名分から）
・契約開始：2024年4月
【ヘルプページより】
・解約は管理画面の「契約設定」から。月末までに手続きすると翌月から停止（日割りなし）
・解約後、データは90日間保存され、その間はCSVでダウンロードできる。90日を過ぎると削除
・ライトプラン：1名あたり月額300円、最低人数なし（5名以下向け）
・電話窓口：0120-000-000（平日10時〜17時）
・署名は「サンプル勤怠 サポート窓口」
担当者の手元にあるものを貼っただけで、「お客様は解約したいのか」「何を答えるべきか」といった判断は書いていません。そこはClaudeに任せています。
それぞれ5回ずつ、毎回まっさらな状態のAI（Claude Sonnet）に投げました。
なお、問い合わせフォームに届いたメールへAIが自動で返信するような使い方は、今回の対象外です。その場合は、メールごとに情報を貼ることはできないので、サービスの情報や応対の決まりをまとめた固定の指示を用意することになるでしょう。
指示の情報量で、Claudeの返信はどう変わったか
| 項目 | A：足りない | B：手元の情報を足す |
|---|---|---|
| 本文の文字数 | 397〜612字（平均491字） | 539〜714字（平均645字） |
| 「解約したい」と決めつけて書いた | 5 / 5 | 0 / 5 |
| お客様に名前や契約IDなどを聞き返した | 5 / 5 | 0 / 5 |
| 宛名と署名がそのまま使える | 0 / 5 | 5 / 5 |
| お客様の質問（解約の手続き・打刻データ）に答えた | ― | 5 / 5 |
| 「3名だと割高」を受けて、ライトプランを案内した | ― | 5 / 5 |
| ヘルプページにないことを書いた | ― | 3 / 5 |
| 依頼した側（こちら）に質問してきた | 0 / 5 | 0 / 5 |
情報が足りない指示へのClaudeの返信（5本のうちの1本）
件名: Re: 解約について
お問い合わせありがとうございます。
ご連絡いただいた「解約について」、ご案内いたします。解約をご希望の場合は、次の内容をこのメールへご返信ください。
・ご契約者様のお名前（法人の場合は会社名とご担当者様名）
・ご契約時のメールアドレス、または会員ID
・解約を希望される日
・解約のご理由（差し支えなければ。今後の改善に役立てます）内容を確認後、解約の手続きと、解約日、最終のご請求額（日割り分や違約金の有無を含む）をあらためてご連絡します。
なお、ご契約の内容によって、解約できる時期や手続きの方法が異なる場合があります。ご契約プランや現在の状況を教えていただければ、より具体的にご案内できます。解約のほかに、プランの変更や一時休止もお選びいただけますので、ご希望があればお知らせください。
ご不明な点がありましたら、お気軽にご連絡ください。
どうぞよろしくお願いいたします。（署名）
補足: 契約条件（解約の締め日、違約金、返金の有無）は、実際の規約に合わせて本文を調整してください。上の文面は具体的な条件を断定しない書き方にしています。
丁寧で、内容もおかしくはありません。違約金や締め日は「契約によって異なります」とぼかしてあり、末尾には「実際の規約に合わせて調整してください」というメモまで付いています。知らないことを勝手に作らないように気をつけているようです。
ただ、「解約をご希望の場合は」と、解約する前提で話が進んでいます。手続きを知りたいだけの人にこれが届くと、少し身構えてしまうかもしれません。さらに、頼んでもいないのに解約の理由を尋ね、「プランの変更や一時休止」という、こちらが用意しているかも分からない選択肢まで勧めています。
残りの4本も、ほぼ同じ傾向でした。5本とも解約する前提で、お客様に名前や契約IDを聞き返す形です。4本は、解約の理由を尋ねたり別の方法を勧めたりする、引き止め寄りの一文を入れていました。解約の問い合わせへの返信としてよく見る形なので、それに寄せたのだと思います。
A：情報が足りない指示で書かせた返信、残り4本。どれも解約する前提で、お客様に契約者名や契約IDを聞き返している
なお、A1が署名に「株式会社オープラン」と入れているのは、今回の実験を当社の作業環境から動かしたためです。AIが作業環境から会社名を拾ったようで、指示には書いていません。
手元の情報を足した指示へのClaudeの返信（5本のうちの1本）
件名：Re: 解約について
株式会社〇〇
田中様いつもご利用いただきありがとうございます。サンプル勤怠 サポート窓口です。
解約と打刻データの扱いについてご案内します。■ プランについて
従業員様が3名になられたとのことですが、現在のスタンダードプランは最低10名分(月額5,000円)からのご契約です。5名以下の事業所様向けに「ライトプラン」(1名あたり月額300円、最低人数なし)がございます。3名でご利用の場合は月額900円となり、解約せずにご継続いただく選択肢もあります。■ 解約の手続き
・管理画面の「契約設定」から手続きいただけます。
・月末までに手続きいただくと、翌月からサービスが停止します。
・日割り計算はございませんので、月の途中で手続きされても当月分は満額のご請求となります。■ 解約後の打刻データ
・解約後90日間はデータを保存しており、その間はCSV形式でダウンロードいただけます。
・90日を過ぎるとデータは削除され、復元できません。解約される場合は、期限内にダウンロードをお願いします。ライトプランへの変更方法など、ご不明な点がございましたら、お気軽にご連絡ください。
電話：0120-000-000(平日10時〜17時)
どうぞよろしくお願いいたします。
サンプル勤怠 サポート窓口
お客様が聞いた2つのこと（解約の手続き、打刻データの扱い）に答えたうえで、「3名だと割高」という一文を拾ってライトプランを案内しています。月額5,000円が900円になる、という計算も合っています。お客様が自分から料金の不満を書いているので、引き止めというより、聞かれたことへの答えに近いと思います。
残りの4本も、解約とプラン変更の両方を案内する形で、「解約したい」と決めつけたものはありませんでした。宛名も署名も、そのまま使えます。
B：手元の情報を貼り付けた指示で書かせた返信、残り4本。どれも解約の手続きと打刻データの扱いに答え、ライトプランを案内している
ただ、気になるところもあります。5本中3本が、ヘルプページに書いていないことを書いていました。
| 返信 | ヘルプページにないのに書いたこと |
|---|---|
| B1 | ライトプランに変えれば、打刻データは「そのままご利用いただけます」 |
| B4 | 同じ内容を「〜お使いいただけるかと存じます」とぼかして |
| B5（上の引用） | 日割りなしなので「当月分は満額のご請求」 |
B1は、担当者向けのメモで「一般的な想定で書いたので、仕様を確認してください」と断っていました。B2とB3は、「プラン変更の手順やデータの扱いはヘルプページになかったので、確認してから改めて案内します」と、書かずに保留しています。
Claudeは足りない情報をどう埋めたか
Aでは、Claudeに分からないことが多すぎました。どのサービスか、手続きはどうするのか、お客様はどんな人か。分からない部分は、「よくある解約メール」で埋めるしかありません。その「よくある形」が、「解約したい人への、引き止めを少し含んだ案内」だったということでしょう。
Bでは、メール全文を渡したことで、お客様が何を聞いているのか、なぜ解約を考えているのかが分かります。意図の読み取りは人が書かなくても、Claudeがやってくれました。
それでも、渡した情報に書いていないこと（プランを変えたときに打刻データがどうなるか）は、やはり「よくある形」で埋めようとします。足りない部分を推測で埋めるところは、AとBで変わっていません。埋める範囲が小さくなっただけです。
もう一つ、10回とも、依頼したこちらには何も聞いてきませんでした。AIのほうは分かったつもりで進めている、という元の記事の話は、情報を足しても同じでした。
指示にもっと情報を足すと、どうなりそうか
Bで足したのは、特別なテクニックではありません。担当者の手元にあるものを貼っただけです。
- お客様のメール全文
- お客様の契約情報
- ヘルプページの関係しそうなところ
これだけで、宛名から料金の計算まで、ほぼそのまま使える下書きになりました。
逆に言えば、Claudeが推測で書いたのは、渡していない部分です。プラン変更の手順や、変更したときのデータの扱いもヘルプページから貼っておけば、B1やB4のような推測は減るでしょう。
試しに、Bの末尾に「ヘルプページの内容からわからないことは推測で書かず、確認して改めて連絡する旨で回答すること」と1行足して、もう5回投げてみました。ヘルプページにないことを書いたのは5本中1本に減り、5本とも分からない部分を「確認のうえ、改めてご連絡いたします」と返信の中で保留していました。ただ、計算すれば分かる「月5,000円が900円になる」まで、5本とも書かなくなりました。禁止することだけでなく、「契約情報から計算できることは書いてよい」のように、してよいことも書いておく必要がありそうです。
過去に同じような問い合わせへ送った返信や、「料金の不満にはプラン変更を先に案内する」といった応対の決まりも足せば、さらに回答の精度も上がると思います。
一文だけの指示でも、それらしいものは出てきます。そこが逆にやっかいで、「それらしい」ので、AIが勝手に決めた部分に気づきにくいのだと思います。返ってきた文章を読むときは、「これは自分が渡した情報から来ているか、AIが埋めたところか」を分けて見ると、手直しがかなり楽になりそうです。
