弊社の女子社員が集まって「chatGPT女子会」を立ち上げて、様々な検証を行いました。
その模様をブログにしてお届けしたいと思います。
様々な観点で検証を行いましたのでぜひ参考にしてみてください。

最近、chatGPTってよく聞くけど、どんなサービスなの？

確かに名前は広く知られているけど、具体的に出来ることはあまり知られていないかもしれないね

よし、じゃあ今日はchatGPTで出来ることを検証してみよう！

今回はどんなテーマで確認していくの？

そうだね、まずは検証の概要から確認していこう

題材

今回の検証題材は以下のようにオペレーション時の対応をまとめることだね。ここでオペレーターはO、顧客はCのことだよ

0 o 「お電話ありがとうございます。株式会社ABCご注⽂窓⼝担当中野でございます」
1 c 「すみません。テレビのめざましという番組で⾒た商品が欲しいのですが・・・」
2 o 「めざましですね。ありがとうございます。商品名、または商品番号をお伺いできますでしょうか」
3 c 「えーと、4⾊ボールペンです。カラーは⾚で１つお願いしたいのですが」
4 o 「4⾊ボールペンの⾚を１点ご注⽂ですね。料⾦は2000円、発送まで３〜４⽇となっております」
5 c 「はい、お願いします」
6 o 「かしこまりました。ご注⽂⼿続きをさせて頂きます。恐れ⼊りますが、お客様のお名前、ご住所、ご希望されるお⽀払い⽅法をお伺いできますでしょう
7 c 「⼭⽥太郎、東京都新宿区⻄新宿1-2-3、クレジットカード払い」
8 o 「⼭⽥太郎様東京都新宿区⻄新宿1-2-3クレジットカード払い以上間違いございませんでしょうか」
9 c 「はい」
10 o 「注⽂を承りました。ここまでで何かご不明な点はございますか」
11 c 「いえ。⼤丈夫です」
12 o 「お⼿続きは以上となります。本⽇はお電話いただき、ありがとうございました」
13 c 「ありがとう」
14 o 「担当中野が承りました」

目的

今回はオペレーションの会話を入力することで必要な情報を出力することが目的だよ

具体的にはどのような情報が出力されれば良いの？

具体的な情報は以下のようなものにしているよ。また、これら情報は箇条書きだと分かりやすいからそれも目指していくよ

・注文者の名前
・住所
・注文の品物
・支払い方法
・品物の数
・支払い金額

また、結果の出力形式は下記のようにしていくことも目的とするね

具体的にはどのような情報が出力されれば良いの？

具体的な情報は以下のようなものにしているよ。また、これら情報は箇条書きだと分かりやすいからそれも目指していくよ

・注文者の名前
・住所
・注文の品物
・支払い方法
・品物の数
・支払い金額

また、結果の出力形式は下記のようにしていくことも目的とするね

・お客様名：山田太郎
・注文情報：四色ボールペン（赤）
・住所：東京都新宿区西新宿〇〇
・支払方法：クレジットカード払い

じゃあ具体的にchatGPTを使って検証していこう！

今回は多くの検証をしたから、1つずつわけて紹介するね。

それぞれどんな入力をして、どんな出力になっているのかを確認すれば良いの？

そのとおり！入力によって返答が大きく変わることを確認していこう

検証①会話の要約

まずは、前述の会話内容を要約してくださいと入力してみるね

それ以外は特に何も言ってないの？

うん。今回は以下の文章を要約してくださいとしか言ってないよ

どのような結果が得られたの？

結果は以下のとおりだよ

chatGPT「顧客がテレビ番組で⾒た商品を注⽂したいと電話で問い合わせをし、オペレーターは商品名や番号を確認し、顧客の注⽂を承ります。オペレーターは、料⾦を伝え、顧客のお名前、住所、⽀払い⽅法を確認します。最後に、オペレーターは注⽂を確認し、顧客はありがとうと⾔って通話を終了します。」

確かに要約されているけど、欲しい情報は何も入っていないね。流れの紹介で、具体的な数値とかがなくなってしまってる

そうだね。要約してくださいだけであると、私たちの目的である本当の要約はできていないね

検証②箇条書き化

じゃあ、次は上記の文章を箇条書きに指定してみよう。送ったメッセージと結果は以下のとおりだよ。

「箇条書きでお願いします」

chatGPT
「・顧客がテレビ番組で⾒た商品を注⽂したいと電話で問い合わせをする。
・オペレーターは商品名や番号を確認し、顧客の注⽂を承り、料⾦と発送⽇について伝える。
・オペレーターは顧客のお名前、住所、⽀払い⽅法を確認する。
・オペレーターは注⽂を確認し、顧客はありがとうと⾔って通話を終了する。 」

確かに箇条書きになったけど、まだ流れの要約で重要な情報が入ってないね

そうだね。じゃあ注文情報のみを箇条書きと指定してみよう

検証③注文情報の箇条書き

送ったメッセージと返答は以下のとおりだよ

「注文内容を箇条書きでお願いします」

chatGPT
「・商品名: 4⾊ボールペン
・カラー: ⾚
・数量: 1点
・⾦額: 2000円
・発送までの⽇数: 3〜4⽇
・お⽀払い⽅法: クレジットカード払い」

おぉ。ちゃんと注文内容が箇条書きで得られてる！

あれ、でもお客様情報が抜けてるね

そうだね。じゃあ次は注文情報だけでなくお客様情報も聞いてみようか

検証③お客様情報と注文情報の箇条書き

以下のメッセージみたいにお客様情報も追加してみたよ

「お客様情報と、注文内容を箇条書きでお願いします」

chatGPT
「お客様情報:
・お名前: ⼭⽥太郎
・住所: 東京都新宿区⻄新宿1-2-3
・⽀払い⽅法: クレジットカード払い

注⽂内容:
・商品名: 4⾊ボールペン
・カラー: ⾚
・数量: 1点
・⾦額: 2000円
・発送までの⽇数: 3〜4⽇」

ちゃんとお客様情報と注文内容の両方が出てきたね！

そうだね。このようにchatGPTは指示によって得られる結果がかなり変わることがわかったね

chatGPTは情報を適切にまとめられることがわかったね

でもchatGPTはさらに情報を取得することも可能なんだ

たとえば、どんなものがあるの？

例としては流通経路があるよ。色々なお客さんの流通経路の情報を得ることで、どこに力を入れれば良いのかが分かるよね

確かに！

じゃあ、chatGPTは流通経路を教えてくれるのか確認してみよう！

検証①流入経路に関する質問

流入経路を聞いたら下記のようになったよ

「何をみて問い合わせましたか」

chatGPT
「申し訳ありませんが、この会話ログにはどのような情報をみて問い合わせがあったかについての⽂脈が含まれていないため、回答することができません。具体的な文脈について情報を提供していただければ、できるだけ正確な回答を提供いたします」

あれ？答えてくれないね

そうだね。chatGPTは仕様上、ある程度の会話が続くと最初のほうの会話を忘れてしまうことがあるんだ

じゃあ、この返答は元のテキストを確認することができてないかもしれないってこと？

100%ととは言えないけど、その可能性も十分にあるよ。

じゃあ元のテキストも付けて同様の質問をしてみよう

検証②流入経路に関する再質問

『以下のテキストの問い合わせのきっかけ、お客様情報、注⽂情報を箇条書きでお願いします。
No オペレーター[o]/顧客[c]
0 o 「お電話ありがとうございます。株式会社ABCご注⽂窓⼝担当中野でございます」
1 c 「すみません。テレビのめざましという番組で⾒た商品が欲しいのですが・・・」
2 o 「めざましですね。ありがとうございます。商品名、または商品番号をお伺いできますでしょうか」
3 c 「えーと、4⾊ボールペンです。カラーは⾚で１つお願いしたいのですが」
4 o 「4⾊ボールペンの⾚を１点ご注⽂ですね。料⾦は2000円、発送まで３〜４⽇となっております」
5 c 「はい、お願いします」
6 o 「かしこまりました。ご注⽂⼿続きをさせて頂きます。恐れ⼊りますが、お客様のお名前、ご住所、ご希望されるお⽀払い⽅法をお伺いできますでしょう
7 c 「⼭⽥太郎、東京都新宿区⻄新宿1-2-3、クレジットカード払い」
8 o 「⼭⽥太郎様東京都新宿区⻄新宿1-2-3クレジットカード払い以上間違いございませんでしょうか」
9 c 「はい」
10 o 「注⽂を承りました。ここまでで何かご不明な点はございますか」
11 c 「いえ。⼤丈夫です」
12 o 「お⼿続きは以上となります。本⽇はお電話いただき、ありがとうございました」
13 c 「ありがとう」
14 o 「担当中野が承りました」』

chatGPT
「問い合わせのきっかけ：テレビの「めざまし」という番組で⾒た商品について
お客様情報：
・お名前：⼭⽥太郎
・住所：東京都新宿区⻄新宿1-2-3
注⽂情報：
・商品名：4⾊ボールペン（⾚）
・数量：1
・価格：2000円
・⽀払⽅法：クレジットカード
・発送予定⽇：3~4⽇後」

欲しい情報が得られたね！

このように前回の質問ありきでなく、再度まとめた質問をすることで精度が上がりそうだね

今まではお客さんについての情報だったけど、社内に活用するならオペレーター情報も必要だよね

確かにそうだね。じゃあ次はオペレーターについても同時に答えるようお願いしてみよう

検証①オペレーター情報

『以下のテキストの問い合わせのきっかけ、お客様情報、注⽂情報、オペレーター名を箇条書きでお願いします。
No オペレーター[o]/顧客[c]
0 o 「お電話ありがとうございます。株式会社ABCご注⽂窓⼝担当中野でございます」
1 c 「すみません。テレビのめざましという番組で⾒た商品が欲しいのですが・・・」
2 o 「めざましですね。ありがとうございます。商品名、または商品番号をお伺いできますでしょうか」
3 c 「えーと、4⾊ボールペンです。カラーは⾚で１つお願いしたいのですが」
4 o 「4⾊ボールペンの⾚を１点ご注⽂ですね。料⾦は2000円、発送まで３〜４⽇となっております」
5 c 「はい、お願いします」
6 o 「かしこまりました。ご注⽂⼿続きをさせて頂きます。恐れ⼊りますが、お客様のお名前、ご住所、ご希望されるお⽀払い⽅法をお伺いできますでしょう
7 c 「⼭⽥太郎、東京都新宿区⻄新宿1-2-3、クレジットカード払い」
8 o 「⼭⽥太郎様東京都新宿区⻄新宿1-2-3クレジットカード払い以上間違いございませんでしょうか」
9 c 「はい」
10 o 「注⽂を承りました。ここまでで何かご不明な点はございますか」
11 c 「いえ。⼤丈夫です」
12 o 「お⼿続きは以上となります。本⽇はお電話いただき、ありがとうございました」
13 c 「ありがとう」
14 o 「担当中野が承りました」』

chatGPT
・「問い合わせのきっかけ：
顧客がテレビ番組「めざまし」で⾒た商品を購⼊したいという内容で電話がかかってきた。
お客様情報：
・名前：⼭⽥太郎
・住所：東京都新宿区⻄新宿1-2-3
注⽂情報：
・商品名：4⾊ボールペン
・カラー：⾚
・数量：1点
・価格：2000円
・発送予定⽇：3〜4⽇後
オペレーター名：
・中野」

ちゃんとオペレータの名前を出力されてるね！

そうだね。他にも何か欲しい情報はないかな？

そのほかの情報としたら何が出てくるのかな

じゃあ次は、今までのにその他の情報を教えてくださいといって何が得られるのか試してみよう

検証②その他の質問

『以下のテキストの問い合わせのきっかけ、お客様情報、注⽂情報、その他の質問を箇条書きでお願いします。
No オペレーター[o]/顧客[c]
0 o 「お電話ありがとうございます。株式会社ABCご注⽂窓⼝担当中野でございます」
1 c 「すみません。テレビのめざましという番組で⾒た商品が欲しいのですが・・・」
2 o 「めざましですね。ありがとうございます。商品名、または商品番号をお伺いできますでしょうか」
3 c 「えーと、4⾊ボールペンです。カラーは⾚で１つお願いしたいのですが」
4 o 「4⾊ボールペンの⾚を１点ご注⽂ですね。料⾦は2000円、発送まで３〜４⽇となっております」
5 c 「はい、お願いします」
6 o 「かしこまりました。ご注⽂⼿続きをさせて頂きます。恐れ⼊りますが、お客様のお名前、ご住所、ご希望されるお⽀払い⽅法をお伺いできますでしょう
7 c 「⼭⽥太郎、東京都新宿区⻄新宿1-2-3、クレジットカード払い」
8 o 「⼭⽥太郎様東京都新宿区⻄新宿1-2-3クレジットカード払い以上間違いございませんでしょうか」
9 c 「はい」
10 o 「注⽂を承りました。ここまでで何かご不明な点はございますか」
11 c 「いえ。⼤丈夫です」
12 o 「お⼿続きは以上となります。本⽇はお電話いただき、ありがとうございました」
13 c 「ありがとう」
14 o 「担当中野が承りました」』

chatGPT
「・問い合わせのきっかけ：めざましテレビで商品を⾒たため
・お客様情報：名前：⼭⽥太郎、住所：東京都新宿区⻄新宿1-2-3
・注⽂情報：商品名：4⾊ボールペン、カラー：⾚、数量：1、料⾦：2000円、発送までの⽇数：３〜４⽇
その他の質問：特になし」

ちゃんとした結果が得られているね

そうだね。じゃあ次は別の会話内容でも適切な返答が得られるか確認してみよう

会話内容は以下のとおり

No オペレーター[o]/顧客[c]
0 o 「お電話ありがとうございます。株式会社ABCご注⽂窓⼝担当中野でございます」
1 c 「すみません。テレビのめざましという番組で⾒た商品が欲しいのですが・・・」
2 o 「めざましですね。ありがとうございます。商品名、または商品番号をお伺いできますでしょうか」
3 c 「えーと、4⾊ボールペンです。カラーは⾚で１つお願いしたいのですが」
4 o 「4⾊ボールペンの⾚を１点ご注⽂ですね。料⾦は2000円、発送まで３〜４⽇となっております」
5 c 「はい、お願いします」
6 o 「かしこまりました。ご注⽂⼿続きをさせて頂きます。恐れ⼊りますが、お客様のお名前、ご住所、ご希望されるお⽀払い⽅法をお伺いできますでしょう
7 c 「⼭⽥太郎、東京都新宿区⻄新宿1-2-3、クレジットカード払い」
8 o 「⼭⽥太郎様東京都新宿区⻄新宿1-2-3クレジットカード払い以上間違いございませんでしょうか」
9 c 「はい」
10 o 「注⽂を承りました。ここまでで何かご不明な点はございますか」
11 c 「はい、返⾦対応はどのようになってますかね？」
12 o 「ご質問ありがとうございます。ご返品、返⾦対応は商品到着後2週間以内となっております。尚、タグや納品書のないものは承ることが出来かねます
めご了承ください。」
13 c 「ええわかりましたありがとう。」
14 o 「担当中野が承りました」

基本的な内容は変わっていないね

そうだね。会話の仕方が変わるとどうなるのか試してみよう

検証①情報の箇条書き

『以下のテキストの問い合わせのきっかけ、お客様情報、注⽂情報、その他の質問を箇条書きでお願いします。
No オペレーター[o]/顧客[c]
0 o 「お電話ありがとうございます。株式会社ABCご注⽂窓⼝担当中野でございます」
1 c 「すみません。テレビのめざましという番組で⾒た商品が欲しいのですが・・・」
2 o 「めざましですね。ありがとうございます。商品名、または商品番号をお伺いできますでしょうか」
3 c 「えーと、4⾊ボールペンです。カラーは⾚で１つお願いしたいのですが」
4 o 「4⾊ボールペンの⾚を１点ご注⽂ですね。料⾦は2000円、発送まで３〜４⽇となっております」
5 c 「はい、お願いします」
6 o 「かしこまりました。ご注⽂⼿続きをさせて頂きます。恐れ⼊りますが、お客様のお名前、ご住所、ご希望されるお⽀払い⽅法をお伺いできますでしょう
7 c 「⼭⽥太郎、東京都新宿区⻄新宿1-2-3、クレジットカード払い」
8 o 「⼭⽥太郎様東京都新宿区⻄新宿1-2-3クレジットカード払い以上間違いございませんでしょうか」
9 c 「はい」
10 o 「注⽂を承りました。ここまでで何かご不明な点はございますか」
11 c 「はい、返⾦対応はどのようになってますかね？」
12 o 「ご質問ありがとうございます。ご返品、返⾦対応は商品到着後2週間以内となっております。尚、タグや納品書のないものは承ることが出来かねます
めご了承ください。
13 c 「ええわかりましたありがとう。」
14 o 「担当中野が承りました」』

chatGPT
「問い合わせのきっかけ：テレビのめざましという番組で⾒た商品が欲しいため
お客様情報：名前「⼭⽥太郎」、住所「東京都新宿区⻄新宿1-2-3」、⽀払い⽅法「クレジットカード払い」
注⽂情報：4⾊ボールペンの⾚を1点注⽂。料⾦は2,000円、発送まで3~4⽇かかる。
その他の質問：返品・返⾦対応について、商品到着後2週間以内に対応可能であること、タグや納品書のないものは承ることが出来かねることを伝えている。」

その他の質問とあいまいなものに返事できてる！

その他の部分も書き方が少し変わっているけど、基本的には適切な返事が出ているね

じゃあ「その他の質問」を補足事項に変更してみよう

検証②補足事項

『以下のテキストの問い合わせのきっかけ、お客様情報、注⽂情報、補⾜事項を箇条書きでお願いします。
No オペレーター[o]/顧客[c]
0 o 「お電話ありがとうございます。株式会社ABCご注⽂窓⼝担当中野でございます」
1 c 「すみません。テレビのめざましという番組で⾒た商品が欲しいのですが・・・」
2 o 「めざましですね。ありがとうございます。商品名、または商品番号をお伺いできますでしょうか」
3 c 「えーと、4⾊ボールペンです。カラーは⾚で１つお願いしたいのですが」
4 o 「4⾊ボールペンの⾚を１点ご注⽂ですね。料⾦は2000円、発送まで３〜４⽇となっております」
5 c 「はい、お願いします」
6 o 「かしこまりました。ご注⽂⼿続きをさせて頂きます。恐れ⼊りますが、お客様のお名前、ご住所、ご希望されるお⽀払い⽅法をお伺いできますでしょう
7 c 「⼭⽥太郎、東京都新宿区⻄新宿1-2-3、クレジットカード払い」
8 o 「⼭⽥太郎様東京都新宿区⻄新宿1-2-3クレジットカード払い以上間違いございませんでしょうか」
9 c 「はい」
10 o 「注⽂を承りました。ここまでで何かご不明な点はございますか」
11 c 「はい、返⾦対応はどのようになってますかね？」
12 o 「ご質問ありがとうございます。ご返品、返⾦対応は商品到着後2週間以内となっております。尚、タグや納品書のないものは承ることが出来かねます
めご了承ください。」
13 c 「ええわかりましたありがとう。」
14 o 「担当中野が承りました」』

chatGPT
「問い合わせのきっかけ：テレビ番組で⾒た商品が欲しい
お客様情報：
お名前：⼭⽥太郎
ご住所：東京都新宿区⻄新宿1-2-3
⽀払い⽅法：クレジットカード払い
注⽂情報：
商品名：4⾊ボールペン
カラー：⾚
数量：1点
⾦額：2000円
発送までの⽇数：3〜4⽇
補⾜事項：
返品・返⾦対応は商品到着後2週間以内となっており、タグや納品書のないものは承ることが出来かねます。」

あれ、出力形式が元に戻ってる

そうだね。ここに関してはAIの内部で処理されていて、なぜこうなっているかは分かららないね

ただ、補足事項にも適切に答えているね

ここで、わざと間違った情報を入れるとどうなるのか確認してみよう

確かに。明らかに間違っているのに気が付いて指摘するのかな

検証①商品の途中変更

まずは商品を途中で変更した場合、きちんと反映されるのか確認してみよう

『以下のテキストの問い合わせのきっかけ、お客様情報、注⽂情報、その他の質問を箇条書きでお願いします。
No オペレーター[o]/顧客[c]
0 o 「お電話ありがとうございます。株式会社ABCご注⽂窓⼝担当中野でございます」
1 c 「すみません。テレビのめざましという番組で⾒た商品が欲しいのですが・・・」
2 o 「めざましですね。ありがとうございます。商品名、または商品番号をお伺いできますでしょうか」
3 c 「えーと、4⾊ボールペンです。カラーは⾚で１つお願いしたいのですが」
4 o 「4⾊ボールペンの⾚を１点ご注⽂ですね。料⾦は2000円、発送まで３〜４⽇となっております」
5 c 「やっぱ緑で。はい、お願いします」
6 o 「かしこまりました。ご注⽂⼿続きをさせて頂きます。恐れ⼊りますが、お客様のお名前、ご住所、ご希望されるお⽀払い⽅法をお伺いできますでしょう
7 c 「⼭⽥太郎、東京都新宿区⻄新宿1-2-3、クレジットカード払い」
8 o 「⼭⽥太郎様東京都新宿区⻄新宿1-2-3クレジットカード払い以上間違いございませんでしょうか」
9 c 「はい」
10 o 「注⽂を承りました。ここまでで何かご不明な点はございますか」
11 c 「はい、返⾦対応はどのようになってますかね？」
12 o 「ご質問ありがとうございます。ご返品、返⾦対応は商品到着後2週間以内となっております。尚、タグや納品書のないものは承ることが出来かねます
めご了承ください。」
13 c 「ええわかりましたありがとう。」
14 o 「担当中野が承りました」』

chatGPT
「・問い合わせのきっかけ：テレビ番組で⾒た商品についての問い合わせ
お客様情報：
・お名前：⼭⽥太郎
・住所：東京都新宿区⻄新宿1-2-3
・お⽀払い⽅法：クレジットカード払い
注⽂情報：
・商品名：4⾊ボールペン
・カラー：緑
・数量：1点
・⾦額：2000円
・発送⽇：3〜4⽇後
・その他の質問：返品、返⾦対応について」

変更後の緑になってる！

chatGPTはこのように情報の変更がなされてもきちんと反映することが可能だよ

検証②注文者と配送先の違い

じゃあ次に、注文者の氏名と配送先の氏名を換えてみよう

山田太郎を山田恵美子に変えてみるよ。また、注文者情報と配送先で出力する返答を分けておくね

『以下のテキストの問い合わせのきっかけ、注⽂者情報、配送先、注⽂情報、オペレーター名、補⾜事項を箇条書きでお願いします。
No オペレーター[o]/顧客[c]
0 o 「お電話ありがとうございます。株式会社ABCご注⽂窓⼝担当中野でございます」
1 c 「すみません。テレビのめざましという番組で⾒た商品が欲しいのですが・・・」
2 o 「めざましですね。ありがとうございます。商品名、または商品番号をお伺いできますでしょうか」
3 c 「えーと、4⾊ボールペンです。カラーは⾚で１つお願いしたいのですが」
4 o 「4⾊ボールペンの⾚を１点ご注⽂ですね。料⾦は2000円、発送まで３〜４⽇となっております」
5 c 「やっぱ緑で。はい、お願いします」
6 o 「かしこまりました。ご注⽂⼿続きをさせて頂きます。恐れ⼊りますが、お客様のお名前、ご住所、ご希望されるお⽀払い⽅法をお伺いできますでしょう
7 c 「⼭⽥太郎、東京都新宿区⻄新宿1-2-3、クレジットカード払い」
8 o 「⼭⽥太郎様東京都新宿区⻄新宿1-2-3クレジットカード払い以上間違いございませんでしょうか」
9 c 「はい、配送先の名前は⼭⽥恵美⼦にしてください。」
10 o 「注⽂を承りました。ここまでで何かご不明な点はございますか」
11 c 「はい、返⾦対応はどのようになってますかね？」
12 o 「ご質問ありがとうございます。ご返品、返⾦対応は商品到着後2週間以内となっております。尚、タグや納品書のないものは承ることが出来かねます
めご了承ください。」
13 c 「ええわかりましたありがとう。」
14 o 「担当中野が承りました」』

chatGPT
「問い合わせのきっかけ：テレビ番組で⾒た商品に関する問い合わせ
注⽂者情報：
・⽒名：⼭⽥太郎
・住所：東京都新宿区⻄新宿1-2-3
・⽀払⽅法：クレジットカード払い
配送先：
・⽒名：⼭⽥恵美⼦
・注⽂情報：
・商品名：4⾊ボールペン
・カラー：緑
・数量：1
・⾦額：2000円
・発送予定⽇：３〜４⽇後
・オペレーター名：中野
・補⾜事項：返品、返⾦対応は商品到着後2週間以内となっており、タグや納品書のないものは承ることができかねます。」

ちゃんとわけられているね

このようにchatGPTは適切な指示さえすれば、かなりの精度で適切な返答がなされそうだね

今まではchatGPTが自由に返答をしていたけど、選択肢の中から選ばせるようにすることはできるかな

たしかに、それができると扱いやすくなるね。試してみよう

ここで少し会話文を変えるよ

会話文
『No オペレーター[o]/顧客[c]
0 o 「お電話ありがとうございます。オプトエスピーカスタマーサポート担当中野でございます」
1 c 「あの、ちょっと分からないところがあるので教えてもらえますか」
2 o 「かしこまりました。どのようなご質問でしょうか」
3 c 「新しいパソコンに応対⼒をインストールしようとしてるんですけど、セキュリティキーが分からなくて完了できないんですよ」
4 o 「応対⼒のセキュリティキーがご不明なため、インストールができないということですね」
5 c 「はい」
6 o 「ご契約状況を確認いたしますので、よろしければ、お客様のお名前、お電話番号をお伺いできますでしょうか」
7 c 「畑中M⼦、0310231234です」
8 o 「ありがとうございます。畑中様のご契約ですとWEB注⽂にてご購⼊頂いております。その場合、購⼊後、当社からお客様にセキ
ュリティキーを含むご契約内容確認メールを送信します。「ご契約内容確認メール」はお客様のもとに届いておりますでしょうか」
9 c 「ええっと、あ、ありました。セキュリティキーも書かれてますね」
10 o 「さようでございますか。そのセキュリティキーを使ってすすめていただければインストールを完了することができます。お⼿数
ですが、お試し頂いてもよろしいでしょうか」
11 c 「わかりました。すぐ試すのでちょっと待っててもらえますか」
12 o 「かしこまりました。お待ちしております」
13 c 「・・・インストールできました」
14 o 「お試しいただきありがとうございます。他になにかお困りな点はございますか」
15 c 「他にはないです」
16 o 「ご不明な点があればまたいつでもお問い合わせください」
17 c 「わかりました。ありがとう」
18 o 「お電話ありがとうございました。担当中野がご案内いたしました」』

会話内容としては一般的なオペレーションだね

検証①フェーズの制限

じゃあ、解決済み、未解決、不承と応対によってどのフェーズになっているのかchatGPTに確認させてみよう

下記の結果が得られたよ

『会話文
この通話の中で以下の項⽬を箇条書きで記載してください。
フェーズは解決済み、未解決、不承から選んでください。
・担当者：
・フェーズ：
・顧客名：
・電話番号：
・購⼊の⽅法：
・製品名：
・質問内容：
・回答：』

chatGPT
「・担当者：中野さん
・フェーズ：解決済み
・顧客名：畑中M⼦さん
・電話番号：0310231234
・購⼊の⽅法：WEB注⽂
・製品名：応対⼒
・質問内容：セキュリティキーが分からずインストールができない
・回答：購⼊後のご契約内容確認メールにセキュリティキーが含まれており、そのキーを使⽤すればインストールが完了できる。試してみてもらえるか。」

選択肢からちゃんと選んでいるし、フェーズも合っているね

検証②その他の制限

その他の制限としては名前の敬称略、回答の要約などがあるかな

複数の制限をかけても正しい回答が得られるのか確認してみよう

じゃあ次はフェーズにくわえて名前の敬称略、回答は要約したものと指示してみるね

『会話文
この通話の中で以下の項⽬を箇条書きで記載してください。
フェーズは解決済み、未解決、不承から選んでください。
名前は敬称略でお願いします。
回答は要約してください。
・担当者：
・フェーズ：
・顧客名：
・電話番号：
・購⼊の⽅法：
・製品名：
・質問内容：
・回答：』

chatGPT
「・担当者：中野
・フェーズ：解決済み
・顧客名：畑中M⼦
・電話番号：0310231234
・購⼊の⽅法：WEB注⽂
・製品名：応対⼒
・質問内容：セキュリティキーが分からないため、インストールができない
・回答：ご契約内容確認メールにセキュリティキーが含まれているので確認してください。セキュリティキーを使ってインストールが
完了できます。」

ちゃんと指示通りになっているね。制限が複数でもきちんと機能するみたい

今まではchatGPTが自由に返答をしていたけど、選択肢の中から選ばせるようにすることはできるかな

たしかに、それができると扱いやすくなるね。試してみよう

ここで少し会話文を変えるよ

『No オペレーター[o]/顧客[c]
0 o 「お電話ありがとうございます。オプトエスピーカスタマーサポート担当中野でございます」
1 c 「あの、ちょっと分からないところがあるので教えてもらえますか」
2 o 「かしこまりました。どのようなご質問でしょうか」
3 c 「新しいパソコンに応対⼒をインストールしようとしてるんですけど、セキュリティキーが分からなくて完了できないんですよ」
4 o 「応対⼒のセキュリティキーがご不明なため、インストールができないということですね」
5 c 「はい」
6 o 「ご契約状況を確認いたしますので、よろしければ、お客様のお名前、お電話番号をお伺いできますでしょうか」
7 c 「畑中M⼦、0310231234です」
8 o 「ありがとうございます。畑中様のご契約ですとWEB注⽂にてご購⼊頂いております。その場合、購⼊後、当社からお客様にセキ
ュリティキーを含むご契約内容確認メールを送信します。「ご契約内容確認メール」はお客様のもとに届いておりますでしょうか」
9 c 「ええっと、あ、ありました。セキュリティキーも書かれてますね」
10 o 「さようでございますか。そのセキュリティキーを使ってすすめていただければインストールを完了することができます。お⼿数
ですが、お試し頂いてもよろしいでしょうか」
11 c 「わかりました。すぐ試すのでちょっと待っててもらえますか」
12 o 「かしこまりました。お待ちしております」
13 c 「・・・インストールできました」
14 o 「お試しいただきありがとうございます。他になにかお困りな点はございますか」
15 c 「他にはないです」
16 o 「ご不明な点があればまたいつでもお問い合わせください」
17 c 「わかりました。ありがとう」
18 o 「お電話ありがとうございました。担当中野がご案内いたしました」』

会話内容としては一般的なオペレーションだね

検証①フェーズの制限

じゃあ、解決済み、未解決、不承と応対によってどのフェーズになっているのかchatGPTに確認させてみよう

下記の結果が得られたよ

『会話文
この通話の中で以下の項⽬を箇条書きで記載してください。
フェーズは解決済み、未解決、不承から選んでください。
・担当者：
・フェーズ：
・顧客名：
・電話番号：
・購⼊の⽅法：
・製品名：
・質問内容：
・回答：』

chatGPT
「・担当者：中野さん
・フェーズ：解決済み
・顧客名：畑中M⼦さん
・電話番号：0310231234
・購⼊の⽅法：WEB注⽂
・製品名：応対⼒
・質問内容：セキュリティキーが分からずインストールができない
・回答：購⼊後のご契約内容確認メールにセキュリティキーが含まれており、そのキーを使⽤すればインストールが完了できる。試してみてもらえるか。」

選択肢からちゃんと選んでいるし、フェーズも合っているね

検証②その他の制限

その他の制限としては名前の敬称略、回答の要約などがあるかな

複数の制限をかけても正しい回答が得られるのか確認してみよう

じゃあ次はフェーズにくわえて名前の敬称略、回答は要約したものと指示してみるね

『会話文
この通話の中で以下の項⽬を箇条書きで記載してください。
フェーズは解決済み、未解決、不承から選んでください。
名前は敬称略でお願いします。
回答は要約してください。
・担当者：
・フェーズ：
・顧客名：
・電話番号：
・購⼊の⽅法：
・製品名：
・質問内容：
・回答：』

chatGPT
「・担当者：中野
・フェーズ：解決済み
・顧客名：畑中M⼦
・電話番号：0310231234
・購⼊の⽅法：WEB注⽂
・製品名：応対⼒
・質問内容：セキュリティキーが分からないため、インストールができない
・回答：ご契約内容確認メールにセキュリティキーが含まれているので確認してください。セキュリティキーを使ってインストールが
完了できます。」

ちゃんと指示通りになっているね。制限が複数でもきちんと機能するみたい

もう一回、会話文を変更するね。内容は下記のとおりだよ

『No オペレーター[o]/顧客[c]
0 c 「今⽇、在庫切れというメールをもらったんですけど」
1 o 「せっかく私どもの商品を楽しみにしていただいていたのに在庫切れのお知らせで、さぞがっかりなさったことと存じます。誠に申し訳ご
ざいません。お⼿数ですが商品番号、または商品名をお知らせいただけますか。」
2 c 「レーズン⼊りのチーズケーキです」
3 o 「商品番号123456番 ケーゼザーネトルテレアチーズケーキでお間違いありませんでしょうか。」
4 c 「はい」
5 o 「該当の商品は現在注⽂が殺到しておりまして、⼀時的に⽋品となっております。誠にご不便をおかけして申し訳ないのですが、次回の⼊
荷予定は5⽉23⽇となっております。」
6 c 「そんなに待たないといけないんですか。」
7 o 「商品発送まで⼤変お待たせすることになり、⼼苦しい限りでございます。同様の商品が何点かございます。そちらの商品URLをお伝えい
たしますので、ご検討いただけますでしょうか。」
8 c 「ちょっと考えさせてください」
9 o 「どうぞ⼗分にご検討ください。また、キャンセルをご希望であれば、その旨をお伝えください。」
10 c 「わかりました」
11 o 「この度は、ご注⽂いただいた商品でご期待に沿えず申し訳ございませんでした。今後ご希望がございましたら、いつでも対応いたし
ますので、なにとぞお知らせくださいますようお願い申し上げます。」』

検証①結果の信頼性

ここまでの検証で要約などはできることがわかったけど、回答のなかには断定できないものもあるよね

そうだね。今回の会話文だと顧客が次にも購入するかなどわからないね

では、1つ1つの回答に信頼度を付与させるとどうなるのかな

『会話文
この通話の中で以下の項⽬を箇条書きで記載してください。
断定できない項⽬には「不明」と記載してください。
・商品番号：
・商品名：
・問い合わせの経緯：
・問い合わせ内容：
・回答内容：』

chatGPT
「・商品番号：123456番（回答内容から判明）
・商品名：レーズン⼊りのチーズケーキ（問い合わせ内容から判明）
・問い合わせの経緯：顧客が在庫切れのメールを受信したため、オペレーターに問い合わせた。
・問い合わせ内容：商品が在庫切れであることを伝え、商品番号または商品名を問い合わせた。
・回答内容：商品が⽋品している旨を伝え、⼊荷予定⽇を告知し、同様の商品URLを提供した。また、キャンセルを希望する場合は連絡をする
ように伝えた。」

う～ん。要約の信頼性を回答することは難しそうだね

そうだね。メタ的な情報を答えさせることは難しいのかも

検証②感情の推測

信頼度はあくまでも推測であるのだけど、うまくいかなかったね

最後に補足的な検証として感情を出力してみよう

了解。じゃあ今回は怒り度を試してみようかな

怒りを確認するために、今回は文中にやや怒りを感じるような文言を入れているよ

『No オペレーター[o]/顧客[c]
0 c 「今⽇、在庫切れというメールをもらったんですけど」
1 o 「お電話いただきありがとうございます。本⽇在庫切れというメールをお受け取りなられたということですね。せっかく私どもの商品を楽
しみにしていただいていたのに在庫切れのお知らせで、さぞがっかりなさったことと存じます。誠に申し訳ございません。お⼿数ですが商品番
号、または商品名をお知らせいただけますか。」
2 c 「レーズン⼊りのチーズケーキです」
3 o 「レーズン⼊りのチーズケーキですね。お客様がご注⽂いただいた商品は、商品番号123456番 商品名はケーゼザーネトルテレアチーズ
ケーキでお間違いありませんでしょうか。」
4 c 「はい」
5 o 「該当の商品は現在注⽂が殺到しておりまして、⼀時的に⽋品となっております。誠にご不便をおかけして申し訳ないのですが、次回の⼊
荷予定は5⽉23⽇となっております。」
6 c 「そんなに待たないといけないんですか。」
7 o 「商品発送まで⼤変お待たせすることになり、⼼苦しい限りでございます。同様の商品が何点かございます。そちらの商品URLをお伝えい
たしますので、ご検討いただけますでしょうか。」
8 c 「ちょっと考えさせてください」
9 o 「どうぞ⼗分にご検討ください。また、キャンセルをご希望であれば、その旨をお伝えください。」
10 c 「わかりました」
11 o 「この度は、ご注⽂いただいた商品でご期待に沿えず申し訳ございませんでした。今後ご希望がございましたら、いつでも対応いたし
ますので、なにとぞお知らせくださいますようお願い申し上げます。」
この通話の中で以下の項⽬を箇条書きで記載してください。
通話内容は特定の⽬的で問い合わせたものだけでなく、顧客の不満をぶつけるためだけのものもあります。
もし、そのような通話の場合は「怒り度」の項⽬に１〜５で⼊れてください。５がすごく怒っていて、１は平常⼼です。
・商品番号：
・商品名：
・問い合わせの経緯：
・問い合わせ内容：
・怒り度：』

chatGPT
「・商品番号：123456番
・商品名：ケーゼザーネトルテレアチーズケーキ
・問い合わせの経緯：在庫切れのメールを受け取ったため
・問い合わせ内容：商品の在庫状況と次回⼊荷予定⽇について
・怒り度：1（平常⼼）」

う～ん。あまりきちんと推測できていないかな

そうだね。chatGPTに推測をおこなわさせるためには指示の的確さが求められそうだね

中編に続く。。

まとめ

1,要約は比較的容易におこなえる
2,要約形式の変更も可能
3,会話文にない言葉についても考えることができる（制限を与えられる）
4,推測についてはやや課題が残る