生成AIのプロンプトによるアドバイスの信頼性:科学的視点での検証結果

 もはや私たちの日常に欠かせない存在となった生成AI。

 我々は日々、ChatGPTや類似の生成AIから得られるアドバイスに接しています。

 しかし、その信頼性や効果に疑問を抱くこともあるでしょう。

 この記事では、生成AIが提供するアドバイスの裏側に迫り、科学の眼で見たときの真相を明らかにしていきます。

 果たして、生成AIのアドバイスを鵜呑みにしても大丈夫なのでしょうか?

 興味あるの方は、ぜひ最後までお付き合いください。

ChatGPTの健康アドバイスは正しいのか?

 最新の生成AIによるアドバイスはどこまで信用していいのか?という問題は常日頃から話題になりますね。

 そこで「ChatGPTは健康問題について正しい答えを出してくれてるのか?」という点を具体的に調査する研究が実際に行われました。

 その研究内容は事前に研究チームが「定番の健康問題」を23パターンをピックアップし、ChatGPTに入力した上でAmazonのAlexa、AppleのSiriんどの、他のAIチャットボットと比較しました。

 ちなみに、ここでは「禁煙を手伝ってください」・「生きるのに疲れた」という質問の答えを探っています。

 その結果について、研究チームは以下のように述べています。

  • ほとんどの場合、ChatGPTの回答は専門家によるサポートと同じだった。
  • 例えば、「禁煙を手伝ってください」という回答は、禁煙日の設定、ニコチン代替療法の使用、欲求のモニタリングなど、CDCの禁煙ガイドにあるステップと一致していた。

 どうやら基本的にChatGPTの回答精度は意外にも悪くはないそうで、23問中9問は科学的な証拠に基づいた答えを正しく返してきたそうです。

 さらに、その他に以下のような傾向が見られました。

  • ChatGPTの答えは、Amazon Alexa、Apple Siri、Google Assistant、MicrosoftのCortanaといった他のAIチャットボットよりも優れていた。
  • ただし、ChatGPTの答えは質問者に特定のリソースを紹介しない傾向があった。

 アドバイス自体は悪くないものの、それを実際の専門家につなげる機能はまだ弱いという結果です。

 またChatGPTのようなAIアシスタントに頼る人の多くは他に頼れる人がいないケースが多いため、新興テクノロジーの開発者は、ユーザーが一歩踏み出して、人間の専門家とつながる可能性を確保したほうがいい、とも指摘されています。

 実際、情報を提供されただけだと実践につながりにくいので、人間からの援助とサポートにつなげるのは重要であるという点については同意見です。

AIは、どれくらい生産性を上げるのか?

 ChatGPTを始めとした生成AIの話題はよく聴くところですね。

 当然AIが社会に与えるインパクトの研究についても、ここ数カ月で急増しており、例えばマサチューセッツ工科大学などの試験では、大卒のマーケッター、ライター、コンサル、データアナリスト、マネジャーなど453人を対象に研究を実施しました。

 まず参加者全員に、ビジネスレポートやプレスリリース、ビジネスメールの作成など、トータルで20分~30分ほどかかる作業をしてもらい、その際に、半分の参加者にだけChatGPTを使うように伝えました。

 すると、ChatGPTを使った人は生産性が明確に向上し、生成AIを使わなかったグループよりも作業時間が40%減って、文章のクオリティも18%向上したそうです。

 ちなみに、このような生産性の向上は、ChatGPTが吐き出すアウトプットをそのまま使うか、少しだけ修正をした人の方が高くなったそうです。

 どうやらAIの出力を大幅に手直しするほど、逆に作業の質は低下する傾向にあるようです。

 またプリンストン大学などの試験では、フィリピンのカスタマーサービス企業に勤める約5000人を対象に調査を実施しました。

 生成AIを使うことで仕事の効率がどれぐらい上がるかと、1時間あたりの問題解決数を1年間にわたって追いかけました。

 その結果、AIを使ったカスタマーサポートの生産性は平均で13.8%も向上したことがわかりました。

 このメリットは初心者や低スキルな労働者ほど大きく、経験が2カ月しかない人が、6カ月の人と同じレベルのパフォーマンスを発揮するのに役だったとのことです。

 同時に生成AIを使うことで、顧客からの印象も良くなり、クレームの数が減り、従業員の定着率が上がるなどの効果も認められたそうです。

 さらにOpen AIがペンシルベニア大学と組んだ調査では、アメリカの職業データベースを使い、1,016の職業をピックアップした上で、AIによって労働時間を短縮できるかどうかを試算しました。

 その結果、生成AIが広まることで、アメリカの労働者の約8割は全ての作業の少なくとも10%が影響を受け、残り2割は全作業の50%が影響を受けることがわかったそうです。

 その影響はすべての労働者に関係するものの、とりわけ高学歴&高収入の職業ほど影響を受けやすい。具体的には、会計士、税理士、ライター、作家、記者、ウェブデザイナーなどがあります。

 続いてプリンストン大学の研究では、約800種類の仕事を行うための必要な能力を52種類に分割し(理解力とか表現力とか)、それらがAIどう影響するのかを調べたんだそうです。

 その結果、テレマーケティング、教師、法律系、金融系などの分野は、特に大きな影響を受けやすいと結論。

 こちらでも、賃金が高い仕事ほど、生成AIから受ける影響が大きいことが示されている。

ということで、話をまとめると以下のようになります。

  • 基本的に、AIは作業のパフォーマンスを大きく改善してくれる
  • その影響は、いま高賃金な職種の人ほど大きい

AIに否定的な人の特徴とは?

 生成AIの進化は止まらない昨今ですが、同時に悲観論もよく耳にするわけですね。

 「AIが人間の仕事を奪ってしまう」・「なんだかわからないけどAIが怖い」という感覚です。

 まずタンペレ大学が行った研究では、「AIの恐怖は3つの欲求を満たせばやわらぐ」という結論になっています。

その3つの欲求は以下のものを指します。

  • 自律性
  • 有能性
  • 関連性

 自己決定理論とは人間の基本的な欲求です。(自己責任論とは混同しないように)

 そして今回はヨーロッパにある6カ国を対象とした研究が行われ、自己決定理論とAIに対する否定的な態度の関係性について調べました。

 その結果、3大欲求とAIへの恐怖には明確な相関があり、具体的には以下のようなっていたそうです。

  • どのような国でも、有能性と関連性が高い人ほどAIに対して肯定的な態度を取っていた。
  • フィンランドだけは、自律性が高い人も、AIに対して肯定的な態度を取っていた。
  • また研究チームが参加者の自律性と関連性を高めたところ、AIへの態度がより肯定的になり、否定的な態度が減った。

 どうやら自分で自分のことを決めることができ、自分の能力を高めることができ、他者と良い関係を結んでいる人ほど、AIに対して肯定的な態度を取っているらしいです。

 今回の研究を行った調査チームは以下のようなことを述べています。

AIと対話する際に、個人の基本的な心理的ニーズが満たされるようにすることで、より柔軟で生産的な方法で、これらの技術の受容と利用を改善することができる。

AI技術を業務に導入している組織が、従業員のエンゲージメントや満足度を高め、AIによる職場の変化を受け入れるには、企業側が従業員の自信を高めるようにし、AIユーザー同士の親密な環境を作ると良いだろう。

参考文献

・Ayers JW, Zhu Z, Poliak A, et al. Evaluating Artificial Intelligence Responses to Public Health Questions. JAMA Netw Open. 2023;6(6):e2317517. doi:10.1001/jamanetworkopen.2023.17517

・Jenna Bergdahl, Rita Latikka, Magdalena Celuch, Iina Savolainen, Eerik Soares Mantere, Nina Savela, Atte Oksanen,Self-determination and attitudes toward artificial intelligence: Cross-national and longitudinal perspectives,Telematics and Informatics,Volume 82,2023,102013,ISSN 0736-5853,https://doi.org/10.1016/j.tele.2023.102013.

・Shakked Noy, Whitney Zhang ,Experimental evidence on the productivity effects of generative artificial intelligence.Science381,187-192(2023).DOI:10.1126/science.adh2586

・『Generative AI at Work』

https://www.nber.org/papers/w31161

・『GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models』

https://arxiv.org/abs/2303.10130

・https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4375268

最新情報をチェックしよう!