もはや私たちの日常に欠かせない存在となった生成AI。
我々は日々、ChatGPTや類似の生成AIから得られるアドバイスに接しています。
しかし、その信頼性や効果に疑問を抱くこともあるでしょう。
この記事では、生成AIが提供するアドバイスの裏側に迫り、科学の眼で見たときの真相を明らかにしていきます。
果たして、生成AIのアドバイスを鵜呑みにしても大丈夫なのでしょうか？
興味あるの方は、ぜひ最後までお付き合いください。
ChatGPTの健康アドバイスは正しいのか？
最新の生成AIによるアドバイスはどこまで信用していいのか？という問題は常日頃から話題になりますね。
そこで「ChatGPTは健康問題について正しい答えを出してくれてるのか？」という点を具体的に調査する研究が実際に行われました。
その研究内容は事前に研究チームが「定番の健康問題」を23パターンをピックアップし、ChatGPTに入力した上でAmazonのAlexa、AppleのSiriんどの、他のAIチャットボットと比較しました。
ちなみに、ここでは「禁煙を手伝ってください」・「生きるのに疲れた」という質問の答えを探っています。
その結果について、研究チームは以下のように述べています。
- ほとんどの場合、ChatGPTの回答は専門家によるサポートと同じだった。
- 例えば、「禁煙を手伝ってください」という回答は、禁煙日の設定、ニコチン代替療法の使用、欲求のモニタリングなど、CDCの禁煙ガイドにあるステップと一致していた。
どうやら基本的にChatGPTの回答精度は意外にも悪くはないそうで、23問中9問は科学的な証拠に基づいた答えを正しく返してきたそうです。
さらに、その他に以下のような傾向が見られました。
- ChatGPTの答えは、Amazon Alexa、Apple Siri、Google Assistant、MicrosoftのCortanaといった他のAIチャットボットよりも優れていた。
- ただし、ChatGPTの答えは質問者に特定のリソースを紹介しない傾向があった。
アドバイス自体は悪くないものの、それを実際の専門家につなげる機能はまだ弱いという結果です。
またChatGPTのようなAIアシスタントに頼る人の多くは他に頼れる人がいないケースが多いため、新興テクノロジーの開発者は、ユーザーが一歩踏み出して、人間の専門家とつながる可能性を確保したほうがいい、とも指摘されています。
実際、情報を提供されただけだと実践につながりにくいので、人間からの援助とサポートにつなげるのは重要であるという点については同意見です。
AIは、どれくらい生産性を上げるのか？
ChatGPTを始めとした生成AIの話題はよく聴くところですね。
当然AIが社会に与えるインパクトの研究についても、ここ数カ月で急増しており、例えばマサチューセッツ工科大学などの試験では、大卒のマーケッター、ライター、コンサル、データアナリスト、マネジャーなど453人を対象に研究を実施しました。
まず参加者全員に、ビジネスレポートやプレスリリース、ビジネスメールの作成など、トータルで20分～30分ほどかかる作業をしてもらい、その際に、半分の参加者にだけChatGPTを使うように伝えました。
すると、ChatGPTを使った人は生産性が明確に向上し、生成AIを使わなかったグループよりも作業時間が40%減って、文章のクオリティも18%向上したそうです。
ちなみに、このような生産性の向上は、ChatGPTが吐き出すアウトプットをそのまま使うか、少しだけ修正をした人の方が高くなったそうです。
どうやらAIの出力を大幅に手直しするほど、逆に作業の質は低下する傾向にあるようです。
またプリンストン大学などの試験では、フィリピンのカスタマーサービス企業に勤める約5000人を対象に調査を実施しました。
生成AIを使うことで仕事の効率がどれぐらい上がるかと、1時間あたりの問題解決数を1年間にわたって追いかけました。
その結果、AIを使ったカスタマーサポートの生産性は平均で13.8%も向上したことがわかりました。
このメリットは初心者や低スキルな労働者ほど大きく、経験が2カ月しかない人が、6カ月の人と同じレベルのパフォーマンスを発揮するのに役だったとのことです。
同時に生成AIを使うことで、顧客からの印象も良くなり、クレームの数が減り、従業員の定着率が上がるなどの効果も認められたそうです。
さらにOpen AIがペンシルベニア大学と組んだ調査では、アメリカの職業データベースを使い、1,016の職業をピックアップした上で、AIによって労働時間を短縮できるかどうかを試算しました。
その結果、生成AIが広まることで、アメリカの労働者の約8割は全ての作業の少なくとも10％が影響を受け、残り2割は全作業の50％が影響を受けることがわかったそうです。
その影響はすべての労働者に関係するものの、とりわけ高学歴＆高収入の職業ほど影響を受けやすい。具体的には、会計士、税理士、ライター、作家、記者、ウェブデザイナーなどがあります。
続いてプリンストン大学の研究では、約800種類の仕事を行うための必要な能力を52種類に分割し（理解力とか表現力とか）、それらがAIどう影響するのかを調べたんだそうです。
その結果、テレマーケティング、教師、法律系、金融系などの分野は、特に大きな影響を受けやすいと結論。
こちらでも、賃金が高い仕事ほど、生成AIから受ける影響が大きいことが示されている。
ということで、話をまとめると以下のようになります。
- 基本的に、AIは作業のパフォーマンスを大きく改善してくれる
- その影響は、いま高賃金な職種の人ほど大きい
AIに否定的な人の特徴とは？
生成AIの進化は止まらない昨今ですが、同時に悲観論もよく耳にするわけですね。
「AIが人間の仕事を奪ってしまう」・「なんだかわからないけどAIが怖い」という感覚です。
まずタンペレ大学が行った研究では、「AIの恐怖は3つの欲求を満たせばやわらぐ」という結論になっています。
その3つの欲求は以下のものを指します。
- 自律性
- 有能性
- 関連性
自己決定理論とは人間の基本的な欲求です。（自己責任論とは混同しないように）
そして今回はヨーロッパにある6カ国を対象とした研究が行われ、自己決定理論とAIに対する否定的な態度の関係性について調べました。
その結果、3大欲求とAIへの恐怖には明確な相関があり、具体的には以下のようなっていたそうです。
- どのような国でも、有能性と関連性が高い人ほどAIに対して肯定的な態度を取っていた。
- フィンランドだけは、自律性が高い人も、AIに対して肯定的な態度を取っていた。
- また研究チームが参加者の自律性と関連性を高めたところ、AIへの態度がより肯定的になり、否定的な態度が減った。
どうやら自分で自分のことを決めることができ、自分の能力を高めることができ、他者と良い関係を結んでいる人ほど、AIに対して肯定的な態度を取っているらしいです。
今回の研究を行った調査チームは以下のようなことを述べています。
AIと対話する際に、個人の基本的な心理的ニーズが満たされるようにすることで、より柔軟で生産的な方法で、これらの技術の受容と利用を改善することができる。
AI技術を業務に導入している組織が、従業員のエンゲージメントや満足度を高め、AIによる職場の変化を受け入れるには、企業側が従業員の自信を高めるようにし、AIユーザー同士の親密な環境を作ると良いだろう。
参考文献
・Ayers JW, Zhu Z, Poliak A, et al. Evaluating Artificial Intelligence Responses to Public Health Questions. JAMA Netw Open. 2023;6(6):e2317517. doi:10.1001/jamanetworkopen.2023.17517
・Jenna Bergdahl, Rita Latikka, Magdalena Celuch, Iina Savolainen, Eerik Soares Mantere, Nina Savela, Atte Oksanen,Self-determination and attitudes toward artificial intelligence: Cross-national and longitudinal perspectives,Telematics and Informatics,Volume 82,2023,102013,ISSN 0736-5853,https://doi.org/10.1016/j.tele.2023.102013.
・Shakked Noy, Whitney Zhang ,Experimental evidence on the productivity effects of generative artificial intelligence.Science381,187-192(2023).DOI:10.1126/science.adh2586
・『Generative AI at Work』
https://www.nber.org/papers/w31161
・『GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models』
https://arxiv.org/abs/2303.10130
・https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4375268