ChatGPTは、OpenAIが開発した、インターネット上の多様なテキストを対象に学習させた高度な言語モデルです。このモデルは、受け取った入力に基づき、質問に答え、テキストを生成するように設計されています。このブログ記事では、ChatGPTがこれまでに突破した様々な資格試験についてまとめます。
US Medical Licensing Exam
米国医師免許試験は、世界で最も厳しい医学試験のひとつとされています。3段階の試験で、合格するためには4年以上の学習が必要です。試験には、基礎科学から医療管理まで幅広いトピックを網羅した難問が出題されます。
ChatGPTは、3つの試験をすべてクリアし、60%以上の得点と、ほとんどの問題で50%の精度を達成することができました。研究者は、ボットが専門的な訓練なしにこの偉業を達成したことに感銘を受けました。
Graduate-level Exams
ChatGPTは、大学院レベルの有名な試験に合格するほどの頭脳を持っています。
この強力なAIチャットボットツールは最近、ミネソタ大学の4つのコースの法律試験と、ペンシルバニア大学ウォートン・スクール・オブ・ビジネスの試験に合格したと、両校の教授が述べています。
ChatGPTが4つのコースの試験でどの程度の解答を生成できるかを試すため、ミネソタ大学法学部の教授が最近、試験をブラインドで採点しました。95問の選択問題と12問の小論文問題を解いたところ、ボットは平均してC+の成績で、4つのコースすべてで低いながらも合格点を取ることができました。
AWS認定ソリューションアーキテクト試験
AWSのソリューションアーキテクトとは、アーキテクトカテゴリーに属します。ソリューションアーキテクトは、AWSで提供されているサービスを構成するコンピューティング・ネットワーキング・ストレージ・データベースの知識を有します。AWSで必要なデプロイや管理の他、安全性や信頼性を意識した構成能力が求められます。
試験のレベルは、アソシエイトレベルとプロフェッショナルがあります。プロフェッショナルでは上記に加えて、可用性・耐障害性・信頼性を考慮したアプリケーションの設計能力が求められます。また、AWSサービスの連携・プロジェクト管理・OSの知識からビジネス目標まで幅広い範囲から出題されます。
Wharton MBA
ChatGPTは、ウォートン・ビジネススクールの教授であるChristian Terwieschが課したオペレーションズ・マネジメントの試験を受験しました。採点後、Terwieschは、このモデルがBからB-(Bマイナス)の間のスコアであることを明かしました。
さらに、「答えが正しいだけでなく、説明も素晴らしい。しかし、初級レベルの比較的簡単な計算でミスをするのには驚きました。現在のAIは、高度な数学は解けないようです。また、正解のヒントを与えると、その答えを修正する機能も持っている」とのことでした。
司法試験（弁護士）
ChatGPTは、司法試験の多肢選択式問題に挑戦している間、50%の精度を誇っていました。MBEは、法曹資格を得るための司法試験における3つの試験のうち、最初の試験です。
ただし、AIが試されたのは、7科目のうち2科目である「不法行為」と「証拠」の部分のみです。ボットは事前の訓練や知識なしに50％の問題に正しく回答しました。研究者は、大規模で発展的なモデルであれば、今後さらに高いパフォーマンスを発揮するであろうと述べています。
Google Software Engineer Level3
ChatGPTは、Googleのコーディング面接をクリアし、レベル3のエンジニア職、約18万3千ドルの給与を得る資格があると判断されました。
Amazon Software Engineer
https://www.businessinsider.com/chatgpt-amazon-job-interview-questions-answers-correctly-2023-1
Insiderが見た最近の社内Slackチャンネルでの議論のスクリーンショットによると、人工知能を搭載したチャットボットは、ソフトウェアコーディング職のアマゾンの面接の質問にいくつか正しく答えたという。
回答は最も効率的なものではなく、「バグ」のある実装もあったが、ChatGPTは正しい解答を与え、コードの改善まで行うことができたと、Amazonの機械学習エンジニアはSlackチャンネルで説明している。
"素直に感動しました！"と、その社員はSlackに書き込んでいます。"これがコーディング面接のやり方にどんな影響を与えるか、怖くもあり楽しみでもある"
まとめ
結論として、ChatGPTは様々な試験やテストで手ごわいAIチャットボットツールであることを証明しました。米国医師免許試験からGoogleソフトウェアエンジニア3級まで、このチャットボットは難問に取り組み、正確な回答を生成する能力を実証してきました。多少のミスや改善の余地はあるものの、ChatGPTはその知識と能力で各分野の専門家に感銘を与え、試験で好成績を残しています。テクノロジーが進化し続ける中、AIが知識やスキルのテストや測定方法にどのような影響を与え、変化し続けるのか、興味深いところです。
