本日5月14日午前2時、ChatGPTに新たなバージョンであるGPT-4 omuni（GPT4o）が登場しました。
開発元のOpenAI社によると、ChatGPT4oは応答速度を大幅に向上させるとともに、多数のベンチマークでGPT4、Gemini 1.5 Pro、Claude3 Opusなどを上回る言語理解を示したとのことです。
そこで、早速いつも使用している薬剤師国家試験の問題セットを解かせてみました。
使用した問題セットはいつもと全く同じです。
ただ、一問一問逐次的に解かせるのは面倒くさいので、全問題を一気にコピペしました。
また、今回も前回と同じように深津式プロンプトの有無による検証を実施してみました。
では、結果です。
| 第１０９回 |
正答数 (正答率) |
|
||||||||
| 薬剤師国家試験問題 | 問題数 |
ChatGPT4o with 深津式プロンプト
|
ChatGPT4o |
ChatGPT3.5 with 深津式プロンプト |
ChatGPT3.5 | ChatGPT4 |
Gemini1.5 Pro |
Copilot with 深津式プロンプト |
Gemini Ultra |
Claude 3 Opus |
|
薬理学 （必須問題） |
14 | 13(93%) | 13(93%) | 10(71%) | 10(71%) | 13(93%) | 13(93%) | 13(93%) | 10(71%) | 11(79%) |
|
薬剤学 （必須問題） |
9 | 8(89%) | 8(89%) | 7(78%) | 5(56%) | 8(89%) | 8(89%) | 8(89%) | 6(67%) | 8(89%) |
|
薬剤学 （理論問題） |
9 | 7(78%) | 6(67%) | 4(44%) | 0(0%) | 5(56%) | 5(56%) | 6(67%) | 2(22%) | 3(33%) |
| 総計 | 32 | 28(88%) | 27(84%) | 21(66%) | 15(47%) | 26(81%) | 26(81%) | 27(84%) | 18(56%) | 22(69%) |
GPT4oの成績はGPT4よりも向上していました。
比較的難しい「理論問題」の正答率が向上していました。
さらに、プロンプトを深津式にすることによって、とうとう理論問題を8割近く正答するようになりました。
全体の正答率はほぼ9割という素晴らしい成績を達成しました！
なお、回答速度は体感で数倍から10倍程度向上しています。
今のところ国家試験の勉強用にはChatGPT4oが最強のツールと言えそうです。
OpenAIはこのサービスを無料で提供する予定とのことですので、国家試験の学習スタイルが大幅に変容するのはもうすぐでしょう。
