つい最近GoogleがGeminiの進化版であるGemini1.5 Proを一般公開しました。
Gemini1.5 Proは無料で使用できますが、有料版のGemini1.0 Ultraに匹敵する性能を持っているという触れ込みです。
私の実験によると、Gemini Ultraは国家試験の解答精度においては残念な性能でした。
では、このGemini1.5 Proはどうなのでしょうか？
ということで、また同じ問題の組み合わせで実験してみました。
実験に使用した問題は例によって第109回薬剤師国家試験の
薬理学（必須問題）
薬剤学（必須問題）
薬剤学（理論問題）
の中から図を使用していないものを選択しました。
では、結果です。
| 第１０９回 | 正答数(正答率) | |||||
| 薬剤師国家試験問題 | 問題数 |
Gemini1.5 Pro |
Copilot with 深津式プロンプト |
ChatGPT-4 | Gemini Ultra | Claude 3 Opus |
| 薬理学（必須問題） | 14 | 13(93%) | 13(93%) | 13(93%) | 10(71%) | 11(79%) |
| 薬剤学（必須問題） | 9 | 8(89%) | 8(89%) | 8(89%) | 6(67%) | 8(89%) |
| 薬剤学（理論問題） | 9 | 5(56%) | 6(67%) | 5(56%) | 2(22%) | 3(33%) |
| 総計 | 32 | 26(81%) | 27(84%) | 26(81%) | 18(56%) | 22(69%) |
Gemini1.5 Proは無料なのにもかかわらず有料版Gemini Ultraより大幅に賢くなっていることがわかりました。
国家試験の解答精度は有料版ChatGPTやCopilotに深津式プロンプトを使って検索させるケースに匹敵しています。
レスポンスは有料版ChatGPTやCopilotより速そうですのでせっかちな人にも向いています。
残念ながら今はまだ試用版でネット検索機能は無いようですが、使い方によってはかなり有望な勉強ツールになりそうです。
（Gemini1.5 Proも他のAI同様にしれっと嘘をつくので、回答を鵜呑みにすることなく使用することが前提です。）
