今まで、全32題の薬剤師国家試験問題セットを使ってChatAI達の実力を測定してきました。
2024年3月8日に評価しはじめてから前回の6月22日まで3ヶ月半しか経過していませんが、それほど長くないこの期間に新規AIがどんどんリリースされ、そのたびに性能が上がっていくのを目の当たりにすることとなりました。
AI業界の覇権争いは凄まじいの一語です。。
さて、比較的簡単なはずの必須問題であるにもかかわらずChatGPTが間違ってしまう問題が1問だけ残りました。
この問題さえできればChatGPT4omni＋深津式プロンプトは正答率100％となります。
今回は完全正答を阻むこの問題を観察対象としてみます。
この難問は薬剤学分野の必須問題でした。
109回問54
医薬品の二次包装はどれか。1つ選べ。
1 ブリスター包装
2 PTP (Press Through Package)包装
3 ストリップ包装
4 ピロー包装
5 プラスチックバッグ
正解は4のピロー包装です。
しかし、ChatGPTは5を正解と答えてしまいます。
ChatGPT4omni+深津式プロンプトで回答させた結果から選択肢4と5のみ表示します。
（誤りが含まれています）
～前略～
選択肢4: ピロー包装
（注：次の文章は誤りです）ピロー包装は、通常、食材や小物を包装するための方法で、医薬品では主に個別の製品を密封する一次包装として使用されます。したがって、これも二次包装には当たりません【参考文献】[https://kathryncoltrinbooks.com/一次包装-二次包装-および三次包装](https://kathryncoltrinbooks.com/一次包装-二次包装-および三次包装).
選択肢5: プラスチックバッグ（注：これはAIが出力したテキストです）
（注：次の文章は誤りです）プラスチックバッグは、一次包装された製品をまとめて梱包するために使用されることが多く、（注：次の文章は誤りです）医薬品の二次包装として一般的です。二次包装は製品の取り扱いを簡便にし、ブランディングや情報提供を行うための外部の包装です【参考文献】[https://kathryncoltrinbooks.com/一次包装-二次包装-および三次包装](https://kathryncoltrinbooks.com/一次包装-二次包装-および三次包装).（注：これはAIが出力したテキストです）
解答
（注：次の文章は誤りです）医薬品の二次包装として正しいのは、選択肢5の「プラスチックバッグ」です。二次包装は、一次包装された医薬品をまとめ、外部からの衝撃や汚染を防ぎ、輸送や流通を容易にする役割を持っています【参考文献】[https://kathryncoltrinbooks.com/一次包装-二次包装-および三次包装](https://kathryncoltrinbooks.com/一次包装-二次包装-および三次包装).（注：これはAIが出力したテキストです）
（注：次の文章は誤りです）最終解答：選択肢5 プラスチックバッグ（注：これはAIが出力したテキストです）
以上、引用終わり
製剤においてピロー包装といったらこんなのですので、一般的には解説は誤りだと言えます。
また、医薬品のプラスチックバッグといったらこんなのを指しますので、こちらも誤りです。
参考文献として表示されたリンク先もメチャクチャでした。
一方、最新のClaude 3.5 Sonnetはこの問54を含む全必須問題を正解しました。
このClaude 3.5 Sonnetの回答を見てみましょう。
（この出力結果にも誤りが含まれています）
～前略～
4. ピロー包装
<根拠となるurl>https://www.pmda.go.jp/files/000160049.pdf
ピロー包装は二次包装に該当します。一次包装された製品をさらに包む外側の包装です。
5. プラスチックバッグ
<根拠となるurl>https://www.mhlw.go.jp/content/11120000/000335163.pdf
（注：次の文章は誤りを含みます）プラスチックバッグは、使用方法によって一次包装にも二次包装にもなり得ますが、一般的に複数の一次包装された製品をまとめて入れる場合は二次包装として扱われます。（注：これはAIが出力したテキストです）
Step 3: 結論
（注：次の文章は誤りを含みます）上記の検討結果から、二次包装に該当するのは4. ピロー包装と5. プラスチックバッグです。しかし、問題では1つ選ぶように指示されているため、より一般的に二次包装として使用される選択肢を選びます。（注：これはAIが出力したテキストです）
最終的な解答：
4. ピロー包装が医薬品の二次包装に該当します。ピロー包装は一次包装された製品をさらに包む外側の包装であり、最も明確に二次包装の定義に合致します。（注：これはAIが出力したテキストです）
以上、引用終わり
正解にたどり着いていますが、プラスチックバッグの解説は誤りです。
根拠となるリンク先は一見まともそうですが、やはりメチャクチャです。
ChatAIを勉強に使うときにはくれぐれも確認を怠らないように願います。
最後にCopilotの結果を示します。
（やはり誤りが含まれています）
問54の医薬品の二次包装に関する問題を解説します。二次包装は、医薬品の一次包装をさらに保護するためのものです。それぞれの選択肢について検討し、正解を導き出しましょう。
～中略～
4. **ピロー包装**は、PTPやSP包装された医薬品をさらに防湿性を高めるためにポリエチレンなどで包む二次包装です。この包装は、医薬品を枕のような形状で包み、追加の保護を提供します¹。
5. （注：次の文章は誤りです）**プラスチックバッグ**は、通常、大量の医薬品を一括して包装するために使用される容器であり、特に液体や大量の固体製剤の二次包装に用いられます²。（注：これはAIが出力したテキストです）
以上の情報を基に、二次包装として最も適切なのは**ピロー包装**です。したがって、正解は**4 ピロー包装**です。ピロー包装は、他の包装方法に比べて防湿性を高めるために追加で行われる包装であり、二次包装の定義に最も適合しています。
(1) 医薬品包装における基本的要件と用語 – PMDA. https://www.pmda.go.jp/files/000163549.pdf
(2) ブリスター包装とPTP包装との違いは何？. https://www.blihoh-lab.com/knowledge/ptp-packaging.html.
(3) PTP包装？SP包装？いろいろな医薬品の包装形態 – 登録販売者 …. https://www.torokuhanbaisya.com/ptp%e5%8c%85%e8%a3%85%ef%bc%9fsp%e5%8c%85%e8%a3%85%ef%bc%9f%e3%81%84%e3%82%8d%e3%81%84%e3%82%8d%e3%81%aa%e5%8c%bb%e8%96%ac%e5%93%81%e3%81%ae%e5%8c%85%e8%a3%85%e5%bd%a2%e6%85%8b/
(4) ピロー包装とは | 製薬業界 用語辞典 | Answers（アンサーズ）. https://answers.ten-navi.com/dictionary/cat07/4604/
(5) ﾊﾞﾗ,PTP包装,SP包装,ﾋﾟﾛｰ包装とは？ | GMPとは？ – 楽天ブログ. https://plaza.rakuten.co.jp/workenglish/3063/
(6) 医薬品包装における基本的要件と用語 – PMDA. https://www.pmda.go.jp/files/000204693.pdf
(7) 薬剤師国家試験 第104回 問176 過去問解説 – e-REC | わかり …. https://e-rec123.jp/e-REC/contents/104/176.html
～中略～
(10) 第109回薬剤師国家試験問54 – SEED. https://yakuzaiseed.com/PharmaExam/109/54
以上、引用終わり
プラスチックバッグの解説は誤っていますが（引用先にはプラスチックバッグの解説はありませんでした）、ピロー包装が答えだとしれっと正解しています。
で、最後の引用を見てみると「第109回薬剤師国家試験問54」とありますので、ちゃっかりカンニングしていることがわかります。
ちなみに、このCopilotの参考文献は全てきちんとリンクされていました。
リンク先を見ながら確認できるので、Copilotは他のAIよりも勉強向きかもしれません。
【参考】
第101回 薬剤師国家試験問題検討委員会「薬剤」部会においてこの問題に関連する内容の報告書が提出されています。ご参考まで。
https://www.yakudaikyo.or.jp/files/libs/109/20160715162328642.pdf
101回問178
ピロー包装は確かに二次包装に用いられるが、二次包装でない包装もある。この選択肢では、ピロー包装は全て二次包装であるかのように読むことができ、望ましくない。過去に出題された時にも指摘があったにもかかわらず再出題となっており、望ましくない内容の選択肢がこのまま定着してしまうことを懸念する。
*9月22日にAI検索サービスGensparkの機能を確認していたところ、プラスチックバッグが2次包装として使用される可能性があるという根拠にこのページが引用されることを発見しました。
今回の記事では「誤りが含まれています」と注釈を入れてAIが出力したテキストをそのまま掲載していたのですが、問題の部分だけがGensparkに抽出されてしまったようです。
今後、AIが出力したハルシネーション（幻覚）入りのテキストがネット上に氾濫してくる未来が確実にやってきます。
AIはこれらの誤った情報を学習に使用せざるを得ませんので、将来的に解答精度が下がっていく要因になることが危惧されています。
なお、Gensparkはもの凄い精度のAI検索サービスです。
本記事がこのサービスに悪影響を与えてしまっては申し訳なさすぎるので、とりあえず「注：これはAIが出力したテキストです」の文言をAIが出力したテキストの近くに配置してみることにしました。
その後、何回か同じ試験問題をGensparkに入力してみましたが、このページは引用されなくなったようです。
