Tox24 Challengeの結果

昨日、日本時間の9月20日深夜、オンライン上でTox24 Challengeの結果が発表されました。

前回Tox24 Challengeの記事に書いたように、このChallengeの最終結果はブラインドテストセットに対する予測性能によって決定されました。

参加チームは最終的に79チームになりました。

私たち明治薬科大学医療分子解析学研究室の教員と大学院生の混成チームであるチームmicrosomesの成績は・・・

第4位でした！

予測性能は予測値と実測値のプロットにおけるRMSE値によって決定されます。

RMSEというのは正解の値と予測値の差の平均「みたい」な統計量ですので、小さいほど高性能ということになります。

（実際には差の二乗の平均を計算してから平方根にします。回帰モデルの評価指標に使用されます。）

全79チームのRMSEを描画するとこんな風になります。

この図の点は各参加チームの提出した予測モデルの精度を示しています。

一番下の点が優勝チーム（チーム名Amidoffさん）のRMSEで、値は20.5でした。

我々チームmicorosmesのRMSEは20.8で、図の「ココ」の部分に相当します。

見て分かるように先頭集団の予測精度差は誤差範囲程度に見えます。

一等賞になれなかった負け惜しみになりますが、予測対象によって順位は容易に入れ替わることが予想されます。

なお、主催者は上図の赤と青で示した第11位までのモデルに関して有意差を認めないとして、該当チームに無償の論文執筆権を与えました。

上位の予測モデルにはどのような工夫が施されていたのでしょうか？

論文を読むのが楽しみです。

私たちの予測モデルの詳細は、CBI学会2024年大会で大学院生の岩下悠馬君がポスター発表する予定です。