Llama2、GPT-4、Stable Diffusion 2、Claude 2 といった生成 AI の基盤モデルについて、100もの指標で透明性を評価した結果が一覧できるサイトが、スタンフォード大学の基盤モデル研究センター（Stanford CRFM）にできている。
ここでもワタシが訳した「AIを信頼するには、それがオープンで透明性がないといけない。以上。」を引き合いに出させてもらうが、やはり「透明性（Transparency）」は人工知能を評価する上で重要な要素である。
さて、AI の基盤モデルをオープンにすべきかクローズドにすべきかという論争があるが、透明性を評価すると、やはりオープンモデルがクローズドモデルよりも高いスコアとなるようで、これは直感通りの結果と言える。
今年のはじめに「インチキAIに騙されないために」で取り上げたサヤッシュ・カプールが、このサイトの作者と論文の著者に名前を連ねている。その彼もこのサイトについて解説を書いているので参考まで。
