先月末にこの記事を見たときは、これは日本の技術系ニュースサイトでも取り上げられるだろうなと思ったのだが、観測範囲が狭いのかそういうのを見かけなかったので、一応紹介しておく。
コーディングアシスタントは、生成 AI のユースケースとして有望視されているが、期待される生産性の向上はほとんどないという話である。
多くの開発者が AI のコーディングアシスタントで生産性が向上すると言っているが、Uplevel 社の研究によると有意な利益は見られず、それどころか GitHub Copilot を使用するとバグが4割以上多く発生したとな。また pull request のサイクルタイムを測定しても、Copilot を使用する開発者に有意な改善は見られなかったとのこと。
じゃあ、AI のコーディングアシスタントに全然意味がないのかというと、開発者の燃え尽き症候群についての調査では、標準時間外に費やした作業時間は Copilot を使用している場合のほうが減少したという。
8月に発表された GitHub の調査によると、今やソフトウェアエンジニア、開発者、プログラマーの97％が AI コーディングアシスタントを使用しているとのことで（ほとんど全員や！）、それにはもちろん生産性向上の期待があるし、コーディングアシスタントを使うことで55％速くコードを書けるようになったという調査結果もあるのだが、Uplevel 社の発表内容はそれに対立するものである。
結局は、コーディングアシスタントを使っても、現状は人間のチェックが必要ということのようだ。記事には、「AI で生成されたコードを理解し、デバッグするのがますます難しくなっており、トラブルシューティングに大量のリソースを要するため、コードを修正するより最初から書き直すほうが楽だったりする」という Gehtsoft の CEO である Ivan Gekht の発言が引用されている。
数行のコードを書くことと、本格的なソフトウェア開発は別物ということですね。およそ一年前に書いた「ソフトウェア開発の真の問題点は、コードを書くことではなく、問題の複雑さの管理にある」という話を思い出しますね。
この記事の最後には、Uplevel 社の研究とかなり異なるコーディングアシスタントへの肯定的な声も紹介されており、使い方次第というのは間違いないようだ。現状では、生成 AI アシスタントは Java のアップグレードといった定型作業の工数節約のほうが効果が大きそうである。
ネタ元は Slashdot。
