なぜ開発者は間違ったテスト技術を選び続けるのか

:::info 著者:

1. Sira Vegas
2. Patricia Riofr´ıo
3. Esperanza Marcos
4. Natalia Juristo

:::

リンク一覧

要約

1 はじめに

2 オリジナル研究：研究課題と方法論

3 オリジナル研究：妥当性の脅威

4 オリジナル研究：結果

5 複製研究：研究課題と方法論

6 複製研究：妥当性の脅威

7 複製研究：結果

8 考察

9 関連研究

10 結論と参考文献

要約

ソフトウェア開発における繰り返し発生する問題の一つは、使用する技術、方法、ツールに関する誤った意思決定です。これらの決定は主に開発者の認識に基づいています。人々の認識に影響を与える要因の一つは過去の経験ですが、それだけではありません。本研究では、事前経験がない状態で、異なる欠陥検出技術の有効性に対する認識が実際の有効性とどの程度一致するかを明らかにすることを目指しています。

\ これを行うために、実証研究とその複製を実施しました。オリジナル研究では、学生を対象に2つのテスト技術と1つのコードレビュー技術を適用する統制実験を行いました。実験の最後に、どの技術が最も効果的だと認識しているかを調査するためのアンケートを実施しました。結果は、参加者の認識が間違っており、この不一致が品質の面でコストがかかることを示しています。

\ 結果についてさらに洞察を得るために、統制実験を複製し、アンケートを拡張して参加者の技術とプログラムに関する意見についての質問を含めました。複製研究の結果は、オリジナル研究の発見を確認し、参加者の認識は複雑さに関する意見や技術に対する好みではなく、自分が技術をどれだけうまく適用したと思うかに基づいている可能性があることを示唆しています。

1. はじめに

現在、ソフトウェア開発企業が開発者に自分の技術環境を選択させることが、ますます一般的な慣行になっています。これは、異なる開発者が異なる生産性ツール（プログラミング言語、IDEなど）を使用する可能性があることを意味します。しかし、ソフトウェアエンジニアリング（SE）は人間中心の分野であり、誤った決定が結果として生じるソフトウェアの品質を潜在的に損なう可能性があります。SEでは、Dyb˚aら[19]とZelkowitzら[55]が示唆するように、ソフトウェア開発で使用する方法、技術、ツールに関する決定は、通常、証拠ではなく開発者の認識や意見に基づいています。

\ しかし、特定の設定内で、あるいはまったく研究されていない特定の方法、技術、ツールがある可能性があるため、実証的証拠が入手できない場合があります。あるいは、Vegas & Basili [49]によると、開発者がそのような研究に単に精通していない可能性もあります。このため、開発者の認識（信念）が現実とどの程度一致しているか、そして一致していない場合、この不一致の背後にあるものを発見することが重要です。これはDevanbuら[14]によって指摘されています。心理学によると、経験は人々の認識において役割を果たします。これはSEにおいてもDevanbuら[14]によって観察されています。

\ しかし、この研究は、使用されている技術に関する以前の経験がない状態で、認識が現実とどの程度一致しているかを発見することを目的としています。これはいくつかの理由で意味があります：1）経験は開発者の認識に影響を与える唯一の要因ではない；2）開発チームは通常、経験のある人とない人の混合で構成されている；3）どのタイプの経験が認識に影響を与えるかは明確ではない。例えば、Diesteら[17]は、テスト駆動開発を適用する際に開発者が生成するコードの外部品質に影響を与えているのは、専門的な経験ではなく学術的な経験である可能性があると結論付けています。

\ 私たちは、3つの欠陥検出技術の有効性に関する認識が現実と一致するかどうか、そしてそうでない場合、これらの認識の背後にあるものは何かを研究することを目指しています。私たちの知る限り、これはこの問題を実証的に評価する最初の論文です。このために、学生を対象に実証研究とその複製を実施しました。オリジナル研究では、参加者が適用した2つのテスト技術と1つのコードレビュー技術の有効性を（統制実験の一部として）測定しました。その後、（アンケートによって収集された）認識された最も効果的な技術を実際のものと比較しました。

\ さらに、認識と現実の間の不一致のコストを有効性の損失の観点から分析しました。主な発見には以下が含まれます：

– 異なる人々は異なる技術をより効果的だと認識しています。他の技術よりも効果的だと認識されている技術は一つもありません。– 参加者の50％（23人中11人）の認識は間違っています。

– 技術に対する誤った認識は、平均して有効性を31pp（パーセントポイント）低下させる可能性があります。

\ これらの発見により、参加者の認識の背後にあるものを調査するために、複製研究で研究の目標を拡張することになりました。これを行うために、統制実験の複製において、彼らが適用した技術とテストしたプログラムに関する意見を調査しました。主な発見には以下が含まれます：

– 複製研究の結果は、オリジナル研究の発見を確認しています。

– 参加者は、技術の有効性は技術自体の可能性のある弱点ではなく、彼らのパフォーマンスのみに依存していると考えています。– 技術の複雑さに関する意見や技術に対する好みは、認識された有効性において役割を果たしていないようです。これらの結果は開発者と研究者にとって有用です。それらは以下を示唆しています：

– 開発者は自分の判断の限界を認識すべきです。

– 技術がどれだけ効果的かについて開発者にフィードバックを提供するツールを設計すべきです。

– 同時に容易に適用可能で効果的な技術の最良の組み合わせを決定すべきです。– 実証的結果を開発者が利用できるようにする手段を開発すべきです。

\ ここで紹介する研究に関連する資料はhttps://github.com/GRISE-UPM/Misperceptionsで見つけることができます。本論文は以下のように構成されています。セクション2ではオリジナル研究について説明します。セクション3ではその妥当性の脅威を提示します。セクション4では結果について議論します。セクション5ではオリジナル研究に加えられた修正に基づいて複製研究について説明します。セクション6ではその妥当性の脅威を提示します。セクション7ではこの複製研究の結果を報告します。セクション8では私たちの発見とその意味について議論します。セクション9では関連研究を示します。最後に、セクション10では本研究の結論を概説します。

\ \

:::info この論文は arxiv上で利用可能 であり、CC BY-NC-ND 4.0ライセンスの下で提供されています。

:::

\