Warum Entwickler immer wieder die falschen Testmethoden wählen

:::info Autoren:

1. Sira Vegas
2. Patricia Riofr´ıo
3. Esperanza Marcos
4. Natalia Juristo

:::

Inhaltsverzeichnis

Abstract

1 Einleitung

2 Ursprüngliche Studie: Forschungsfragen und Methodik

3 Ursprüngliche Studie: Bedrohungen der Validität

4 Ursprüngliche Studie: Ergebnisse

5 Replizierte Studie: Forschungsfragen und Methodik

6 Replizierte Studie: Bedrohungen der Validität

7 Replizierte Studie: Ergebnisse

8 Diskussion

9 Verwandte Arbeiten

10 Schlussfolgerungen und Referenzen

Abstract

Ein wiederkehrendes Problem in der Softwareentwicklung ist die falsche Entscheidungsfindung bei den zu verwendenden Techniken, Methoden und Werkzeugen. Meistens basieren diese Entscheidungen auf den Wahrnehmungen der Entwickler. Ein Faktor, der die Wahrnehmung der Menschen beeinflusst, ist die Erfahrung aus der Vergangenheit, aber es ist nicht der einzige. In dieser Forschung wollen wir herausfinden, wie gut die Wahrnehmungen der Fehlererkennungseffektivität verschiedener Techniken mit ihrer tatsächlichen Effektivität ohne vorherige Erfahrung übereinstimmen.

\ Dazu führen wir eine empirische Studie und eine Replikation durch. Während der ursprünglichen Studie führen wir ein kontrolliertes Experiment mit Studenten durch, die zwei Testtechniken und eine Code-Review-Technik anwenden. Am Ende des Experiments nehmen sie an einer Umfrage teil, um herauszufinden, welche Technik sie als am effektivsten wahrnehmen. Die Ergebnisse zeigen, dass die Wahrnehmungen der Teilnehmer falsch sind und dass diese Diskrepanz in Bezug auf die Qualität kostspielig ist.

\ Um weitere Einblicke in die Ergebnisse zu gewinnen, wiederholen wir das kontrollierte Experiment und erweitern die Umfrage um Fragen zu den Meinungen der Teilnehmer zu den Techniken und Programmen. Die Ergebnisse der replizierten Studie bestätigen die Erkenntnisse der ursprünglichen Studie und deuten darauf hin, dass die Wahrnehmungen der Teilnehmer möglicherweise nicht auf ihren Meinungen über Komplexität oder Präferenzen für Techniken basieren, sondern darauf, wie gut sie glauben, die Techniken angewendet zu haben.

1. Einleitung

Eine zunehmend beliebte Praxis heutzutage ist es, dass Softwareentwicklungsunternehmen Entwicklern erlauben, ihre eigene technologische Umgebung zu wählen. Dies bedeutet, dass verschiedene Entwickler unterschiedliche Produktivitätswerkzeuge verwenden können (Programmiersprache, IDE usw.). Softwaretechnik (SE) ist jedoch eine menschenintensive Disziplin, bei der falsche Entscheidungen potenziell die Qualität der resultierenden Software beeinträchtigen können. In SE basieren Entscheidungen darüber, welche Methoden, Techniken und Werkzeuge in der Softwareentwicklung verwendet werden sollen, typischerweise eher auf den Wahrnehmungen und/oder Meinungen der Entwickler als auf Beweisen, wie von Dyb˚a et al. [19] und Zelkowitz et al. [55] vorgeschlagen.

\ Empirische Beweise sind jedoch möglicherweise nicht verfügbar, da bestimmte Methoden, Techniken oder Werkzeuge möglicherweise nicht in einem bestimmten Umfeld oder überhaupt nicht untersucht wurden. Alternativ sind Entwickler möglicherweise einfach nicht mit solchen Studien vertraut, laut Vegas & Basili [49]. Auf dieser Grundlage ist es wichtig zu entdecken, wie gut die Wahrnehmungen der Entwickler (Überzeugungen) mit der Realität übereinstimmen und, wenn nicht, herauszufinden, was hinter dieser Diskrepanz steckt, wie von Devanbu et al. [14] festgestellt. Laut Psychologie spielt Erfahrung eine Rolle bei den Wahrnehmungen der Menschen. Dies wurde auch von Devanbu et al. [14] in SE beobachtet.

\ Diese Forschung zielt jedoch darauf ab, herauszufinden, wie gut Wahrnehmungen mit der Realität übereinstimmen, wenn keine vorherige Erfahrung mit der verwendeten Technologie vorhanden ist. Dies macht aus mehreren Gründen Sinn: 1) Erfahrung ist nicht der einzige Faktor, der die Wahrnehmungen der Entwickler beeinflusst; 2) Entwicklungsteams bestehen in der Regel aus einer Mischung von Personen mit und ohne Erfahrung; und 3) es ist nicht klar, welche Art von Erfahrung die Wahrnehmungen beeinflusst. Zum Beispiel schließen Dieste et al. [17], dass akademische und nicht berufliche Erfahrung die externe Qualität des von Entwicklern generierten Codes bei der Anwendung von Test-Driven Development beeinflussen könnte.

\ Wir wollen untersuchen, ob die Wahrnehmungen über die Wirksamkeit von drei Fehlererkennungstechniken mit der Realität übereinstimmen, und wenn nicht, was hinter diesen Wahrnehmungen steckt. Nach unserem besten Wissen ist dies das erste Papier, das dieses Problem empirisch bewertet. Zu diesem Zweck haben wir eine empirische Studie und eine Replikation mit Studenten durchgeführt. Während der ursprünglichen Studie haben wir (als Teil eines kontrollierten Experiments) die Wirksamkeit von zwei Testtechniken und einer Code-Review-Technik gemessen, wenn sie von den Teilnehmern angewendet wurden. Anschließend haben wir die als am effektivsten wahrgenommene Technik (durch eine Umfrage ermittelt) mit der tatsächlichen verglichen.

\ Zusätzlich haben wir die Kosten der Diskrepanz zwischen Wahrnehmungen und Realität in Bezug auf den Verlust an Effektivität analysiert. Zu den wichtigsten Ergebnissen gehören:

– Verschiedene Personen nehmen unterschiedliche Techniken als effektiver wahr. Keine Technik wird als effektiver wahrgenommen als die anderen. – Die Wahrnehmungen von 50% der Teilnehmer (11 von 23) sind falsch.

– Falsche Wahrnehmung von Techniken kann die Effektivität im Durchschnitt um 31 Prozentpunkte reduzieren.

\ Diese Erkenntnisse führten uns dazu, das Ziel der Studie in einer Replikation zu erweitern, um zu untersuchen, was hinter den Wahrnehmungen der Teilnehmer stehen könnte. Dazu untersuchten wir ihre Meinungen zu den von ihnen angewendeten Techniken und den getesteten Programmen in einer Replikation des kontrollierten Experiments. Zu den wichtigsten Ergebnissen gehören:

– Die Ergebnisse der Replikation bestätigen die Erkenntnisse der ursprünglichen Studie.

– Die Teilnehmer denken, dass die Wirksamkeit der Technik ausschließlich von ihrer Leistung abhängt und nicht von möglichen Schwächen der Technik selbst. – Die Meinungen über die Komplexität der Technik und die Präferenzen für Techniken scheinen keine Rolle bei der wahrgenommenen Wirksamkeit zu spielen. Diese Ergebnisse sind für Entwickler und Forscher nützlich. Sie legen nahe:

– Entwickler sollten sich der Grenzen ihres Urteils bewusst werden.

– Es sollten Werkzeuge entwickelt werden, die den Entwicklern Feedback darüber geben, wie effektiv Techniken sind.

– Die beste Kombination von anzuwendenden Techniken sollte bestimmt werden, die gleichzeitig leicht anwendbar und effektiv ist. – Es sollten Instrumente entwickelt werden, um empirische Ergebnisse für Entwickler verfügbar zu machen.

\ Das mit den hier vorgestellten Studien verbundene Material ist unter https://github.com/GRISE-UPM/Misperceptions zu finden. Der Artikel ist wie folgt organisiert. Abschnitt 2 beschreibt die ursprüngliche Studie. Abschnitt 3 stellt ihre Bedrohungen der Validität dar. Abschnitt 4 diskutiert die Ergebnisse. Abschnitt 5 beschreibt die replizierte Studie basierend auf den Änderungen, die an der ursprünglichen Studie vorgenommen wurden. Abschnitt 6 stellt ihre Bedrohungen der Validität dar. Abschnitt 7 berichtet über die Ergebnisse dieser replizierten Studie. Abschnitt 8 diskutiert unsere Erkenntnisse und ihre Auswirkungen. Abschnitt 9 zeigt verwandte Arbeiten. Schließlich skizziert Abschnitt 10 die Schlussfolgerungen dieser Arbeit.

\ \

:::info Dieses Papier ist auf arxiv verfügbar unter der CC BY-NC-ND 4.0 Lizenz.

:::

\