Neue Umfrage: So testen die Top 100 Unternehmen weltweit

Hersteller versorgen ihre Kunden in immer kürzeren Release-Zyklen mit Software-Updates, mit denen sie ihre Innovationskraft stärken können – vorausgesetzt sie schaffen es, die Aktualisierungen schnell zu testen und einzusetzen. Doch die Testing-Strategien vieler Unternehmen sind dafür nicht effizient und schlank genug. Wie gehen erfolgreiche Unternehmen das Software-Testing an und machen es zu einem Treiber für Innovationen? Dieser Frage ist Tricentis im ab sofort jährlich erscheinenden Report „How the World’s Top Organizations Test” auf den Grund gegangen. Viktoria Praschl, VP Sales Central Europe bei Tricentis, erläutert die zentralen Ergebnisse der Umfrage.

Software-Tests und ihre Tücken werden immens unterschätzt. Selbst bei scheinbar einfachen Anwendungs-Updates gibt es eine hohe Anzahl unterschiedlicher Testansätze, Pfade, Bedingungen oder Gerätekonfigurationen, die es vor dem Go-live zu testen gilt, um Fehlfunktionen oder Ausfälle zu vermeiden. Auf Unternehmensebene ist das Software-Testing noch immer die Hauptursache für Verzögerungen bei Roll-outs. Bisher sind im Schnitt nur 15 Prozent der Tests automatisiert und manuelles Testing ist nach wie vor weit verbreitet. Zudem machen die Testkosten durchschnittlich ganze 23 bis 35 Prozent der gesamten IT-Ausgaben aus.

Viele Top-Organisationen haben jedoch bereits einen Weg gefunden, die Barrieren beim Testing zu überwinden. So können sie mit schnell eingeführten neuen Software-Versionen ihre Wertschöpfung optimieren, ihre Innovationskraft stärken und neue Geschäftsmodelle entwickeln.

Um herauszufinden, wie weltweit führende Unternehmen beim Software-Testing vorgehen, hat Tricentis eine Umfrage initiiert und veröffentlicht mit dem vorliegenden ersten, in Zukunft jährlich erscheinenden Report seine Ergebnisse. Befragt wurden Qualitätsmanager und IT-Verantwortliche in 100 weltweit führenden Organisationen mit einem Umsatz von 5 Milliarden US-Dollar oder mehr – darunter Unternehmen der Fortune 500 (oder Äquivalente weltweit) sowie Regierungsstellen in Amerika, Europa und im asiatisch-pazifischen Raum. 

Die zentralen Ergebnisse der Umfrage

Hohe Test-Automatisierungsrate: Die durchschnittliche Testautomatisierungsrate in den befragten führenden Unternehmen ist mit 39 Prozent relativ hoch. Je höher der Prozentsatz, desto größer ist das Potenzial für Aufwandsersparnisse. In der Regel setzen sich Unternehmen das Ziel, mindestens 50 Prozent ihrer Tests zu automatisieren. Gleichzeitig ist laut Umfrage jedoch auch die Rate von falsch-positiven Testergebnissen relativ hoch (22 Prozent). Sie misst den Prozentsatz an gemeldeten Fehlern, die nicht auf einen Produktfehler zurückgehen. Erstrebenswert ist ein Anteil von weniger als 10 Prozent falsch-positiver Testergebnisse. Ein höherer Wert tritt häufig zu Beginn von Testautomatisierungen auf, bei denen es an stabilisierenden Methoden wie Testdatenverwaltung und Service-Virtualisierung mangelt.

Tests noch nicht auf Risiken ausgerichtet: Auch die Anforderungsabdeckung ist in den befragten Unternehmen hoch (63 Prozent). Sie bezeichnet den Prozentsatz an Software-Anforderungen, die von der Testsuite getestet werden. Die Risikoabdeckung ist jedoch mit 25 Prozent niedrig. Das deutet daraufhin, dass Test-Teams an jeder Stelle das gleiche Maß an Testressourcen einsetzen. Zielführender wäre es, geschäftskritischen Funktionalitäten mit großem Risiko mehr Ressourcen zuzuweisen. 

Entwicklungs- und Testzyklen sind nicht synchron: Die Testzykluszeit misst die Dauer eines Testprozesses und ist ein guter Indikator dafür, wie effizient dieser ist. Bei den von Tricentis befragten Organisationen beträgt die durchschnittliche Testzykluszeit 23 Tage. Software-Entwicklungszyklen sind jedoch deutlich kürzer: Im Jahr 2018 lagen 87 Prozent bei zwei Wochen oder noch weniger. Testprozesse hinken der Software-Entwicklung also deutlich hinterher.

Hohe Testing-Qualität (bei einigen): Im Durchschnitt liegt die Rate der übersehenen Fehler (Defect Leak Rate, DLR) bei den befragten Unternehmen bei 3,75 Prozent – was ziemlich beeindruckend ist. Defect Leakage misst die Anzahl an Fehlern, die bei der Produktion, beim System Integration Testing oder beim User Acceptance Testing (UAT) übersehen werden. Mithilfe von Defect Leakage können Unternehmen die Gesamteffektivität des Testprozesses sowie die Qualität der Software-Releases beurteilen. Eine DLR bei der Produktion von unter 5 Prozent werten die meisten Industriestandards als „gut“. Allerdings verfügen nur etwa 10 Prozent der Befragten über Daten zur DLR, sodass die Gesamtrate wahrscheinlich höher liegt. Die Organisationen und Unternehmen, die die DLR messen, sind in der Regel diejenigen mit ausgereifteren Prozessen.

Hervorragende Testing-Grundlagen: Die befragten Unternehmen haben große Anstrengungen unternommen, ein solides Fundament für eine erfolgreiche Testing-Strategie zu schaffen. Dazu zählt beispielsweise, passende Rollen zu etablieren, eine geeignete Testumgebung einzurichten und eine Kultur der Zusammenarbeit zu fördern. 

„Continuous Everything“ noch nicht verbreitet: Continuous Testing ist die Integration von automatisierten Tests in den kontinuierlichen Software-Delivery-Prozess. Doch nur wenige der befragten Unternehmen erreichen eine Testautomatisierungsrate von über 75 Prozent oder wenden stabilisierende Verfahren wie Service-Virtualisierung und Testdatenverwaltung an. Angesichts dessen ist eine eingeschränkte CI/CD-Integration (Continuous Integration/Continuous Delivery) nicht überraschend – steht jedoch ganz oben auf der Prioritätenliste der Unternehmen und Organisationen.

Heterogenes Bild bei befragten Unternehmen: Innerhalb der Umfrage ließen sich die teilnehmenden Unternehmen in Vorreiter (Leaders) und Nachzügler (Laggards) einteilen. Die größten Unterschiede waren in unterschiedlichen zentralen Bereichen festzustellen – insbesondere beim Prozentsatz der täglich durchgeführten automatisierten Tests, bei der Risikoabdeckung, bei übersehenen Fehlern beim UAT sowie bei der Testzykluszeit.

Hohe Motivation für Verbesserungen: Die Bereiche, in denen die befragten Unternehmen innerhalb von sechs Monaten die größten Fortschritte erzielen möchten, sind die Risikoabdeckung, übersehene Fehler im UAT, der Prozentsatz von falsch-positiven Ergebnissen sowie die Testzykluszeiten.