Testfallerstellung mit KI: Ein DeepDive in systematische und explorative Testfallermittlung

In der modernen Softwareentwicklung ist die Erstellung effektiver Testfälle ein entscheidender, aber oft zeitaufwändiger Prozess. Mit dem Aufkommen von KI-Technologien eröffnen sich neue Möglichkeiten, diesen Prozess zu optimieren und zu verbessern. In diesem DeepDive-Artikel untersuchen wir, wie KI die Testfallerstellung revolutionieren kann, und zwar sowohl für systematische als auch für explorative Testansätze im Kontext von System- und End-to-End-Tests.

Warum KI für die Testfallerstellung?

Bevor wir in die technischen Details eintauchen, lohnt es sich, die Vorteile der KI-gestützten Testfallerstellung zu verstehen:

• Effizienzsteigerung: KI kann in kürzester Zeit Hunderte potenzieller Testfälle generieren
• Vollständigere Testabdeckung: KI-Systeme können Pfade und Szenarien identifizieren, die menschliche Tester übersehen könnten
• Optimierung der Testressourcen: Priorisierung und Fokussierung auf die wichtigsten Testfälle
• Kontinuierliche Verbesserung: Lernende Systeme können aus Testergebnissen lernen und künftige Testgenerierungen optimieren

Die KI-gestützte Testfallerstellung ist jedoch kein Allheilmittel. Sie erfordert die richtige Kombination aus KI-Unterstützung und menschlichem Fachwissen, um wirklich effektiv zu sein.

KI-unterstützte systematische Testfallermittlung

Systematische Testmethoden folgen strukturierten Ansätzen zur Identifikation von Testfällen. Hier sehen wir, wie KI klassische Methoden unterstützen und erweitern kann.

1. Äquivalenzklassenanalyse mit KI

Die Äquivalenzklassenanalyse gruppiert Eingabedaten in Klassen, für die das System ein ähnliches Verhalten zeigen sollte. KI kann diesen Prozess beschleunigen.

Benötigter Input für die KI:

• Spezifikationen des zu testenden Features (als Text oder strukturierte Anforderungen)
• Eingabeparameter und deren Wertebereiche
• Geschäftsregeln und Constraints
• Ggf. vorhandene Testfälle als Trainingsbeispiele

Wie die KI unterstützt:

PROMPT-BEISPIEL FÜR ÄQUIVALENZKLASSENANALYSE:

Analysiere die folgende Funktionsspezifikation und identifiziere alle Äquivalenzklassen für die Eingabeparameter:

Spezifikation: Ein Bestellsystem akzeptiert Bestellungen mit folgenden Parametern:
- Produktmenge: muss zwischen 1 und 100 liegen
- Kundenstatus: "Standard", "Premium" oder "VIP"
- Lieferadresse: muss eine gültige Adresse in Deutschland, Österreich oder der Schweiz sein
- Zahlungsart: "Kreditkarte", "PayPal", "Rechnung" oder "Lastschrift"
- Gesamtbetrag: muss größer als 0€ sein, Premium-Kunden erhalten ab 100€ kostenlosen Versand, VIP-Kunden immer

Identifiziere alle gültigen und ungültigen Äquivalenzklassen für jeden Parameter.

Eine moderne KI wie ChatGPT oder Claude kann aus solchen Beschreibungen die relevanten Äquivalenzklassen identifizieren. Sie kann sowohl gültige als auch ungültige Äquivalenzklassen erkennen und strukturiert darstellen:

2. Grenzwertanalyse mit KI

Die Grenzwertanalyse konzentriert sich auf Testfälle an den Grenzen von Äquivalenzklassen, da dort häufig Fehler auftreten.

Benötigter Input für die KI:

• Die bereits identifizierten Äquivalenzklassen
• Spezifikationen zu Grenzwerten und Schwellenwerten
• Bekannte kritische Werte

Wie die KI unterstützt:

PROMPT-BEISPIEL FÜR GRENZWERTANALYSE:

Basierend auf den folgenden Äquivalenzklassen, identifiziere alle relevanten Grenzwerte für Testfälle:

Produktmenge: gültig von 1 bis 100
Gesamtbetrag: muss > 0€ sein, ab 100€ gibt es für Premium-Kunden kostenlosen Versand

Erstelle eine Liste aller Grenzwerte und jeweils einen Wert direkt über und unter der Grenze.

Die KI kann daraus Grenzwerte ableiten und strukturierte Testfälle vorschlagen:

3. Entscheidungstabellentest mit KI

Entscheidungstabellen sind besonders nützlich für komplexe Geschäftslogik mit mehreren Bedingungen.

Benötigter Input für die KI:

• Detaillierte Beschreibung der Geschäftsregeln
• Bedingungen und mögliche Aktionen
• Logische Abhängigkeiten und Regeln

Wie die KI unterstützt:

PROMPT-BEISPIEL FÜR ENTSCHEIDUNGSTABELLEN:

Erstelle eine Entscheidungstabelle für folgende Geschäftsregeln eines Bestellsystems:

1. Wenn der Kunde den Status "VIP" hat, erhält er immer kostenlosen Versand.
2. Wenn der Kunde den Status "Premium" hat UND der Bestellwert ≥ 100€ ist, erhält er kostenlosen Versand.
3. Wenn der Kunde den Status "Standard" hat ODER der Bestellwert < 100€ ist, werden Versandkosten berechnet.
4. Wenn die Zahlungsart "Rechnung" ist, muss der Kunde entweder "Premium" oder "VIP" Status haben.
5. Wenn die Bestellung Produkte der Kategorie "Gefahrgut" enthält, ist nur "Standard"-Versand möglich.

Erstelle eine vollständige Entscheidungstabelle mit allen möglichen Kombinationen.

Die KI kann eine vollständige Entscheidungstabelle generieren, reduzieren und in relevante Testfälle übersetzen:

4. Pfadüberdeckung und Zustandsübergangstests mit KI

Bei komplexen Systemen mit verschiedenen Zuständen und Übergängen kann KI helfen, relevante Testpfade zu identifizieren.

Benötigter Input für die KI:

• Zustandsdiagramme oder detaillierte Beschreibungen der Systemzustände
• Übergangsbedingungen und Ereignisse
• Gewünschter Überdeckungsgrad (z.B. Zustandsüberdeckung, Übergangsüberdeckung)

Wie die KI unterstützt:

PROMPT-BEISPIEL FÜR ZUSTANDSÜBERGANGSTESTS:

Analysiere den folgenden Bestellprozess und erstelle Testfälle zur Überprüfung aller möglichen Zustandsübergänge:

Zustände:
1. Warenkorb (Anfangszustand)
2. Checkout-Seite
3. Zahlungsverarbeitung
4. Bestellbestätigung
5. Fehler

Übergänge:
- Warenkorb → Checkout-Seite: Nutzer klickt "Zur Kasse"
- Checkout-Seite → Zahlungsverarbeitung: Nutzer bestätigt Bestellung
- Zahlungsverarbeitung → Bestellbestätigung: Zahlung erfolgreich
- Zahlungsverarbeitung → Fehler: Zahlung fehlgeschlagen
- Fehler → Checkout-Seite: Nutzer versucht erneut
- Jeder Zustand → Warenkorb: Nutzer klickt "Zurück zum Warenkorb"

Erstelle Testfälle, die alle Übergänge mindestens einmal abdecken.

Die KI kann optimale Testpfade ermitteln, die alle Zustände und Übergänge abdecken:

KI-unterstützte explorative Testfallermittlung

Während systematische Tests strukturierte Anforderungen überprüfen, ermöglichen explorative Tests kreative Erkundung und unerwartete Entdeckungen. KI kann auch hier unterstützen.

Wie KI explorative Tests erweitern kann

Benötigter Input für die KI:

• Allgemeine Systembeschreibung und Hauptfunktionalitäten
• Benutzerprofile und typische Nutzungsszenarien
• Bekannte Problembereiche oder Risiken
• Domänenwissen und Geschäftskontext

Wie die KI unterstützt:

PROMPT-BEISPIEL FÜR EXPLORATIVE TESTSZENARIEN:

Generiere kreative explorative Testszenarien für ein E-Commerce-Bestellsystem mit den folgenden Merkmalen:
- Produktkatalog mit Filterfunktion
- Warenkorb mit Mengenänderung
- Checkout-Prozess mit mehreren Zahlungsoptionen
- Benutzerregistrierung und Login
- Bestellverfolgung

Berücksichtige dabei:
- Ungewöhnliche Benutzerinteraktionen
- Grenzfälle und Extremsituationen
- Potenzielle Sicherheitsrisiken
- Verschiedene Endgeräte und Browserkompatibilität
- Szenarien mit hoher Geschäftsrelevanz

Gib 10 kreative explorative Testszenarien an, die nicht durch traditionelle systematische Tests abgedeckt würden.

Die KI kann innovative Testszenarien vorschlagen, die menschliche Tester vielleicht nicht sofort berücksichtigen würden:

Kombination von systematischen und explorativen Ansätzen mit KI

Eine besonders mächtige Anwendung von KI in der Testfallerstellung ist die Integration systematischer und explorativer Ansätze:

PROMPT-BEISPIEL FÜR KOMBINIERTE ANSÄTZE:

Basierend auf den folgenden systematischen Testfällen für ein Bestellsystem, erweitere den Testumfang um explorative Elemente, die mögliche Probleme in realen Nutzungsszenarien aufdecken könnten:

Systematische Testfälle:
1. Bestellung mit gültiger Kreditkarte als Premium-Kunde
2. Bestellung mit ungültiger Lieferadresse
3. Bestellung mit Gesamtbetrag von 0€

Erstelle für jeden systematischen Testfall 2-3 explorative Erweiterungen, die das Verhalten des Systems in unerwarteten Situationen prüfen.

Die KI kann systematische Testfälle mit explorativen Elementen anreichern:

Praxisbeispiel: Kombination von Äquivalenzklassenanalyse und Entscheidungstabelle

Um die praktische Anwendung zu veranschaulichen, betrachten wir ein Beispiel für ein Buchungssystem für Flugreisen:

Spezifikation des Buchungssystems:

• Flugart: Inlandsflug, EU-Flug, Interkontinentalflug
• Buchungsklasse: Economy, Business, First Class
• Passagierstatus: Kein Status, Silver, Gold, Platinum
• Gepäckregeln:
  • Economy: 1 Handgepäckstück, Aufgabegepäck kostenpflichtig (außer für Platinum-Mitglieder)
  • Business: 1 Handgepäckstück, 1 Aufgabegepäckstück inklusive
  • First Class: 2 Handgepäckstücke, 2 Aufgabegepäckstücke inklusive
  • Gold- und Platinum-Mitglieder: +1 Aufgabegepäckstück in jeder Klasse
• Umbuchungsregeln:
  • Economy: Umbuchungsgebühr fällig (außer für Platinum-Mitglieder)
  • Business: Kostenlose Umbuchung bis 24h vor Abflug
  • First Class: Jederzeit kostenlose Umbuchung
  • Platinum-Mitglieder: Immer kostenlose Umbuchung

Schritt 1: KI für Äquivalenzklassenanalyse nutzen

PROMPT-BEISPIEL:

Basierend auf der folgenden Flugbuchungsspezifikation, identifiziere alle relevanten Äquivalenzklassen:

[Spezifikation wie oben einfügen]

Erstelle eine Tabelle mit allen Parametern und ihren gültigen sowie ungültigen Äquivalenzklassen.

Die KI generiert eine Äquivalenzklassenanalyse:

Schritt 2: KI für Entscheidungstabellentest nutzen

PROMPT-BEISPIEL:

Erstelle eine Entscheidungstabelle für die Umbuchungsregeln und Gepäckregeln des folgenden Flugbuchungssystems:

[Spezifikation wie oben einfügen]

Fokussiere auf die Kombination von Buchungsklasse und Passagierstatus und deren Auswirkungen auf Umbuchungsgebühren und Freigepäck.

Die KI generiert eine reduzierte Entscheidungstabelle:

Schritt 3: KI zur Generierung von Systemtestfällen basierend auf der Kombination nutzen

PROMPT-BEISPIEL:

Basierend auf der Äquivalenzklassenanalyse und Entscheidungstabelle für das Flugbuchungssystem, generiere konkrete Systemtestfälle, die:

1. Alle kritischen Kombinationen von Buchungsklasse und Passagierstatus abdecken
2. Die Gepäckregeln und Umbuchungsregeln validieren
3. Für Systemtest und E2E-Test geeignet sind

Erstelle eine Tabelle mit Testfall-ID, Beschreibung, Testdaten, Testschritten und erwarteten Ergebnissen.

Die KI generiert konkrete Systemtestfälle:

Schritt 4: KI für E2E-Testfälle nutzen

PROMPT-BEISPIEL:

Basierend auf den Systemtestfällen für das Flugbuchungssystem, erstelle nun E2E-Testfälle, die den gesamten Buchungsprozess von der Suche bis zur Buchungsbestätigung abdecken. Berücksichtige besonders:

1. Den vollständigen Buchungsfluss
2. Grenzfälle aus der Äquivalenzklassenanalyse
3. Wichtige Kombinationen aus der Entscheidungstabelle

Erstelle detaillierte Testschritte mit erwarteten Ergebnissen für jeden Schritt.

Die KI generiert E2E-Testfälle:

Herausforderungen und Grenzen der KI-gestützten Testfallerstellung

Trotz der überzeugenden Vorteile der KI im Testprozess gibt es wichtige Einschränkungen und Herausforderungen, die berücksichtigt werden müssen.

1. Abhängigkeit von der Qualität der Eingabedaten

Die KI kann nur so gut arbeiten, wie die Informationen, die ihr zur Verfügung gestellt werden:

• Unvollständige oder ungenaue Spezifikationen führen zu unvollständigen oder ungenauen Testfällen
• Fehlende Informationen zu Geschäftsregeln können zu einer Unterrepräsentation wichtiger Testszenarien führen
• Abstrahierte Beschreibungen ohne technische Details erschweren präzise Testfallgenerierung

Lösungsansatz: Beginnen Sie mit einem kleinen, gut dokumentierten Funktionsbereich und verbessern Sie iterativ sowohl Ihre Prompts als auch die bereitgestellten Spezifikationen. Validieren Sie die generierten Testfälle immer mit Domänenexperten.

2. Mangelndes Domänenwissen

Während KI beeindruckende allgemeine Fähigkeiten hat, fehlt ihr oft spezialisiertes Domänenwissen:

• Branchenspezifische Regeln wie regulatorische Anforderungen werden möglicherweise nicht berücksichtigt
• Ungeschriebene Regeln und implizites Wissen sind für die KI nicht zugänglich
• Komplexe Systemzusammenhänge könnten vereinfacht oder missverstanden werden

Lösungsansatz: Reichern Sie Ihre Prompts mit domänenspezifischem Wissen an und nutzen Sie die KI als Assistenten für menschliche Tester, nicht als vollständigen Ersatz.

3. Grenzen bei explorativen Tests

KI kann kreative Vorschläge für explorative Tests liefern, aber hat Schwierigkeiten mit:

• Echter Kreativität, die über Muster in den Trainingsdaten hinausgeht
• Intuition und Erfahrungswissen eines erfahrenen Testers
• Erkennung subtiler Benutzererfahrungsprobleme oder Usability-Issues

Lösungsansatz: Verwenden Sie KI-generierte explorative Szenarien als Ausgangspunkt und Inspiration, lassen Sie aber menschliche Tester diese erweitern und verfeinern.

4. Qualitätsbewertung generierter Testfälle

Die Bewertung der Qualität von KI-generierten Testfällen ist eine eigene Herausforderung:

• Schwierige Abschätzung der Testabdeckung, besonders bei unklaren Anforderungen
• Duplizierte oder redundante Testfälle können unbemerkt bleiben
• Scheinbar sinnvolle Testfälle könnten in der Praxis nicht anwendbar sein

Lösungsansatz: Verwenden Sie Metriken wie Anforderungsabdeckung, Bedingungsabdeckung und Defektentdeckungsrate, um die Qualität zu bewerten. Implementieren Sie einen Review-Prozess durch erfahrene Tester.

5. Notwendigkeit der Nachbearbeitung

KI-generierte Testfälle benötigen fast immer eine Nachbearbeitung:

• Anpassung an Tool-spezifische Syntax für Testautomatisierung
• Hinzufügen konkreter Testdaten für die tatsächliche Ausführung
• Ergänzung kontextabhängiger Schritte, die der KI nicht bekannt sind

Lösungsansatz: Betrachten Sie die KI als ersten Entwurf einer Testfallsammlung, die iterativ verfeinert werden muss.

Best Practices für die KI-gestützte Testfallerstellung

Um das Beste aus der KI-unterstützten Testfallerstellung herauszuholen, empfehlen wir folgende Best Practices:

1. Iterative Prompt-Verbesserung

Die Qualität Ihrer Prompts bestimmt maßgeblich die Qualität der generierten Testfälle:

• Beginnen Sie mit allgemeinen Prompts und verfeinern Sie diese basierend auf den Ergebnissen
• Testen Sie verschiedene Formulierungen und Detaillierungsgrade
• Dokumentieren Sie erfolgreiche Prompt-Muster für wiederholte Nutzung

2. Hybride Testteams

Die effektivste Nutzung von KI erfolgt in einem hybriden Ansatz:

• KI übernimmt die initiale Testfallgenerierung und repetitive Aufgaben
• Menschliche Tester bringen Kreativität, Domänenwissen und kritisches Denken ein
• Regelmäßiger Austausch zwischen KI-Tools und menschlichen Testern verbessert beide Seiten

3. Strukturierte Integration in den Testprozess

Definieren Sie klare Prozesse für die Integration von KI:

• Bestimmen Sie, welche Testaktivitäten für KI-Unterstützung geeignet sind
• Etablieren Sie Workflows für die Überprüfung und Verfeinerung von KI-generierten Testfällen
• Messen Sie die Effektivität und passen Sie die Integration kontinuierlich an

4. Testdatenmanagement

KI kann bei der Generierung von Testfällen helfen, benötigt aber oft konkrete Testdaten:

• Verwenden Sie Datengeneratoren oder anonymisierte Produktionsdaten für realistische Tests
• Erstellen Sie Testdatensets, die alle identifizierten Äquivalenzklassen abdecken
• Automatisieren Sie die Zuordnung von Testdaten zu generierten Testfällen

5. Kontinuierliches Lernen und Verbessern

Die KI-Testfallerstellung ist ein sich entwickelndes Feld:

• Bleiben Sie über neue KI-Modelle und -Fähigkeiten informiert
• Sammeln Sie Feedback zur Effektivität der generierten Testfälle
• Passen Sie Ihre Strategie basierend auf gefundenen Defekten und verpassten Fehlern an

Fazit: Die Zukunft der Testfallerstellung

Die KI-gestützte Testfallerstellung repräsentiert einen signifikanten Fortschritt in der Softwarequalitätssicherung. Sie ermöglicht es Testern, sich von repetitiven Aufgaben zu befreien und sich auf wertschöpfende Aktivitäten zu konzentrieren. Gleichzeitig kann sie die Testabdeckung erhöhen und bisher übersehene Szenarien aufdecken.

Der Schlüssel zum Erfolg liegt in der richtigen Balance: KI als leistungsstarker Assistent für menschliche Tester, nicht als vollständiger Ersatz. Mit diesem hybriden Ansatz können Testteams die Stärken beider Welten nutzen – die Effizienz und Skalierbarkeit der KI und die Kreativität, Intuition und das Domänenwissen menschlicher Tester.

Während wir weiterhin die Grenzen dessen, was KI im Testprozess leisten kann, ausloten, bleibt eines klar: Die Zukunft der Testfallerstellung wird durch die synergetische Zusammenarbeit zwischen Mensch und Maschine geprägt sein, die gemeinsam für höhere Softwarequalität sorgen.