Basiswissen KI-Testen
Qualität von und mit KI-basierten SystemenAus- und Weiterbildung zum »Certified Tester AI Testing«– Foundation Level Specialist nach ISTQB®-Standard
Nils Röttger, Gerhard Runze and Verena Dietrich
Cite this publication as
Nils Röttger, Gerhard Runze, Verena Dietrich, Basiswissen KI-Testen (2024), dpunkt.verlag, Heidelberg, ISBN: 9783969109939
757
accesses
accesses
Description / Abstract
Qualitätssicherung in KI-basierten System – damit KI-Projekte nicht scheitern
- Zahlreiche Beispiele aus verschiedenen Branchen
- Viele praktische Übungen mit Beispiellösungen
- Mit Exkursen auf Basis industrieller Projekterfahrungen
Umfragen in der Industrie zeigen deutlich: KI-Projekte scheitern häufiger als angenommen. Eine kontinuierliche Qualitätssicherung für KI-basierte Systeme ist daher unabdingbar.
Das Autorenteam bietet einen fundierten Überblick und einen praxisnahen Einstieg in die Konzepte, Best Practices, Problemstellungen und Lösungsansätze rund um die Qualitätssicherung von und mit KI-basierten Systemen. Im Einzelnen werden behandelt:
- Einführung in KI
- Qualitätsmerkmale KI-basierter Systeme
- Maschinelles Lernen (ML)
- ML-Daten
- Funktionale Leistungsmetriken
- Neuronale Netze und Testen
- Testen KI-basierter Systeme
- Testen KI-spezifischer Qualitätsmerkmale
- Methoden und Verfahren für das Testen KI-basierter Systeme
- Testumgebungen für KI-basierte Systeme
- Einsatz von KI beim Testen
Das Buch enthält mehrere Exkurse, z.B. »ChatGPT als Teammitglied?«, Praxisbeispiele und zu vielen Kapiteln auch praktische Übungen, wobei die Lerninhalte durch Codebeispiele und Programmierübungen in Python veranschaulicht werden. Die Aufgaben und Lösungen sind als Jupyter Notebooks auf GitHub verfügbar.
Das Buch orientiert sich am ISTQB®-Syllabus »Certified Tester AI Testing« (CT-AI) und eignet sich daher nicht nur bestens zur Prüfungsvorbereitung, sondern dient gleichzeitig als kompaktes Grundlagenwerk zu diesen Themen in der Praxis und an Hochschulen.
Description
Nils Röttger hat bereits mehr als 10 Jahre Erfahrung im Bereich Qualitätssicherung. Bereits im Studium beschäftigte er sich mit dem Softwaretest. Seit 2008 arbeitet er bei der imbus AG in Möhrendorf, aktuell als Senior Berater, Projektleiter und Trainer. Bei imbus ist er u.a. verantwortlich für die Ausbildung und den Bereich Mobile Testing. In Vorträgen beschäftigt er sich immer wieder mit Themen wie Exploratives Testen, Mobile Testing oder auch Ethik und Künstliche Intelligenz.Dr. Gerhard Runze hat an der Universität Erlangen-Nürnberg Elektrotechnik studiert und promoviert. Nach langjähriger Tätigkeit als Entwickler, Projekt- und Teamleiter in der Algorithmen- und Chipentwicklung der Telekommunikationsindustrie arbeitet er seit 2015 bei der imbus AG in Möhrendorf als Testmanager, Trainer und Berater für Embedded Software, KI und agiles Testen.Verena Dietrich hat an der Friedrich-Alexander-Universität Erlangen-Nürnberg Integrated Life Sciences studiert und wählte dabei Schwerpunkte im Bereich Bioinformatik, biologisch inspirierte Algorithmen und Maschinelles Lernen. Anschließend war sie für fast 3 Jahre bei der imbus AG als Test Engineer tätig und beschäftigt sich seitdem mit der Qualitätssicherung von KI-basierten Systemen. Seit April 2022 promoviert sie am Institut für Medizinische Informatik der Universität Münster im Bereich der Bioinformatik.
Table of content
- BEGINN
- Titelei
- Impressum
- Einleitung
- Wie es dazu kam, dieses Buch zu schreiben
- Wie verhält sich das Buch zum Lehrplan des ISTQB®?
- Das ISTQB®- und das Certified-Tester-Ausbildungsschema
- Schlüsselbegriffe und Keywords
- Notwendige Vorbereitungen für die praktischen Übungen
- Weitere Hinweise
- Danksagungen
- Inhaltsübersicht
- Inhaltsverzeichnis
- Kapitel 1: Einführung in KI
- 1.1 Definition von KI und der KI-Effekt
- 1.2 Schwache KI, starke KI und die künstliche Superintelligenz
- 1.3 KI-basierte Systeme und klassische Systeme
- 1.4 KI-Techniken
- 1.5 KI-Entwicklungs-Frameworks
- 1.6 Hardware für KI-basierte Systeme
- 1.7 KI als Service (AI as a Service, AIaaS)
- 1.8 Vortrainierte Modelle
- 1.9 Normen, Vorschriften und KI
- Kapitel 2: Qualitätsmerkmale KI-basierter Systeme
- 2.1 Flexibilität und Anpassbarkeit
- 2.2 Autonomie von Systemen
- 2.3 Evolution
- 2.4 Bias
- 2.5 Ethik
- 2.6 Seiteneffekte und Reward Hacking
- 2.7 Transparenz, Interpretierbarkeit und Erklärbarkeit
- 2.8 Funktionale Sicherheit und KI
- Kapitel 3: Maschinelles Lernen (ML) – ein Einstieg
- 3.1 Arten des maschinellen Lernens (ML)
- 3.2 ML-Workflow
- 3.3 Auswahl einer Art von ML
- 3.4 Faktoren, die bei der Auswahl von ML-Algorithmen eine Rolle spielen
- 3.5 Overfitting und Underfitting
- Kapitel 4: ML-Daten – ein Einstieg
- 4.1 Datenvorbereitung als Teil des ML-Workflows
- 4.2 Trainings-, Validierungs- und Testdatensätze
- 4.3 Probleme mit der Datensatzqualität
- 4.4 Datenqualität und ihre Auswirkungen auf das ML-Modell
- 4.5 Datenkennzeichnung für überwachtes Lernen
- Kapitel 5: Funktionale Leistungsmetriken – ein Einstieg
- 5.1 Konfusionsmatrix
- 5.2 Zusätzliche funktionale Leistungsmetriken von ML für Klassifikation, Regression und Clusterbildung
- 5.3 Beschränkungen der funktionalen Leistungsmetriken von ML
- 5.4 Auswahl funktionaler Leistungsmetriken von ML
- 5.5 Benchmark-Suiten für ML
- Kapitel 6: Neuronale Netze und Testen
- 6.1 Neuronale Netze
- 6.2 Überdeckungsmaße für neuronale Netze
- Kapitel 7: Testen KI-basierter Systeme im Überblick
- 7.1 Spezifikation KI-basierter Systeme
- 7.2 Teststufen für KI-basierte Systeme
- 7.3 Testdaten zum Testen KI-basierter Systeme
- 7.4 Testen auf Automatisierungsbias in KI-basierten Systemen
- 7.5 Dokumentieren einer KI-Komponente
- 7.6 Testen auf Konzeptdrift
- 7.7 Auswahl einer Testvorgehensweise für ein ML-System
- Kapitel 8: Testen KI-spezifischer Qualitätsmerkmale – ein Einstieg
- 8.1 Herausforderungen beim Testen selbstlernender Systeme
- 8.2 Test von autonomen KI-basierten Systemen
- 8.3 Testen auf algorithmischen, stichprobenartigen und unangemessenen Bias
- 8.4 Herausforderungen beim Testen probabilistischer und nichtdeterministischer KI-basierter Systeme
- 8.5 Herausforderungen beim Testen komplexer KI-basierter Systeme
- 8.6 Testen der Transparenz, Interpretierbarkeit und Erklärbarkeit KI-basierter Systeme
- 8.7 Testorakel für KI-basierte Systeme
- 8.8 Testziele und Akzeptanzkriterien
- Kapitel 9: Methoden und Verfahren für das Testen KI-basierter Systeme
- 9.1 Gegnerische Angriffe und Datenverunreinigung
- 9.2 Paarweises Testen
- 9.3 Vergleichendes Testen
- 9.4 A/B-Testen
- 9.5 Metamorphes Testen
- 9.6 Erfahrungsbasiertes Testen von KI-basierten Systemen
- 9.7 Übersicht und Auswahl von Testverfahren für KI-basierte Systeme
- Kapitel 10: Testumgebungen für KI-basierte Systeme
- 10.1 Besonderheiten von Testumgebungen für KI-basierte Systeme
- 10.2 Virtuelle Testumgebungen zum Testen KI-basierter Systeme
- Kapitel 11: Einsatz von KI für Tests
- 11.1 KI-Techniken fürs Testen
- 11.2 Einsatz von KI zur Analyse gemeldeter Fehler
- 11.3 Einsatz von KI für die Testfallgenerierung
- 11.4 Einsatz von KI für die Optimierung von Regressionstestsuiten
- 11.5 Einsatz von KI für die Fehlervorhersage
- 11.6 Einsatz von KI zum Testen von Benutzungsschnittstellen
- 11.7 Exkurs: ChatGPT als Teammitglied?
- Anhang
- A Abkürzungen
- B Glossar
- C Verzeichnis der Praxisbeispiele
- D Verzeichnis der Übungen
- E Verzeichnis der Exkurse
- F Literaturverzeichnis
- Index