Data Quality Engineering: ETL- und Data Warehouse-Tests

In einem datengesteuerten Zeitalter sind Unternehmen auf genaue Informationen angewiesen, um kritische Entscheidungen zu treffen und Modelle für künstliche Intelligenz zu trainieren.Data Quality Assurance (QA) Engineers stellen sicher, dass Datenpipelines von der Quelle bis zum Ziel zuverlässig, sauber und fehlerfrei bleiben. Dieser Kurs bietet eine umfassende Einführung in das Testen von Data Warehouses und ETL / ELT-Pipelines.Sie werden vom Verständnis der Kerndatenarchitektur zum Entwerfen, Ausführen und Dokumentieren robuster Datenvalidierungsstrategien übergehen, die den reibungslosen Ablauf von Datenpipelines gewährleisten. Was Sie lernen werden: - Verstehen Sie die grundlegende Architektur von Data Warehousing, dimensionaler Modellierung und Schemata. - Vergleichen Sie moderne ETL- und ELT-Muster und ermitteln Sie, wann Sie sie in modernen cloudbasierten Umgebungen anwenden sollten. - Entwerfen Sie umfassende Testfälle für Datenpipelines, einschließlich der Validierung von langsam ändernden Dimensionen (SCDs). - Wenden Sie SQL-Abfragen an, um Datenabstimmung, Duplikatüberprüfungen und Nullwertvalidierung durchzuführen. - Analysieren Sie die Datenqualitätsanforderungen für das Training von maschinellem Lernen und großen Sprachmodellen (LLMs), um Verzerrungen und Halluzinationen zu vermeiden. - Üben Sie die Implementierung von strukturierten Datenqualitätsprüfungen unter Verwendung von branchenüblichen Testprinzipien. Sie lernen die grundlegenden Konzepte und Architekturmuster von Data Warehousing kennen und arbeiten sich anschließend durch praktische Testszenarien, das Schreiben von SQL-Validierungsskripten und die Sicherstellung der Pipeline-Integrität in modernen Umgebungen. Dieser Kurs richtet sich an angehende Datenqualitätsingenieure, Softwaretester, die in Datenrollen wechseln, und Datenanalysten, die die Pipeline-Integrität sicherstellen möchten.Ein grundlegendes Verständnis von SQL ist hilfreich, da Sie im gesamten Material Testabfragen lesen und schreiben werden. Beginnen Sie Ihre Reise in die Datenqualitätstechnik und erfahren Sie, wie Sie die Integrität moderner Datenpipelines noch heute sichern können.