📚 Fachwissen & IHK-Prüfungsrelevanz
Klassische relationale Systeme stoßen bei extremen Datenmengen und Echtzeitanforderungen an physikalische Grenzen. Big-Data-Architekturen ermöglichen massiv-parallele und ereignisgesteuerte Verarbeitungen.
1. Die 5 V's von Big Data
- Volume: Datenvolumen (Terabyte bis Petabyte-Skala).
- Velocity: Geschwindigkeit, mit der Daten einströmen und verarbeitet werden müssen (Streaming, Subsekundenbereich).
- Variety: Vielfalt der Formate (Strukturiert, Audio, Sensor-Logs, JSON).
- Veracity: Glaubwürdigkeit und Verlässlichkeit der Daten.
- Value: Der geschäftliche Mehrwert, der aus den Daten generiert wird.
2. Architektur-Paradigmen: Lambda vs. Kappa
| Architektur | Aufbau & Funktionsweise | Vor- & Nachteile |
|---|
| Lambda-Architektur | Zwei parallele Pfade: Ein Batch Layer (z.B. Hadoop/Spark für exakte historische Analysen) und ein Speed Layer (z.B. Storm/Flink für Echtzeit-Ereignisse), zusammengeführt im Serving Layer. | Sehr robust, aber doppelte Codelogik in Batch- und Speed-Pfad erforderlich. |
| Kappa-Architektur | Nur ein einziger Stream-Processing-Pfad (z.B. Kafka + Flink). Historische Daten werden einfach als schneller Stream erneut abgespielt (Replay). | Einheitliche Codebasis, geringere Wartungskomplexität. |
3. Data Lake vs. Data Warehouse vs. Lakehouse
Ein Data Lake speichert Rohdaten in nativen Formaten (Object Storage wie S3/Azure Blob). Das moderne Data Lakehouse (Delta Lake, Apache Iceberg) kombiniert die Kostenvorteile und Skalierbarkeit des Lakes mit den ACID-Transaktionen, Schema Enforcement und Indexierung eines DWHs.
📝 Original-Prüfungsaufgaben (ZPA Nord-West)
Datenformate & Datenqualität: Parquet vs. JSON & ISO 25012
10 Punkte
Ein Logistikunternehmen speichert täglich 80 Millionen Sensordaten aus Frachtcontainern. Derzeit liegen die Daten als unkomprimierte JSON-Dateien vor. Die analytischen Abfragen auf Zeitreihen dauern mehrere Stunden.
a) Erläutern Sie das Speicherprinzip von Apache Parquet (spaltenorientiert) im Vergleich zu zeilenbasierten JSON-Dateien.
b) Nennen Sie zwei konkrete Vorteile, die sich bei analytischen Aggregationsabfragen (z.B. Durchschnittstemperatur pro Monat) durch Parquet ergeben.
c) Nennen und erläutern Sie zwei Merkmale der Datenqualität nach DIN ISO/IEC 25012, die bei Sensordaten vor der Persistierung geprüft werden müssen.
💡 Didaktischer Erwartungshorizont & Punkteverteilung (nach KMK-Kriterien)
a) JSON ist zeilenorientiert (Row-oriented); Parquet ist spaltenorientiert (Column-oriented), d.h. Werte derselben Spalte werden zusammenhängend auf der Festplatte gespeichert.
b) 1. Column Pruning: Es müssen nur die Spalten von der Festplatte gelesen werden, die in der Abfrage benötigt werden (drastische Reduktion der I/O-Last). 2. Hohe Kompressionsrate: Da homogene Datentypen hintereinander liegen, greifen Algorithmen wie Snappy oder Dictionary Encoding extrem effizient.
c) 1. Genauigkeit (Accuracy): Sensormesswerte dürfen keine Messfehler oder unphysikalischen Ausreißer aufweisen. 2. Vollständigkeit (Completeness): Es dürfen keine Zeitintervalle oder Funkabrisse unbemerkt fehlen.
ETL: Change Data Capture (CDC) & Idempotenz
8 Punkte
Eine E-Commerce-Plattform synchronisiert Kundendaten aus einem operativen PostgreSQL-System in ein analytisches Snowflake Data Warehouse.
a) Erläutern Sie das Funktionsprinzip von Change Data Capture (CDC) über das Write-Ahead-Log (WAL) im Vergleich zu zyklischen Vollabfragen via SELECT mit Timestamp.
b) Definieren Sie den Begriff 'Idempotenz' im Kontext von Datenpipelines und begründen Sie, warum Idempotenz im Fehlerfall essenziell ist.
💡 Didaktischer Erwartungshorizont & Punkteverteilung (nach KMK-Kriterien)
a) CDC liest die Änderungen (INSERT, UPDATE, DELETE) direkt asynchron und latenzarm aus den Transaktionslogs (WAL) der Datenbank aus. Dadurch entsteht nahezu keine zusätzliche Last auf der operativen Datenbank und gelöschte Datensätze (Deletes) werden lückenlos erfasst, was bei Timestamp-SELECTs oft nicht möglich ist.
b) Idempotenz bedeutet, dass eine Pipeline-Operation beliebig oft mit denselben Eingangsdaten ausgeführt werden kann, ohne das Endergebnis zu verändern. Im Fehlerfall oder bei Pipeline-Wiederholungen (Retries) verhindert dies doppelte Datensätze (Duplikate) und inkonsistente Aggregationen.