Data Engineering (Spark & Databricks)
Online-Kurse im Fachbereich Daten & KI
Bevor Daten analysiert werden, müssen sie fließen: Data Engineers bauen die Pipelines und Plattformen dahinter – mit Apache Spark und Kafka, Databricks, Snowflake und Microsoft Fabric. Ein Berufsfeld, das oft besser bezahlt ist als die Analyse selbst, und deutlich seltener gelehrt wird.
- Microsoft Fabric - Die vollständige Schulung 2026Fundierte Kompetenzen in Microsoft Fabric aufbauenDieser Kurs vermittelt Ihnen die zentralen Skills, um Microsoft Fabric sicher zu beherrschen. Anhand praxisnaher Projekte, die sich an realen Use Cases orientieren, lernen Sie, die Plattform effizient einzusetzen. Kostenlosen Zugriff auf Microsoft Fabric nutzenDer Kurs zeigt Ihnen, wie Sie Microsoft Fabric kostenlos nutzen können, sowohl mit einem privaten als auch mit einem geschäftlichen Konto. Die wichtigsten Komponenten von Fabric beherrschenSie lernen die zentralen Bausteine von Microsoft Fabric kennen und anzuwenden, darunter Data Engineering, Data Factory, Power BI und Data Warehouse. Daten auf unterschiedliche Weise transformierenSie lernen, Daten effizient zu transformieren und zu verarbeiten, mit verschiedenen Tools in Microsoft Fabric, z. B. Spark Notebooks (mit Python/PySpark und SQL/Spark SQL) sowie Dataflows Gen2. Verschiedene Datenspeicher-Ansätze in Fabric beherrschenSie verstehen die Storage-Konzepte in Fabric und können sie sicher einsetzen, insbesondere Lakehouse und Data Warehouse. Typische Anfängerfehler vermeiden und Best Practices anwendenDer Kurs hilft Ihnen, häufige Fehler beim Einstieg in Microsoft Fabric zu erkennen und zu vermeiden, und führt Sie an Best Practices heran, z. B. die Medallion-Architektur. Sich gezielt auf die Microsoft-Fabric-Zertifizierungen DP-600 und DP-700 vorbereitenSie bereiten sich fundiert auf die Zertifizierungen DP-600 und DP-700 vor und erwerben das relevante Wissen sowie die notwendigen Fähigkeiten, um die Prüfungen erfolgreich zu bestehen.
- DP-700: Microsoft Fabric Data Engineer - ÜbungsprüfungenBeherrschen Sie die grundlegenden Konzepte und zentralen Themen der Prüfung DP-700: Microsoft Fabric Data Engineer AssociateSie lernen, die für die DP-700-Prüfung erforderlichen Basiskonzepte zu verstehen und zu verinnerlichen. Jede Frage wird ausführlich erklärt, um die theoretischen Konzepte und deren praktische Anwendung nachvollziehbar zu machen. So bauen Sie ein solides Fundament auf, um der Prüfung mit Zuversicht zu begegnen. Best Practices für die Verwaltung von Lakehouses, Warehouses und KQL databases verstehenDie Fragen behandeln die Grundlagen für das Management moderner Datenumgebungen in Microsoft Fabric. Sie sehen, wie Sie Ihre Lakehouses, Warehouses und KQL databases strukturieren und optimieren, um Performance und Effizienz zu steigern. Diese Best Practices sind nicht nur für das Bestehen der Prüfung entscheidend, sondern auch für reale Projekte. Ihre Skills in Python, SQL, Spark und KQL im Fabric-Ökosystem gezielt stärkenDer Kurs bietet Multiple-Choice-Fragen (MCQs) und präzise Erklärungen mit Fokus auf die wichtigsten Sprachen und Tools in Fabric. Sie lernen, Daten mit SQL, Spark, Python und KQL effektiv zu manipulieren und zu transformieren. Ziel ist es, Ihre technische Selbstständigkeit und Vielseitigkeit als Data Engineer zu erhöhen. Ihr Fabric-Wissen durch praxisnahe Fälle und realistische Data-Engineer-Szenarien vertiefenJede Fragensammlung basiert auf Szenarien, die realen Business-Kontexten sehr nahekommen. Sie können sich in konkrete Datenprojekte hineinversetzen und verstehen, wie Sie Ihr theoretisches Wissen anwenden. Das hilft Ihnen, die Zertifizierung mit Ihren zukünftigen beruflichen Aufgaben zu verknüpfen. Ihr Wissen mit Practice Tests und DP-700-Prüfungssimulationen bewertenSie erhalten Zugriff auf zeitlich begrenzte Fragen, die wie die offizielle Prüfung strukturiert sind.
- Databricks Data Engineer Associate – Lakehouse EngineeringThis course contains the use of artificial intelligenceDatabricks Data Engineer Associate – Lakehouse EngineeringDatabricks ist eine leistungsstarke Plattform für Daten und AI, denn AI ohne Daten existiert nicht. Die Daten, die auf der Plattform landen, sind jedoch oft entweder unvollständig, ungefiltert oder dupliziert – also... ziemlich chaotisch. Ein Data Engineer ist ein Spezialist, der solche Daten bereinigen, verarbeiten und wertvolle Ergebnisse für weitere Analysen, Machine-Learning-Algorithmen oder AI liefern kann. Ein Data Engineer braucht für seine Aufgaben geeignete Tools – eines davon kann Databricks sein. Dieser Kurs bereitet auf die Prüfung Databricks Certified Data Engineer Associate vor, stellt aber gleichzeitig die Funktionen von Databricks vor, mit denen sich automatisierte Datenverarbeitungsprozesse aufbauen lassen.
- Databricks Certified Developer for Spark 4.0 Praxis TestsDatabricks Certified Associate Developer – Apache Spark 4.0 Practice TestsBereite dich gezielt und sicher auf die Databricks Certified Associate Developer for Apache Spark 4.0 Prüfung vor. Dieser Praxistest-Kurs wurde entwickelt, um dir realistische Prüfungssituationen zu bieten und dein Wissen zu allen relevanten Themenbereichen zu festigen. Was dich erwartetDu erhältst sechs vollständige Übungstests, die in Struktur, Schwierigkeit und Themengewichtung der echten Databricks-Zertifizierung entsprechen. Jeder Test wurde sorgfältig erstellt, um dein Verständnis von Apache Spark in praxisnahen Szenarien zu prüfen – genau so, wie es in der realen Prüfung gefordert wird. Themen, die abgedeckt werdenSpark Core Concepts: Transformationen, Aktionen, RDDs, Lazy Evaluation, CachingDataFrame & Dataset API: Arbeiten mit Strukturen, Aggregationen, Joins, Schema-ManagementSpark SQL: Abfragen, Optimierungen, Catalyst Optimizer, Query ExecutionStructured Streaming: Mikro-Batching, Trigger, Wasserzeichen, Stateful ProcessingPandas API on Spark: Konvertierung, Performance-Vergleiche, Integration mit Spark DataFramesSpark Connect & Cluster Grundlagen: Verbindung, Ausführung, Monitoring, TuningSo lernst du mit diesem KursNach jeder Frage erhältst du eine klare, verständliche Erklärung, die dir zeigt, warum eine Antwort richtig ist – und warum andere falsch sind. Dadurch lernst du, das Verhalten von Spark wirklich zu verstehen, anstatt nur auswendig zu lernen.
- Databricks Data Engineer Associate – EinführungThis course contains the use of artificial intelligenceKünstliche Intelligenz hätte sich nie entwickeln können, wenn keine Daten verfügbar wären. Und nicht nur die Menge ist entscheidend – auch die Qualität der Daten spielt eine zentrale Rolle. Denn wenn die Daten schlecht sind, wird die KI nicht intelligent, sondern schlichtweg dumm. Ein Data Engineer ist jemand, der mit großen Datenmengen umgehen kann, sie aus verschiedenen Quellen extrahiert, verarbeitet und für andere bereitstellt. Für solche Aufgaben braucht man die richtigen Werkzeuge – und eines davon ist Databricks: eine cloudbasierte Plattform für Datenverarbeitung und den Aufbau von Machine-Learning- und KI-Modellen. Dieser Kurs ist eine Einführung in das Data Engineering mit Databricks. Er vermittelt grundlegendes Wissen, das du brauchst, um dich auf die Prüfung zum Databricks Certified Data Engineer Associate vorzubereiten. Gleichzeitig zeigt er dir viele Details und Feinheiten, die selbst erfahrene Data Engineers oft nicht kennen oder nicht vollständig verstehen. Im Kurs starten wir mit Methoden, wie du Databricks kostenlos nutzen kannst – denn grundsätzlich kostet jeder Cluster-Start Geld. Danach erklären wir, wie die Compute-Ressourcen aufgebaut sind, die die Datenverarbeitung übernehmen, und wie die Daten in sogenannten Katalogen organisiert werden. Anschließend zeigen wir dir, wie du Notebooks erstellst und mit GitHub integrierst. Du lernst, wie man neue Kataloge anlegt und grundlegende Dateioperationen mit dem Modul dbutils durchführt. Da Databricks stark in der Cloud verankert ist, zeigen wir dir auch, wie die Integration aus Sicht von Azure funktioniert – und erstellen dabei eigene External Locations und externe Kataloge. Das ist bereits ein fortgeschrittener administrativer Teil der Databricks-Verwaltung in Azure.
- Snowflake-Kurs für AnfängerDieser Kurs enthält den Einsatz von künstlicher Intelligenz. Snowflake-Kurs für Anfänger: Einstieg in modernes Datenmanagement in der CloudMöchtest du lernen, wie man große Datenmengen effizient, skalierbar und sicher in der Cloud verarbeitet? Dann ist dieser Kurs genau das Richtige für dich. Snowflake ist eine moderne Datenplattform, die Unternehmen und Entwickler dabei unterstützt, Datenanalysen auf höchstem Niveau durchzuführen – ohne komplexe Infrastruktur. In diesem Kurs erhältst du einen praxisorientierten Einstieg in die Arbeit mit Snowflake. Du wirst Schritt für Schritt durch die wichtigsten Funktionen geführt – vom Einrichten eines Kontos bis hin zur Durchführung fortgeschrittener SQL-Abfragen und Cloud-Integration. Was du in diesem Kurs lernen wirst: Grundlagen von SnowflakeWas ist Snowflake, wie funktioniert es und warum ist es eine der gefragtesten Plattformen im Cloud-Datenmanagement? Kontoerstellung und KonfigurationLerne, wie du ein Snowflake-Konto einrichtest, Datenbanken und Tabellen erstellst und deine Entwicklungsumgebung vorbereitest. Datenimport aus verschiedenen QuellenLade Daten aus Formaten wie CSV, JSON oder Parquet, sowie aus anderen Datenbanken und Cloud-Plattformen wie AWS. SQL in Snowflake anwendenVerstehe, wie du mit SQL grundlegende und fortgeschrittene Abfragen in Snowflake ausführst, um wertvolle Einblicke aus deinen Daten zu gewinnen. Zugriffskontrolle und SicherheitLerne, wie du Benutzerrechte verwaltest und die Sicherheit deiner Daten gewährleistest. Integration mit AWS (Amazon Web Services)Konfiguriere die Verbindung zu AWS S3 und lerne, wie du Daten zwischen Snowflake und Cloud-Speichern effizient austauschst.
- Microsoft Fabric Einführung: Datenplattform verstehenMicrosoft Fabric ist die nächste Generation der Datenplattform von Microsoft. In diesem deutschsprachigen Kurs lernst du, wie Fabric funktioniert und wie Data Engineering, Data Science und Power BI in einer einheitlichen Umgebung zusammenarbeiten. Du verstehst nicht nur die einzelnen Komponenten, sondern auch das Zusammenspiel im gesamten Datenprozess – von der Datenintegration bis zur Analyse. Du hast von Microsoft Fabric gehört und möchtest verstehen, was dahinter steckt und wie du es sinnvoll einsetzen kannst? Dann ist dieser Kurs der ideale Einstieg. Microsoft Fabric verändert, wie Daten verarbeitet, analysiert und genutzt werden. Statt einzelner Tools vereint Fabric den gesamten Datenprozess in einer Plattform – von der Datenintegration über Data Engineering bis hin zu Business Intelligence. In diesem Kurs lernst du Schritt für Schritt, wie Microsoft Fabric aufgebaut ist und wie die einzelnen Komponenten zusammenarbeiten. Das erwartet dich im Kurs:verständlicher Einstieg in Microsoft FabricÜberblick über die Plattform und ihre KomponentenVerständnis von OneLake als zentrale DatenbasisEinführung in Data Engineering und DatenintegrationZusammenhang zwischen Fabric und Power BItypische Anwendungsfälle und ArchitekturverständnisOrientierung für deinen nächsten LernschrittDas ist dein Nutzen:du verstehst Microsoft Fabric ganzheitlichdu erkennst den Unterschied zu Power BIdu kannst Fabric im Kontext moderner Datenplattformen einordnendu bereitest dich auf fortgeschrittene Themen vordu baust ein solides Fundament für Data- und AI-ThemenDieser Kurs richtet sich bewusst an Einsteiger in Microsoft Fabric. Vorkenntnisse in Power BI oder Datenanalyse sind hilfreich, aber nicht zwingend erforderlich.
- Apache Spark mit Databricks - CrashkursDatabricks wurde von den Apache Spark Schöpfern gegründet. Databricks stellt eine webbasierte Plattform für Datenanalysen mit Apache Spark bereit, die Data Scientists, Data Engineers, Machine-Learning Engineers und Data Analysts zusammenbringt und ist mit der AWS oder Azure Cloud integrierbar. Durch die zusätzlichen Features, die Databricks mitbringt sind produktive und skalierbare Data Science und Data Engineering möglich. Die Features sind eine optimierte Performance auf Apache Spark, zuverlässige und leistungsstarke Data Lakes mit Delta Lake, Interaktive Data Science und Zusammenarbeit zwischen den unterschiedlichen Beteiligten wie Data Scientists, Data Engineers, Machine-Learning Engineers usw.. Mit Databricks sind Jobs und Workflows in Produktivumgebung möglich, für die Anforderungen hinsichtlich Unternemenssicherheit ist durch End-to-End Datenschutz und Compliance gesorgt, bekannte und geläufige Tools sind ohne Probleme integrierbar und es wird ein Experten-Support durch die Apache Spark Schöpfer gegeben. Nach erfolgreichem Abschluss des Kurses wirst du in der Lage sein mit Databricks interaktive Data Science und Data Engineering zu betreiben. Du bekommst eine Einführung in die Grundlagen von Apache Spark und Databricks. Du lernst mit Spark DataFrames umzugehen sowie Aufgaben mit der kostenlosen Community Edition schnell und einfach zu lösen. Was erwartet dich in dem Kurs? Du bekommst über 20 theoretische und praktische Lektionen sowie Übungsaufgaben – was mehr als 3 Stunden Videomaterial umfasst. Dich erwartet ein Abschlussprojekt mit echten Daten und Databricks-Notebooks sowohl mit Vorlage als auch Lösung, die du herunterladen kannst. Du erhältst Zugang zum Online Q&A Forum, wo entweder andere Kursteilnehmer oder ich deine Fragen beantworten werden. Und schließlich erhältst du auch ein Zertifikat bei erfolgreichem Kursabschluss, das sich gut in deinem Lebenslauf macht.
- Spark mit Databricks in AWS für Data Science/EngineeringDatabricks wurde von den Apache Spark Schöpfern gegründet. Databricks stellt eine webbasierte Plattform für Datenanalysen mit Apache Spark bereit, die Data Scientists, Data Engineers, Machine-Learning Engineers und Data Analysts zusammenbringt und ist mit der AWS oder Azure Cloud integrierbar. Durch die zusätzlichen Features, die Databricks mitbringt sind produktive und skalierbare Data Science und Data Engineering möglich. Die Features sind eine optimierte Performance auf Apache Spark, zuverlässige und leistungsstarke Data Lakes mit Delta Lake, Interaktive Data Science und Zusammenarbeit zwischen den unterschiedlichen Beteiligten wie Data Scientists, Data Engineers, Machine-Learning Engineers usw.. Mit Databricks sind Jobs und Workflows in Produktivumgebung möglich, für die Anforderungen hinsichtlich Unternemenssicherheit ist durch End-to-End Datenschutz und Compliance gesorgt, bekannte und geläufige Tools sind ohne Probleme integrierbar und es wird ein Experten-Support durch die Apache Spark Schöpfer gegeben. Nach erfolgreichem Abschluss des Kurses wirst du in der Lage sein mit Databricks interaktive Data Science und Data Engineering mit hoher Unternehmenssicherheit, optimierter Performance und Zuverlässigkeit auf Produktionssniveau zu betreiben und so Big Data Projekte zielführend zur Mehrwertgenerierung foranzutreiben. Was erwartet dich in dem Kurs? Du bekommst über 80 theoretische und praktische Lektionen sowie Übungsaufgaben – was mehr als 12 Stunden Videomaterial umfasst. Dich erwarten Meilensteinprojekte mit echten Daten und Databricks-Notebooks sowohl mit Vorlagen als auch Lösungen, die du herunterladen kannst. Du erhältst Zugang zum Online Q&A Forum, wo entweder andere Kursteilnehmer oder ich deine Fragen beantworten werden. Und schließlich erhältst du auch ein Zertifikat bei erfolgreichem Kursabschluss, das sich gut in deinem Lebenslauf macht. Achtung!
- Apache Kafka: Real-Time Streaming für Big DataErfolgreiches Lernen von Apache Kafka: schneller, effektiver Einstieg. Du hast sicherlich schon viel über Apache Kafka gehört und möchtest nun in die Tiefe gehen, weißt aber nicht genau, wo du beginnen sollst? Dieser Kurs ist genau das Richtige für dich! Hier erhältst du alle entscheidenden Grundlagen in praxisnahen Beispielen vermittelt. Warum Apache Kafka? Apache Kafka hat sich als führende Plattform für verteiltes Daten-Streaming in der Welt der Big Data etabliert. Es wird von mehr als 33% der Fortune 500-Unternehmen sowie von DAX-Unternehmen wie Volkswagen, Netflix, Airbnb, Uber und LinkedIn in der Produktion eingesetzt. Was du in diesem Kurs lernen wirst: Grundlegende Konzepte von Apache Kafka: Verstehen, wie Kafka funktioniert und wie Nachrichten gesendet und empfangen werden. Installation und Betrieb von Kafka-Servern: Lerne, wie du Kafka aufsetzt, betreibst und Cluster bereitstellst. Anwendung von Produzenten und Consumern: Vertiefe dich in die Nutzung von Produzenten und Konsumenten in Kafka. Integration mit anderen Technologien: Erfahre, wie Kafka mit Echtzeitanwendungen und Big Data-Technologien interagiert und erforsche Verbindungen und Schnittstellen zu anderen Systemen und Datenbanken. Anbindung (Python): Lerne, wie du dich mit Kafka mithilfe von Python verbindest. Unsere Lernstruktur: Kafka Schnellstart: Einstieg in die Grundkonzepte von Kafka. Fortgeschrittene Themen: Vertiefung in komplexere Aspekte von Kafka.
- Spark und Python für Big Data und Data Science mit PySparkLerne die neueste Big Data Technologie - Spark! Und lerne es mit einer der beliebtesten Programmiersprachen, Python! Eine der wertvollsten technologischen Kompetenzen ist die Fähigkeit, große Datenmengen zu analysieren. Dieser Kurs wurde speziell dafür entwickelt, Dich auf eine der besten Technologien für diese Aufgabe, Apache Spark, vorzubereiten! Die Top-Technologie-Unternehmen wie Google, Facebook, Netflix, Airbnb, Amazon, NASA und mehr verwenden alle Spark, um ihre Big-Data-Probleme zu lösen! Spark kann bis zu 100x schneller als Hadoop MapReduce ausgeführt werden, was zu einer Explosion der Nachfrage nach dieser Fähigkeit geführt hat! Dieser Kurs vermittelt die Grundlagen mit einem Crash-Kurs in Python und lehrt weiterhin, wie man Spark DataFrames mit der Spark 2.0-Syntax verwendet! Sobald wir das besprochen haben, werden wir sehen, wie man die MLlib Machine Library mit der DataFrame-Syntax und Spark verwendet. Während jeder Lektion bekommst Du Übungen und simulierte Beratungs-Projekte, die Dich direkt in eine reale Situation bringen, in der Du deine neuen Fähigkeiten einsetzen kannst, um ein echtes Problem zu lösen! Wir befassen uns auch mit den neuesten Spark-Technologien, wie Spark SQL, Spark Streaming und erweiterten Modellen wie Gradient Boosted Trees! "Der Kurs hat ein sehr gutes Level und als Anfänger in Big Data komme ich sehr gut mit. Der Kursleiter erklärt alles sehr genau und man kann ihm sehr gut folgen." (★★★★★ W. Surala)Nachdem Du diesen Kurs absolviert hast, kannst Du selbstbewusst Spark und PySpark in Deinen Lebenslauf schreiben! Dieser Kurs hat auch eine volle 30 Tage Geld-zurück-Garantie!
- Data Science, Apache Spark & Python: Analysiere echte Daten!Neu: Für Spark 2.1! Auswertungen von "Big Data" werden immer wichtiger, Experten werden händeringend gesucht. Du lernst in diesem Kurs die heißeste Technologie, Apache Spark kennen. Dieses wird bereits von unzähligen Unternehmen verwendet, darunter Amazon, eBay, Groupon, TripAdvisor! Lerne jetzt Apache Spark - ganz bequem auf deinem eigenen Computer. In diesem Kurs wertest du echte Daten aus. Dadurch macht dieser Kurs nicht nur richtig viel Spaß, die Beispiele sind auch besonders anschaulich und bereiten dich perfekt vor - sei es weil du selbst ein paar Daten auswerten möchtest, oder du dich für einen Job als Data Scientist bewerben möchtest! ✓ Verstehe die Spark Basics: Das Resilient Distributed Dataset✓ Entwickle Spark - Programme in Python✓ Fordere dich mit Übungsaufgaben heraus und festige nebenher dein Wissen✓ Analysiere auf deinem Computer riesige Datenmengen mit ein paar Zeilen Code in Apache Spark✓ Lasse ein echtes Spark - Cluster auf der Amazon Cloud (Elastic Map Reduce) laufen (optional)✓ Ändere den Beispielcode aus diesem Kurs ab und analysiere noch schneller deine eigenen Daten Nach Abschluss dieses Kurses kannst Datensätze eigenständig auswerten und visualisieren - und hast das schon zig mal gemacht. Du hast Gletscherstatistiken analysiert, Taxi - Daten visualisiert, Häufigkeit von Wörter in einem eBook bestimmt, sowie Geburtsstatistiken der USA ausgewertet. Dadurch bist du perfekt für eigenständige Auswertungen vorbereitet, und kannst z. B. deinen Chef mit aussagekräftigen Analysen beeindrucken!
Sortiert nach Erscheinung (neueste zuerst). Details und Anbieter-Link (Affiliate-Link, Werbung) auf der jeweiligen Kursseite.
Der unterbesetzte Teil der Datenwelt
Auf jede Data-Science-Stelle kommen mehrere Engineering-Stellen – denn Modelle sind nutzlos, solange die Daten verstreut, ungeprüft und langsam sind. Der Werkzeugkasten hat sich dabei auf wenige Plattformen konzentriert: Spark als Rechenkern, Databricks und Snowflake als Cloud-Plattformen, Kafka für Echtzeit-Ströme, Microsoft Fabric als jüngster Sammelpunkt der Microsoft-Welt. Wer aus der SQL- und Datenbank-Ecke kommt, findet hier den logischen nächsten Karriereschritt – die zugehörigen Zertifizierungs-Vorbereitungen (Databricks, DP-700) stehen gleich daneben.
Häufige Fragen
- Brauche ich erst Data Science, um Data Engineer zu werden?
- Nein – die Wege sind parallel, nicht gestaffelt: Engineering baut auf SQL, Python-Grundlagen und Datenbank-Verständnis auf, nicht auf Statistik und Modellen. Wer gern Systeme baut und Datenflüsse sauber hält, kann direkt hier einsteigen; Machine-Learning-Wissen kommt bei Bedarf später dazu.