Mit Open Source zum Lakehouse-Cluster mit nativer Geo-Unterstützung
Der Vortrag vermittelt Motivation und Orientierung für den Aufbau eines eigenen Lakehouse-Clusters. Er erklärt kompakt Architektur und Kernbausteine eines Lakehouse-Systems – vom Katalog über Speicher und Compute bis zum Tabellenformat – und zeigt, wie man einen Plan für große Datenmengen entwickelt, wenn eine einzelne Maschine nicht mehr ausreicht.
Mit der fortschreitenden Öffnung von Geodaten wachsen die Anforderungen an Speicherung und Berechnung. Klassische Einzel-Datenbanken lassen sich zwar skalieren, stoßen bei sehr großen, heterogenen Beständen jedoch an organisatorische und technische Grenzen. Der Vortrag entmystifiziert moderne Lakehouse-Architekturen und zeigt, wie S3-Speicher, Katalog, Compute (von DuckDB bis Spark) und Tabellenformat zusammenspielen. Im Fokus steht Apache Iceberg v3 mit nativer Geo-Unterstützung: räumliche Datentypen, Time-Travel und saubere Schema-Evolution. Ziel ist ein klarer Startpfad vom Laptop-PoC zum kleinen Cluster – inklusive typischer Fallstricke sowie Do’s & Don’ts.
Licensed to the public under https://creativecommons.org/licenses/by/4.0/