English version

Data lakehouses zijn het gesprekonderwerp in veel organisaties. Slechts een handvol teams runt ze met vertrouwen in productie. We spraken met Jacob Nurup, Databricks Champion bij CGI, over wat er écht werkt: hoe je eerst gelijkwaardigheid bereikt, daarna productiviteit verhoogt, en altijd veerkracht behoudt. Zonder concessies te doen aan governance of kosten uit de hand te laten lopen.  
 

Wat is je advies voor teams die aan hun data-lakehouse-reis beginnen? 

Begin klein, met één domein van hoge waarde waar succes meetbaar is, bijvoorbeeld een cruciaal operationeel dashboard of een belangrijk dataproduct dat andere systemen voedt. Stel drie niet-onderhandelbare principes vast: platform-guardrails, governed reuse en CI/CD. Bewijs dat je dezelfde resultaten levert als je bestaande omgeving, en lever binnen weken (niet kwartalen) iets werkends op.

Bouw momentum op met snelle successen, maar lever nooit in op governance of testen. Teams die slagen, zijn juist diegenen die niet bezwijken voor de verleiding om in het begin de kantjes er van af te lopen. Die shortcuts worden later technische schuld. Met één operationeel model, architectuurpatronen, geautomatiseerde kwaliteitscontroles leg je een fundament waarop je veilig kunt schalen. Dát is hoe je van pilot naar platform gaat.

Wanneer wordt een data lakehouse echt ‘run-ready’? 

Op het moment dat uniformiteit met het data warehouse bereikt is: dezelfde cijfers, dezelfde of betere SLA’s, dezelfde controles. Tijdens een project bij een pensioenuitvoerder besteedden we de eerste fase volledig aan het bewijzen van uniformiteit: data reconciliëren tussen het oude warehouse en het nieuwe lakehouse, prestaties valideren en het repliceren van toegangsmodellen. Alles – pipelines, service endpoints, governance – kwam samen in één operationeel model. Op deze manier gedragen beleid, geheimen, identiteit en change control zich overal hetzelfde. Dat is je stabiele basis. Pas daarna begonnen we te optimaliseren voor snelheid en nieuwe mogelijkheden. Zonder dat fundament bouw je op los zand.

Wat zijn de drie niet-onderhandelbare standaarden die je eerst vastlegt? 

Ten eerste platform-guardrails:

  • Delta Lake-patronen voor de bronze–silver–gold-lagen;
  • Azure Data Factory en Databricks Workflows voor orkestratie;
  • Unity Catalog als de enkele bron van waarheid voor toegang en lineage.

Alles loopt via deze rails; geen custom pipelines die governance omzeilen.

Ten tweede, governed reuse: duidelijke datacontracten tussen lagen, gedeelde feature-tables en gecureerde componenten in een centrale databron. Teams die bijvoorbeeld AI-agents of MDM-oplossingen bouwen, gebruiken goedgekeurde patronen in plaats van telkens opnieuw te beginnen. Dat verkort de levertijd aanzienlijk.

Ten derde, CI/CD als enige weg naar productie: geautomatiseerd testen, goedkeuringsgates en niet-regressietests zijn standaard. Geen handmatige deployments, geen “we voegen de tests later toe”. Deze discipline maakt schaalbaarheid zónder chaos mogelijk.

Hoe kom je snel van een legacy warehouse naar de eerste resultaten? 

Kies één domein en bewijs de volledige werkwijze van begin tot eind. Toen we migreerden tijdens een traject bij een pensioenuitvoerder, kozen we ervoor om niet alles tegelijk over te zetten. We selecteerden enkele kritieke datastromen, zetten de bronze–silver–gold-flow op, vergeleken outputs binnen tolerantie en leverden werkende dashboards en API’s. De sleutel? Geautomatiseerd testen. Elke transformatie werd gevalideerd om problemen vroeg te ontdekken.

Zodra het eerste domein live is, gaat de tweede en derde veel sneller, omdat de werkwijzes, pipelines en governance al bestaan. Met deze aanpak hebben we migraties van ongeveer 350 feeds in zes maanden gerealiseerd, met minder dan 2% grote UAT-afwijkingen. Het geheim: klein beginnen, snel waarde leveren, en dan herhalen wat werk

Hoe houd je het platform veilig en betaalbaar bij opschaling? 

Behandel veerkracht en kosten als veiligheidseisen, niet als nice-to-haves. We definiëren SLO’s (service level objectives) voor elke kritieke taak, en implementeren unified observability: dashboards die datakwaliteit en platformprestaties monitoren. Disaster recovery wordt regelmatig getest, niet pas achteraf toegevoegd. 

Aan de kostenkant is FinOps ingebouwd vanaf dag één:

  • Juiste clusterformaten;
  • Automatische afsluiting;
  • Bestedingsquota;
  • Unit-cost-budgetten per workload;
  • Unity Catalog handhaaft toegangsbeleid als code, waardoor governance schaalt zonder handmatige inspanning.

Het resultaat: minder valse meldingen bij compliancecontroles, duizenden operationele uren bespaard, voorspelbare maandelijkse kosten. Deze vangrails waren cruciaal bij de groei van de eerste implementatie naar honderden productie-workloads.

Waar passen Databricks-componenten in zonder lock-in te creëren? 

Databricks biedt een cohesielaag, geen handboeien:

  • Delta Lake standaardiseert opslag: open, performant en compatibel met elke compute-engine;
  • Delta Live Tables (nu Lakeflow Declarative Pipelines);
  • Workflows zorgen voor betrouwbare orkestratie met automatische retries en kwaliteitscontroles;
  • Unity Catalog registreert wie welke data heeft geraadpleegd en waarom. Essentieel voor audit en compliance;
  • MLflow maakt modeldeployment traceerbaar en herhaalbaar, van experiment tot productie.

Omdat het een open Lakehouse is, zit je niet vast. We koppelen Power BI, externe API’s en andere tools rechtstreeks aan dezelfde Delta-tabellen. Je kunt bestaande warehouse-elementen – zoals sterrenschema’s, materialized views en BI-rapporten – gewoon hergebruiken, en pas herstructureren als dat echte waarde oplevert. Tegelijk kun je domeinspecifieke IP toevoegen – bijvoorbeeld voor fraudedetectie, documentverwerking, prijsoptimalisatie of SRE-operaties. Het platform past zich aan jouw behoeften aan, in plaats van jou in rigide patronen te dwingen.