← Alle cases

Data Enlights · Automotive

Een lakehouse voor een automotivegroep in Gent

Terabytes aan fabrieksdata in een medallion-lakehouse, batch en streaming, vanuit één configuratiegestuurd framework.

  • Automotive
  • Dataplatform
  • Streamingdata
KlantAutomotivegroep in Gent
SectorAutomotive
CategorieData Enlights
StatusLoopt
~50%lagere cloudkosten op dataplatform

Het probleem

De groep wil 50% van haar omzet halen uit niet-fossiele producten, en haar fabrieken produceren terabytes aan data die één betrouwbaar platform nodig hadden.

De oplossing

Een bronze/silver/gold-lakehouse met een configuratiegestuurd Python-framework voor zowel batch als streaming, en een toegangsmodel op basis van Azure AD.

Het resultaat

Ongeveer 50% lagere cloudkosten voor het platform, vooral door de streamingjobs te optimaliseren, met batch en streaming op één framework.

Het hele verhaal

  1. Het vertrekpunt

    De fabrieken van de groep wereldwijd produceren terabytes aan data uit machines, productiesystemen en magazijnen. Er was één betrouwbaar platform nodig voor zowel batchladingen als realtime streams.

  2. Het platform

    Een bronze/silver/gold-lakehouse op Azure Databricks met Delta Lake. Wijzigingen in productiedatabanken komen binnen via Qlik Replicate en IBM CDC, live events via Event Hubs, en Databricks Autoloader pikt nieuwe bestanden op. Eén configuratiegestuurd Python-framework draait zowel batch als streaming, met toegangsbeheer via Azure AD.

  3. De factuur gehalveerd

    We analyseerden de kosten van Azure en Databricks job per job. Het grootste deel van de besparing kwam van het herschrijven van de streamingjobs, zodat ze hetzelfde werk doen met veel minder rekenkracht. Zo daalden de cloudkosten van het platform met ongeveer de helft.

  4. Governance

    Unity Catalog en MLflow op Databricks beheren de data en de modellen, ook de machine learning-modellen die in de magazijnen gebruikt worden.

  5. Voorbij het platform

    Het platform voedt ook logistiek werk: een magazijnoptimalisatie over vier sites, en een applicatie in ontwikkeling die voorspelt hoe lang een bestelling nodig heeft om klaar te zijn en een passend leverslot voorstelt, gebouwd met Azure Machine Learning en MLflow.

Technologie

Databricks AutoloaderDelta LakeSparkEvent HubsKafkaAzure ADQlik ReplicateIBM CDCAzure Machine Learning
Sta je voor iets gelijkaardigs?We bouwen jouw versie rond je eigen data.

Vraag het Pai

Vraag Pai naar deze case

Pai is een AI. Hij weet alleen wat op deze pagina staat.

Baby Pai · AIHoi, ik ben Baby Pai, een AI-assistent. Vraag me naar de case van Automotivegroep in Gent.

Pai is een AI. De antwoorden komen van deze casepagina. Deel geen gevoelige gegevens.

Chats worden 30 dagen bewaard, tenzij je dat uitschakelt in Privacy en keuzes.