Wij blijven graag op de hoogte. Niet alleen van de mooie projecten waar we als team mee bezig zijn bij de klant, maar ook van de nieuwste ontwikkelingen in de techniek. Daarom organiseren we regelmatig kennissessies waarin we elkaar bijpraten over de nieuwste mogelijkheden in onze business. Zo nu en dan zijn de onderwerpen van gesprek ook relevant voor mensen buiten onze organisatie; en daarom delen we deze kennis graag met je.
Niet meer helemaal nieuw, maar wel heel actueel is Databricks verweven in onze diensten. Databricks was in 2021 één van de meest succesvolle Nasdaq-beursgangen. Reden te meer om het daar eens over te hebben!
Databricks is een organisatie uit Amerika die, volgens hun website, “combine the best of data warehouses and data lakes to offer an open and unified platform for data and AI”. Volgens onderzoeksbureau Gartner is Databricks zelfs al een ‘Leader’, zowel op gebied van data warehousing als in machine learning. Klinkt veelbelovend, toch? Maar wat het product nou écht zo sterk maakt, lees je in dit interview met onze Principal BI-consultant René.
Wat is het Databricks platform?
Databricks biedt een cloud-based dataverwerkingsplatform (onder dezelfde naam) waarmee je data niet alleen verwerkt maar ook analyseert en transformeert. Dankzij het gebruik van data lakes en big data technologie is het dé tool die het mogelijk maakt om grote hoeveelheden data te verwerken. Het is snel, kosten efficiënt, schaalbaar en ondersteunt verschillende scripttalen zoals SQL en Python. Doordat het verschillende talen ondersteunt, kun je je data meteen voor verschillende doeleinden gebruiken: voor het opvragen en manipuleren van data bijvoorbeeld, maar ook voor het voorspellen van data in Data Science.
Welke rol speelt Databricks in onze business?
Een belangrijke! Er wordt steeds meer bedrijfseconomische data geproduceerd, bijvoorbeeld uit erp-systemen en financiële software. Daarnaast groeit de vraag om ook minder gestructureerde data, zoals data afkomstig uit logging van je productiemachines of uit IoT (Internet of Things), mee te nemen in analyses. De bestaande technologie, zoals SQL Server, wordt weliswaar steeds krachtiger om daarmee om te gaan, maar blijft minder geschikt om te werken met data uit een data lake. Databricks werkt vele malen flexibeler. Je kunt niet alleen snel capaciteit bijschakelen wanneer je het nodig hebt, maar het is ook veel sneller. Sommige van onze klanten halen data uit tientallen bronnen en om daarmee snel te kunnen (blijven) werken is Databricks uitermate geschikt.
Wat moet je als IT-manager van Databricks weten?
Databricks maakt gebruik van een cluster aan computers. Doordat een cluster de taken parallel uitvoert, werkt het veel sneller dan die ene server waarvan je nu vaak afhankelijk bent. Het mooiste komt nog: omdat het cloud-technologie is betaal je alleen naar gebruik. Als je niet constant je systeem aan hoeft te hebben staan – zoals bij business intelligence vaak het geval is – levert dat een groot kostenvoordeel op. Zo heb je bijvoorbeeld alleen een tijdelijke piek als je je data ververst of zwaardere bewerkingen uitvoert.
Hoe is Databricks verweven in iqbs?
Het mooie is dat we big data technieken nu binnen handbereik hebben dankzij Databricks. Hierdoor kunnen we steeds grotere hoeveelheden data efficienter verwerken. We kunnen de klant steeds beter ondersteunen in het manipuleren van data, maar ook met Data Science technieken aan de slag om bijvoorbeeld predictive maintenance te bieden voor machines.
Bovendien kunnen we voor meer toepassingen met Power BI werken. Data opslaan kan relatief goedkoop in een data lake in de cloud. Vanuit het data lake kunnen we de data met databricks transformeren naar leesbare data, om het in Power BI te kunnen lezen. Analyseren van data kan ook direct in Databricks, maar dat is vooral handig voor de data engineer of data scientist. Voor de overige eindgebruikers zetten we liever Power BI in, want dat is veel toegankelijker. De kosten van Power BI zijn ook relatief laag en zo kunnen we dus een nóg betere oplossing tegen nog lagere kosten bieden in Power BI.
PS: Wil jij voortaan ook direct op de hoogte zijn tijdens onze kennissessies? Wij zoeken nog collega’s! Kijk hier voor onze vacatures of stuur een berichtje voor een open sollicitatie!
