Community Day 2023: sneller data inladen met Databricks Autoloader

Community Day 2023: een verslag

Op 13 april was het tijd voor de Community Day 2023 in Werkendam: een event georganiseerd door de community van onder meer DIWUG, Dutch Woman in Tech en Azure Thursday. Door dit soort events nemen deze groepen een kijkje in elkaars keuken, wat zorgt voor natuurlijke kruisbestuiving. Onze Azure Engineer Dennis was hier aanwezig, samen met Microsoft 365 consultant Renier van ons zusterbedrijf c)solutions. Zij volgden twee interessante sessies. In deze blog een verslag hiervan. 

Dennis: “Op de Community Day 2023 stuurt elke community een aantal sprekers in en zo staat kennisdeling centraal. Ik ben naar 2 sessies geweest, namelijk ‘Databricks Autoloader’ van Azure Thursday en ‘I am in your pipelines reading all your secrets’ van Dutch Microsoft Security Meetup. ”

Communities van de CommunityDay23
De communities van de CommunityDay2023

Laden van gegevens vereenvoudigen

“De eerste sessie ging over Databricks Autoloader: een tool voor het geautomatiseerd laden van gegevens naar Azure Databricks. Het is hierdoor mogelijk om data van verschillende bronnen te laden, zoals object storage, cloud storage en streaming platforms. Autoloader kan ook schema-inferentie toepassen om automatisch de structuur van gegevens te begrijpen en deze te integreren in de gegevensverwerking. Het doel is om het laden van gegevens te vereenvoudigen en te versnellen. Wij gaan dit dit jaar nog inzetten om sneller data in te laden, bijvoorbeeld vanuit Infor”.

Security in DevOps

De tweede sessie die Dennis volgde: ‘I am in your pipelines reading all your secrets’. Een sessie over security in DevOps. “Security is natuurlijk een onwijs belangrijk onderdeel van mijn werk. In deze sessie werd diep ingegaan op hoe DevOps pipelines beveiliging werkt. Ook werd benoemd hoe je het lekken van credentials kunt voorkomen. Deze kennis kan ik weer goed inzetten in mijn werk”. 

Deze kennis kan ik weer goed inzetten in mijn werk
Dennis Dolman
Azure Engineer

Ga jij volgende keer met naar de Community Day?

Behoor jij ook tot een van deze communities of is een baan binnen de wereld van BI jouw ambitie? Weet dan dat wij altijd op zoek zijn naar bijvoorbeeld BI consultants, data engineers en Azure engineers. Klik hieronder door naar onze vacatures of neem contact met ons op voor een kop koffie of thee bij ons op kantoor.