Terug

Senior data engineer/analytics engineer voor team Basisstatistiek

Functie omschrijving

De kandidaat gaat het team helpen met het migreren van hun bestaande datapipelines naar Databricks op het Azure-platform. Dit doet de kandidaat door mee te werken, te adviseren en mee te denken met de teamleden. De huidige datapipelines zijn gemaakt op basis van PostgreSQL queries en functies en Bash. Een klein gedeelte van de datapipelines staat in SAS-code.

Als team ontsluiten we niet alleen maar data, een groot deel van ons werk is het koppelen van data en het maken van (complexe) afleidingen. Een simpel voorbeeld hiervan is dat we vastgoed en gebiedsdata ontsluiten, we koppelen de vastgoed data aan de gebiedsinformatie, zodat we weten in welke buurt de vastgoed-objecten liggen. Daarna leiden we af welke vastgoed-objecten een woning zijn en maken we statistieken over de hoeveelheid woningen per buurt.

Het is in deze functie daarom ook van belang om de data na bewerking (koppelen, afleiden) inhoudelijk goed te controleren, zodat we geen verkeerde statistieken publiceren. In deze functie wordt nauw samengewerkt met de andere data engineers die ook inhoudelijk veel ervaring hebben met de data.

In het kort omvatten de werkzaamheden het meewerken met het team en meedenken en adviseren over hoe we van onze huidige werkwijze naar een geoptimaliseerd en efficiënt data verwerkings- en verrijkingsproces in Databricks komen. Hieronder valt ook het deployen van ontwikkelomgeving naar productie.

Werkzaamheden

De kandidaat helpt het team met:

• Coachen en kennis over dragen naar de teamleden;
• Het omschrijven van bestaande datapipelines op basis van PostgresSQL, Python en Bash naar geautomatiseerde datapipelines in Databricks in de Cloud;
• Je controleert of de resultaten van een gemigreerde datapipeline exact dezelfde statistieken opleveren als in de oude omgeving;
• Meedenken en adviseren over hoe we van onze huidige werkwijze naar een geoptimaliseerd en efficiënt data verwerkings- en verrijkingsproces in Databricks en Azure komen;
• Je geeft advies en denkt mee over hoe we onze data pipelines met behulp van Git kunnen deployen in productie;
• Actief samenwerken met de overige teamleden door tijdens het werk jouw kennis over te dragen, onder andere door feedback te geven op code van collega’s;
• Het integreren en modelleren van data conform richtlijnen en standaarden van de data office en conform architectuur principes.

De opdrachtgever(s)

Gemeentelijke organisatie

Met ruim 18.000 collega's zorgen we ervoor dat Amsterdam een aantrekkelijke hoofdstad is en blijft. Waar het fijn is om te wonen, te werken en naar school te gaan. Met ruimte voor ondernemers en bezoekers. Werken voor Amsterdam betekent bijdragen aan iets groots. Aan groei, veiligheid, ontwikkeling, gezondheid. Van de stad, van Amsterdammers. Daarmee geven wij Amsterdam door; aan de toekomst, aan volgende generaties. We willen een goede werkgever zijn die ervoor zorgt dat alle collega's zich gezien en gewaardeerd voelen. We koesteren verschillen tussen

collega's, al die verschillen zorgen voor betere resultaten voor onze organisatie én onze stad.
meer...

Terug Naar vacature

Meer vacatures van Zzp Opdrachten

Senior Data Engineer in ESG

ING’s goal is to enable people to “do their thing” and empower them to stay a step ahead in life and business. We are one of the largest banks in Europe and we continuously evolve to become one of the most innovative
13 uur geleden- Volledige vacature bekijken

Senior Data Engineer in ESG

ING’s goal is to enable people to “do their thing” and empower them to stay a step ahead in life and business. We are one of the largest banks in Europe and we continuously evolve to become one of the most innovative
22 uur geleden- Volledige vacature bekijken

Senior Machine Learning Engineer

Nice to know (you)Working as an ML Engineer in Schiphol offers a wide variety of challenges. Schiphol is a city of its own and that is reflected in the variety of data and use cases.Together with 3,000 proud colleagues, we
2 dagen geleden- Volledige vacature bekijken

Senior Software Engineer - Fullstack

P-67At Databricks, we are passionate about enabling data teams to solve the world's toughest problems — from making the next mode of transportation a reality to accelerating the development of medical breakthroughs. We do
2 dagen geleden- Volledige vacature bekijken