Cloudmigratie: hoe werkt dit in de praktijk?

Waarom migreren steeds meer organisaties hun data-infrastructuur naar de cloud?

Er zijn meerdere redenen voor een cloudmigratie:

1. De ontwikkeling van de cloud is zo snel gegaan dat verschillende hoogstaande functionaliteiten on-premise moeilijk te realiseren zijn. Dit komt doordat er voor on-premise omgevingen veel kennis en expertise vereist is. Ook zijn er upgrades naar nieuwe software, frameworks en technologieën nodig. Moderne tools en technieken worden cloud-first aangeboden. Ook kan het zijn dat je de hardware uit moet breiden bij het toevoegen van nieuwe functionaliteiten. Dit vraagt om aanzienlijk meer FTE’s voor het beheer van je omgeving.
2. De cloud is relatief toegankelijk en kostenefficiënt. De time-to-production is korter, het opzetten van systemen eenvoudiger en je hebt meer dynamische en flexibele toegang tot resources. Heb je bijvoorbeeld extra GPU-capaciteit nodig voor een korte periode, dan kun je dit voor een uurtje huren bij de cloudprovider. On-premise zou je hiervoor de daadwerkelijke hardware (GPU) moeten aanschaffen.
3. Cloud providers hebben enorme schaalvoordelen. Hierdoor kunnen ze complete services inclusief security, user management, logging en monitoring veel goedkoper aanbieden dan dat je het zelf zou doen. Daarbij kunnen ze door die schaalgrootte veel meer functionaliteiten bieden die je zelf eenvoudig kunt uitrollen. Je bent dus minder afhankelijk van Engineers. 
4. Cloudoplossingen garanderen doorgaans een uptime van ten minste 99,9%. Om on-premise hetzelfde resultaat te behalen, heb je een groot team met veel expertise nodig.

Welke mogelijkheden zijn er om je data in de cloud op te slaan?

Als je je data voor analytische doeleinden wilt verwerken in een dataplatform, moet je de data opslaan. De structuur waarin je de data opslaat en laat samenkomen noem je het datamodel.

Een data lake of datawarehouse is een opslagplek voor data, die meestal niet (direct) door operationele systemen gebruikt wordt.

Een datawarehouse heeft een gestructureerde manier van opslag, terwijl een data lake veel meer vrijheid biedt. Dat maakt een datawarehouse echter niet ‘minder goed’ of ‘beter’ dan een data lake, alleen anders.

Vaak is een data lake beter geschikt voor de opslag van ruwe, relatief onbewerkte data.

Tegenwoordig wordt er ook vaak gekozen voor een data lake house architectuur. Dit is een opzet waarbij er een losse processing engine draait naast het data lake, die de resultaten van de transformaties weer terugschrijft.

Lees hier meer over de opslag van data.

Hoe ziet een cloudmigratie er in de praktijk uit?

De manier waarop je je data-infrastructuur migreert van een on-premise omgeving naar de cloud hangt af van twee factoren: de schaal van de oplossing en de complexiteit van de omgeving. Hoe zwaarder de migratie, hoe meer behoefte er is aan een grondige analyse vooraf, zoals onderstaand omschreven onder discovery phase.

Wij adviseren om je cloudmigratie project op te delen in drie fases:

1. Discovery phase

• Analyseer je bestaande processen. Welke zijn analytics, transactioneel of operationeel? In welke mate is elk proces bedrijfskritisch? Hoe hoger deze mate, hoe groter de impact en het risico.
• Onderzoek welke cloudoplossingen je huidige on-premise infrastructuur kunnen vervangen. Hierbij kun je kiezen uit grofweg twee smaken: Compute services zoals virtual machines die je voor het grootste deel zelf inricht en beheert, of managed services die de onderhouds- en beheertaken van je overnemen. Bij managedcloud services moet je meer investeren in het herprogrammeren van je processen. Daar staat tegenover dat ze snel en intuïtief werken en je snel naar productie kunt gaan.Met een opzet van compute services in eigen beheer zal je dichter bij je on-premise opzet blijven. De initiële investering is dan lager, maar je haalt mogelijk niet het maximale uit je cloudoplossing.
• Stem je migratieproject af met de richtlijnen van de interne IT & Operations afdeling. Als deze er niet zijn, moet je ze inrichten. Security en governance spelen hierbij een belangrijke rol. Wie mag bij welke data? Wie is verantwoordelijk? Wie is beslissingsbevoegd?

Bekijk ons webinar over data governance.

Op basis van de discovery phase maak je een stappenplan met een globale scope van het cloudmigratie traject. Andere opleveringen uit deze fase zijn een technisch ontwerp en een overzicht van alle technische en functionele requirements.

Bij het maken van het technisch ontwerp loop je tegen belangrijke keuzes aan: ga je alles zelf bouwen en beheren, of ga je gebruik maken van third party tooling als Data Factory, Fivetran en DBT? Als je kiest voor zulke tooling, heb je minder technisch geavanceerde kennis nodig en zal je migratie sneller en eenvoudiger verlopen. Je moet wel rekening houden met doorlopende abonnementskosten of pay per use. Daarnaast: als je alles in eigen hand houdt, is je project veel complexer.

2. De Proof of Concept (POC) of Minimum Viable Product (MVP) fase

In deze optionele fase werk je de meest onzekere factor van je project in het klein uit. Je test of het werkt en probeert je aannames te bewijzen. Als het werkt en klopt, kun je hierop doorbouwen. Zo niet, dan kun je nog in een vroeg stadium bijsturen. 

Waar een PoC enkel wordt gebruikt om de werkzaamheid van de techniek en het technisch ontwerp aan te tonen, is een MVP al een volwaardig product, ware op kleine schaal. Een praktisch voorbeeld hiervan is dat in een PoC geen productiedata hoeft te staan, en een MVP dat meestal wel bevat.

3. Implementatiefase

Wanneer er een definitief akkoord is, kunnen je technische mensen de infrastructuur gaan opzetten. Hierbij is het belangrijk om continu samen te werken met de eindgebruikers en in gesprek te blijven met je stakeholders. Je Engineering team moet dus niet alleen technisch zijn, maar ook goed kunnen uitleggen hoe bepaalde dingen werken. Je wilt immers voorkomen dat je nieuwe platform niet goed aansluit bij de wensen van je eindgebruikers.

Wat zijn de belangrijkste voorwaarden voor een succesvolle cloudmigratie? 

Duidelijke communicatie met de eindgebruikers en stakeholders is essentieel. Je hebt daarom een goede Product Owner of Projectmanager nodig die zowel de techniek als het perspectief van de eindgebruiker begrijpt.

Daarnaast moet je werken met professionals die vergelijkbare projecten en uitdagingen hebben uitgevoerd.Een ervaren specialist voorkomt dat je het wiel opnieuw gaat uitvinden en ziet potentiële problemen al van verre aankomen. Je moet niet alleen weten hoe het moet, maar vooral ook hoe het níet moet. Het herkennen van fouten in een vroeg stadium van je cloudmigratie scheelt enorm veel tijd en geld.

Wat zijn de risico’s en nadelen van een cloudmigratie?

Bij een migratie naar de cloud verplaats je een deel van de infrastructuur van je bedrijf. Zoals in elk ander IT-project kunnen er uitdagingen ontstaan tijdens de uitvoering van de migratie. Het is belangrijk om flexibel te blijven in de oplossingsrichting en stakeholders betrokken te houden, oftewel: agile te werken. Dit is natuurlijk voor een groot deel afhankelijk van de grootte van het project, en de vooraf ingeschatte complexiteit. De integratie van een middelgrote database of datawarehouse zal doorgaans niet veel onvoorziene complexiteit opleveren.

Wanneer er bij de migratie ook een nieuw datamodel moet worden geïmplementeerd, moet dit goed in kaart worden gebracht. De tijd voor het ontwerp en de implementatie is sterk afhankelijk van de complexiteit van het model. Dit is lastig te scopen.

Je moet er rekening mee houden dat na de migratie je on-premise specialisten omgeschoold moeten worden. Als dit niet mogelijk is, moet je andere mensen gaan aannemen, of de service uitbesteden. Houd er rekening mee dat bij het gebruik van managed services in de cloud, er relatief minder onderhoudswerk hoeft te worden verricht. Dit is vaak meer gefocust op onderhoud van het datamodel, waarbij data expertise belangrijker is dan IT.

Wie zijn de stakeholders en wie voeren de cloudmigratie uit?

De belangrijkste stakeholders zijn de IT-organisatie van je bedrijf, de eindgebruikers van de data en het hoger management. De CEO en CTO zullen vooral betrokken zijn bij de beslissing om te migreren naar de cloud. Bij de uitvoering van je cloudmigratie spelen ze echter geen rol. Draagvlak vanuit IT is voor de uitvoering essentieel. Bijvoorbeeld voor het verschaffen van toegang tot de systemen en voor advies over de efficiëntste connectie naar de lokale databronnen.

Het projectteam voor een cloudmigratie bestaat idealiter uit:

• Een projectmanager die het gehele project overziet. Dit moet iemand zijn die goed is in stakeholdermanagement, verwachtingsmanagement en verandermanagement.
• Een Solution Architect of Cloud Architect die bepaalt wat voor infrastructuur je nodig hebt.
• Eén of meerdere specialisten met technische ervaring die de implementatie kunnen uitvoeren. In de markt wordt hiervoor de overkoepelende term ‘Data Engineer’ nog veel gebruikt. In de praktijk heb je iemand nodig die gespecialiseerd is in bijvoorbeeld DevOps, platform engineering of een python programmeur.

Voor het gestructureerd inrichten van een datawarehouse heb je een Analytics Engineer nodig. Een Data Analist kan je helpen met het opzetten van de juiste dashboards voor jouw business vraagstukken.

Lees hier een praktijkcase.

Wat kost een cloudmigratie?

De licentie van een cloudoplossing is duurder dan de on-premise variant. Dit geeft echter een vertekend beeld, want je zult aan een platform in de cloud op termijn minder geld kwijt zijn om de volgende twee redenen:

Cloudoplossingen bieden standaard services aan op het gebied van onder andere security, user management en login monitoring. Ook op het gebied van onderhoud en beheer wordt het werk grotendeels geautomatiseerd. Je bespaart dus FTEs.

Alle kosten die je maakte voor het beheer van je on-premise infrastructuur verdwijnen. Je maakt bijvoorbeeld geen kosten meer voor hardware. 

De hoogte van de kosten aan de cloudprovider zijn afhankelijk van verschillende factoren. De hoeveelheid data bijvoorbeeld, of de refresh rate van brondata. Ook spelen de complexiteit van het datamodel en de frequentie en complexiteit van de uitgevoerde queries een grote rol.

Het migratieproject zelf kost natuurlijk ook geld. De grootte van je investering is sterk afhankelijk van de requirements, schaal van de oplossing en complexiteit van de omgeving. Wil je bijvoorbeeld ook je datamodel herzien of nieuwe bronnen aansluiten? Meestal staat een cloudmigratie niet op zichzelf. In de praktijk is het vaak gekoppeld aan een businessvraagstuk dat voortkomt uit een behoefte aan meer inzicht in data, of technisch betere performance. 

Vanuit een technisch perspectief kun je een cloudmigratie al voor enkele duizenden euro’s uitvoeren. Dit betekent nog niet dat je de gezochte meerwaarde hebt bereikt. Ook zul je dan nog niet volledig voldoen aan de richtlijnen van je organisatie, bijvoorbeeld op het gebied van security of datakwaliteit.

Wil je inzicht in de mogelijke kosten en wil je graag advies bij jouw cloudmigratie?

Wij gaan graag met je in gesprek!

1x per maand data insights, praktijkcases en een kijkje achter de schermen ontvangen?

Meld je aan voor onze maillijst en blijf 'up to data':