Snelle en betrouwbare interne informatie met behulp van AI Document Explorer
Een financiële instelling
- Klantcase
- Dataprojecten
- Data Engineering
Financiële instellingen moeten grote hoeveelheden documentatie verwerken. Voor deze specifieke instelling faciliteert een intern team dit door bijvoorbeeld samenvattingen te maken met behulp van tekstanalyse en natural language processing (NLP). Deze maken ze beschikbaar voor de verschillende business units. Om audits efficiënter uit te voeren, wilden ze een vraag- en antwoordmodel ontwikkelen om sneller de juiste informatie tot hun beschikking te hebben. Toen ChatGPT werd gelanceerd, vroegen ze ons een proof of concept te maken.
Het opzetten van een large language model binnen een eigen omgeving met eigen data is een relatief nieuw vakgebied. Om de privacy te waarborgen en een veilige omgeving op te zetten, maakten we gebruik van de AI Document Explorer. Dit is een privé-instantie van een GPT-model volgens het “Retrieval Augemented Generation”-framework die we op de bestaande infrastructuur van de financiële instelling aansloten.
Aanpak
We richtten het dataverwerkingsproces als volgt in:
- Documenten van SharePoint worden opgehaald binnen de Azure-omgeving.
- De data van afbeeldingen, webpagina’s, PDF’s, PowerPoints, Word-documenten en Excelbestanden wordt omgezet naar leesbare tekst.
- Deze output wordt gesplitst in kleine stukken tekst en per stuk geïndexeerd. Ook wordt de semantische waarde per stuk tekst achterhaald door een slim algoritme en mee opgeslagen.
Daarnaast bouwden we een chatapplicatie om met de data te kunnen praten. Als een gebruiker een vraag stelt binnen deze app, worden de volgende stappen ondernomen:
- We zetten de vraag om in keywords die worden gebruikt om een top 10 van de geïndexeerde stukken tekst terug te geven die semantisch het meest op de keywords lijken.
- De teruggekregen stukken tekst sturen we samen met een system prompt (instructies) en de originele vraag naar het ChatGPT-model.
- Het antwoord van het model en de gebruikte stukken tekst geven we terug aan de gebruiker.
Doordat ChatGPT de gebruikte stukken tekst meegeeft, kan de gebruiker zien uit welke bron het antwoord komt en checken of het correct is.
Resultaat
In plaats van zelf te moeten zoeken naar antwoorden op ad hoc vragen en uitleg over specifieke processen die gevolgd moeten worden, kunnen medewerkers van de financiële instelling nu vragen stellen over zo’n 100.000 stukken tekst aan documentatie. Ze krijgen ‘menselijke’ antwoorden met bronvermelding en citaten. De output ziet er als volgt uit:
De informatie is sneller beschikbaar en de betrouwbaarheid wordt altijd geverifieerd door een medewerker. Zo wordt er efficiënter gewerkt en blijft de kwaliteit van het werk onverminderd hoog.
Meer weten?
Wil je ook veilig zoeken in je vertrouwelijke documenten met de AI Document Explorer? Joachim gaat graag met je in gesprek over de mogelijkheden.
Business Manager020 308 43 9006 23 59 83 71joachim.vanbiemen@digital-power.com
1x per maand data insights, praktijkcases en een kijkje achter de schermen ontvangen?
Meld je aan voor onze maillijst en blijf 'up to data':
Dit vind je misschien ook interessant:
Hoe werkt de AI Document Explorer in de praktijk?
De AI Document Explorer (AIDE) is een cloudoplossing, ontwikkeld door Digital Power, die gebruik maakt van het OpenAI’s GPT-model. Je kunt het inzetten om snel inzicht te krijgen in bedrijfsdocumenten. AIDE indexeert jouw bestanden op een veilige manier waardoor het mogelijk wordt om vragen te stellen over jouw eigen documenten. Niet alleen geeft het jou de antwoorden waar je naar op zoek bent, het geeft ook de referenties naar de plekken waar deze antwoorden staan.
Efficiënter werken dankzij migratie naar Databricks
Het Kadaster beschikt onder andere over complexe (geo)data van al het vastgoed in Nederland. Alle data wordt opgeslagen en verwerkt via een on-premise data warehouse in Postgres. Voor het onderhoud van dit warehouse zijn ze afhankelijk van een IT-partner. Het Kadaster wil kosten besparen en efficiënter gaan werken door te migreren naar een Databricks-omgeving. Ze vroegen ons te helpen bij de implementatie van dit data lakehouse in Microsoft Azure Cloud.
Miljarden streams omgezet in bruikbare inzichten met een nieuw data- en analytics platform
Merlin is de grootste digitale muzieklicentiepartner voor onafhankelijke labels, distributeurs en andere rechthebbenden. De leden van Merlin vertegenwoordigen 15% van de wereldwijde markt voor muziekopnames. Het bedrijf heeft overeenkomsten met Apple, Facebook, Spotify, YouTube en 40 andere innovatieve digitale platforms over de hele wereld voor de opnames van haar leden. Het team van Merlin volgt betalingen en gebruiksrapporten van digitale partners nauwlettend en zorgt ervoor dat hun leden nauwkeurig, efficiënt en consistent worden betaald en van rapportages worden voorzien.
Waardevolle inzichten uit Microsoft Dynamics 365
Agrico is een coöperatie van aardappeltelers. Zij telen aardappels voor verschillende doeleinden zoals consumptie en het planten van toekomstige oogsten. Deze aardappels worden wereldwijd geëxporteerd via verschillende dochterondernemingen. Alle logistieke en operationele data wordt opgeslagen in hun ERP-systeem Microsoft Dynamics 365. Omdat dit systeem met zijn vele features erg complex is, is de data niet direct geschikt om te gebruiken voor rapportages. Agrico vroeg ons te helpen hun ERP-data inzichtelijk te maken en duidelijke rapportages te ontwikkelen.
Een gestandaardiseerde manier van dataverwerking met behulp van dbt
Een van de grootste webwinkels van Nederland wilde een gestandaardiseerde manier van dataverwerking ontwikkelen binnen een van de datateams. Alle data werd opgeslagen in het schaalbare cloud datawarehouse Google BigQuery. Binnen dit platform waren grote hoeveelheden data beschikbaar op het gebied van orders, producten, marketing, retouren, klantcases en partners.
Opzet van een toekomstbestendige data-infrastructuur
Valk Exclusief is een keten van 4 sterren+ hotels en heeft 43 hotels in Nederland. De hotelketen wil gasten graag een persoonlijke ervaring bieden, zowel in het hotel als online.
Inzicht in de complete salesfunnel dankzij een datawarehouse met dbt
Onze consultants boeken de opdrachten die ze oppakken voor onze klanten in ons ERP AFAS. Als CRM gebruiken we HubSpot. Hierin zien we alle informatie die voorafgaand aan het tekenen van een samenwerkingsovereenkomst relevant is. Wanneer we een deal sluiten, gaat alle informatie uit HubSpot automatisch naar AFAS. HubSpot wordt dus vooral gebruikt voor het proces voordat we een samenwerking aangaan, AFAS juist voor de fase daarna. We wilden de inzet van onze mensen strakker plannen en onze financiële forecasts verbeteren. Daarom besloten we de data uit beide bronnen te koppelen en een datawarehouse op te zetten.
Betrouwbare rapportages met behulp van robuuste Python code
Het Nationaal Portaal Wegverkeersgegevens (NDW) is een waardevolle bron voor gemeenten, provincies en de rijksoverheid om inzicht te krijgen in verkeersstromen en de efficiëntie van de infrastructuur te verbeteren.
