Data-integratie

Wat is data-integratie? 

Data-integratie omvat de processen en technologieën die worden gebruikt om data uit verschillende bronnen samen te voegen tot een samenhangend geheel en coherente datasets. Het gaat om het samenvoegen van verschillende soorten data uit verschillende systemen en applicaties binnen een organisatie, zodat gebruikers en applicaties altijd toegang hebben tot betrouwbare en actuele info.  

Enkele belangrijke dingen om te weten over data-integratie: 

• Maakt een holistisch overzicht mogelijk van belangrijke zaken zoals klanten, producten, accounts e.d. door gegevens uit verschillende systemen, databases en applicaties aan elkaar te koppelen.
• Brengt gestructureerde en ongestructureerde data uit verschillende bronnen, zoals databases, API's, cloudapps en bestanden, samen tot een samenhangend geheel.
• Helpt organisaties meer waarde te halen uit hun gegevens door deze toegankelijker, begrijpelijker en bruikbaarder te maken voor meer gebruikers.
• Omvat doorgaans processen zoals het standaardiseren van formaten, het opschonen van gegevens, het transformeren van schema’s, het matchen van records en het verrijken van data uit verschillende bronnen.

Waarom is data-integratie belangrijk? 

Data integreren biedt tal van voordelen en is daardoor een cruciaal onderdeel van het informatiebeheer in de meeste organisaties: 

• Ondersteunt datagedreven besluitvorming door middel van een uniform overzicht van bedrijfsentiteiten zoals klanten, producten en transacties.
• Maakt rapportage, analyses, business intelligence en geavanceerde toepassingen mogelijk door gegevens uit verschillende systemen samen te voegen.
• Het elimineert datafragmentatie en inconsistenties tussen afdelingen, systemen, databases en applicaties.
• Bespaart tijd en kosten door dubbele invoer en handmatige afstemming van gegevens te voorkomen.
• Verbetert de kwaliteit, nauwkeurigheid en betrouwbaarheid van gegevens door ze samen te voegen in één betrouwbare database.
• Stelt je in staat om centrale datahubs, datawarehouses en datameren te creëren voor betere analyse.
• Maakt het eenvoudig om geïntegreerde data te gebruiken in diverse applicaties binnen de organisatie.
   

Hoe werkt data-integratie? 

Een gebruikelijke workflow voor data-integratie ziet er als volgt uit: 

• Het opsporen van gegevensbronnen zoals databases, API's, bestanden en cloudapps binnen de verschillende afdelingen en systemen.
• Data verzamelen uit bronnen via bijvoorbeeld exports, API's, queries, connectoren en realtime streams.
• Opschonen van gegevens om inconsistenties, fouten, duplicaten, ontbrekende informatie en uitschieters te corrigeren.
• Verrijken van data door extra attributen toe te voegen, zoals locatiecodes, productcategorieën of andere referentiedata.  
• Matchen en koppelen van records  uit verschillende datasets met unieke codes of fuzzy matching.
• Geïntegreerde gegevens samenbrengen in doeldatabases, datawarehouses, datameren, e.d.  
• Toegang bieden tot geïntegreerde gegevens via API's, rapportagetools, dashboards en applicaties.
• Plannen en coördineren van terugkerende ETL-processen (gegevens ophalen, omzetten en laden) en gegevensstromen. 

Een gespecialiseerde integratietool of data-integratie platform helpt bij het beheren en automatiseren van deze workflows. 

Data-integratie en technologieën 

Belangrijke methoden en technologieën voor data-integratie zijn onder meer: 

• ETL-tools voor batchgegevensintegratie en -opslag.
• Datavirtualisatie voor realtime geïntegreerde overzichten van gegevens uit meerdere systemen.
• Enterprise Service Buses (ESB’s) voor data-integratie via API’s, berichtgeving en adapters.  
• Replicatie van gegevens om deze tussen verschillende databases en systemen te synchroniseren en te delen.
• Masterdatabeheer (MDM) voor consistente referentiegegevens in verschillende systemen.
• Datawarehouses en datameren om geïntegreerde data op grote schaal op te slaan voor analyse.  
• API’s en webservices voor programmatische gegevenstoegang en -integratie.
• Streaming, events en change data capture (CDC) voor realtime integratie. 

Knelpunten in data-integratie

Enkele veelvoorkomende knelpunten bij data-integratie zijn: 

• Onverenigbaarheid van gegevensformaten, schema's, semantiek en API's van de verschillende bronsystemen.
• Technische complexiteit bij het beheren van grootschalige integraties van een veelheid aan systemen en gegevenstypen. 
• Veiligheid, privacy en regelgeving voor het delen en combineren van bepaalde gegevens.  
• Verouderde bestaande systemen met beperkte mogelijkheden voor export, integratie en API's.  
• Gebrek aan gestandaardiseerde identificatiegegevens, schema’s en attributen tussen systemen voor het matchen van records.  
• Slechte gegevenskwaliteit waardoor er veel werk voor transformatie, opschoning en standaardisatie nodig is. 
• Problemen realtime data integreren en latentie voor operationele systemen. 
• Het behouden van nauwkeurigheid terwijl brongegevens snel veranderen in systemen.  
• Het handmatig in kaart brengen, transformeren en monitoren van integraties.  

Hoe LexisNexis data-integratie ondersteunt  

LexisNexis biedt robuuste systemen voor de ondersteuning van data-integratie. Met Nexis^® Data+ krijg je toegang tot een breed scala aan betrouwbare en actuele informatie uit verschillende bronnen. Deze uitgebreide database maakt goed onderzoek mogelijk, waardoor gebruikers waardevolle inzichten kunnen verkrijgen voor dataminingprocessen.