×
×

Nieuws

Nieuws filtering op :

Big data verwerken met Hadoop

Nieuwsdoor One30/11/2016

Steeds meer bedrijven gaan aan de slag met de massa klantengegevens die hun systemen verzamelen. “Proximus gebruikt daarvoor Hadoop, een open source-raamwerk waarmee bedrijven big data kunnen verwerken en analyseren”, vertelt Marc Matthys, Domain Manager in ICT bij Proximus.

Wij gebruiken Hadoop voor de analyse van bepaalde klantengegevens. De bedoeling is om onze klanten beter te leren kennen en te kunnen voorspellen wat ze verwachten en nodig hebben. Zo kunnen we onze dienstverlening naar een hoger niveau tillen en de klantentevredenheid nog verhogen. Hadoop omvat een heel ecosysteem met datawarehousing en allerlei tools om gegevens te verzamelen, op te laden en te analyseren. Het is dan ook veel meer dan Business Intelligence.”

Wat kunt u met Hadoop doen?

“De belangrijkste reden om met Hadoop aan de slag te gaan is omdat u grote volumes van gegevens wil samenbrengen”, stelt Marc Matthys. “Volumes die u een pak geld zouden kosten als u ze in klassieke databases of datawarehouses zou stoppen. Ook complexe gegevensbronnen zoals sociale media, geluid en video, sensoren in het Internet of Things … kunt u met Hadoop bij elkaar brengen om er analyses op los te laten. Andere redenen om met Hadoop te werken zijn de migratie van gegevens uit klassieke databases/ datawarehouses of simpelweg het goedkoop archiveren van informatie die u toch snel ter beschikking kunt houden.”

Wat hebt u als bedrijf nodig om te starten met Hadoop?

“Vooreerst ervaren systeemingenieurs en experten in big data. Uiteraard hebt u ook een aantal servers nodig die u met Hadoop laat samenwerken als één cluster. Zo wordt de kracht van alle servers gebundeld. In principe kunnen alle servers hiervoor dienen, maar u werkt wel best met gelijkaardige systemen die in Hadoop de ‘nodes’ worden genoemd. U kunt Hadoop ook eerst op een pc installeren om de technologie te leren kennen.”

Welke moeilijkheden kunt u tegenkomen en hoe kunt u ze oplossen?

“De moeilijkheden hangen af van uw gekozen configuratie en de manier waarop u de integratie met de rest van uw ICT-voorzieningen wilt realiseren”, zegt Marc Matthys. “Problemen oplossen doet u vooral door te zorgen voor ervaren ICT-personeel dat gesteund wordt door uw Hadoop-leverancier of dat zelf oplossingen vindt in de open source communities.”

Hoe verloopt de implementatie van Hadoop?

“Die verloopt eigenlijk in 5 stappen:

  1. Een Hadoop-project begint met het kiezen van een distributie: commercieel of de open source-versie.
  2. Daarna bepaalt u uw hardwareconfiguratie in functie van uw doel(en). Opteert u voor één grote cluster waarmee u een aantal verschillende projecten of applicaties zult ondersteunen, of kiest u voor meerdere clusters? Er zijn voor- en nadelen aan beide scenario’s.
  3. Na het installeren van het OS (meestal Linux) wordt Hadoop geïnstalleerd en geconfigureerd.
  4. Daarna kunnen de ontwikkelaars aan de slag met de verschillende componenten uit het ecosysteem.
  5. Bepaal ten slotte ook hoe uw gebruikers zullen werken met de informatie die u aanbiedt. Er zijn allerlei tools beschikbaar voor de data scientists, maar die zijn vrij complex. Daarnaast bestaan er talloze commerciële oplossingen met gebruiksvriendelijke interfaces. Ook de klassieke ICT-leveranciers integreren hun oplossingen met Hadoop om zo de boot niet te missen.”
Waarom koos Proximus voor een commerciële versie van Hadoop?

“Hadoop is een open source-technologie: ze evolueert door bijdragen van universiteiten, individuen en bedrijven over de hele wereld. Als onderneming moet u echter ook kunnen rekenen op een stabiele versie die de nodige testen heeft ondergaan op de meest gangbare infrastructuur. Een handvol bedrijven brengt een dergelijke versie op de markt plus ondersteuning tegen een prijs die afhangt van de grootte van uw omgeving. Proximus koos voor Hortonworks”, besluit Marc Matthys.

One

One

One is het ICT-vakblad van Proximus voor CIO’s en ICT-professionals van grote en middelgrote ondernemingen. 

One is het ICT-vakblad van Proximus voor CIO’s en ICT-professionals van grote en middelgrote ondernemingen. 


Geef je mening over dit news

Wil je je mening delen of een commentaar posten?

Log je in via facebook.