Opleiding : Spark Java, toepassingen ontwikkelen voor Big Data
Praktijkcursus - 3d
- 21u00 - Ref. SPK
|
Downloaden in pdf-formaat
Deze cursus delen via mail
 | Beheers de fundamentele concepten van Spark |
| Toepassingen ontwikkelen met Spark Streaming |
| Een Spark-cluster implementeren |
| Gegevens exploiteren met Spark SQL |
| Een eerste benadering van machinaal leren |
Doelgroep
Projectmanagers, datawetenschappers, ontwikkelaars, architecten.
Voorafgaande vereisten
Goede kennis van Java. Kennis van big data.
Praktische modaliteiten
Praktisch werk
Praktische toepassing van de concepten die in de cursus worden behandeld met behulp van de Java-taal.
Opleidingsprogramma
1 Inleiding tot Apache Spark
- Geschiedenis van het kader.
- De verschillende versies van Spark (Scala, Python en Java).
- Vergelijking met de Apache Hadoop-omgeving.
- De verschillende Spark modules.
Praktisch werk
Spark installeren en configureren. Een eerste voorbeeld met woordentelling uitvoeren.
2 Programmeren met veerkrachtige gedistribueerde datasets (RDD)
- Presentatie RDD.
- RDD's maken, verwerken en hergebruiken.
- Accumulatoren en uitzendvariabelen.
- Gebruik partities.
Praktisch werk
Het manipuleren van verschillende datasets met behulp van RDD's en het gebruik van de API van Spark.
3 Gestructureerde gegevens verwerken met Spark SQL
- SQL, DataFrames en datasets.
- De verschillende soorten gegevensbronnen.
- Interoperabiliteit met RDD's.
- Spark SQL prestaties.
- JDBC/ODBC-server en Spark SQL CLI.
Praktisch werk
Dataset manipulatie via SQL queries. Verbinding met een externe database via Java DataBase Connectivity (JDBC) of Open Database Connectivity (OBDC).
4 Spark op een cluster
- De verschillende soorten architectuur: standalone, Apache Mesos of Hadoop YARN.
- Een cluster configureren in standalone modus.
- Een applicatie verpakken met zijn afhankelijkheden.
- Toepassingen implementeren met Spark-submit.
- Een cluster dimensioneren.
Praktisch werk
Een Spark-cluster opzetten.
5 Real-time analyse met Spark Streaming
- Hoe het werkt.
- Presentatie van gediscretiseerde streams (DStreams).
- De verschillende soorten bronnen.
- Omgaan met de API.
- Vergelijking met Apache Storm.
Praktisch werk
Loggebruik met Spark Streaming.
6 Grafieken verwerken met GraphX
- Maak kennis met GraphX.
- De verschillende operaties.
- Grafieken maken.
- Vertex en Edge RDD.
- Presentatie van verschillende algoritmen.
Praktisch werk
Omgaan met de GraphX API aan de hand van verschillende voorbeelden.
7 Machinaal leren met Spark
- Inleiding tot machinaal leren.
- De verschillende klassen van algoritmen.
- Inleiding tot SparkML en MLlib.
- Implementaties van de verschillende algoritmen in MLlib.
Praktisch werk
Gebruik van SparkML en MLlib.
Feedback van klanten
4,5 / 5
De feedback van klanten is afkomstig van eindevaluaties na de opleiding. De score wordt berekend op basis van alle evaluaties die minder dan 12 maanden oud zijn. Alleen die met een tekstcommentaar worden weergegeven.
ARBOUCHI SOUFIANE E.
15/06/26
5 / 5
Zeer gedegen uitleg van de docent (Fabrice), zeer gedegen praktijkervaring met de omstandigheden in de productie (inbedrijfstelling, foutopsporing, ontwerp) en iteratieve praktijkopdrachten op technisch vlak, echt interessant.
GAËL M.
15/06/26
5 / 5
Fabrice luistert goed, is heel aardig, weet wat hij doet en je merkt dat hij zijn kennis graag deelt. Ik voelde me net als op de universiteit, met een goede docent.Technisch gezien vind ik dat er TE VEEL inhoud was; de PDF is traag om te openen, het zou beter zijn geweest om een PDF in A4-formaat aan te bieden. De inhoud zelf blijft interessant, maar is misschien iets te herhalend; er zijn te weinig grafieken en afbeeldingen. De practicumopdrachten zijn interessant, maar er staan wel een paar ty
SANTOS NELSON D.
15/06/26
5 / 5
op het einde moest er gewoon wat gas worden gegeven
DEELNEMERS
Projectmanagers, datawetenschappers, ontwikkelaars, architecten.
VOORAFGAANDE VEREISTEN
Goede kennis van Java. Kennis van big data.
VAARDIGHEDEN VAN DE CURSUSLEIDER
De deskundigen die de cursus leiden zijn specialisten op het betreffende vakgebied. Zij werden geselecteerd door onze pedagogische teams zowel om hun vakkennis als hun pedagogische vaardigheden voor elke cursus die zij geven. Zij hebben minstens vijf tot tien jaar ervaring in hun vakgebied en oefenen of oefenden verantwoordelijke bedrijfsfuncties uit.
BEOORDELINGSMODALITEITEN
De cursusleider beoordeelt de pedagogische vooruitgang van de deelnemer gedurende de gehele cursus aan de hand van meerkeuzevragen, praktijksituaties, praktische opdrachten, …
De deelnemer legt ook van tevoren en naderhand een test af ter bevestiging van de verworven kennis.
TOEGANGSMODALITEITEN EN TERMIJNEN
De inschrijving dient 24 uur voor aanvang van de cursus plaatsgevonden te hebben.
TOEGANKELIJKHEID VOOR MINDERVALIDEN
Is voor u speciale toegankelijkheid vereist? Neem contact op met mevr. FOSSE, contactpersoon voor mindervaliden, via het adres psh-accueil@ORSYS.fr om uw verzoek en de haalbaarheid daarvan zo goed mogelijk te bestuderen.
Projectmanagers, datawetenschappers, ontwikkelaars, architecten.
VOORAFGAANDE VEREISTEN
Goede kennis van Java. Kennis van big data.
VAARDIGHEDEN VAN DE CURSUSLEIDER
De deskundigen die de cursus leiden zijn specialisten op het betreffende vakgebied. Zij werden geselecteerd door onze pedagogische teams zowel om hun vakkennis als hun pedagogische vaardigheden voor elke cursus die zij geven. Zij hebben minstens vijf tot tien jaar ervaring in hun vakgebied en oefenen of oefenden verantwoordelijke bedrijfsfuncties uit.
BEOORDELINGSMODALITEITEN
De cursusleider beoordeelt de pedagogische vooruitgang van de deelnemer gedurende de gehele cursus aan de hand van meerkeuzevragen, praktijksituaties, praktische opdrachten, …
De deelnemer legt ook van tevoren en naderhand een test af ter bevestiging van de verworven kennis.
PEDAGOGISCHE EN TECHNISCHE MIDDELEN
• De gebruikte pedagogische middelen en cursusmethoden zijn voornamelijk: audiovisuele hulpmiddelen, documentatie en cursusmateriaal, praktische oefeningen en correcties van de oefeningen voor praktijkstages, casestudies of reële voorbeelden voor de seminars.
• Na afloop van de stages of seminars verstrekt ORSYS de deelnemers een evaluatievragenlijst over de cursus die vervolgens door onze pedagogische teams wordt geanalyseerd.
• Na afloop van de cursus wordt een presentielijst per halve dag verstrekt, evenals een verklaring van de afronding van de cursus indien de stagiair alle sessies heeft bijgewoond.
• De gebruikte pedagogische middelen en cursusmethoden zijn voornamelijk: audiovisuele hulpmiddelen, documentatie en cursusmateriaal, praktische oefeningen en correcties van de oefeningen voor praktijkstages, casestudies of reële voorbeelden voor de seminars.
• Na afloop van de stages of seminars verstrekt ORSYS de deelnemers een evaluatievragenlijst over de cursus die vervolgens door onze pedagogische teams wordt geanalyseerd.
• Na afloop van de cursus wordt een presentielijst per halve dag verstrekt, evenals een verklaring van de afronding van de cursus indien de stagiair alle sessies heeft bijgewoond.
TOEGANGSMODALITEITEN EN TERMIJNEN
De inschrijving dient 24 uur voor aanvang van de cursus plaatsgevonden te hebben.
TOEGANKELIJKHEID VOOR MINDERVALIDEN
Is voor u speciale toegankelijkheid vereist? Neem contact op met mevr. FOSSE, contactpersoon voor mindervaliden, via het adres psh-accueil@ORSYS.fr om uw verzoek en de haalbaarheid daarvan zo goed mogelijk te bestuderen.
Dit programma is een origineel concept, ontwikkeld door de pedagogische teams van ORSYS Formation. Elke reproductie, weergave, aanpassing of exploitatie, geheel of gedeeltelijk, zonder voorafgaande schriftelijke toestemming van ORSYS, is ten strengste verboden. ORSYS behoudt zich het recht voor om alle nodige maatregelen te nemen ter bescherming van haar intellectuele-eigendomsrechten.
Data en plaats
Selecteer uw locatie of kies voor de les op afstand en kies vervolgens uw datum.
Klas op afstand
Dernières places
Date garantie en présentiel ou à distance
Session garantie
Dit programma is een origineel concept, ontwikkeld door de pedagogische teams van ORSYS Formation. Elke reproductie, weergave, aanpassing of exploitatie, geheel of gedeeltelijk, zonder voorafgaande schriftelijke toestemming van ORSYS, is ten strengste verboden. ORSYS behoudt zich het recht voor om alle nodige maatregelen te nemen ter bescherming van haar intellectuele-eigendomsrechten.