Bigdata
IT Informatique et Technique
Formation Hadoop Hortonworks : administration avec Ambari

Connaissances préalables pour suivre cette formation Bigdata :

• Connaissance des commandes des systèmes unix/linux

Public de cette formation Bigdata :

• Chefs de projet, administrateurs et toute personne souhaitant mettre en oeuvre un système distribué avec Hadoop
• Les travaux pratiques sont réalisés selon le choix des participants sur une distribution Hadoop Hortonworks

Objectifs de cette formation Bigdata :

• Connaître les principes du framework Hadoop et savoir l'installer et le configurer.



Méthodes pédagogiques de cette formation Bigdata :

• 6 à 12 personnes maximum par cours, 1 poste de travail par stagiaire
• Remise d’une documentation pédagogique papier ou numérique pendant le stage
• La formation est constituée d’apports théoriques, d’exercices pratiques et de réflexions

Formateur de cette formation Bigdata :

• Consultant-formateur expert Bigdata

Méthodes d'évaluation des acquis de cette formation Bigdata :

• Auto-évaluation des acquis par le stagiaire via un questionnaire
• Attestation de fin de stage adressée avec la facture

Contenu détaillé de cette formation Hadoop Hortonworks : administration avec Ambari :


     Introduction

    • Les fonctionnalités du framework Hadoop
    • Les différentes versions
    • Distributions : Apache, Cloudera, Hortonworks, EMR, MapR, DSE
    • Spécificités de chaque distribution
    • Architecture et principe de fonctionnement
    • Terminologie : NameNode, DataNode, ResourceManager, NodeManager
    • Rôle des différents composants
    • Le projet et les modules : Hadoop Common, HDFS, YARN, Spark, MapReduce
    • Oozie, Pig, Hive, HBase, ...

     Les outils Hadoop

    • Infrastructure/Mise en oeuvre : Avro, Ambari, Zookeeper, Pig, Tez, Oozie, Falcon, Pentaho
    • Vue d'ensemble
    • Gestion des données
    • Exemple de sqoop
    • Restitution : webhdfs, hive, Hawq, Mahout,ElasticSearch ..
    • Outils complémentaires : Spark, SparkQL, SparkMLib, Storm, BigTop, Zebra
    • Outils complémentaires de développement : Cascading, Scalding, Flink/Pachyderm
    • Outils complémentaires d'analyse : RHadoop, Hama, Chukwa, kafka

     Installation et configuration

    • Trois modes d'installation : local, pseudo-distribué, distribué
    • Première installation
    • Mise en œuvre avec un seul nœud Hadoop
    • Configuration de l'environnement,étude des fichiers de configuration : core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml et capacity-scheduler.xml
    • Création des users pour les daemons hdfs et yarn,droits d'accès sur les exécutables et répertoires
    • Lancement des services
    • Démarrage des composants : hdfs, hadoop-daemon, yarn-daemon, etc.
    • Gestion de la grappe, différentes méthodes : ligne de commandes, API Rest, serveur http intégré, APIS natives
    • Exemples en ligne de commandes avec hdfs, yarn, mapred
    • Présentation des fonctions offertes par le serveur http
    • Travaux pratiques : Organisation et configuration d'une grappe hadoop

     Administration Hadoop

    • Outils complémentaires à yarn et hdfs : jConsole, jconsole yarn
    • Exemples sur le suivi de charges, l'analyse des journaux
    • Principe de gestion des noeuds, accès JMX
    • Travaux pratiques : mise en oeuvre d'un client JMX
    • Administration HDFS : présentation des outils de stockage des fichiers, fsck, dfsadmin
    • Mise en oeuvre sur des exemples simples de récupération de fichiers
    • Gestion centralisée de caches avec Cacheadmin

     Sécurité

    • Mécanismes de sécurité et mise en oeuvre pratique : Activation de la sécurité avec Kerberos dans core-site.xml, et dans hdfs-site.xml pour les NameNode et DataNode
    • Sécurisation de yarn avec la mise en oeuvre d'un proxy et d'un Linux Container Executor

     Exploitation

    • Installation d'une grappe Hadoop avec Ambari
    • Tableau de bord
    • Lancement des services
    • Principe de la supervision des éléments par le NodeManager
    • Monitoring graphique avec Ambari
    • Présentation de Ganglia,Kibana
    • Travaux pratiques : Visualisation des alertes en cas d'indisponibilité d'un nœud. Configuration des logs avec log4j


INTER INTRA

Produit : Formation Bigdata

Code du stage : PYCB031B

Certification(s) Préparée(s) : Non

Durée de la formation : 3 jours

Prix (HT) : 1830 €

PDF
Plan de cours PDF
Bulletin
Bulletin d'inscription
Prochaines sessions
Nous consulter par mail
Tél: 01 71 19 70 30
Autres formations
Haut de page