Apache Spark¶

Dans cet article

• Caractéristiques clés d'Apache Spark
• Démarrage après le déploiement d'Apache Spark
• Configuration d'Apache Spark
• Commander un serveur avec Apache Spark via l'API

Caractéristiques clés d'Apache Spark¶

• Haute performance : Spark utilise le traitement de données distribué et des algorithmes optimisés, ce qui lui permet de traiter de grands volumes de données plus rapidement que les solutions traditionnelles.
• Distributivité : Spark peut fonctionner sur des clusters de plusieurs nœuds, vous permettant d'évoluer le traitement des données selon vos besoins.
• API diversifiées : Spark propose des API dans divers langages de programmation, ce qui le rend adapté à différents scénarios et équipes de développement.
• Support pour divers types de données : Spark peut gérer différents types de données, y compris les données structurées (tables), les données non structurées (texte, images) et les données semi-structurées (JSON).
• Spark GraphX : Une API graphique qui permet des opérations sur de grands graphes.

## Fonctionnalités de déploiement | ID | Nom du logiciel | Système d'exploitation compatible | VM | BM | VGPU | GPU | Min CPU (Cœurs) | Min RAM (Go) | Min HDD/SSD (Go) | Actif | |----|--------|---------------|----|----|------|-----|-----------------|--------------|------------------|--------| | 204 | Apache Spark | Ubuntu 22.04 | + | + | + | + | 6 | 8 | 160 | COMMANDER |

• Accès au panneau de contrôle : https://spark{Server_ID_from_Invapi}.hostkey.in
• Le temps nécessaire pour installer le panneau de contrôle ainsi que le système d'exploitation est d'environ 15 minutes.

Démarrage après le déploiement d'Apache Spark¶

Après avoir payé votre commande, vous recevrez une notification par e‑mail (à l'adresse enregistrée lors de l'inscription) lorsque le serveur sera prêt à être utilisé. Cette notification inclura l'adresse IP VPS et les identifiants de connexion pour la connexion. Les clients de notre société gèrent leur équipement via le panneau de contrôle du serveur et l'API - Invapi.

Vous pouvez trouver les données d'authentification, qui se trouvent dans l'onglet Info >> Tags du panneau de contrôle du serveur ou dans l'e‑mail envoyé après que le serveur soit prêt à être utilisé :

• Lien d'accès à l'interface Web Apache Airflow : dans le tag webpanel;
• Login et Mot de passe : fournis dans l'e‑mail envoyé à votre adresse e‑mail enregistrée lorsque le serveur est prêt à être utilisé.

Configuration d'Apache Spark¶

Spark peut être lancé sur un ordinateur local ou dans un environnement distribué. Avant de cliquer sur le lien du tag webpanel, vous devez :

Connectez-vous au serveur via SSH :

ssh root@<server_ip>

Ensuite lancez l'application requise en utilisant la commande de la table dans la section Lancement des composants.

Sinon, cliquer sur le lien affichera une erreur 502 (Bad Gateway).

Lancement des composants¶

Vous pouvez démarrer divers composants Spark tels qu’une Application, un Master autonome, un Worker autonome et un History Server avec une interface Web en utilisant les commandes de la table ci‑dessous.

Veuillez noter que les commandes de lancement des composants Spark peuvent varier en fonction de la version utilisée. Les exemples ci‑dessus utilisent la version Spark 3.5.3. Lors de la mise à jour de Spark, vous devrez ajuster les chemins dans les commandes en conséquence. Il est toujours recommandé de consulter la dernière documentation Spark pour obtenir les informations les plus précises sur les commandes de lancement des composants.

Pour vérifier la version, connectez‑vous au serveur via SSH et entrez la commande :

ls /root

La sortie de cette commande répertoriera le contenu du répertoire /root, y compris le répertoire spark avec la version installée :

Après le lancement des composants Spark, vous pouvez accéder à leurs interfaces Web via les adresses externes spécifiées. Considérez un exemple de l’interface de l’Application Spark :

Cet exemple montre l’interface de l’Application Spark accessible à https://spark{Server_ID_from_Invapi}.hostkey.in. Cette interface affiche des informations sur les tâches en cours, les étapes de traitement, l’utilisation de la mémoire et d’autres indicateurs clés.

Il est important de noter que les liens vers d’autres composants Spark (par ex. Master autonome ou Worker) dans cette interface ne fonctionneront pas lorsqu’on se connecte depuis une autre machine. Cela est dû aux paramètres de sécurité : les composants sont configurés pour une opération locale, et seule l’interface Web accessible via le nom de domaine est exposée à l’extérieur.

Pour modifier cette configuration et permettre l’accès externe à tous les composants, vous devez effectuer les étapes suivantes :

1. Arrêtez et supprimez le conteneur Docker en exécutant la commande docker compose up down dans le répertoire /root/nginx.
2. Supprimez la ligne SPARK_LOCAL_IP="127.0.0.1" du fichier /etc/environment.

Après ces modifications, l’interface Web Spark sera accessible via l’adresse IP publique sans certificat SSL. Cette modification peut également résoudre les problèmes de connectivité entre les composants s’ils surviennent pendant le fonctionnement.

Personnaliser les chemins¶

1. Arrêtez le conteneur Docker en exécutant la commande docker compose up down dans le répertoire /root/nginx.
2. Effectuez les modifications nécessaires dans le fichier de configuration Nginx : /data/nginx/user_conf.d/spark{Server_ID_from_Invapi}.hostkey.in.conf.
3. Redémarrez le conteneur Docker depuis le répertoire /root/nginx en utilisant la commande docker compose up -d.

Commander un serveur avec Apache Spark via l'API¶

Pour installer ce logiciel en utilisant l'API, suivez les instructions suivantes.