Aller au contenu

Comment se connecter

La plateforme mise à disposition est composée de plusieurs éléments :

  • un environnement de traitement de la donnée
  • un datalake S3 pour le stockage des données
  • une authentification identique entre l'environnement de traitement de la donnée et la console web du datalake S3

Les points d'entrée

L'environnement de traitement de la donnée

L'environnement de traitement de la donnée est un produit de la société Saagie, membre du consortium, qui permet d'effectuer des traitements par pipeline avec des outils DataOps sur des jeux de données.

La plateforme de traitement de la donnée tourne dans un cluster Kubernetes composé de :

  • 4 machines virtuelles avec pour chacune :
    • 32 vCPU
    • 128 Go de RAM
  • 1 espace disque distribué d'environ 4 To sur disques mécaniques (HDD), extensible à 8 To
  • 1 espace disque distribué performant d'environ 1,3 To sur disques SSD, extensible à 2,5 To

Le datalake S3

La plateforme inclut un service S3 pour le stockage des espaces de données des utilisateurs et projets.

Le datalake est basé sur la technologie MinIO, ce qui vous permet de générer des jetons s3.

Le datalake S3 est composée de 4 machines virtuelles, chacune adressant 4 disques physiques pour une volumétrie totale d'environ 119 To utile.


Dernière mise à jour: 26 avril 2022 16:18:52