Espaces de stockage du cluster¶

Cet article détaille les espaces de stockages de données accessibles sur le cluster.

• Comme indiqué rapidement sur la page de description, le cluster vous donne accès à deux espaces partagés pour vos données : le "home" et le "scratch". Partagé signifie que ces espaces sont accessibles depuis tous les nœuds du cluster
• Un espace temporaire local à chaque nœud de calcul est également disponible
• Notez que les utilisateurs UNILIM (avec leur compte de Limoges) peuvent aussi accéder (temporairement) aux données des anciens clusters "CALI v2" et "YAGA"

Et n'oubliez pas que vous disposez aussi d'un espace de stockage "cloud" via le projet iRods du MCIA !

Le HOME¶

Le "HOME" est l'espace d'accueil, dans lequel votre shell se place quand vous vous connectez au cluster. Le chemin est en général de la forme /home/<LOGIN> (ou /home/etudiants/<LOGIN>).

• L'espace disque est limité à 20 Go par utilisateur
• Les données sont sauvegardées, tous les jours en semaine. Les données sont conservées 2 mois. Contactez le support si vous avez perdu des données
• Le partage est effectué à travers le protocole NFS, sur le réseau ethernet 25 Gb

Le SCRATCH¶

Le "SCRATCH" désigne en général, sur un cluster de calcul, un espace temporaire qui permet de stocker des données volumineuses liées à un calcul ou une série de calculs. Par exemple des données en entrée, des données temporaires très volumineuses ou à conserver, des résultats.

• Le chemin est /scratch/<LOGIN> - Vous pouvez aussi utiliser le lien symbolique scratch présent dans votre home pour vous déplacer dans le dossier du scratch
• La limite est de 1 To par utilisateur
• L'espace total disponible est de 200 To — 40 To effectivement mis en service pour l'instant
• Les données ne sont pas sauvegardées
• Ces données sont volatiles, elles ont vocation à être effacées après un certains délai sans utilisation
• Le partage est effectué à travers le protocole NFS, sur le réseau ethernet 25 Gb. Le stockage est réalisé sur des disques dits capacitifs, donc le niveau de performance est faible

Un effacement automatique sera mis en place qui supprime les données non accédées depuis plus de 6 mois !

Espaces TMP¶

Chaque nœud de calcul possède un (petit) espace local permettant de stocker des données au cours d'un calcul et avec de hautes performances (disque NVMe ou SSD selon le nœud).

• Le dossier /tmp contient cet espace. Lorsque votre calcul commence, SLURM crée un sous-dossier spécifique pour votre job, dont le chemin est connu dans les variables $JOBTMPDIR et $TMPDIR
• Sur les nœuds 2023, l'espace est de 1 To (sur chaque nœud), partagé entre tous les jobs en cours et sans limite par utilisateur

Espaces UNILIM¶

Pour les utilisateurs des anciens clusters UNILIM (cali v2 et yaga), les données peuvent être récupérées via les dossiers :

• /cali/home
• /cali/scratch
• /cali/old-home : ancien home de CALI v2....
• /yaga/home