Cluster Curta

Nouvelle panne du système GPFS (IBM/Lenovo Spectrum Scale) samedi 15/02/2020 vers 19:00.

L'intervention du 30/01 n'a visiblement pas eu l'effet escompté...

L'analyse du problème est en cours.

Une panne du système GPFS (home et scratch) est intervenue entre 13:00 et 13:20 (voir Problème GPFS 07/01/2019).

Un grand nombre de nœuds ont perdu la connexion GPFS. Un grand nombre de jobs ont été interrompus.

La panne semble venir d'une congestion du réseau OPA qui provoque l'exclusion des nœuds de calcul du cluster GPFS.

Un arrêt de service est prévu le 30 janvier pour modifier la configuration GPFS et le rendre plus résilient.

La panne du système de refroidissement (voir Arrêt accidentel du cluster 09/01/2020) s'est reproduite ce weekend. Comme cela se reproduit tous les jours, nous allons devoir arrêter la production jusqu'à ce que le fournisseur intervienne. La société APC-Schneider a été relancée par la DSI et devrait corriger le problème dans les meilleurs délais.

Nous avons redémarré les frontaux et le système GPFS afin que vous puissiez accéder à vos données, mais aucun job ne démarrera pour l'instant.

Veuillez nous excuser pour la gêne occasionnée.

A cause d'un problème sur le système de refroidissement de la salle SHM1 qui à provoqué une hausse importante de la température de l'air environnant de Curta, la plupart des serveurs se sont coupés automatiquement pour éviter la surchauffe.

Les jobs qui tournaient sont perdus.

Un problème similaire était intervenu en décembre et plus récemment dimanche 5 janvier.

La DSI de l'Université a contacté le fournisseur du système de refroidissement afin de régler le problème. Nous vous tiendrons informés des avancées futures.

Pour l'instant, nous ne pouvons que vous avertir que le cluster ne doit pas être considéré comme complètement opérationnel car ce problème peut se reproduire à tout instant.

Veuillez nous excuser pour les problèmes occasionnés.

Une panne du système GPFS (home et scratch) est intervenue entre 16:25 et 16:40.

Un grand nombre de nœuds ont perdu la connexion GPFS. Un grand nombre de jobs ont été interrompus.

Le problème est encore inexpliqué, mais nous allons tenter d'avoir plus d'informations.

L'alimentation électrique de la salle machine SHM1 a été coupée ce jour entre 11h15 et 12h15.

Tous les nœuds de calcul se sont éteints. Les jobs en cours ont donc été interrompus.

Le courant est revenu, nous allons remettre les nœuds en production.

L'équipe technique

Les quotas GPFS vont être réactivés sur le FS_Home.

Si vous rencontrez des problèmes dans la journée, merci de faire un ticket.

L'équipe technique

En raison de nouveaux tests sur le système GPFS (voir #6108), des problèmes pourront se produire lors d'écritures sur le FS_Home dans la journée.

L'équipe technique

Le Cluster Curta est ouvert aux utilisateurs. Successeur du cluster Avakas, il représente une augmentation substantielle de performance.

La documentation utilisateur du cluster est consultable en ligne: Wiki.

Enjoy Curta!