Singularity¶

• Table of contents
• Singularity
  • Description
  • Procédure
  • Singularity + GPU
  • Exemples d'utilisation
    • OpenMPI
    • R

Description¶

Un conteneur Linux est une image qui contient votre propre environnement logiciel et qui partage le noyau Linux avec l'hôte.

Singularity est une solution de conteneur conçue pour le HPC qui permet la portabilité entre environnements Linux, la reproductibilité des résultats et la mobilité entre clusters.

Les utilisateurs font alors tourner un autre système d'exploitation dont ils peuvent contrôler la pile logiciels sans avoir besoin des privilèges root sur la machine hôte.

Singularity est installé sur Curta (module load singularity/latest), ce qui permet de lancer à l'intérieur d'un job, un conteneur à l'environnement logiciel contrôlé.

Faire tourner des conteneurs sur des serveurs auxquels ont accès d'autres utilisateurs pose des problèmes de sécurité que les développeurs de Singularity ont pris soin de résoudre. Ainsi, il est interdit d'obtenir des privilèges administratifs dans un conteneur Singularity si on n'est pas root sur l'hôte. Ceci oblige l'utilisateur qui veut personnaliser son image de conteneur à le faire sur une machine Linux où il dispose de tels privilèges.

La procédure qui suit détaille les étapes pour configurer une image et utiliser des conteneurs dans vos jobs Curta.

Procédure¶

Documentation Singularity: https://www.sylabs.io/guides/3.0/user-guide/index.html

• Pour créer un conteneur il faut une image (.sif) et un fichier de définition (.def) ainsi qu'un ordinateur où vous avez les droits root pour pouvoir exécuter la commande build. Une fois configurée, il faut la copier sur Curta pour l'utiliser dans un job.

• Installation de Singularity sur votre ordinateur dans la même version que sur Curta (actuellement: 3.8.0-rc.2)
  Documentation: https://www.sylabs.io/guides/3.0/user-guide/installation.html
  NOTE: Pour des raisons de sécurité, ce logiciel est maintenu à jour.

• Pour définir vos besoins dans le conteneur, il faut écrire un fichier de recette (container.def). Voici un exemple d'installation minimale d'un conteneur ubuntu:
  

  BootStrap: debootstrap
  OSVersion: trusty
  MirrorURL: http://us.archive.ubuntu.com/ubuntu/
  
  %runscript
      echo "This is what happens when you run the container..." 
  
  %post
      echo "Hello from inside the container" 
      sed -i 's/$/ universe/' /etc/apt/sources.list
      apt-get update
      apt-get -y install vim
      apt-get clean
      mkdir /scratch
  

  
  Ensuite, on crée l'image <container.sif> comme suit (cette opération peut prendre un certain temps):
  

  sudo singularity build <container.sif> <container.def>
  

  
  D'autres méthodes sont possibles pour construire son conteneur. Vous avez le détail ici: https://www.sylabs.io/guides/3.0/user-guide/build_a_container.html

• Transférez votre image dans /scratch/<username> sur Curta. Attention cet espace est nettoyé au bout de 90 jours donc il faut garder une copie de votre image ailleurs.

• Maintenant l'utilisation du conteneur dans un job est possible.
  Pour exécuter vos scripts dans le conteneur, il faudra utiliser la commande exec:
  

  singularity exec <container.sif> <CMD> (args)
  

  
  Si vous avez lancé un job interactif, vous avez la possibilité d'ouvrir un shell dans le conteneur:
  

  singularity shell <container.sif>
  

• S'il vous manque un paquet dans votre conteneur, il faudra modifier votre conteneur sur votre ordinateur où vous avez les droits root, modifier le conteneur comme suit et retransférer l'image sur le scratch de Curta:
  

  sudo singularity shell -w <container.sif>
  Singularity centos7.sif:~> yum install <package>
  

Singularity + GPU¶

Pour utiliser des GPU depuis un conteneur Singularity, il faut utiliser l'option --nv de Singularity.

Exemples d'utilisation¶

OpenMPI¶

Pour que vos jobs s'exécutent correctement, il faut installer dans le conteneur une version de openmpi qui soit également installée en module sur Curta (et charger ce module-ci dans votre job).

• Fichier de définition openmpi.def
  

  Bootstrap: yum
  OSVersion: 7
  MirrorURL: http://mirror.centos.org/centos-%{OSVERSION}/%{OSVERSION}/os/$basearch/
  Include: yum
  
  %post
      echo "Hello from inside the container" 
  
      echo "Installing Development Tools YUM group" 
      yum -y groupinstall "Development Tools" 
  
      yum -y install wget which less nano emacs
      mkdir /scratch
      mkdir /tmp/mpi
      cd /tmp/mpi
  
      echo "Installing OpenMPI into container..." 
      wget https://download.open-mpi.org/release/open-mpi/v3.1/openmpi-3.1.3.tar.gz
      tar xvzf openmpi-3.1.3.tar.gz
      cd openmpi-3.1.3
      ./configure --prefix=/usr/local
      make
      make install
      /usr/local/bin/mpicc examples/ring_c.c -o /usr/bin/mpi_ring
      cd /
      rm -rf /tmp/mpi
  
      exit 0
  
  

• Job SLURM
  Pour un bon fonctionnement de openmpi:
  • Il faut charger la même version openmpi que celle installée dans le conteneur.
  • Une façon de procéder est de compiler le programme dans le conteneur avant de l'exécuter (mpirun/mpiexec).
    

    #!/bin/bash
    #
    #SBATCH -J singularity_openmpi
    #SBATCH -o /scratch/aldarrie/singularity/%x-%j.out
    #SBATCH -N 3
    #SBATCH --ntasks-per-node=4
    #SBATCH -t 10:00
    
    echo "#############################" 
    echo "User:" $USER
    echo "Date:" `date`
    echo "Host:" `hostname`
    echo "Directory:" `pwd`
    echo "SLURM_JOB_NAME:" $SLURM_JOB_NAME
    echo "SLURM_JOB_ID:" $SLURM_JOB_ID
    echo "SLURM_NODELIST: " $SLURM_NODELIST
    echo "SLURM_NTASKS: " $SLURM_NTASKS
    echo "#############################" 
    echo
    
    IMG=/scratch/aldarrie/singularity/openmpi.sif
    
    module load singularity/latest
    module load mpi/openmpi/3.1.3
    
    echo "OpenMPI" 
    NP=$SLURM_NTASKS
    echo "Running on $NP processors" 
    
    mpiexec -pernode singularity exec $IMG mpicc mpitest.c -o mpitest
    
    mpirun -np $NP singularity exec $IMG ./mpitest
    
    echo "Job finished" 
    
    

R¶

• Fichier de définition
  

  BootStrap: debootstrap
  OSVersion: trusty
  MirrorURL: http://us.archive.ubuntu.com/ubuntu/
  
  %runscript
      echo "This is what happens when you run the container..." 
  
  %post
      echo "Hello from inside the container" 
      sed -i 's/$/ universe/' /etc/apt/sources.list
      apt-get update
      apt-get -y install vim
      apt-get install -y r-base r-base-core r-base-dev wget vim git nano git cmake curl wget python autoconf bzip2 libtool python-pip python-dev glpk-utils libglpk-dev glpk-doc python-glpk
      apt-get clean
      mkdir /scratch
  
  %test
      #!/bin/sh
      exec R --slave -e 'print("Hello Worl!")'
  
  %runscript
      glpsol -m sudoku.mod
  
  

• Job SLURM
  

  #!/bin/bash
  #
  #SBATCH -J singularity_R
  #SBATCH -o /scratch/aldarrie/singularity/%x-%j.out
  #SBATCH -N 1
  #SBATCH --ntasks-per-node=1
  #SBATCH -t 10:00
  
  echo "#############################" 
  echo "User:" $USER
  echo "Date:" `date`
  echo "Host:" `hostname`
  echo "Directory:" `pwd`
  echo "SLURM_JOB_NAME:" $SLURM_JOB_NAME
  echo "SLURM_JOB_ID:" $SLURM_JOB_ID
  echo "SLURM_NODELIST: " $SLURM_NODELIST
  echo "SLURM_NTASKS: " $SLURM_NTASKS
  echo "#############################" 
  echo
  
  IMG=/scratch/aldarrie/singularity/r.sif
  
  module load singularity/latest
  ###module load R/3.5.0
  
  cp $IMG $TMPDIR
  cp sudoku.mod $TMPDIR
  
  echo "R sudoku program" 
  
  singularity test $TMPDIR/r.sif
  singularity run $TMPDIR/r.sif
  
  echo "Job finished"