Header_Daten_Foto_Rechenzentrum_Foto_C_Schmid_Hereon

Ausstattung

Der HPC-Cluster „Strand“ besteht aus 185 Rechenknoten und 5 Frontend Servern mit je 48 Kernen. Zusätzlich sind 23 der bestehenden Rechenknoten mit GPUs bestückt. Das Filesystem des Clusters ist über einen Archivserver an das Backup der zentralen IT angeschlossen. Alle Knoten und Server sind untereinander mit einem Intel ® Omni-Path-Hochgeschwindigkeitsnetzwerk mit einer Bandbreite von bis zu 100 GBit/s verbunden. Die kombinierte Höchstleistung aller Rechenknoten wurde mit 596 TFlops gemessen. Die Auslastung des Clusters beträgt im Wochenschnitt 70 %.

Rechenknoten


Die 185 verfügbaren Rechenknoten sind mit jeweils zwei Intel® Xeon® Platinum 8160 Prozessor CPUs (24 Kerne mit 2.1GHz) bestückt. 153 der Knoten haben einen Arbeitsspeicher von 384 GB; die restlichen 32 Knoten sind mit je 768 GB RAM für besonders speicherintensive Rechnungen vorgesehen. 23 der Rechenknoten sind zusätzlich mit NVIDIA Tesla V100 GPUs mit 16 GB und 32 GB RAM bestückt. Die Rechenkapazität wird über den SLURM workload manager zugeteilt.

Speicherplatz


Das Dateisystem basiert auf IBM Spectrum Scale (auch bekannt als GPFS). Die Gesamtkapazität umfasst derzeit 2,5 PB in 295 HDDs mit je 12 TB sowie 20 SSDs mit je 3.2 TB.

Das Dateisystem ist dabei in 3 Bereiche unterteilt:

/gpfs/home
/gpfs/work
/gpfs/scratch

Dabei sind 114 TB für das /gpfs/home Dateisystem reserviert, 171 TB dienen als /gpfs/scratch Bereich für temporäre Daten. Der /gpfs/work Bereich dient dem Ablegen von Daten zur Vor- und Nachbereitung. Alle Bereiche sind mit I/O-Geschwindigkeiten von bis zu 14 GB/s für die Verarbeitung der Rechendaten an die Server angebunden.

Archiv


Das gesamte Dateisystem ist über einen Archivserver an das Backup der zentralen IT angeschlossen. Die Daten werden hier gemäß den Regeln der "good scientific practice" 10 Jahre aufbewahrt und können jederzeit abgerufen werden. Vom /gpfs/home Bereich werden zudem inkrementelle Backups angefertigt.