Landeshöchstleistungsrechner HP XC4000

 

 

Das Rechenzentrum der Universität Karlsruhe betreibt ein HP XC4000 System als Landeshöchstleistungsrechner für Baden-Württemberg. Der auf AMD Opteron Prozessoren basierende massiv parallele Rechner (MPP System) steht einerseits für Projekte aus den Hochschulen des Landes zur Verfügung, die Rechenleistungen benötigen, die durch lokale Ressourcen nicht mehr befriedigt werden können, andererseits kann er auch von der Wirtschaft und der Industrie genutzt werden.

     English version English version

 

 

Konfiguration des HP XC4000 Systems

Knoten auf dem HP XC System können verschiedene Rollen annehmen. In Karlsruhe gibt es 

  • 2 Login-Knoten mit jeweils 8 Cores, wobei jeder Knoten eine theoretische Spitzenleistung von 41,6 GFLOPS bereitstellt,
  • 750 Rechenknoten mit jeweils 4 Cores, wobei jeder Knoten eine theoretische Spitzenleistung von 20,8 GFLOPS bereitstellt, 
  • 2 Rechenknoten mit jeweils 8 Cores, wobei jeder Knoten eine theoretische Spitzenleistung von 41,6 GFLOPS bereitstellt,
  • 8 Service-Knoten zur Ressourcenverwaltung etc. mit jeweils 4 Cores,
  • 10 Fileserver-Knoten mit netto 56 TB Plattenkapazität und

als Verbindungsnetzwerk ein InfiniBand 4X DDR Interconnect.


 


Das HP XC4000 System ist ein massiv paralleler "distributed memory" Parallelrechner mit insgesamt 772 Knoten, Alle Knoten (bis auf die Fileserver-Knoten) haben eine Taktfrequenz von 2,6 GHz. Alle Knoten besitzen lokalen Speicher, lokale Platten und Netzwerkadapter. Ein einzelner Rechenknoten hat eine theoretische Spitzenleistung von 20,8 GFLOPS bzw. 41,6 GFLOPS, so dass sich eine theoretische Spitzenleistung von 15,77 TFLOPS für das gesamte System ergibt. Der Hauptspeicher über alle Rechenknoten hinweg beträgt etwas mehr als 12 TB. Alle Knoten sind durch ein InfiniBand 4X Interconnect miteinander verbunden.

Das Basisbetriebssystem auf jedem Knoten ist HP XC Linux für "High Performance Computing"; dies ist eine zu RedHat AS 4.0 kompatible Linux Implementierung. Darüber befindet sich die parallele Softwareumgebung XC, die dem Anwender die effiziente Nutzung des Parallelrechners erlaubt.

Als globales Dateisystem wird innerhalb des XC Systems das skalierbare, parallele Dateisystem Lustre eingesetzt. Durch die Nutzung mehrerer Lustre Object Storage Target (OST) Server und Meta Data Server (MDS) wird sowohl eine hohe Skalierbarkeit als auch eine Redundanz beim Ausfall einzelner Server erreicht. Es werden 56 TB für Lustre zur Verfügung stehen. Daneben ist jeder Knoten des Clusters mit lokalen Platten für temporäre Daten ausgestattet.

Detaillierte Kurzbeschreibung der Knoten:

  • 2 acht-Wege (Login-)Knoten mit jeweils 4 AMD Opteron Dual Cores (HP ProLiant DL585) mit einer Taktfrequenz von 2,6 GHz, 32 GB Hauptspeicher (DDR-400) und 288 GB lokalem Plattenplatz,
  • 750 vier-Wege (Rechen-)Knoten mit jeweils 2 AMD Opteron Dual Cores (HP ProLiant DL145 G2) mit einer Taktfrequenz von 2,6 GHz, 16 GB Hauptspeicher (DDR-400) und 144 GB lokalem Plattenplatz,
  • 2 acht-Wege (Rechen-)Knoten mit jeweils 4 AMD Opteron Dual Cores (HP ProLiant DL585) mit einer Taktfrequenz von 2,6 GHz, 128 GB Hauptspeicher (DDR-400) und 8*144 GB lokalem Plattenplatz,
  • 8 vier-Wege Service-Knoten mit jeweils 2 AMD Opteron Dual Cores (6 HP ProLiant DL385 und 2 HP ProLiant DL585 Knoten) mit einer Taktfrequenz von 2,6 GHz, 8 GB Hauptspeicher (DDR-400) und 144 GB lokalem Plattenplatz,
  • 10 zwei-Wege (Fileserver-)Knoten mit jeweils 2 Xeon Cores (HP ProLiant DL380 G4) mit 36 angeschlossenen SFS20 "Enclosures", die netto 56 TB Plattenspeicher zur Verfügung stellen.

 

Zugriff auf das HP XC4000 System

Nur sichere Verfahren wie secure shell (ssh) und die zugehörige secure copy (scp) sind erlaubt beim Einloggen bzw. beim Kopieren von Daten von und zur HP XC4000. Die Mechanismen telnet, rsh sowie weitere r-Kommandos sind aus Sicherheitsgründen abgeschaltet. Um sich auf dem HP XC4000 System einzuloggen, sollte das folgende Kommando benutzt werden:

ssh user-id@xc2.rz.uni-karlsruhe.de    oder      user-id@hwwxc2.hww.de   (für Industriekunden) 

Um sich auf der XC2 einzuloggen, benötigt man ein Account. Ein Vorabaccount (4 Wochen gültig)  beantragt man durch eine Email an ssck-projects@lists.uni-karlsruhe.de. Einen dauerhaften Account erhalten wissenschaftliche Mitarbeiter des Landes Baden-Württemberg über einen Projektantrag, den man über die Webseite http://www.rz.uni-karlsruhe.de/ssck/proposals stellen kann. Mitarbeiter aus Industrie und Wirtschaft wenden sich an T-Systems, das als "Application Service Provider" (ASP) am Markt agiert. Alle notwendigen Informationen erhält man über das Webportal http://www.hpcportal.de/.

 

Wichtige Informationen für die Benutzung des HP XC4000 Systems


 

Weitere Informationen zum HP XC4000 System

Artikel zum HP XC4000 System in den RZ-NEWS:

Kontakt bei Fragen zum HP XC4000 System an der Universität Karlsruhe.


Letzte Änderung: 20.12.2007 09:54