InstitutsCluster

Das Rechenzentrum der Universität Karlsruhe betreibt ein von mehreren Instituten gemeinsam beschafftes Computersystem von der transtec AG als InstitutsCluster. Der Cluster, der aus vielen SMP-Knoten mit Intel Xeon Prozessoren besteht, ist ein hybrides MPP-System. Er steht den Instituten der Universität Karlsruhe zur Verfügung, die sich mit Geldmitteln an der Beschaffung beteiligt haben.

English version

Konfiguration des Institutsclusters

Der Institutscluster beinhaltet 

• 2 Login-Knoten mit jeweils 8 Cores mit einer theoretische Spitzenleistung von 85,3 GFLOPS und 32 GB Hauptspeicher pro Knoten,
• 200 Rechenknoten mit jeweils 8 Cores mit einer theoretische Spitzenleistung von 85,3 GFLOPS und 16 GB Hauptspeicher pro Knoten 
• und als Verbindungsnetzwerk ein InfiniBand 4X DDR Interconnect mit ConnectX Dual Port DDR HCAs..

Der InstitutsCluster ist ein hybrider massiv paralleler Parallelrechner mit insgesamt 206 Knoten, Alle Knoten (bis auf die Service-Knoten) haben eine Taktfrequenz von 2,667 GHz. Alle Knoten besitzen lokalen Speicher, lokale Platten und Netzwerkadapter. Ein einzelner Rechenknoten hat eine theoretische Spitzenleistung von 85,3 GFLOPS, so dass sich eine theoretische Spitzenleistung von 17,57 TFLOPS für das gesamte System ergibt. Der Hauptspeicher über alle Rechenknoten hinweg beträgt 3,3 TB. Alle Knoten sind durch ein InfiniBand 4X Interconnect miteinander verbunden.

Das Basisbetriebssystem auf jedem Knoten ist ein Suse Linux Enterprise 10 SP 1. Als Managementsoftware für den Cluster dient die BeoBOX System Software der transtec AG, die dem Anwender die effiziente Nutzung des Parallelrechners erlaubt.

Als globales Dateisystem wird das skalierbare, parallele Dateisystem Lustre über ein separates InfiniBand Netzwerk angebunden. Durch die Nutzung mehrerer Lustre Object Storage Target (OST) Server und Meta Data Server (MDS) wird sowohl eine hohe Skalierbarkeit als auch eine Redundanz beim Ausfall einzelner Server erreicht. Es werden ca. 380 TB an Plattenplatz zur Verfügung stehen, auf die allerdings in Zukunft auch weitere Rechner zugreifen werden. Daneben ist jeder Knoten des Clusters mit 4 lokalen Platten für temporäre Daten ausgestattet.

Detaillierte Kurzbeschreibung der Knoten und des Verbindungsnetzwerks:
6 acht-Wege (Login-)Knoten mit jeweils 2 Quad-Core Intel Xeon X5355 mit einer Taktfrequenz von 2,667 GHz, 32 GB Hauptspeicher und 4x250 GB lokalem Plattenplatz; 200 acht-Wege (Rechen-)Knoten mit jeweils 2 Quad-Core Intel Xeon X5355 mit einer Taktfrequenz von 2,667 GHz, 16 GB Hauptspeicher und 4x250 GB lokalem Plattenplatz und 5 8-Wege Service-Knoten mit jeweils 2 Quad-Core Intel Xeon E5345 mit einer Taktfrequenz von 2,3 GHz, 8 GB Hauptspeicher und 4x250 GB lokalem Plattenplatz. Ein einzelner Quad-Core Prozessor hat 2 x 4MB Cache, betreibt den System Bus mit 1333 MHz und den FrontSideBus (FSB) mit 1066 MHz.
Als Verbindungsnetzwerk dient ein InfiniBand 4x DDR Switch (288 Ports) von Flextronics (F-XR430095) mit einer Gesamtdurchsatzrate von 288 x 40 Gb/s = 11,5 Tb. Als Adapter werden ConnectX IB HCAs (Dual Port DDR, PCIe2.0x8 2,5GT/s) eingesetzt.

Zugriff auf den InstitutsCluster

Nur sichere Verfahren wie secure shell (ssh) und die zugehörige secure copy (scp) sind erlaubt beim Einloggen bzw. beim Kopieren von Daten von und zum InstitutsCluster. Die Mechanismen telnet, rsh sowie weitere r-Kommandos sind aus Sicherheitsgründen abgeschaltet. Um sich auf dem InstitutsCluster einzuloggen, sollte das folgende Kommando benutzt werden:

ssh user-id@ic1.rz.uni-karlsruhe.de

Um sich auf dem InstitutsCluster einzuloggen, benötigt man ein Account. Mitarbeiter der an dem InstitutsCluster beteiligten Institute des KIT müssen ein ausgefülltes Formular, das man auf der Webseite http://www.rz.uni-karlsruhe.de/download/downloads herunterladen kann, per Fax oder Post an BIT8000 schicken.

Wichtige Informationen für die Benutzung des InstitutsClusters

• InstitutsCluster: Brief Information for new Users
  Kurze Einführung zum Zugriff auf den InstitutsCluster an der Universität Karlsruhe.
• InstitutsCluster User Guide 

Hotline per Email und Telefon

mailto:ic-hotline@lists.uni-karlsruhe.de

+49 721 608-8011