Siemens RX100 S4 SPECjbb2005

White Paper ⏐Performance Report PRIMERGY RX100 S4 Version: 2.2, Juni 2007

SPECjbb2005∗

Benchmark-Beschreibung

SPECjbb2005 ist ein Java Business Benchmark, dessen Fokus auf der Leistung von Java Server Plattformen liegt. Im

Wesentlichen ist SPECjbb2005 ein modernisierter SPECjbb2000. Die Hauptunterschiede sind:

• Die Transaktionen sind komplexer geworden, um einen größeren Bereich an Funktionalität abzudecken.

• Der Working Set des Benchmarks ist vergrößert worden, so dass die Systemlast insgesamt gestiegen ist.

• SPECjbb2000 erlaubt nur eine aktive Java Virtual Machine Instanz (JVM), während SPECjbb2005 mehrere Instan-

zen zulässt, was eine größere Realitätsnähe insbesondere bei großen Systemen bewirkt.

Softwareseitig misst SPECjbb2005 die Effizienz der Implementierungen der JVM, Just-In-Time (JIT) Compilers, Garbage

Collection, Threads sowie einige Aspekte des Betriebssystems. Hardwareseitig wird die Effizienz der CPUs und Caches,

des Speichersubsystems und die Skalierbarkeit von Shared Memory Systemen (SMP) gemessen. Disk- und Netzwerk-

I/O spielen keine Rolle.

SPECjbb2005 emuliert ein für moderne Geschäftsprozess-Applikationen typisches Three-Tier Client/Server System mit

Augenmerk auf das Middle-Tier System:

• Clients erzeugen die Last, bestehend aus Driver Threads, die angelehnt an den TPC-C Benchmark OLTP Zugriffe

auf eine Datenbank ohne Denkzeiten generieren.

• Das Middle-Tier System implementiert die Geschäftsprozesse und Aktualisierung der Datenbank.

• Die Datenbank übernimmt die Datenverwaltung und wird emuliert durch Java-Objekte, die im Memory liegen.

Transaktions-Logging ist implementiert auf XML Basis.

Der große Vorteil dieses Benchmarks ist, dass er alle drei Tiers beinhaltet, die gemeinsam auf einem Single-Host laufen.

Gemessen wird die Performance des Middle-Tier. So werden große Hardware-Installationen vermieden und direkte

Vergleiche von SPECjbb2005-Ergebnissen unterschiedlicher Systeme sind möglich. Client- und Datenbank-Emulation

sind ebenfalls in Java geschrieben.

SPECjbb2005 benötigt nur das Betriebssystem sowie eine Java Virtual Machine mit J2SE 5.0 Eigenschaften.

Die Skalierungseinheit ist ein Warenhaus mit ca. 25 MB Java Objekten. Genau ein Java-Thread pro Warenhaus führt die

Operationen auf diesen Objekten aus. Die Geschäftsoperationen sind von TPC-C übernommen:

• New Order Entry

• Payment

• Order Status Inquiry

• Delivery

• Stock Level Supervision

• Customer Report

Das sind aber auch die einzigen Gemeinsamkeiten von SPECjbb2005 und TPC-C. Die Ergebnisse beider Benchmarks

sind nicht vergleichbar.

SPECjbb2005 besitzt 2 Performance-Metriken:

• bops (business operations per second) ist die Gesamtrate aller Geschäftsoperationen, die pro Sekunde durchge-

führt werden.

• bops/JVM ist der Quotient der ersten Metrik und der Anzahl der aktiven JVM Instanzen.

In Vergleichen verschiedener SPECjbb2005-Ergebnisse müssen beide Metriken angegeben werden.

Grundlage für diese Metriken sind die folgenden Regeln, nach denen ein konformer Benchmark-Lauf durchgeführt

werden muss:

Ein konformer Benchmarklauf besteht aus einer Sequenz von Messpunkten mit wachsender Anzahl von Warenhäusern

(und damit von Threads), wobei die Anzahl jeweils um ein Warenhaus erhöht wird. Gestartet wird mit einem Warenhaus

bis zu 2*MaxWH, mindestens aber 8 Warenhäusern. MaxWh ist die Anzahl Warenhäuser, bei der der Benchmark die

höchste Operationsrate pro Sekunde erwartet. Standardmäßig setzt der Benchmark MaxWH mit der Anzahl vom

Betriebssystem erkannter CPUs gleich.

Die Metrik bops ist das arithmetische Mittel aller gemessenen Operations-Raten mit MaxWh Warenhäusern bis

2*MaxWh Warenhäusern.

∗ SPEC®, SPECjbb® und das SPEC-Logo sind eingetragene Warenzeichen der Standard Performance Evaluation

Corporation (SPEC).