Bei einem Cluster kann man es ganz besonders schön erkennen:

Ich bin froh, dass fast alle kritischen Systeme noch unter Centos 5 laufen. Auch andere haben dieses Problem: Hetzner informiert seine Kunden per E-Mail, dass diese bitte die CPU-Auslastung überprüfen sollen, da deren Stromverbrauch um 1MW gestiegen ist.

Neuere Distributionen, z.B. das Ubuntu das ich hier gerade verwende, formatiert die Festplatten richtig. Man kann das ganz einfach mit sfdisk überprüfen.

$ sfdisk -d /dev/sda
[...]
/dev/sda1 : start= 2048, size= 195313, Id=83, bootable

Die 1. Partition meiner SSD beginnt bei 1 MB, also bei LBA-Adresse 2048. Die Nummer der Start-Sektoren können ohne Rest durch 2048 dividiert werden.

CentOS formatiert die Festplatten auf die Startadresse 63 – wie bei 512-byte:

$ sfdisk -d /dev/sda
[...]
/dev/sda1 : start= 63, size= 208782, Id=fd

In einem Wiki-Eintrag von Thomas Krenn wird das alles noch mal im Detail beschrieben.

Beim Administrator’s Blog erschien heute ein Artikel der über die schlechte Performance der WD20EARS-Festplatten berichtet. Western Digital nennt die 4KB-Sektoren “Advanced Format”. In meinem letzten Blog-Eintrag ging es u.a. um die WD20EADS-Festplatten, die bei Manitu eingesetzt werden. Eigentlich – und das bestätigen meine Tests bei Manitu – sollten diese Festplatten 0,5kb Sektoren verwenden. Im Datenblatt steht dazu nichts, genauso wenig wie zu der MTBF, aber das ist ein anderes Thema. Google ist sich dazu auch nicht sicher.

Ich formatiere inzwischen alle System auf Startadresse 2048. Der Artikel beim Administrator’s Blog zeigt aber auch, dass man i.d.R. keine Desktop-Festplatten für einen Server verwenden sollte, zumindest wenn einem etwas an Reliabilität oder Performance liegt…

Bei den geschäftskritischen Diensten sind höhere Anforderungen notwendig, als es die Standardlösungen der Firma manitu bieten. Die wichtigsten Kriterien sind hochwertige Serverhardware, redundante Netzteile mit getrennten Stromkreisen, redundante interne Kommunikation (Cross-Over-Kabel und Vlan). Ich spreche hier ausdrücklich von Standardlösungen, Lösungen von der Stange, bzw. Angebote die auf der Homepage zu finden sind. Wir suchten eine kostengünstige Lösung.

Da wir relativ viele Dienste mit geringer Last als virtuelle Maschinen betreiben, benötigten wir eine Virtualisierungslösung. Die Anzahl der virtuellen Maschinen ergibt sich aus der Anzahl der Dienste (ein Dienst pro Server / virtueller Maschine). Ich wählte Xen als Hypervisor.

Im Februar bestellten wir zwei Root-Server XXLx4. Wenig Zeit später waren die Maschinen verfügbar. Danach begann die Qual…

Neben Xen als Hypervisor wählte ich CentOS als Distribution. Nach der Installation über das Rettungssystem von Manitu booteten die Server mit dem Xen-Kernel nicht. Die Server bei Manitu haben keine Remotmanagementkarte, für 25,00 EUR Tagesmiete kann ein KVM-Switch gemietet werden. Mit dem KVM-Switch war das Problem schnell zu finden, der Kernel darf nicht mit acpi=off gestartet werden, was bei Manitu mit dem selbstkompilierten Kernel standardmäßig der Fall ist.

Die nachfolgende Konfiguration lief problemlos.

Durch die Virtualisierung ist die Auswirkung eines Ausfalles eines physischen Servers relativ groß, die Kosten für einen Server jedoch relativ gering. Dadurch betreiben wir alle wichtigen Dienste (also jede VM) in einem Hochverfügbarkeitscluster (HA-Cluster). Sofern der Dienste (die Anwendung) keine Ausfallsicherheit per Design bietet. DNS ist ein klassisches Beispiel bei dem ein HA-Cluster nicht unbedingt notwendig ist.

Auch die Installation und Konfiguration der virtuellen Maschinen, der Cluster und der Anwendungen lief problemlos.

Für ein kleines privates Projekte installierte ich einen Hadoop-Cluster bestehend aus 3 Nodes und führte ein paar Berechnungen aus. Bei den Berechnungen bemerkte ich, dass ein physischer Server nicht mehr reagierte. Der Hard-Reset des manitu Supports bootete den Server wieder. Das Projekt war zu Ende und ich betrachtete die Angelegenheit nicht mehr aktiv.

Der Fehler trat immer wieder auf. Ich teilte die Dienste und die Last auf beide Maschinen auf, so dass eine Lastspitze in einer verteilten Anwendung regelmäßig dazu führte, dass beide Server nicht mehr reagierten. Manchmal konnte ich die Server noch über das Rettungssystem von Manitu zu einem Neustart bewegen – oft musste der Support helfen.

Das Problem bei Manitu musste erst mal warten, da auch die geschäftskritischen Dienste ein neues Rechenzentrum brauchten. Mit der gemachten Erfahrung wählte ich testweise KVM und machte nach der Installation ausgiebige Stresstests. Bis heute keinen Absturz oder ähnliche Probleme die mit Xen auftraten. Wobei ich hier auch schreiben muss, dass es sich um Redhat Enterprise  zertifizierte Dell PowerEdge Server handelt. Weder von der Hardware noch vom Preis vergleichbar mit den Servern bei Manitu.

Wir bestellten einen weiteren Server bei Manitu und wählten diesmal KVM als Hypervisor. Die Umstellung auf KVM war zeitintensiv, da viele Daten kopiert werden mussten und die virtuellen Maschinen so verschoben werden mussten, dass es nicht zu einer längeren Nichtverfügbarkeit kam. Seit einer Woche ist diese Umstellung abgeschloßen und es gab bisher noch keinen Ausfall. KVM läuft äußert stabil, auch Stresstests über einige Tagen liefen problemlos durch.

Der Support von Manitu reagierte während der ganzen Zeit schnell und hilfsbereit.

Unverständnis ruft die Wahl der Festplatten hervor. Bei uns sind in zwei Servern jeweils 4x 2TB Green-Modelle von Western Digital und in dem neueren Server 4x 2TB Samsung  EcoGreen verbaut. Die wenigsten werden doch 4TB (Raid10) oder 8TB (Raid0) in einem Rootserver benötigen und wenn dann noch der Hersteller über die eigenen Festplatten das Folgende schreibt:

Business Critical RAID Environments – WD Caviar Green Hard Drives are not recommended for and are not warranted for use in RAID environments utilizing Enterprise HBAs and/or expanders and in multi-bay chassis, as they are not designed for, nor tested in, these specific types of RAID applications. For all Business Critical RAID applications, please consider WD’s Enterprise Hard Drives that are specifically designed with RAID-specific, time-limited error recovery (TLER), are tested extensively in 24×7 RAID applications, and include features like enhanced RAFF technology and thermal extended burn-in testing.

Dazu kommt noch die schlechte Performance und das “Problem” mit den 4k-Sektoren.

Fazit: Zufrieden, aber nicht uneingeschränkt zu empfehlen – schade eigentlich.

Allerdings sind die Technik und die “Sicherheitsfunktionen” der Bank of Scotland mehr als fraglich.

Direkt am Anfang stellte ich eine Anfrage an die Kundenbetreuung, ob der Zugriff per HBCI möglich wäre. Hier ein Auszug aus dem Textblock:

Die Sicherheit der Daten und Einlagen unserer Kunden ist uns besonders wichtig. Aus diesem Grund verwenden wir ein mehrstufiges Login-System, bestehend aus der Abfrage von Benutzername, Kennwort und Sicherheitsfrage(n).

Da diese Abfragen von der von Ihnen verwendeten Software bisher nicht unterstützt werden, ist eine komplette Kontoverwaltung durch dieses Programm leider nicht möglich.

Daraufhin fragte ich nochmals nach, welche Software das mehrstufige Login-System unterstützen würde.

Unseres Wissnens nach wird unser Sicherheitsstandard bisher von keiner Banking-Software unterstützt. Sobald wir offiziell mit einem Hersteller zusamen arbeiten oder ein eigenes Produkt veröffentlichen, können Sie sich auf unserer Homepage bankofscotland.de über diesbezügliche Neuerungen informieren.

Faktisch ist überhaupt keine Nutzung über HBCI möglich. Das mehrstufige Login-System fragt neben Benutzername und Kennwort bei jedem Login eine von drei Sicherheitsfragen ab. Insgesamt muss man sechs Sicherheitsfragen hinterlegen, die anderen drei scheinen für das Telefonsystem zu sein. Das ist schon sehr umständlich und fördert sicherlich auch die Unzufriedenheit bei den Anwendern.

Auf der Login-Seite lässt die Bank kein Copy&Paste zu, JavaScript deaktiviert die entsprechenden Tastenkombinationen. Übrigens funktioniert das Einfügen über einen Passwort-Manager (z.B. KeePass) trotzdem.

Der ganze Login-Bereich wirkt optisch altbacken und ist usability-feindlich. Die Bank arbeitet mit Tabellenlayouts und Frames. Ein Blick in eine JavaScript-Datei (die im Übrigen auch diese Sicherheitsfeatures zum Deaktivieren der Tastenkombinationen beinhaltet) zeigt Erstaunliches.

Der Header der Datei common.js sieht so aus:

/*—————————————————————————–
This source is part of the FLEXCUBE@ Java App Server Software System and is
copyrighted by i-flex Solutions Limited.

[...]

i-flex Solutions Limited.
10-11, SDF I, SEEPZ, Andheri (East),
Mumbai – 400 096.
India

Copyright 2004 i-flex Solutions Limited.

Modification History

Date Version Author Description
__________ ___________ _______________ ________________________________________
10/11/2006 1 Rupesh N Initial Version
09/03/2009 2 SaurabhV Added the code to disable text selection in mozilla
10/03/2009 3 Priti D Disabled Shift+F6 key(address bar visible)
——————————————————————————*/

Zum Copyright 2004 passt die ganze Homepage dann wieder. Der Change-Log in der öffentlichen Datei bringt einen schon zum Schmunzeln, hier noch weitere Auszüge.

//Not FoolProof. Not all browser support this requirement.
function disablekeyboardnavigation(e) {
//alert (“key down”);
//alert (event.keyCode);

[...]

if (navigator.appName == “Microsoft Internet Explorer”)
{
//alert (event.srcElement.tagName);
if ((event.altKey) && (event.srcElement.tagName == “INPUT”)) {
//alert (“not allowed”);
//return false;
}
if ((event.keyCode == 96) || (event.keyCode == 97) || (event.keyCode == 98)) {
//alert (“not allowed”);
//return false;
}

[...]

if (event.keyCode == 116 || event.keyCode == 121 || event.keyCode == 122)
{
event.keyCode = 0;
}

if((event.keyCode != 93) || (event.keyCode == 93 && event.srcElement.tagName != “INPUT”))
{
alert(“Der gewählte Vorgang kann nicht ausgeführt werden. Bitte benutzen Sie die Navigation in Ihrem Onlinebanking-Bereich.”);
return false;
}
/*if ((event.keyCode == 8 && event.altKey && (event.srcElement.tagName == “BODY”))) {
alert (“tag name : ” + event.srcElement.tagName);
alert(“This operation is not allowed.”);
return true;
}*/

Und so weiter. Hier werden noch niemals Coding Standards eingehalten, aber wenn jemand schon die “Debug-Statements” im Code lässt…
Ich hoffe nur, dass das Backend eine bessere Qualität aufweist.

Wenn man den Login-Bereich im Google Chrome aufruft (ich habe nur FF, IE und Chrome ausprobiert), bekommt man nach dem Klick auf “Anmelden” einen 400 Bad Request Fehler von dem Webserver, anscheinend auch nur, wenn die Zugangsdaten korrekt sind. Die Fehlerseiten des Webservers sind natürlich nicht angepasst.

Vielleicht liegt es daran, dass es 2004 noch keinen Google Chrome gab. Damals gab es auch noch keine Browserunterstützung für EV-SSL-Zertifikate. Hier ein Auszug aus dem Wikipedia-Artikel:

Genutzt werden die Zertifikate meist, um Webanwendungen per HTTPS zu sichern und den Anwendern vor dem Hintergrund von Phishing-Angriffen eine zusätzliche Sicherheit zu geben, etwa beim Online-Banking.

Wie war das noch mal mit “Die Sicherheit der Daten und Einlagen unserer Kunden ist uns besonders wichtig.”?

Eine ausführliche audiotechnische Erklärung gibt es bei Surfpoeten.

Inzwischen ist es ja schon etwas besser geworden, man kann schon fast die Fans verstehen

Ich habe mir die 16GB-Version mit UMTS bestellt. UPS hat mir das Paket vorhin geliefert. Als Provider wollte ich simyo nehmen, bei der Bestellung der 14,95€ teuren SIM-Karte habe ich nicht an das Netz gedacht. simyo ist eine Marke von Eplus und der Netzausbau scheint nicht besonders gut zu sein, zumindest nicht hier auf dem Land. Mit meinen iPhone und Vodafone habe ich jedoch UMTS.

Etwas negativ ist mir aufgefallen, dass man das Kennwort für den WLAN-Account nicht per Copy-Paste einfügen kann, bzw. nach dem Einfügen nicht mehr auf “Verbinden” klicken kann. Bei einem Kennwort mit über 60 Zeichen ist man schon einige Zeit beschäftigt.

So langsam wird es auch besser mit der Tastatur, ich geben die Hoffnung mal nicht auf.

Bei Heise & Co. ist noch nichts zu lesen. Twitter bestätigt das Problem. Bei der Hotline der Denic meldet sich keiner mehr

Die Denic betreibt  sechs Rootserver (a.nic.de, l.de.net, f.nic.de, s.de.net, z.nic.de und c.de.net). Normalerweise liefern diese Server die Antwort auf die Frage, welcher DNS-Server für eine bestimmte .de-Domain zuständig ist.

Beispiel für google.com:
# dig +ns google.com a.gtld-servers.net.
SOA ns1.google.com. dns-admin.google.com. [...] from server ns1.google.com in 56 ms.
SOA ns1.google.com. dns-admin.google.com. [...] from server ns2.google.com in 151 ms.


Die Abfrage eines Servers der Denic ergibt:
# dig +ns heise.de s.de.net
dig: couldn't get address for 'ns.s.plusline.de': not found

Wiederholt man die Abfrage oder nimmt man einen der anderen Rootserver funktioniert es, oder es gibt andere Fehlermeldungen:
# dig +ns heise.de l.de.net
SOA ns.heise.de. postmaster.ns.heise.de. [...] from server ns.s.plusline.de in 11 ms.
SOA ns.heise.de. postmaster.ns.heise.de. [...] from server ns.plusline.de in 7 ms.
SOA ns.heise.de. postmaster.ns.heise.de. [...] from server ns2.pop-hannover.net in 17 ms.
SOA ns.heise.de. postmaster.ns.heise.de. [...] from server ns.heise.de in 18 ms.
SOA ns.heise.de. postmaster.ns.heise.de. [...] from server ns.pop-hannover.de in 18 ms.

# dig +ns heise.de l.de.net
dig: couldn't get address for 'ns.pop-hannover.de': not found


Update:
Der Artikel auf Golem findet sich hier.

Sicher, aber kaputt…

Mit dd for windows versuchte ich zunächst den Bootloader von einem anderen Windows 7 zu kopieren. Das einfache Kopieren der ersten 512 Bytes funktionierte nicht; der Windows Bootloader meldete einen Geräte Fehler. Also musste ich doch die Reparaturoptionen von Windows 7 verwenden, eigentlich wollte ich das umgehen, das S12 hat kein optisches Laufwerk und das ist dann immer etwas umständlicher, wenn man kein USB-DVD-Laufwerk hat.

Das Windows 7 Iso aus dem MSDNAA packte ich dazu auf eine externe USB-Festplatte. Das Setup “reparierte” mein System wieder und ich konnte Windows 7 wieder booten.

Und wie konnte es auch anders sein, der Ruhezustand funktioniert mit dem Windows Bootloader ohne Probleme.