I was analyzing some unexpected RMAN termination, a RMAN-10038/RMAN-03009 combo:

RMAN-00571: ===========================================================
RMAN-00569: =============== ERROR MESSAGE STACK FOLLOWS ===============
RMAN-00571: ===========================================================
RMAN-03009: Fehler bei REFAF Befehl in c13 Kanal auf 10/31/2011 08:21:50
RMAN-10038: Datenbank-Session für Kanal c13 unerwartet beendet

Nothing, not even an RMAN tracing was able to reveal more hints. The trace just told it in other words. No underlying ORA/TNS error or similar.

It finally turned out it were some parameters recently added to sqlnet.ora, I set SQLNET.RECV_TIMEOUT and SQLNET.SEND_TIMEOUT and the beast silently dropped RMAN channels that were idle for a while. The next command in this channel blew up the whole RUN block of the backup script.

I removed the parameters and it works again.

Be careful with your sqlnet.ora

dmr is widely known primarily as one of the Unix and C fathers. He’s also the co-author of the famous “K&R” book, “The C programming language”.

From my point of view the IT world lost a great man whose echo still lives on in many technologies. I would also like to pass on my condolences to his family and friends.

First steps

First, I only had problems. I had a problem connecting to the webinterface, because the manual mentions the wrong default user/pass pair for logon. Sick. By the way, this is the same manual that says that SNMP is the standard internet mail transfer protocol. Fsck it. I usually read manuals – but this one is just able to heat the air when you finally burn it. Maybe not even that.

Then, after finally logging in, I found this buggy, ugly and crappy webinterface. What a user expirience. Shit. At least it works to make the basic settings.

The AP finally worked for my wireless devices.

And then tests. Well, the firmware is not even able to do station monitoring or some other basic stuff. Argh.

The solution to all the problems and crap

DD-WRT… Flashed the thing (okay, I bricked it on the first try, my fault), booted, logged into the nice and usable webinterface, made the basic configuration, ready. I have shell access, basic tools, a Cron, remote syslogging and some more features (a rich featureset, compared to the original code image).

If you are able to put something like OpenWRT or DD-WRT on your lower priced Linksys devices: Do it.

Rant to Cisco

Are you really sure you want to put your Logo on this device? The original firmware sucks and the manual is written by idiots. Nothing I usually have in mind when I hear “Cisco Systems”. I’m aware that this is consumer hardware, but a bare minimum of quality should be there. For me, Cisco stands for high performance, reliability, quality – this thing, that carries a Cisco logo, is just a shadow of the functionality and quality of a Cisco console cable!

Also: On the internet I read in far too many forums that the technical support from Linksys is as good as no technical support. I’m glad that I didn’t need it.

• / (slash) to separate username and password
• @ (at) to separate the TNS descriptor string

If you need to use those characters literally in the logon string, you need to tag them with literal double quotes (literal means: the quotes need to be passed to SQL*Plus, I’m not talking about the UNIX shell):

• Less readable:

  $ sqlplus USER/\"PASS/WORD\"

• More readable:

  $ sqlplus USER/'"PASS/WORD"'

In the past, all storage migration operations there had two problems that lead to downtime:

• CRS votedisk migration at best only with offline CRS
• kick old devices from the device management in the operating system

In December I migrated the system to something more modern

• SLES11
• Oracle Grid Infrastructure (CRS/ASM) 11.2
• Oracle Database 10.2.0.5 (yes, still quite old, but it has to be a 10.2 for now)

The use of a modern Linux kernel (especially a modern SCSI stack) and 11gR2 infrastructure fixed all my trouble from the past.

Votedisk

With 11gR2 Grid Infrastructure, the clusterware manages its vital files (VD, OCR) using an ASM instance. A migration of the ASM diskgroups holding these files is now as easy as a migration of a normal diskgroup. ASM takes care of moving the votedisks and the OCR and collaborates with CRS here.

Linux devices

The new Linux kernels with a finally sane SCSI stack and native multipathing helps with the second problem. It’s not a problem anymore to remove old device references from the stack:

• deconfigure the devices from multipathd (not needed technically, since multipathd itself holds no device references)
• remove the device references from the Linux device mapper

  # see /dev/mapper/* for the name
  dmsetup remove mpathX

• remove the LUNs from the SCSI stack

  # X:X:X:X LUN number
  echo 1 > /sys/bus/scsi/X:X:X:X/delete

After that, you can safely edit the FC zone – no errors should occur in any logs.

Regards and best online-wishes for 2011 fly to (the order doesn’t matter)

• my family
• my girlfriend
• USN (+extra wishes for his family)
• WAGER
• my collegues at work
• regulars of the IRC channel #bash on the Freenode Network
• …uhm… greybot!
• regulars of the IRC channel #linux-forum.de on the Freenode Network
• regulars of Linux-Forum.de
• the Ekiga team
• Damien and his new life
• regulars on the bug-bash mailinglist
• Urban Terror guys from FMD
• members of the LUG Mitterteich
• everybody I was able to help with the Bash Hackers Wiki
• …and all the other online-people that don’t come to my mind right now – I’m in a hurry, sorry

ALTER SYSTEM SWITCH LOGFILE;

In a RAC with some more nodes, it can be quite disturbing to do that on all instances.

When you inspect the protocol files of the right services, you will find another, undocumented method:

ALTER SYSTEM SWITCH ALL LOGFILE;

This works at least on 10.2.0.5. Since it’s undocumented, I can’t tell you under which circumstances this command works or not, but it looks like always possible. Please find out yourself and let me know.

Leute, ganz ehrlich, wenn diese Dokumente schützenswert und geheim sind sollten sie vielleicht besser geschützt werden? Das geht doch auf keine Kuhhaut: Ein riesen Sicherheitsloch im eigenen Bau und dann rumweinen dass Wikileaks ja so kriminell ist?

Wie albern.

Vielleicht kann man jetzt auf urige Anschuldigungen warten, mit denen dann die Geheimdienste der Welt Wikileaks zerlegen dürfen, oder 80 US Divisionen marschieren in die Serverräume von Wikileaks ein und suchen ominöse C-Waffen, oder so… Vielleicht findet man auch den grossen bösen Wikileaks-Diktator den man dann medienwirksam hängen kann. Ausserdem ist das ein Bündnisfall und die gesamte westliche Welt muss in den Wikileaks Krieg ziehen.

Nebenbei: Mir ist klar dass die aussenpolitischen Partner und Gegner realistisch eingeschätzt werden müssen, das ist nicht der Punkt. Ich finde den Inhalt dieser Dokumente nicht wirklich überraschend. Lustig ist nur wie kindisch die Grossmacht USA jetzt rumbrüllt dass das ja alles so “kriminell” sei. Kriminell ist ihr Sicherheitsloch, ja, aber nicht die Veröffentlichung. Wie gesagt, wenn das Zeug so geheim und wichtig ist, sollen sie es schützen. Ich hoffe das tun sie wenigstens mit ihren A-Bomben – denn auf deren “Veröffentlichung” bin ich nicht scharf.

Und – ganz im Trend der Zeit – wird vielleicht die Freiheit im Netz und die Grundlage für solche Publikationen wie bei Wikileaks (zusammen mit Meinungen in diversen Blogs und anderen “gefährlichen” Erscheinungen im Internet) abgeschafft: Schliesslich muss man ja seine Bürger vor staatskritischen Meinungen von Terroristen schützen.

(nein, ich bin noch nicht ganz wach und etwas angefressen, vielleicht wird das ja nach dem nächsten Kaffee besser )

UPDATE-01: 30.11.2010 07:15

Die letzten paar Tage ist eine regelrechte Cyber-Hetzjagd gegen Wikileaks entbrannt. Da werden Domains gesperrt, Server zugemacht, PayPal Konten gesperrt usw. Da muss man sich schon fragen, in welcher Welt wir eigentlich leben – und die deutsche Regierung macht da bestimmt gerne mit.

Einen interessanten Satz habe ich unter einem Tagesschau.de-Artikel in den Kommentaren gelesen – der spricht eigentlich Bände über diesen derzeitigen Wahnsinn: Ein tausendstel dieses Aktionismus hätte ich mir gegen Kinderpornographie gewünscht.

Ich kann anhand der ausgeführten Aktionen nur vermuten, dass bei manchen Leuten gerade die Nerven blank liegen – ob die wohl um ihre Karriere fürchten müssten?

UPDATE-02: 04.12.2010 13:29

Nur ein Link: http://www.state.gov/r/pa/prs/ps/2010/12/152465.htm

Zusammenfassend: Die Vereinigten Staaten freuen sich mitteilen zu dürfen dass sie den internationalen Tag der Pressefreiheit 2011 der UNESCO ausrichten.

UPDATE-03: 09.12.2010 12:55

Anscheinend hat PayPal die eingefrorenen Beträge freigegeben. Link zu tagesschau.de: http://www.tagesschau.de/ausland/assange154.html

Aber irgendwie kann ich mir trotzdem nicht ganz vorstellen dass einem Riesen wie PayPal ein paar tausend geschlossener Konten wirtschaftlich was ausmachen. Trotzdem eine interessante Reaktion.

UPDATE-03: 09.12.2010 15:47

Ob diese Petition irgendwas bewegen wird? Wahrscheinlich nicht. Siehe http://www.avaaz.org/en/wikileaks_petition

UPDATE-04: 10.12.2010 10:27

Irgendwie scheint sich auch die UN besorgt über den Wahnsinn geäußert zu haben. Vielleicht gibt es ja doch noch vernünftige Institutionen?

UPDATE-05: 14.12.2010 13:01

Julian Assange ist Readers’ Choice for TIME’s Person of the Year 2010

Grundsätzlich wäre aber interessant wie seine derzeitige Dreiecksbeziehung GB/SE/US läuft und ausgeht

UPDATE-06: 18.12.2010 13:07

Schon einige Tage nichts mehr geschrieben

Kurzfassung der interessantesten Dinge:

• Assange ist doch nicht TIME’s Person of the year
• Assange ist auf Kaution frei und befindet sich noch in GB
• Amerikanischer Politiker Bob Beckel ruft auf FOX News zur “illegalen Tötung” von Assange auf (wow…)

• GNU Batch (ehem. XI Batch)
• SOS Scheduler

GNU Batch

GNU Batch ist eigentlich ein uraltes Produkt (Anfang der 90er) das zwischenzeitlich nur den Namen gewechselt hat und bei der Versionierung wieder bei 1 angefangen hat.

PRO

• stabiler Kern
• Prinzip Multiprozess + SHM
• portabel – “could go mostly wherever Unix went” (C/GNU Autotools, GTK+, Motif)
• Globale (Scheduler-weit oder Cluster-weit), atomar nutzbare Variablen (geeignet zum Chaining und als “Job-IPC”)
• saubere Dokumentation über Recoverymöglichkeiten des Scheduler-Status beim Crash (Auslesen des SHM Segmentes, etc.)
• saubere Dokumentation des C-API (und sauberes API, keine Tricks für 3rd-Party Programme nötig, um den Scheduler zu beeinflussen)
• Benutzer- Variablen- und Job-Rechtevergabe
• Jobs haben Benutzer- und Gruppenattribute (“Ausführen als”)

CONTRA

• umständlich zu installieren, falls man kein Binärpaket hat (Debian Pakete sind in Arbeit)
• umständliche User Interfaces
• keine (direkte) “Job Chain” Unterstützung
• kleinere Bugs/Unschönheiten (aber nicht im Kernsystem), auch in Arbeit
• läuft Im Kontext der UID 0 (was aber u.A. benötigt wird für verschiedene Benutzerumgebungen)

SOS Scheduler

PRO

• gutes User Interface
• portabel (JAVA)
• direkte Unterstützung von Job Chains

CONTRA

• (für mich als Techniker) nicht so ohne Weiteres intuitiv nachvollziehbar und bedienbar (wann sind wo welche Jobs einzutragen, wieso geht das an tausend verschiedenen Stellen, Hot Folders, statische Konfiguration, etc. etc.)
• Relativ Komplexe Konfiguration, fast wie ein Vollnormalisiertes Datenbankschema, was technisch vielleicht elegant sein mag, aber praktisch ggf. überladen ist
• keine Sperrungen gegen gleichzeitiges Starten von Schedulern mit ein- und derselben Schedulerdefinition
• keine sauberen Fehlermeldungen (mann muss sich durch den JAVA Stacktrace durchbuddeln… und man findet dann irgendwo eine Methode deren Name irgendwas mit “display” zu tun hat – aha, X11 Display kann nicht geöffnet werden)
• keinerlei Dokumentation über Verhalten und Recovery beim Crash der JVM (wahrscheinlich auch nicht möglich nach Crash der JVM – alles was nicht schon in den XML-Dateien ist, ist verloren)
• keine “Multi-JVM” Architektur (ähnlich Multiprozess), d.h. Crash der JVM führt ggf. zum Komplettstillstand des Schedulers, recoverymöglichkeit vage
• man muss sich ein Bein ausreissen um Jobs in verschiedenen Benutzerumgebungen zu starten (eigenes SUID Programm, etc..)

Fazit für mich persönlich

• GNU Batch ist der technisch ausgereiftere und besser gehärtete Scheduler
• die Dokumentation über Recovery nach Crash zeugt von jahrelangem Praxiseinsatz (kein Mensch programmiert Tools zum Auslesen des SHM gleich bei der ersten Version)
• SOS Scheduler ist weitaus besser zu bedienen (aber in Teilen auch etwas umständlicher)
• GNU Batch kann ich selbst supporten und fixen und diese Fixes auch anderen zukommen lassen (ich kann C, aber kein JAVA)
• für GNU Batch kann ich ggf. selbst ein GUI schreiben, da das angebotene API der offiziellen API Library völlig ausreicht (auch netzwerkfähig)

Anfangs hat es genau anders herum ausgesehen, aber ich habe mich (shame on me!) von einem GUI blenden lassen und habe völlig ignoriert, dass die Kernaufgabe eines Schedulers das Scheduling ist. Weiter graben werde ich daher im GNU Batch Scheduler.

Nachsatz

Bevor jetzt Beschwerden aus der einen oder anderen Richtung kommen, oder von irgendwelchen Benutzern die mir sagen wollen das wäre doch alles ganz anders und ich hätte den Kern verfehlt: Dies ist nur ein Report wie ich für mich persönlich in einem kleinen Vergleich einen Kandidaten herausgefunden habe, bei dem es sich eher zu lohnen scheint tiefer zu graben als bei einem anderen Kandidaten. Andere Tester mögen (auch aus anderen Gründen oder duch andere Sichtweisen) zu anderen Ergebnissen kommen.

Hier geht es nicht darum, GNU Projekte zu verherrlichen und/oder SOS Software schlecht zu machen (nur um es mal gesagt zu haben).