Inhaltsverzeichnis
Sheepdog
Website: http://www.osrg.net/sheepdog/
Sheepdog ist ein Distributed Storage System für QEMU. Es bietet hochverfügbaren Storage auf Block-Ebene für virtuelle Maschinen. Das heißt, der Speicherplatz für die virtuellen Festplatten wird auf mehrere Sheepdog-Server (Nodes) gespiegelt. Es gibt keinen zentralen Server. Sheepdog skaliert bis zu hunderten Nodes und unterstützt erweiterte Volumen-Management-Funktionen wie Snapshots, Cloning und Thin Provisioning. Die Clients brauchen sich nicht darum zu kümmern, auf welchen Nodes die jeweiligen Blöcke gespiegelt werden. Die Kommunikation der Nodes erfolgt über die Corosync Cluster Engine (http://www.corosync.org). Corosync ist ein Fork des OpenAIS-Projektes und stellt eine Kommunikationsschicht für verteilte Anwendungen zur Verfügung. Mit Hilfe des Totem-Protokolls wird eine fehlertolerante Multicast-Kommunikation realisiert.
Installation
Zur Installation sind eine oder mehrere x86-Maschinen (64-Bit) notwendig. Auf einen Sheepdog-Node kann auch QEMU ab Version 0.13 installiert sein. Zu empfehlen sind mindestens drei Nodes. Für eine Testumgebung ist die Installation in virtuellen Maschinen möglich. In diesem Beispiel werden zunächst zwei Nodes mit den IP-Adressen 192.168.1.201 (Node01) und 192.168.1.202 (Node01) verwendet. Auf dem Rechner Host läuft QEMU. Auf diesem Computer soll später acuh Sheepdog installiert werden.
Per Default verwendet Sheepdog das Verzeichnis /var/lib/sheepdog zum Speichern der Daten. Dieses Verzeichnis ist auf den Nodes jeweils als separate Partition anzulegen. Da die Daten der Images auf allen Nodes kopiert werden, diese Partition entsprechend groß zu wählen. Das Eininden der Partition muss mit dem XATTR-Support erfolgen. In diesem Beispiel wird als Dateisystem ext4 verwendet. In der Datei /etc/fstab ist dazu statt defaults die Option user_xattr einzutragen. Manuell wird diese Mount-Option mit diesem Befehl hinzugefügt:
Node01 ~$ sudo mount -o remount,user_xattr /var/lib/sheepdog
Neben einem Kernel ab Version 2.6.27 wird glibc ab Version 2.9, Corosync und libcorosync-dev benötigt. Zuerst wird corosync installiert. Unter Debian/Ubuntu erfolgt dies mit diesem Befehl:
Node01 ~$ sudo apt-get install corosync libcorosync-dev
Für Red Hat, CentOS und Fedora ist folgender Befehl anzuwenden.
Node01 ~$ sudo yum install corosynclib-devel
Unter Ubuntu ist in der Datei /etc/default/corosync die Variable START mit dem Wert yes zu definieren. Corosync ist zu starten. Bei Problemen sind die Einträge in der Log-Datei zu analysieren. Die Log-Datei wird in der Konfigurationsdatei /etc/corosync/corosync.conf definiert.
Node01 ~$ sudo service corosync start
Node01 ~$ ps aux | grep corosyn[c]
Läuft Corosync auf allen Nodes, wird Sheepdog installiert. Ist kein entsprechendes Paket vorhanden, sind die Quellen zu kompilieren. Dazu sind diese Pakete notwendig:
Node01 ~$ sudo apt-get install git-core automake libtool
Node01 ~$ sudo apt-get install libc6 libc6-dev pkg-config
Node01 ~$ sudo apt-get install debhelper
Die Quellen werden heruntergeladen und kompiliert. Für Linux-Distributionen mit RPM-Paketmanagement steht der Befehl make rpm zur Verfügung. Dieser ist hier statt make install anzuwenden.
Node01 ~$ mkdir -p ~/source
Node01 ~$ cd ~/source
Node01 ~$ git clone git://sheepdog.git.sf.net/gitroot/sheepdog/sheepdog
Node01 ~$ cd sheepdog
Node01 ~$ ./autogen.sh
Node01 ~$ ./configure
Node01 ~$ sudo make install
Node01 ~$ cd -
Auf jedem Node ist der Sheepdog-Daemon zu starten.
Node01 ~$ sudo service sheepdog start
Node01 ~$ service sheepdog status
Sheepdog legt Unterverzeichnisse und eine Log-Datei an.
Node01 ~$ ls /var/lib/sheepdog/
epoch journal obj sheep.log
Damit Sheepdog automatisch beim Boot-Vorgang gestartet wird, sind entsprechende Symlinks zu setzen.
Node01 ~$ sudo ln -s /etc/init.d/sheepdog /etc/rc1.d/K06sheepdog
Node01 ~$ sudo ln -s /etc/init.d/sheepdog /etc/rc6.d/K06sheepdog
Node01 ~$ sudo ln -s /etc/init.d/sheepdog /etc/rcS.d/S60sheepdog
Node01 ~$ sudo reboot
Node01 ~$ ps aux | grep shee[p]
Zur Administration von Sheepdog dient der Befehl collie (Sheepdog Administrator Utilty).
Node01 ~$ collie –help
Usage: collie command subcommand [options] Sheepdog Administrator Utilty Command syntax: cluster (info|format|shutdown) node (info|list) vdi (list|tree|graph|delete|object|setattr|getattr) Common parameters: -a, --address specify the daemon address (default: localhost) -p, --port specify the daemon port -h, --help display this help and exit
Die Nodes lassen sich auflisten. Mit der Default-Konfiguration sieht aber jeder Node nur sich selbst.
Node01 ~$ collie node list
Idx - Host:Port Number of vnodes
------------------------------------------------
* 0 - 127.0.0.1:7000 64
Um dies zu ändern, muss auf allen Nodes in der Datei /etc/corosync/corosync.conf die IP-Adresse des Nodes hinter bindnetaddr: eingetragen werden. Beispiel Node01:
# /etc/corosync/corosync.conf
# man openais.conf
totem {
version: 2
token: 3000
token_retransmits_before_loss_const: 10
join: 60
consensus: 5000
vsftype: none
max_messages: 20
clear_node_high_bit: yes
secauth: off
threads: 0
rrp_mode: none
interface {
ringnumber: 0
bindnetaddr: 172.16.0.0
# bindnetaddr: 127.0.0.1
bindnetaddr: 192.168.1.201
mcastaddr: 226.94.1.1
# Sende-Port=5404, Empfangs-Port=5405
mcastport: 5405
}
}
amf {
mode: disabled
}
service {
ver: 0
name: pacemaker
}
aisexec {
user: root
group: root
}
logging {
fileline: off
to_stderr: yes
to_logfile: no
to_syslog: yes
syslog_facility: daemon
debug: off
timestamp: on
logger_subsys {
subsys: AMF
debug: off
tags: enter|leave|trace1|trace2|trace3|trace4|trace6
}
}
Nach einem Neustart werden alle Nodes aufgelistet. Die Identifizierung eines Nodes erfolgt über eine eindeutige ID.
Node01 ~$ sudo reboot
Node01 ~$ collie node list
Idx - Host:Port Number of vnodes
------------------------------------------------
* 0 - 192.168.1.201:7000 64
1 - 192.168.1.202:7000 64
Das Sheepdog-Cluster ist zu formatieren. Dies erfolgt auf einem Node mit dem Befehl collie cluster format. Hinter –copies= ist die Anzahl der Nodes anzugeben. Da neben den zwei Nodes auch Sheepdog auf dem QEMU-Rechner installiert werden soll, ist hier der Wert 3 vorzugeben.
Node01 ~$ collie cluster format –copies=3
Der Status des Clusters wird auf beiden Nodes überprüft.
Node01 ~$ collie cluster info
running
Node02 ~$ collie cluster info
running
Verwalten von Images
In diesem Beispiel wird ein Image auf dem Cluster angelegt, wobei die Adressierung über den Hostnamen Node01 erfolgt. Das Port ist 7000.
Host ~$ qemu-img create sheepdog:Node01:7000:Platte.img 1G
Ein Sheepdog-Image wird in diesem Beispiel auf die lokale Platte kopiert.
Host ~$ qemu-img convert sheepdog:Node01:7000:Platte.img Platte.img
In diesem Beispiel wird ein vorhandenes Image in den Sheepdog-Cluster importiert. Es ist egal, ob hier Node01 oder Node02 verwendet wird.
Host ~$ qemu-img convert ReactOS.img sheepdog:Node02:7000:ReactOS.img
Das Gast-System auf dem importierten Sheepdog-Image wird gestartet. Es ist auch hier egal, ob Node01 oder Node02 verwendet wird.
Host ~$ qemu sheepdog:Node01:7000:ReactOS.img
VM-Snapshots lassen sich wie bei dem Format qcow2 anlegen. Der Name des neuen Snapshots ist hier vor_PatchDay.
Host ~$ qemu-img snapshot -c vor_PatchDay sheepdog:Node01:7000:ReactOS.img
Zum Booten mit dem Zustand eines VM-Snapshots hängt man dessen Namen an.
Host ~$ qemu sheepdog:Node01:7000:ReactOS.img:vor_PatchDay
Eine Overlay-Datei wird wie folgt generiert:
Host ~$ qemu-img create -b sheepdog:Node01:7000:ReactOS.img:vor_PatchDay \
sheepdog:Node01:7000:ReactOS.ovl
Zum Auflisten der virtuellen Festplatten dient der Befehl collie vdi list. Diese Befehl muss auf allen Nodes identische Ausgaben liefern.
Node01 ~$ collie vdi list
name id size used shared creation time vdi id ------------------------------------------------------------------ Platte.img 1 1.0 GB 0.0 MB 0.0 MB 2011-07-08 09:39 31040a s ReactOS.img 1 5.0 GB 192 MB 0.0 MB 2011-07-08 12:32 6634af ReactOS.img 2 5.0 GB 0.0 MB 192 MB 2011-07-08 12:46 6634b0 ReactOS.ovl 1 5.0 GB 0.0 MB 192 MB 2011-07-08 12:55 f92ee7
Mit dem Befehl collie vdi tree werden die Images mit Snapshots baumartig dargestellt.
Node01 ~$ collie vdi tree
Platte.img—(You Are Here)
ReactOS.img—[2011-07-08 18:32]—(You Are Here)
ReactOS.ovl—(You Are Here)
Eine grafische Darstellung wird durch den Befehl collie vdi graph ermöglicht.
Node01 ~$ collie vdi graph > grafik.dot
Aus der generierten Datei erzeugt das Tool Graphviz Grafik-Dateien. Dies kann auf einen beliebigen Rechner erfolgen.
~$ sudo apt-get install graphviz
~$ dot -Tgif grafik.dot -o grafik.gif
Ein QEMU-Host als Sheepdog-Node
Sind die Tests mit Sheepdog erfolgreich verlaufen, wird auch Sheepdog auf dem QEMU-Host installiert und in das Cluster eingebunden. Dazu sind obige Installationsschritte auf dem Host abzuarbeiten. Das Formatieren des Cluster mit dem Befehl collie cluster format ist nicht notwendig, wenn hinter –copies= bereits die entsprechende Anzahl angegeben wurde. Nach erfolgreicher Installation wird der Rechner Host als dritter Node aufgelistet.
Node01 ~$ collie node list
Idx - Host:Port Number of vnodes
------------------------------------------------
0 - 192.168.1.100:7000 64
1 - 192.168.1.201:7000 64
* 2 - 192.168.1.202:7000 64
Die Adressierung der Sheepdog-Images vereinfacht sich. Die jeweilige Angabe des Nodes und dessen Port können entfallen.
Ausfall eines Nodes
Bei Ausfall eines Nodes wird der Betrieb der virtuellen Maschine nicht gestört.
Host ~$ qemu sheepdog:ReactOS.img
Node01 ~$ sudo halt
Steht der Node wieder zur Verfügung, werden dessen Sheepdog Daten aktualisiert.
NBD-Unterstützung
Zur Unterstützung von Network Block Devices (http://qemu-buch.de/d/Speichermedien/_Network_Block_Devices) wird qemu-nbd mit dem Image gestartet.
Host ~$ qemu-nbd -t -k /var/lock/qemu-nbd sheepdog:ReactOS.img
Host ~$ qemu -hda nbd:unix:/var/lock/qemu-nbd