Softwarový RAID a LVM

hardware
Softwarový
RAID a LVM
Piotr Wolny
S
tále více našich počítačů je vybaveno více než jedním pevným
diskem. Obvykle na nich
vytváříme několik oddílů, protože GNU/Linux nám umožňuje připojování různých částí souborového systému
(např. /usr nebo /home) z nezávislých
zařízení. Tím ale nekončí možnosti využití
pevných disků v GNU/Linuxu. Již dlouho
tento systém podporuje dva pokročilé mechanismy ukládání dat: Softwarový RAID a Logical Volume Manager.
S jejich použitím můžeme zvětšit výkonnost disků, a také zvýšit bezpečnost uložených dat. I když se Softwarový RAID
a Logical Volume Manager (LVM) často
spojují s velkými servery vybavenými
desítkami disků, s úspěchem je můžeme
použít také v domácích počítačích vybavených dvěma či třemi pevnými disky.
Navíc je LVM užitečný i při použití
s jedním diskem.
rámeček Úrovně RAID. Obecně RAID
umožňuje:
• zvětšení bezpečnosti dat, pokud
využíváme „nadbytečné” disky (bez
nadbytečných disků je náš RAID více
náchylný k havárii než samostatné
disky);
• rychlost čtení a zápisu dat se zvyšuje, pokud použijeme stripping na
dva nebo více nezávislých fyzických
zařízení;
• spojení několika nezávislých zařízení v jeden souborový systém může
zvětšit pohodlí při administraci
systému na určitých konfiguracích.
Pamatujme však na to, že RAID má jisté
hranice:
• jednou vytvořené zařízení RAID
nemůže být rozděleno na oddíly, což
RAID a LVM
DVD
Po spuštění Linux+ Live DVD
je možno otestovat probíranou
problematiku.
Na DVD disku
Na DVD disku se nachází
programy popisované v článku.
54
leden 1/2005
Historicky je starším zařízením softwarový RAID. Idea Redundant Arrays of Inexpensive Disks není tak stará, protože
pochází z roku 1987. Tehdy byla vypracována koncepce spojení mnoha levných
disků v jedno velké a rychlé zařízení. Aby
havárie jednoho z nich nezpůsobila ztrátu
dat na celé matrici, byl v koncepci použit
„nadbytečný” disk (anglicky redundant) nezbytný pro rekonstrukci dat
v případě havárie. Tradiční RAID se
vytváří hardwarově, nejčastěji spojením SCSI disků, které jsou po připojení
k počítači viditelné jako jedno zařízení.
GNU/Linux nám umožňuje vybudování
RAID softwarovým spojením do pole
a mohou to být zároveň zařízení SCSI,
IDE stejně jako SATA. Pro informace o
různých typech RAID polí si přečtěte
Obrázek 1. V GNU/Linuxu můžeme disky
různého typu spojovat do jednoho zařízení
RAID nebo LVM
softwarový raid a logical volume manager
občas způsobuje potřebu konfigurování několika RAID zároveň;
• jednou vytvořený RAID nemůže být
rozšířen o více disků.
Díky RAID, co počítač vidí jako jedno
blokové zařízení, může být ve skutečnosti
kombinace několika oddílů na různých
pevných discích. Logical Volume Manager jde o mnoho dále. Jím zpřístupněné
blokové zařízení se může fyzicky
nacházet na libovolném množství disků
nebo oddílů ale je umožněno jejich
zvětšování, zmenšování nebo přenášení. Funguje to tak, jakoby jedna tabulka rozdělení obsahovala nejenom několik
disků, ale také umožňovala přidávání/
odstraňování, zvětšování/zmenšování oddílů bez jakékoliv přestávky při fungování systému – často také bez odpojení
oddílů. Možné je také přidávání dalších
disků. Shrneme-li to, díky LVM dostaneme:
• celkovou svobodu v přidělování fyzických disků nebo oddílů jako blokových zařízení v systému (např. zařízení připojené jako /home se může
skládat z jednoho IDE disku a poloviny SCSI disku);
• možnost jednoduchého zvětšování a
zmenšování (pokud to systém souborů umožňuje) zařízení viděných operačním systémem a jejich přenášení
mezi disky (to zahrnuje také možnost
jednoduchého přidávání a odebírání
disků do systému);
• rozdělení (anglicky stripping) dat na
dvě nebo více nezávislých zařízení
pro zvětšení výkonu;
• funkci zjednodušující pořizování bezpečnostních záloh (snapshot).
Vadou linuxového LVM je chybějící podpora “nadbytečných” disků, ale můžeme
jej propojit se softwarovým RAID-1 pro
dodatečnou bezpečnost.
Vytváříme softwarový
RAID
Softwarový RAID můžeme založit na nejméně dvou libovolných oddílech. Aby to
celé mělo nějaký smysl, měly by se oddíly
nacházet na samostatných discích. Vytvoření RAID na dvou oddílech jednoho
disku nezvětší bezpečnost dat ani nezrychlí diskové operace. Do jednoho RAID
pole můžeme spojit oddíly z úplně odlišných disků např. IDE, SCSI nebo SATA
ale zpravidla bude tento hybrid pracovat
rychlostí nejpomalejšího z nich. Pokud
chceme spojit dva IDE disky, měly by
se nacházet na různých IDE kanálech,
pokud budou připojeny jedním kabelem,
zpozorujeme výrazný pokles výkonu.
Softwarový RAID je realizován přímo
jádrem systému. Jádro musí obsahovat podporu pro RAID. Při konfiguraci
jádra, v části Multi-device support (RAID
and LVM), musíme označit RAID support
a požadované módy RAID pole (můžeme
označit všechny). Nejlepší je zkompilovat do jádra podporu RAID pole natrvalo. Nemusíme také sami kompilovat jádro
Obrázek 2. Ovladače RAID a LVM najdeme v linuxovém jádře
hardware
RAID a LVM při instalaci
distribuce
Instalátory většiny moderních distribucích
umožňují vytvoření zařízení RAID a LVM
již při instalaci GNU/Linuxu. Například
v Aurox Linuxu postačí, pokud vybereme volbu Ruční vytvoření oddílů, pomocí
programu Disk Druid budeme moci
vytvořit RAID, LVM či dokonce LVM na
RAID. V novějších verzích Mandrakelinuxu musíme vybrat ruční rozdělení
na oddíly a později se navíc ještě přepnout do rozšířeného módu. Instalátor
této distribuce má podobné možnosti,
ale vypadá to tak, že neumožňuje vytvoření LVM na RAID.
Pokud víme jak fungují zařízení RAID
a LVM, jejich vytvoření s pomocí některého z těchto instalátorů by nemělo činit
žádné problémy. Například abychom
vytvořili RAID v Aurox Linuxu, klikneme na RAID, vybereme první z disků
a označíme Vytvořit oddíl softwarového
RAID. Následně to stejné opakujeme
pro další disky. Nakonec ještě jednou
klikneme na RAID a vybereme Vytvořit
zařízení RAID. Pak budeme moci zadat
jeho typ, bod připojení a systém souborů, který na něm bude vytvořen. LVM
vytváříme podobně – nejdříve vytvoříme
jeden nebo několik oddílů typu physical
volume LVM a později klikneme na LVM
a vytvoříme příslušné logické svazky.
Mé zkušenosti s tvořením RAID
a LVM s těmito instalátory distribucí nejsou dobré. Doporučuji instalaci na
tradiční zařízení a teprve později vytvoření RAID nebo LVM a následný přenos
příslušných adresářů.
a můžeme se spolehnout to dodávané
s distribucí. Většina novějších distribucí
najdeme moduly linear, raid0, raid5 atd.,
nutné pro práci pole. Stačí použít příkaz
cat /proc/mdstat a zjistíte, zda to vaše
obsahuje podporu pro softwarový RAID.
Pokud se zobrazí hlášení o chybějícím
souboru, musíme si jádro nakonfigurovat
a zkompilovat sami.
Softwarový RAID je v jádře GNU/
Linuxu již dlouhou dobu – je standardně přítomna v jádrech série 2.4.x
a 2.6.x, ale existují také možnost použití
s jádry 2.2.x a dokonce i 2.0.x. Všechny
zde popisované činnosti jsem prováděl
na jádře 2.6.9, měli by vypadat identicky i ve starších verzích jádra zahrnujíc
v to sérii 2.4.x.
Mimo podpory v jádře systému
budeme potřebovat ještě dva balíčky:
mdadm a raidtools (v Debianu – raid-
www.lpmagazine.org
55
hardware
tools2). Ten první obsahuje nástroje pro aktivování a zastavování RAID
zařízení a druhý přidává základní
nástroje pro tvorbu polí. Tyto balíčky
najdete ve všech populárních linuxových distribucích.
Řekněme, že náš operační systém
je nainstalován na disku sda a na RAID
chceme využít IDE disky: hda a hdd.
Na obou discích jsme vytvořili oddíl,
přičemž na RAID mají být určeny
hda2 a hdd2. Předtím než začneme
vlastní nastavování, můžeme si otestovat rychlost těchto disků před tím, než
z nich uděláme pole. Jak dobře otestovat výkonnost disků s využitím programu Bonnie++, popisuji v rámečku
Jak testovat disky? Při návrhu systému,
ve kterém hraje důležitou roli výkonnost disků, je dobré se řídit doporučeními programu Bonnie++ nebo podobného. V tomto článku, abych rychle a
názorně ukázal rozdíly mezi konfiguracemi RAID využiji program dd.
Například po vytvoření oddílu hda2
souborového systému ext2, jeho připojení na /mnt/test/ jsem spustil příkaz:
cd /mnt/test; dd if=/dev/zero of= vymaz_ mne count=2000000.
Jako výsledek
jsem obdržel následující rychlost lineárního zápisu jednoho velkého souboru:
1024000000 bytes transferred
in 28,490542 seconds (35941752 bytes/sec)
Při využití souborového systému ext3
vzrostl čas potřebný na vykonání této
operace narostl na 32,8 sekundy.
RAID-0
Nejdříve vyzkoušíme RAID-0. Abychom
jej vytvořili, musíme vytvořit soubor /etc/
raidtab. Nejdříve do něj zapíšeme následující řádky:
raiddev /dev/md0
raid-level
0
nr-raid-disks
2
persistent-superblock 1
chunk-size
4
device
/dev/hda2
raid-disk
0
device
/dev/hdd2
raid-disk
1
při zápisu do pole (není možno jednoznačně říci, jaká hodnota zajistí nejlepší
výkon, ale zjednodušeně můžeme říci,
že bude rovna block size našeho souborového systému). Dále vyjmenováváme
a číslujeme použité oddíly.
Dalším krokem je změna identifikátorů oddílů s užitím programu fdisk, na
kterých bude pole pracovat. Měli by být
typu fd, čili Linux raid auto. Bez tohoto
úkonu bude pole pracovat, ale nebude
automaticky detekováno jádrem systému.
Když máme všechno hotovo, spustíme příkaz mkraid /dev/md0. Samozřejmě, že jeho spuštěním přijdeme o všechna data, která jsme měli na oddílech vyjmenovaných v /etc/raidtab. Jako výsledek
bychom měli obdržet něco takového:
handling MD device /dev/md0
Jak je vidět, soubor není komplikovaný.
První řádek popisuje, kterého zařízení se
tato konfigurace týká. Za md0 můžeme
mít libovolné množství jiných zařízení (samozřejmě by se měly nacházet na
jiných oddílech). Volbou raid-level nastavujeme typ pole, v tomto případě RAID-0
čili stripe. V nr-raid-disk zadáváme kolik
oddílů má fungovat v tomto zařízení; persistent-superblock způsobí, že v superblocích zadaných později budou zapsány
informace potřebné pro automatické rozpoznání pole při spouštění jádra systému;
chunk-size nastavuje na jaké nejmenší
jednotky v kilobajtech budou dělena data
analyzing super-block
disk 0: /dev/hda2, 14659312kB,
raid superblock at 14659200kB
disk 1: /dev/hdd2, 18922680kB,
raid superblock at 18922560kB
Jak vidíme, mimo to, že se oddíly liší
velikostí, bylo pole vytvořeno. Teď si jej
můžeme prohlédnout pomocí příkazu
cat /proc/mdstat. Měli bychom spatřit
například něco takového:
Personalities : [linear] [raid0]
[raid1] [raid5] [raid6] [raid10]
md0 : active raid0 hdd2[1] hda2[0]
33581760 blocks 4k chunks
unused devices: <none>
Od této chvíle pracujeme se zařízením
/dev/md0 jako s oddílem pevného disku.
Můžeme např. použít příkazy:
# mkfs.ext3 /dev/md0
# mount /dev/md0 /mnt/test/
# cd /mnt/test/
# dd if=/dev/zero of=vymaz_mne count=2000000
Na mém systému tento rychlý test zobrazil:
1024000000 bytes transferred
in 18,410448 seconds (55620591 bytes/sec)
Obrázek 3. Všechny potřebné informace pro vytvoření RAID a LVM můžeme nalézt
v angličtině v příslušných HOWTO
56
leden 1/2005
Vidíme skoro dvojnásobný nárůst
rychlosti zápisu tohoto souboru (z 32,8
na 18,4 sekundy). Podobné pole vytvořené
v mém počítači na discích SATA si se
zápisem poradilo za 14 sekund.
Tímto způsobem jsme získali zařízení, které by mělo fungovat značně rychle-
hardware
softwarový raid a logical volume manager
ji než samostatný disk, jak při operacích
čtení tak při zápisu. Můžeme jej připojit
v libovolném místě systému souborů, ve
kterém se objevuje intenzivní používání
disků např. v /var/www. Stačí pouze patřičný zápis do /etc/fstab a přenesení starých dat na nové zařízení. Pokud chceme
použít pole v několika různých částech
souborového systému, musíme přidat více
disků nebo již vlastněné disky rozdělit na
více oddílů, následně je definovat
v /etc/raidtab další zařízení /dev/md1,
md2 atd., všechny inicializovat (mkraid),
naformátovat a připojit.
Pokud jsme správně nainstalovali balíčky mdadmin a raidtools, měly by
skripty odpovědné za zamykání systému
zastavit pole (vykonat příkaz raidstop s
příslušnými parametry), než budou naše
disky odpojeny. V mnoha distribucích
bude také fungovat odeslání upozorňovacího e-mailu administrátorovi systému
o havárii některého z disků. Zmiňované
balíčky mají ještě několik dalších funkcí
– je dobré prohlédnout si jejich konfigurační soubory v adresářích /etc/default/ a
/etc/mdadm/.
RAID-1
Řekněme, že jsme se rozhodli změnit
svou konfiguraci, vytvořením RAID-1
místo RAID-0 – je nutno říci, že teprve
RAID-1 je skutečným RAID, protože
v RAID-0 nejsou „nadbytečné” disky. Než
začneme vytvářet nové zařízení, musíme
deaktivovat předchozí. Prvním krokem
je odpojení souborových systémů v poli
(např. umount /var/www). Následně provedeme příkaz raidstop /dev/md0. Teprve
teď můžeme změnit nastavení oddílů
na discích a vytvořit nové pole. Pokud
tyto kroky neprovedeme ani konfigurace nového pole ani změny v nastavení oddílů nebudou trvalé a navíc mohou
způsobit nenávratnou ztrátu dat.
Konfigurační soubor /etc/raidtab
pro RAID-1 je identický s použitým pro
RAID-0:
raiddev /dev/md0
raid-level
1
nr-raid-disks
2
persistent-superblock 1
chunk-size
4
device
/dev/hda2
raid-disk
0
device
/dev/hdd2
raid-disk
1
Následně provedeme příkaz mkraid
md0 a obdržíme výpis:
handling MD device /dev/md0
analyzing super-block
disk 0: /dev/hda2, 14659312kB,
raid superblock at 14659200kB
/dev/
Integrace RAID/LVM se
systémem
To, kam připojíme vzniklá zařízení, závisí
na způsobu, jakým nám bylo pomáháno
s konfigurací LVM nebo RAID, stejně
jako na specifikaci našeho systému.
Mohou zrychlovat přístup k datům (pokud
využíváme rozdělování přístupu na více
fyzických zařízení) tak i zlepšit správu
místa na disku a zvětšit bezpečnost dat.
Proto ho více využívejme v oblastech,
kde je vyžadována některá ze jmenovaných oblastí. Prvními umístěními, které se
nabízejí jsou /home a /var – zpravidla zde
jsme předpokládali moc nebo málo místa
na disku a také tam máme obecně nejdůležitější data. V případě, že naše nové
zařízení pracuje rychleji než obvyklé disky
(díky využití strip), můžeme se rozhodnout o přenesení na něj také adresáře
/tmp – existují aplikace, které jej intenzivně využívají, nebo také /usr, což může
minimálně zrychlit spouštění programů na
kancelářském počítači.
Abychom přenesli data z jednoho
zařízení na nové, můžeme jej jednoduše připojit na dočasné umístění (např.
/mnt/tmp) a použít příkaz, např. cp -ax
/var/* /mnt/tmp/, následně vyprázdnit ukázkový adresář /var a zaktualizovat
/etc/fstab aby bylo toto zařízení připojováno v tomto místě.
/dev/hda2 appears to be already
part of a raid array -- use -f to
force the destruction of the old
superblock mkraid: aborted.
Jak je vidět, systém odmítl vytvoření
nového pole na zařízeních, na kterých
jsme již dříve vytvořili RAID-0. Jsme si
však jistí, že chceme úplně zrušit předchozí pole, proto zadáme příkaz: mkraid -R
/dev/md0 a dostaneme např.:
DESTROYING the contents of /dev/md0
in 5 seconds, Ctrl-C if unsure!
handling MD device /dev/md0
analyzing super-block
disk 0: /dev/hda2, 14659312kB,
raid superblock at 14659200kB
disk 1: /dev/hdd2, 18922680kB,
raid superblock at 18922560kB
Obrázek 4. Ukázková konstrukce LVM
Od této chvíle je zařízení /dev/md0
připraveno k použití. Má kapacitu 14
GB, čili stejně jako menší z použitých
oddílů. Vytvoříme na něm souborový systém a otestujeme, jak pracuje.
Příkaz dd, použitý stejně jako v předchozích příkladech potřeboval tentokrát více než 35 sekund na provedení svého úkolu. Vidíme, že RAID-1 při
zápisu pracuje výrazně pomaleji než
samostatný pevný disk.
www.lpmagazine.org
57
hardware
Rychlý test s užitím příkazu dd
a zařízení /dev/zero, trval na mém
systému 20 sekund, proto RAID-5 pracuje rychleji než samostatný disk, ale samozřejmě pomaleji než RAID-0.
Výpis 1. Ukázkový výpis generovaný vgdisplay
--- Volume group --VG Name
IDE_disky
System ID
Format
lvm2
Metadata Areas
1
Metadata Sequence No
1
VG Access
read/write
VG Status
resizable
MAX LV
0
Cur LV
0
Open LV
0
Max PV
0
Cur PV
1
Act PV
1
VG Size
37,27 GB
PE Size
4,00 MB
Total PE
9540
Alloc PE / Size
0 / 0
Free
9540 / 37,27 GB
PE / Size
VG UUID
Záložní disky
OEEclx-9gIP-Oqyl-R1cH-9tkK-Mlm7-rWW4xi
Daní za vyšší bezpečnost dat je zmenšení výkonnosti. Pokud na jednom
z disků dojde k havárii, bude pole pracovat dále a v systémových log souborech se
objeví informace o nutnosti jeho výměny.
RAID-5
Vytvoření RAID-5 není o moc složitější než RAID-0 a RAID-1. Ukázkový
/etc/raidtab, který jsem vytvořil na svém
počítači, může vypadat takto:
Pro zvětšení bezpečnosti pole RAID-1
a RAID-5 (a také zde nepopisovaných
RAID-6 a RAID-10) můžeme využít
záložní disky (spare disk). Tento disk
není normálně používán – žádná data
na něj nejsou zapisována ani z něj čtena.
Ve chvíli, kdy je jeden z disků poškozen,
pole automaticky vytvoří jeho obsah na
prvním dostupném spare disk. Díky
tomu může být vypnutí systému s cílem
výměny poškozeného disku naplánováno na pozdější dobu – můžeme čekat
i do havárie dalšího disku a nepřijdeme
o žádná data.
Pokud chceme do pole přidat záložní disk, stačí do /etc/raidtab dopsat např.
tento řádek:
raid superblock at 18922560kB
disk 2: /dev/sda3, 39070080kB,
device
/dev/sdd1
raid superblock at 39070016kB
spare-disk
0
disk 3: /dev/sdb9, 9775521kB,
raid superblock at 9775424kB
Vytváříme LVM
Takto vytvořené zařízení má kapacitu cca 27 GB. Proč? Musíme vynásobit
kapacitu nejmenšího z použitých oddílů
(9775521kB ~= 9GB) počtem disků a
odečíst velikost jednoho oddílu potřebného na zrcadlení, proto 9*4-9=27.
Logical Volume Manager sám o sobě není
těžký ke zkonfigurování. To co mnoho
uživatelů odrazuje je používaná terminologie. Než přistoupíme k práci s ním,
musíme si osvojit několik základních termínů, používaných v LVM – bez toho se
velmi rychle ztratíme.
raiddev /dev/md0
raid-level
5
nr-raid-disks
4
persistent-superblock 1
chunk-size
4
device
/dev/hda2
raid-disk
0
device
/dev/hdd2
raid-disk
1
device
/dev/sda3
raid-disk
2
device
/dev/sdb9
raid-disk
3
Zadaný příkaz mkraid
-R /dev/md0 ukázal:
DESTROYING the contents of /dev/md0
in 5 seconds, Ctrl-C if unsure!
handling MD device /dev/md0
analyzing super-block
disk 0: /dev/hda2, 14659312kB,
raid superblock at 14659200kB
disk 1: /dev/hdd2, 18922680kB,
58
leden 1/2005
Obrázek 5. Konfigurace našich zařízení vyžaduje určité příkazy pracující z příkazové řádky
hardware
softwarový raid a logical volume manager
LVM vytváří dodatečnou abstraktní vrstvu mezi zařízeními na ukládání
dat a souborovým systémem operačního
systému. Následně se mezi oddílem disku
a systémem souborů objevují některé termíny:
• physical volume (PV) – fyzický
svazek, jednoduše se jedná o pevný
disk nebo častěji oddíl na pevném
disku, může to být však i zařízení
softwarového RAIDu;
• volume group (VG) – skupina svazků,
je to jeden nebo několik fyzických
svazků (pracujeme s ní vždy i když
máme jen jeden PV);
• logical volume (LV) – logický svazek
(systém vidí LV jako blokové zařízení, proto když využíváme LVM,
vytváříme souborový systém (např.
ext3) ne na oddíle, ale na LV; podobně, v systému připojujeme LV a ne
oddíl; na jedné skupině svazků
vytváříme jeden nebo více LV);
• physical extent (PE) a logical extent (LE)
– fyzické rozšíření a logické rozšíření
(data na fyzických a logických svazcích
jsou dělena na menší jednotky např.
po 4 MB; velikost PE a LE jsou stejné).
Pro fungování LVM potřebujeme v jádře
podporu pro Device mapper. Při konfiguraci jádra ji nalezneme v oddíle Multiple devices driver support. Z dostupných
voleb bychom měli zatrhnout přinejmenším Snapshot target a Mirror target – i
když jsou označeny jako experimentální, jsou již běžně používány (nejdříve
musíme vybrat Prompt for development
and/or incomplete code/drivers v části
Code maturity level options).
Nejlepší je LVM zkompilovat natrvalo do jádra, ale v některých distribucích jej najdeme v podobě modulu
s názvem dm-mod. Pokud máme distribuční jádro, stačí pouze nahrát tento
modul. Měli bychom používat jádra
Úrovně RAID:
•
•
•
•
Lineární (linear mode). V tomto módu
jsou dva nebo více oddílů k sobě přidávány aby vytvořili jedno velké RAID
zařízení. Pří zápisu na toto zařízení
data nejdříve zaplní celý první oddíl /
(první disk), později druhý atd. Výsledná
kapacita zařízení je rovna součtu velikostí všech použitých oddílů. Nezískáme
zvětšení rychlosti a havárie jednoho
disku způsobí ztrátu dat celého pole.
RAID-0 (stripe). Kapacita dvou nebo více
zařízení je sčítána, ale data jsou zapisována současně na více zařízeních
a stejně i načítána. Pokud máme tímto
způsobem spojeny tři disky a nastavili
jsme stripe size na 16 kB, spustí soubor
o velikosti 48 kB současný zápis na
všechny disky a na každý bude nahráno
pouze 16 kB dat. Jak je možno domyslet,
tato konfigurace zvětšuje mnohonásobně rychlost přenosu dat. Kapacita je
rovna součtu disků, ale musí mít stejnou
velikost. Pokud jsou různé, je na všech
discích používána kapacita pouze nejmenšího z nich. Havárie jednoho disku
způsobí ztrátu dat celého pole.
RAID-1 (mirroring). Stejná data jsou
zapisována současně na dva a více
disků. Načítá se z libovolného z nich.
Kapacita tohoto pole je rovna velikosti
nejmenšího oddílu. Rychlost zápisu je
o něco menší než zápis na samostatný
disk. V případě havárie jednoho disku
může systém pracovat dále, nenastává
žádná ztráta dat.
RAID-5. Vyžaduje tři a více oddílů.
Velikost vzniklého zařízení se rovná
série 2.6.x, protože v sérii 2.4.x, se
nachází předchozí generace LVM, která
umožňuje o něco méně funkcí.
Mimo podpory v jádře potřebujeme také sadu programů na vytváření a
správu LVM. Jsou obvykle v balíčku lvm2
a ne v balíčku lvm nebo lvm01, který je
určen pro spolupráci se staršími verzemi jádra. Používání špatné verze pro-
Obrázek 6. LVM nám pomáhá lépe zorganizovat místo na discích
součtu kapacit všech oddílů mínus
kapacita jednoho oddílu. Pokud máme
čtyři oddíly po 15 GB, získáme 45 GB
místa. Pokud nejsou rozměry oddílů
stejné, ve výpočtech se používá velikost nejmenšího z nich. Místo, které
se odečítá je pro uschovávání kontroly parity zařízení, díky čemuž
je možno v případě havárie jednoho disku rekonstruování všech dat.
V případě souběžné havárie dvou
disků jsou data nenávratně ztracena.
Rychlost práce se blíží RAID-0, ale
při zápisu je o něco menší, protože
se počítá „parita“ dat (přesně je vykonávána logická operace eXclusive OR
na několika bitech ze všech disků).
Navíc se ještě zřídka používá:
•
•
•
•
RAID-4 – stejný jako RAID-5, ale informace o paritě je zapisována výlučně na
jedno zařízení, díky čemuž se stává
úzkým hrdlem. Mělo by být mnohem
rychlejší než všechny ostatní.
RAID-6 – podobný jako RAID-5,
s ještě jedním diskem na data o paritě,
díky čemu může přečkat současnou
havárii dvou disků.
RAID-2, RAID-3 – jsou podobné RAID-4,
ale nebyly přijaty a mělo smysl zabudovávat jejich podporu do Linuxu.
RAID-10 – Je to RAID-0, ale jeho
základním elementem nejsou oddíly
fyzických disků ale pole RAID-1. Proto
vyžaduje čtyři nebo více disků.
gramů na nás může nabalit neočekávané
problémy, proto věnujte pozornost tomu,
zda máte nainstalovaný správný a pouze
tento správný balíček. Mimo to musíme
doinstalovat všechny knihovny, na kterých je závislý (zvláště libdevmapper).
Výběr zařízení
Při návrhu diskového pole jsme museli
určit, na kterých oddílech kterých disků
bude vytvořeno. LVM může použít několik oddílů, stejně jako RAID, ale můžeme
jej rovněž instalovat bezprostředně na
disk, nerozdělený na oddíly (pokud jej
chceme celý využít k tomuto účelu). Navíc
můžeme zkonfigurovat LVM na zařízení /
dev/md0 čili na libovolném typu softwarového RAID. Jak jsem uvedl již dříve,
LVM, mimo svého mála možností, nespolupracuje s „nadbytečnými” disky, proto
když zkonfigurujeme LVM na RAID-1,
www.lpmagazine.org
59
hardware
/dev/hdc4 /dev/sda5.
Obrázek 7. Výstup programu Bonnie++ po
konverzi do html
dostaneme zařízení, které v sobě spojuje výhody jednoho i druhého – zvýšenou
bezpečnost dat a lepší přizpůsobivost
v konfiguraci systému.
V další části článku popíši, jak jednoduše vytvořit LVM na RAID-1 poli.
Pokud chceme vytvořit LVM na samostatném disku či oddíle všechny kroky
provádíme identicky pouze se zadáním
jiných názvů zařízení. Předpokládám,
že jsme již vytvořili pole RAID-1, tak jak
bylo popisováno dříve.
Další kroky
První úkonem je označení všech zařízení, která se mají stát částí nějaké skupiny svazků (VG). V našem případě napíšeme příkaz: pvcreate /dev/md0. Pokud
chcete nainstalovat LVM na samostatný
oddíl, např. /dev/hdb3, napište pvcreate
/dev/hdb3, pokud určíte pro LVM celý disk
hdb – pvcreate /dev/hdb. V tomto posledním případě jsme nuceni nejdříve vymazat tabulku oddílů, např. příkazem dd if=
/dev/zero of=/dev/hdb bs=1k count=1.
Po zadání příkazu pvcreate bychom měli
vidět např. Physical volume "/dev/md0"
successfully created. Tento příkaz opakujeme pro všechna zařízení, která mají být
použita v nějaké VG. Způsobí zapsání specifických dat do zaváděcí oblasti disku
identifikující dané zařízení, díky čemu
pokud např. zaměníme disky sda a sdb,
bude LVM pracovat nadále bez překážek
(netýká se to mého systému, ve kterém je
LVM zbudováno na RAID-1).
Druhým úkonem je vytvoření skupiny
svazků. Každá skupina má své jméno, které
si můžeme zvolit dle vlastního uvážení.
V mém případě jsem vytvořil VG příkazem
vgcreate IDE_disky /dev/md0, které odpovědělo výpisem Volume group "IDE_disky"
successfully created. Mé skupině jsem dal
jméno „IDE_disky”. Pokud se má náš
svazek roztáhnout na více zařízení, musíme
je v tomto příkaze vyjmenovat všechna např. vgcreate IDE_disky /dev/hda3
60
leden 1/2005
V jednom systému
můžeme vytvořit více VG (maximálně 99),
ale je samozřejmé, že žádné fyzické zařízení nemůže být ve dvou skupinách zároveň. Při příležitosti vytváření VG můžeme
nastavit rozměr PE – dle HOWTO je výchozí hodnota 32 MB, ale na mém počítači
použil vgcreate hodnotu 4 MB. Samotnou hodnotu můžeme zadat pomocí parametru -s, např. vgcreate -s 32 /dev/md0.
Zadaná hodnota (výchozí v megabajtech)
musí být mocninou čísla dvě.
Následný krok je aktivace svazku. Provedeme ji příkazem vgchange --available
y IDE_disky. Měl by odpovědět: 0 logical
volume(s) in volume group "IDE_disky"
now active. Je důležité, že od této chvíle
se budou skripty odpovědné za start
a ukončování systému, které jsme nainstalovali společně s balíčkem lvm2, starat
o náš svazek, čili aktivovat jej při startu
a deaktivovat při ukončování systému.
Po aktivaci VG o něm můžeme získat
zajímavé informace s využitím příkazu
vgdisplay IDE_disky. Výsledek jeho činnosti jsem umístil do Výpisu 1. Vidíme,
že naše velikost PE je 4 MB (PE Size)
a k dispozici máme 9540 PE. Chtěl bych
upozornit na to, že v tomto příkladu LVM
vidí jen jedno fyzické zařízení (je to /dev/
md0), i když fakticky máme dva disky.
Blížíme se ke konci. Teď vytvoříme
logické svazky. Jak jsem již zmiňoval
dříve v jednom VG můžeme vytvořit mnoho logických svazků (v systému
jich může být maximálně 256). Logické svazky (LV), podobně jako skupiny
svazků (VG), mohou mít libovolná jména,
která si vymyslíme.
Rozeberme si ukázkový příkaz,
vytvářející LV: lvcreate -l3000 -ndomovské_adresáře IDE_disky. Tento příkaz
vytvořil LV se jménem „domovské_adresáře” a velikosti 3000 PE, čili na mém
systému 12000 MB. Nový logický svazek
byl vytvořen na základě skupiny svazků
pojmenované „IDE_disky”. Jako výchozí
nastavení budou data zapisovaná na tomto
svazku postupně zabírat dostupné místo
na příslušných fyzických zařízeních. Přístup
k tomuto svazku máme díky souboru
zařízení /dev/IDE_disky/domovské_adresáře. Pokud vytváříme LVM na základě dvou
nebo více nezávislých zařízeních, můžeme
použít parametr
-i, abychom využili rozdělování diskových operací (stripe)
na několik zařízení. Příkaz lvcreate -i2
-l3000 -njméno_LV jméno_VG způsobí, že
data budou rozdělována na dvě zařízení.
Pokud máme více zařízení, s úspěchem
můžeme tento parametr zvětšit.
Obecně, pokud využíváme LVM,
nezajímá nás na které fyzické zařízení se
data dostanou z konkrétního logického
svazku. Máme přece několik zařízení,
spojených do jedné VG. Proto můžeme
k příkazu lvcreate přidat ještě jeden parametr, který nastaví, které fyzické zařízení systém použije, pokud začne plnit náš
svazek daty. Například lvcreate -l3000
-njméno_LV jméno_VG /dev/sdh1 nastaví
první používané zařízení jako /dev/sdh1.
Samozřejmě, že pokud na něm dojde
místo, LVM začne používat i jiná zařízení.
Obrázek 8. Zařízení RAID a LVM můžeme vytvářet již v průběhu instalace distribuce
hardware
softwarový raid a logical volume manager
Pokud chcete odstranit logický svazek,
zadejte příkaz lvremove /dev/IDE_disky/
domovské_adresáře.
Nejdříve musíme
odpojit systém souborů, pokud jsme již
nějaké stihli vytvořit a připojit, s využitím
/dev/IDE_disky/domovské_adresáře.
Pro změnu názvu LV můžeme použit
příkaz lvrename. Užitečný je také program
lvscan, který nám zobrazí informace
o všech pracujících logických svazcích.
Ve svém systému jsem si vytvořil ještě
jeden svazek: lvcreate -l3000
-nsystémové_logy IDE_disky a následně jsem
zapsal příkaz vgdisplay, který mi zobrazil
mj. i počet volných PE:
Free
PE / Size
3540 / 13,83 GB
Abychom úplně zaplnili náš VG, vytvořením logického svazku, musíme zadat
parametr -l3540, protože právě tolik alokačních bloků nám zůstalo. Je však dobré
ponechat si ještě trochu místa na snapshot'y, o kterých napíši ještě v další části,
proto zadám příkaz lvcreate -l3490 ndatabáze IDE_disky.
V této chvíli je vše připraveno na formátování všech vytvořených zařízení.
V mém systému by ukázkové příkazy
vypadaly takto:
# mkfs.ext3 /dev/IDE_disky/databáze
S
# mkfs.ext3 /dev/IDE_disky/domovské_
adresáře
Jak testovat disky?
Určitě mnoho uživatelů GNU/Linuxu zná
nástroj hdparm. S jeho pomocí můžeme
mj. zjistit rychlost lineárního přenosu dat z
disku. Je to velmi jednoduchý test umožňující porovnání disků – ve skutečnosti nám
říká nemnoho o tom, jak výkonné budou
naše disky a vůbec se nehodí na testování
RAID nebo LVM.
Neexistuje jeden univerzální měřič
rychlosti disků, protože každý počítačový systém je jiný – některé stále načítají soubory o velikosti několika gigabajtů a jiné desítky tisíc souborů o velikosti
několika kilobajtů. V některých je stejně
důležitá rychlost načítání jako rychlost
zápisu, v jiných nemá rychlost význam.
Některé programy načítají data lineárně
a jiné stále prohledávají disk. Z toho
důvodu musíme při měření výkonu disků
brát v úvahu konkrétní systém.
Nejpopulárnějším programem, který
nám dá mnoho informací o práci disku
je Bonnie++ (http://www.coker.com.au/
bonnie++/). Pokud jej nenajdete ve své
distribuci, můžete si stáhnout zdrojové kódy
z domovské stánky a můžete je zkompilovat a nainstalovat tradičními příkazy:
./configure; make; make install. Tento program testuje rychlost práce nejenom samotného pevného disku ale i systému souborů.
Na testovaném disku musíme vytvořit nějaký
oddíl, vytvořit na něm souborový systém
a připojit do systému. Následně přejděte do
adresáře, kam je připojen testovaný disk
(např. cd /mnt/test) a spusťte program:
bonnie++ -s 1000k -n 128 -b. Pomocí
parametru -s 1000k jsme nastavili velikost
souboru, který Bonnie++ vytvoří, aby mohl
zkontrolovat rychlosti lineárního zápisu
a čtení. Volba -n 128 nastavuje, kolik
tisíc malých souborů (s nulovou velikostí) bude vytvořeno, aby se dala změřit
doba jejich vytváření, načítání a mazání.
Poslední parametr -b vypíná cachování
zápisů a synchronizuje disk po každém
z nich (fsync()), čímž se chová jako populární SQL nebo SMTP servery, které to
dělají podobně.
Po několika nebo více minutách
testů vypíše program několik řádků – na
začátku budou dvě málo čitelné tabulky s výsledky a poslední řádek obsahuje všechny výsledky oddělené čárkami. Abychom získali pěknou a čitelnou
tabulku, můžeme použít program bon_
csv2html. Pomocí standardního výstupu
načte poslední řádek výpisu z Bonnie++
a tiskne html soubor na standardní
výstup. Můžeme ho použít takto: echo
<poslední řádek bonie++> | bon_
> /tmp/dysk1.html. Samozřejmě, že nejjednodušší pro nás
bude dlouhý řádek s výsledky z programu Bonnie++ označit a vložit do
tohoto příkazu pomocí myši.
Hodnoty, které Bonnie++ vypíše,
budou závislé nejenom na pevném
disku, ale rovněž na použitém systému
souborů (ext2/ext3), rychlostí procesoru či zatížením systému atd.
csv2html
# mkfs.ext3 /dev/IDE_disky/systémové_logy
LVM v akci
V této chvíli se jistě mnoho čtenářů ptá,
proč bylo vytvořeno LVM? Zatím nás dost
dlouhý popis kroků dovedl do situace, kdy
máme obvyklý systém. Je pravdou, že je
zabezpečen před havárií jednoho pevného
disku, ale to je zásluha výlučně RAID-1
a ne LVM. Navíc se přístup k disku zpomalil (jednoduchý test s příkazem dd
na LVM u mne pracuje o tři sekundy déle než na samostatném RAID-1).
A samozřejmě, že LVM nebyl vytvořen proto, abychom mohli využít fantazii
v pojmenovávání zařízení. Podívejme se na
to, jak s jeho pomocí spravovat místo na
disku a pohodlně provádět bezpečnostní
zálohu dat.
Přidáváme disk
Předpokládejme, že nám chybí místo na
zařízení /dev/IDE_disky/databáze. Do systému jsme přidali nový disk a můžeme
z něj použít jeden oddíl – /dev/sda3. Samo-
zřejmě, že to není nejlepší nápad, protože naše předchozí zařízení se nachází na
RAID-1, a proto je zabezpečeno před
havárií jednoho z disků. Pokud do celé
skupiny svazků přidáme jedno fyzické
zařízení bez této ochrany, v případě jeho
havárie přijdeme o všechna data. V reálném světě bychom měli přidat nejméně
jeden další disk a vytvořit na nich nejdříve RAID-1. Pro potřeby ukázky v tomto článku si však ukážeme jednoduchý
příklad s jedním oddílem.
Začneme inicializací oddílu:
# pvcreate /dev/sda3
Physical volume "/dev/sda3"
S
successfully created
S využitím příkazu vgdisplay zkontrolujeme výsledek naší činnosti. Ukázka výpisu
na mém počítači vypadá takto:
VG Size
74,52 GB
PE Size
4,00 MB
Total PE
19078
Alloc PE / Size
9540 / 37,27 GB
Free
9538 / 37,26 GB
V této chvíli můžeme vytvořit úplně nový
svazek na 9538 volných PE, ale o to nám
zase až tak nejde, protože nám momentálně
chybí místo na svazku připojeném v /báze.
Po spuštění příkazu df -h aktuálně máme:
/dev/mapper/IDE_disky-databáze
14G
Následně rozšíříme
o nové zařízení:
skupinu
PE / Size
13G
397M
98% /báze
svazků
Abychom všech 9538 volných PE přidali
tomuto svazku, zadáme příkaz:
# vgextend IDE_disky /dev/sda3
Volume group "IDE_disky"
S
successfully extended
# lvextend -l +9538
S
/dev/IDE_disky/
databáze
www.lpmagazine.org
61
hardware
Tímto způsobem jsme zvětšili logický
svazek, o čemž se můžeme přesvědčit
příkazem lvscan. Nyní musíme zvětšit
souborový systém, aby zabral místo na
celém LV. Existují speciální záplaty na
jádro, které umožňují provedení této operace bez odpojení souborového systému,
ale my si na chvíli proveďme umount
/báze/ a zadejme příkaz resize2fs -p
/dev/IDE_disky/databáze. Program nás
může požádat o kontrolu souborového
systému před jeho změnou velikosti,
proto v tomto případě napište: e2fsck -f
/dev/IDE_disky/databáze a znovu zopakujte příkaz resize2fs. Nyní už zbývá jen
připojit znovu LV a podívat se, co zobrazí
df -h. Já jsem dostal:
/dev/mapper/IDE_disky-databáze
51G
13G
36G
27% /báze
Operace trvala velmi krátce a skončila úspěchem. Bez LVM by byla nutná
úprava tabulky oddílů na přinejmenším
jednom disku a následně krkolomné přenášení dat. Všechno tohle by způsobilo
o mnoho delší přestávku ve fungování
systému.
Zvětšování souborového systému je
možné nejenom na ext2/ext3. Pokud
používáme reiserfs, můžeme analogicky
využít příkaz resize_reiserfs -f. V případě xfs máme program xfs_growfs, ale
jistý rozdíl je v tom že systém souborů
musíme nechat připojený a jako parametr tohoto programu zadat přípojný bod
(např. xfs_growfs /báze).
Jiné manipulace s disky
V případě, že chceme ze systému odstranit jeden disk (např. hdb) a máme na ostatních discích tolik místa, že se na ně vejdou
všechna data, může použít příkaz: pvmove
/dev/hdb. Nyní byla všechna data z hdb
přenesena na zbylé disky v rámci stejné
skupiny svazků (VG). Následné vgreduce jméno_VG /dev/hdb způsobí, že disk již
není členem VG se jménem jméno_VG.
Když jsme do systému přidali nový disk
(např. sdf ), na který chceme přenést data
ze starého (např. hdb), zadáme příkazy:
# pvcreate /dev/sdf
# vgextend dev /dev/sdf
# pvmove /dev/hdb /dev/sdf
# vgreduce dev /dev/hdb
Před nějakou chvílí jsme zvětšovali logický
svazek. Samozřejmě je možné i stejně jed-
62
leden 1/2005
noduché zmenšování. Problém se objevuje při zmenšování souborových systémů,
protože pokud vím tak pouze ext2/ext3
a reiserfs tuto operaci umožňují. Ukázkový příklad by mohl vypadat takto:
Pokud používáme systém souborů xfs
musí být příkaz o něco delší:
S
S
# xfs_freeze -f /home; lvcreate -L200M
-s -n nase_zaloha /dev/IDE_disky/
domovské_adresáře
# umount /home
S
# resize2fs /dev/IDE_disky/
domovské_adresáře 524288
# lvreduce -L-1G
S
/dev/IDE_disky/
domovské_adresáře
V této chvíli můžeme připojit (jen ke
čtení) logický svazek se jménem „nase_
zaloha”, který obsahuje kopii svazku „domovské_adresáře”:
# mount /home
S
# mount /dev/IDE_disky/nase_zaloha
V tomto případě jsme jako parametr programu resize2fs museli zadat novou velikost souborového systému.
LVM obsahuje také nástroje na přesouvání skupiny svazků (VG) na jiné
počítače, když nemůžeme provést obvyklé přeložení disků. Musíme, po odpojení souborového systému a deaktivaci VG
(vgchange --activate n jméno_VG), spustit příkaz vgexport jméno_VG a následně po přeložení disku do nového počítače – vgimport jméno_VG.
Snapshot
Provádění bezpečnostní zálohy trvá dosti
dlouho a ne každý si může dovolit úplné
zastavení systému na tuto dobu. tehdy
jsou největším problémem soubory, které
byly v době provádění zálohy změněny.
LVM nám zpřístupňuje speciální mechanismus, který nám umožní tento problém obejít.
Můžeme vytvořit snapshot aktuálního stavu některého z našich logických
svazků. Snapshot je pro správce systému
dalším logickým svazkem, obsahujícím
kopie některého LV. Tato kopie se nemění
i když se na originále provádí operace zápisu. Samozřejmě, že při vytváření snapshotu nejsou data v něm obsažená fyzicky kopírována na nový logický svazek. Na daném VG potřebujeme
trochu místa, aby bylo kam zapsat informace o souborech, které se změnily od
doby vytvoření stavu logického svazku.
Pokud máme adresář /home ve kterém se
nachází 20 GB dat, pak víme, že vytvoření
bezpečnostní zálohy bude trvat 10 minut.
Předpokládejme, že uživatelé v průběhu
těchto 10 minut na oddíle s /home vytvoří
nebo změní ne více než 200 MB dat. Tolik
místa proto musíme mít na dané skupině
svazků. Snapshot vytvoříme příkazem:
S
# lvcreate -L200M -s -n nase_zaloha
/dev/IDE_disky/domovské_adresáře
/mnt/backup/
Po skončení provádění záložní kopie
zadáme příkaz : lvremove -f /dev/IDE_
disky/nase_zaloha. Musíme však dávat
pozor na to, aby do této chvíle veškeré
změny na svazku nepřekročily velikost
snapshotu – v tomto příkladě 200 MB. Po
naplnění se stává neužitečným a stejně je
zapotřebí se chovat k datům z něj zkopírovaným.
Shrnutí
Využití RAID a LVM může velmi ulehčit práci správci a zvětšit bezpečnost a
výkonnost systému. Toto řešení někdy
způsobí, že některé obvykle jednoduché
činnosti (např. přenášení disku do jiného
počítače) se stávají velmi komplikovanými a ve chvíli, kdy již dojde k havárii
některého disku je získání dat z něj těžší.
Je nutné se vybavit patřičnými nástroji pro obnovu systému, které si budou
umět poradit se souborovými systémy
na těchto zařízeních, např. minidistribuce (R)ecovery (I)s (P)ossible Linux. Jinými
slovy, pokud vyřešíte jisté problémy,
často se objeví celá řada nových.
Na Internetu:
•
•
•
•
LVM HOWTO:
http://www.tldp.org/HOWTO/
LVM-HOWTO/
Softwarový RAID HOWTO:
http://www.tldp.org/HOWTO/
Software-RAID-HOWTO.html
Záchranná distribuce, mj. pro RAID
a LVM:
http://www.tux.org/pub/people/
kent-robotti/looplinux/rip/
Domovská stránka distribuce (R)ecovery (I)s (P)ossible Linux:
http://www.tux.org/pub/people/
kent-robotti/looplinux/rip/