Pokud se soubor nestáhne automaticky, klikněte zde.

Pokud se soubor nestáhne automaticky, klikněte zde.

AIP Scholaris
2(2), 2013, 8–22, ISSN 1805-613X
Online: scholaris.vse.cz
Optimalizace nákladů na provoz datového centra
Jan Kunst1, Jan Beneš1, Roman Volf1
1
Fakulta informatiky a statistiky,
Vysoká škola ekonomická v Praze
nám. W. Churchilla 4, 130 67 Praha 3
{xkunj23, xbenj33, xvolr04}@vse.cz
Abstrakt: Naše práce nastiňuje současné možnosti, jak efektivně využívat
dostupné technologie a znalosti problematiky optimalizace výdajů na celkovou
spotřebu a efektivitu chodu datového centra, které vedou v konečném důsledku ke
snížení celkové spotřeby energie a snížení nákladů. Zabýváme se různými způsoby
napájení datového centra, dále vybranými možnostmi pro optimalizaci chlazení
v datových centrech a na závěr řešíme jak optimálně rozložit zátěž na jednotlivé
servery, a to v prostoru i v čase.
Klíčová slova: Datové centrum, horké a studené uličky, tepelný management,
rozložení zátěže
Title: Optimizing the cost of running the data center
Abstract: Our work outlines current options of efficient use of available
technology and knowledge of optimizing the total expenditure on consumption and
efficiency of data center operation, which lead to overall energy consumption and
costs reduce. We deal with different ways to power the data center, also with
selected options how to optimize cooling in data centers and at the end we find out
how to place workload on servers, both in space and in time.
Keywords: Data center, hot and cold aisles, thermal management, workload
placement
Vypracováno v rámci magisterského semináře: Řízení podnikové informatiky
(Cílem předmětu je seznámit studenty s principy řízení podnikové informatiky,
zejména s plánováním rozvoje a řízením informatických služeb, s různými
formami zajištění informatických služeb, s řízením informatických procesů
a zdrojů.)
Vyučující semináře: Ing. Tomáš Bruckner, Ph.D.
AIP Scholaris
9
1 ÚVOD
V dnešní době, ve které je stále více a více uživatelů internetu, spotřeba energie v datových
centrech neustále stoupá. Proto je potřeba optimalizovat výdaje na celkovou spotřebu a
efektivitu chodu datového centra. TCO (Total Cost of Ownership), tedy celková cena za
vlastnictví, je složena z mnoha komponent, jako jsou výdaje za nájem/výstavbu budov, výdaje
za samotné servery nebo za veškerou používanou techniku. Pravdou ale je, že kolem 25%
z TCO je vydáno právě za elektrickou energii, což bylo v roce 2011 jen v USA kolem 7
miliard dolarů [1]. Celkově je spotřeba datových center více než 1% z celkové spotřeby
elektrické energie světa, což je pro představu stejně vypuštěného oxidu uhličitého, jako
vypouští celá Argentina [5]. To poskytuje dostatečný potenciál pro možnou optimalizaci
úspory elektrické energie a snižování vypouštěných emisí do naší atmosféry.
Naše práce si proto klade za cíl nastínit současné možnosti, jak efektivně využívat dostupné
technologie a znalosti této problematiky k efektivnímu chlazení a výběru vhodného způsobu
napájení. V konečném důsledku by měly dále zmíněné metody vést ke snížení celkové
spotřeby energie a tím i snížení nákladů na provoz datového centra.
2 MOŽNOSTI NAPÁJENÍ DATOVÝCH CENTER
V této části se budeme zabývat problematikou výběru správného způsobu napájení datového
centra. Zjistíme, co nám může přinést odebírání od více dodavatelů najednou a v čem může
být výhodné používání obnovitelných zdrojů.
2.1 VÝBĚR DODAVATELE NAPÁJENÍ
Dnešní datová centra jsou vesměs napájena od energetických gigantů, kde je cena za jednotku
spotřebovaného výkonu pevně daná. [9] proto nabádá k multisourcingu, tedy co
nejefektivnějšímu využívání nabídek různých dodavatelů. Pokud jednáte s dodavateli, jejichž
služby se částečně překrývají, může se při vyhodnocení aktuálního stavu ukázat, že změna
poskytovatele některých služeb mezi stávajícími dodavateli přinese nemalé úspory.
Další možností jak uspořit výdaje za elektrickou energii je buď nakoupit za předem
stanovenou cenu (paušál) nebo podle aktuální sazby v daném čase. V tomto případě je ovšem
nutné posoudit, která varianta je dlouhodobě výhodnější. Paušál představuje stabilní sazbu po
celý den. Druhá varianta je více riziková a náročnější na vytěžování IT zdrojů. Bude však
výhodnější v případě, že datové centrum bude nejvíce vytěžováno v časech, kdy je cena
energie nižší.
2.2 GREEN ICT
Zavedení strategie Green ICT do podniku je vždy iniciováno za účelem dosažení pozitivního
efektu. Environmentálně zodpovědná strategie stále nepatří mezi praktiky, kterým je při
vytváření podniku věnována odpovídající pozornost. Zavedené společnosti pak ke změně
přistupují pouze tehdy, přinese-li tato změna nějaký efekt, který je v ideálním případě možné
vyjádřit finančně. Koncepce Green ICT nemůže být pro podnikatele zajímavá pouze s
ohledem na životní prostředí, když bude na celé strategii finančně prodělávat. Primární
motivací je tak úspora nákladů či zvýšení příjmů.
10
Kunst, Beneš, Volf
2.2.1 UDRŽITELNÉ DATOVÉ CENTRUM
Datová centra tedy musí být stavěna tak, aby byla udržitelná a minimálně zatěžovala životní
prostředí. Návrh takových datových center tedy nutně přináší nové postupy, přičemž rychlost
inovací se v posledních letech výrazně zrychluje.
Obr. 1. Architektura udržitelného datového centra [9]
Obr. 1 ukazuje architekturu tzv. udržitelného datového centra. IT vybavení zahrnuje servery,
zařízení na akumulaci energie a síťové prvky. Elektrická energie potřebná pro napájení všech
zařízení je získávána z klasické elektrické sítě a pomocí alternativních zdrojů. V tomto
případě z fotovoltaických článků a z větrných elektráren. Chladící aparatura se skládá
z centrální jednotky, která řídí chladící výkon a spolupráci prvků, které mají za úkol
ochlazovat teplý vzduch v datovém centru. Tato síť je složena ze tří zařízení. Z klasické
klimatizační jednotky, a dále jednotek, které jako zdroj chlazení využívají okolní prostředí
(vzduch, vodu).
2.2.2 VÝBĚR VHODNÉHO OBNOVITELNÉHO ZDROJE
Není možné jednoznačné určit, jaký obnovitelný zdroj je vhodnější. Každý zdroj má svoje
specifika a možnosti jeho efektivního využití. Velmi záleží na klimatických specifikách
daného regionu. Je známo, že efektivní využití sluneční elektrárny závisí na počtu slunečných
dnů/hodin v roce. Například na území ČR dopadají sluneční paprsky v průměru mezi 1330–
1800 hodinami ročně, dle konkrétního místa [4]. Rozdíl 470 hodin slunečního záření bude
určitě mít dopady na rozhodnutí, o tom v jaké oblasti naší republiky je datové centrum závislé
na obnovitelných zdrojích vhodné vybudovat.
2.2.3 PROBLÉM OBNOVITELNÝCH ZDROJŮ
Využívání solární nebo větrné energie má ale jeden zásadní problém. Pokud bychom chtěli
pokrývat větší množství spotřeby v nočních hodinách, pak musíme najít metodu pro ukládání
vyrobené elektřiny. Energie ze slunce, jako jediná z obnovitelných zdrojů, má sice teoretický
potenciál pokrýt 100% našich potřeb elektřiny, jenže fotovoltaické elektrárny vyrábí nejvíce
elektřiny pouze v omezeném čase. Pro běh serverů v režimu 24x7 je však nutné elektřinu
odpovídajícím způsobem akumulovat, což je ovšem velmi nákladné a ztrátové, protože během
nabíjení dochází ke ztrátám energie a zároveň nejsou schopné kapacitu po delší dobu udržet
(vybíjejí se). Další a efektivnější možností je plánovat jednotlivé požadavky a tím maximálně
AIP Scholaris
11
vytěžovat IT prostředky v době, kdy je energie z obnovitelných zdrojů vyráběna (o této
problematice bude pojednáváno v části 4.3).
Na systémy akumulace elektřiny je řada často protichůdných požadavků, důležité jsou
následující vlastnosti [12]:







Velikost a kapacita
Maximální výkon jaký může poskytnout, jak rychle dokáže energii uvolnit
Doba po jakou může energii uchovat a kolik energie se při tom ztratí
Účinnost a její případný pokles s časem
Investiční náklady a cena za akumulovanou kWh
Počet cyklů, životnost
Bezpečnost provozu, vliv na životní prostředí
2.2.4 NET – ZERO ENERGY
V dílnách HP Labs vznikl program „HP Net-Zero Energy Data Center research“, který
umožňuje firmám a organizacím provozovat po celém světě datová centra využívající místní
obnovitelné zdroje energie. Dokáže tak odstranit závislost na konkrétní lokalitě, energetickém
zdroji či místních cenách elektřiny [6]. Výzkum HP Labs ukázal, jak může tato architektura v
kombinaci s technikami holistické správy energie snížit spotřebu energie až o 30%, zároveň
získat nezávislost na standardním zdroji napájení a redukovat náklady o více než 80% [6]. HP
díky tomu otevírá zcela nový prostor pro rozšíření IT služeb v organizacích všech velikostí.
2.3 PUE KOEFICIENT (POWER USAGE EFFECTIVENESS)
PUE koeficient je poměr celkové spotřeby energie ke spotřebě IT vybavení (hardware). Tato
hodnota je pak ukazatelem toho, jak efektivní je datové centrum jako celek, a také jaký ještě
zbývá prostor ke zvyšování jeho efektivity. Ideální hodnota PUE je 1,0, což znamená, že by
veškerá spotřebovaná energie byla využita přímo jen na provoz samotného IT, ale běžně mají
moderní datová centra ve světě hodnotu PUE obvykle kolem 1,4. Pokud má datové centrum
PUE výrazně vyšší, je to signálem pro jeho inovaci, která se pak dalším provozem rychle
zaplatí.
3 FYZICKÉ USPOŘÁDÁNÍ DATOVÉHO CENTRA
Tato část práce se zabývá především úsporou elektrické energie za pomoci rozšířených
možností chlazení. Tato řešení jsou specifická především tím, že k jejich řešení je potřeba
vykonat nějaký fyzický zásah do datového centra, ať už se jedná o přemístění samotných
serverů, nebo dokoupení dalších zařízení (například v podobě ekonomizérů).
3.1 HORKÁ A STUDENÁ ULIČKA
Horká a studená ulička je v dnešní době považována za standard většiny datových center,
proto je její zařazení do této práce téměř nutností. Pokud je datové centrum vytvořeno bez
tohoto systému, mísí se v místnosti studený vzduch, který do prostoru přichází, se vzduchem
horkým, jež místnost opouští, což vede ke zvýšení nutné energie pro ventilátory kvůli pohybu
vzduchu, který je důležitý pro udržení ideální teploty.
12
Kunst, Beneš, Volf
Principem horké a studené uličky je tedy vytvořit takové rozložení racků v místnosti, aby
v prostoru utvořily uličky. Rozestavění serverů pak musí být takové, aby čela serverů (tedy
část vyfukující horký vzduch) směřovala k sobě (což způsobí, že k sobě ve vedlejší uličce
budou směřovat záda serverů, která naopak vzduch nasávají). Tím je tedy způsobeno, že
v první uličce je vzduch pouze nasáván, ve vedlejší pouze vyfukován a ve vedlejší opět pouze
nasáván. K tomu je samozřejmě potřeba jak přívod studeného vzduchu, tak vývod vzduchu
teplého.
Obr. 2. Horká/studená ulička [2]
Přívod vzduchu je řešen pomocí „aktivních“ podlah – jedná se o vyvýšené dvojité podlahy
s perforovanými díly. Pomocí těchto otevřených dlaždic je možné distribuovat studený
vzduch přímo k zadním stranám serverů. Průtoky vzduchu mohou být samozřejmě
monitorovány několika senzory v samotné podlaze, díky nimž je možné průtok regulovat. Pro
odvod vzduchu je využívána klimatizace umístěná ve dvojitém stropě nad horkými uličkami.
To má za následek snížení energie potřebné pro chod ventilátorů v klimatizaci, tedy úsporu na
správném řízení toku vzduchu (Air flow management).
Datové uličky je možné vylepšit o různá rozšíření. Například se jedná o uzavřenou studenou
uličku [2], která se používá převážně pro řešení, kde se očekávají vyšší teploty, než je běžné.
Principem je fyzická konstrukce oddělující studené uličky od okolních prostor místnosti a to
kvůli redukci studeného vzduchu určeného serverům. Dalším zajímavým rozšířením je
oddělení horké uličky od prostorů místnosti pomocí tzv. komínků [2], kterými je horký
vzduch vydaný servery hnán skrze přidanou konstrukci napojenou přímo na regály rovnou do
stropu a ochlazený poté putuje zpět do podlahy.
3.2 NĚKTERÉ PRAKTIKY ŠETRNÉHO CHLAZENÍ
V této kapitole představíme několik možností, díky kterým lze datové centrum chladit (nebo
celkově optimalizovat) tak, aby spotřeba elektrické energie byla v porovnání s klasickým
(tedy neoptimalizovaným) systémem co možná nejmenší.
AIP Scholaris
13
3.2.1 STORED COOLING
Stored cooling (nebo také „uložené chlazení“) je postaveno na základě starověkých chladíren
[9], které využívaly led uskladněný v zimě pro letní dny. V moderním pojetí je nahrazeno
letní uchování ledu a to pomocí moderních chladičů. I přes vynaloženou energii na chlazení
ledu je stále toto řešení výhodné [9]. Již z principu je však jasné, že ideálním místem, kde lze
stored cooling využít, jsou místa s velice chladným klimatem (John Lamb v [9] uvádí jako
perfektní příklad Kanadu) a je tedy dostatek „mrazu“ a ledu k uložení. Pro potřeby datových
center lze však využívat i jiných „stored“ systémů, jako například tepelných nebo solárních
ukládání. Zajímavostí je, že jako média pro tepelné ukládání mohou sloužit například síran
sodný, nebo parafín.
3.2.2 FREE COOLING
Metoda free coolingu (volný překlad může být například „chlazení zdarma“) je možná použít
hlavně v případech, kdy jsou datová centra umístěna v klimatických podmínkách, které
zaručují alespoň 3000 hodin ročně (125 dnů) teplotu maximálně 12,8°C a to především
pomocí „water-side/fluid-side ekonomizeru používaného ve spojení s odpařovacím chlazením
nebo suchým chlazením (evaporative cooling a drycooling) k nepřímé produkci chlazené
tekutiny“ [7], [9]. Tekutina je poté určena k přímému chlazení datových center (chlazená
tekutina se pohybuje kolem -11,1°C). Hlavní nevýhoda vodního/kapalinového chlazení (a
tedy i metody free coolingu) je však jistá kontroverze, která je spojená s možným únikem
vody a poškozením samotných serverů. John Lamb například uvádí, že IBM vodou přestalo
chladit již v roce 1995 a Sun Microsystems pak v roce 2008. Free cooling lze použít nejen za
pomoci vody, ale i vzduchu (zde se používá vzduchový ekonomizér), který je však mnohými
odborníky (např. [7]) považován za příliš nedůvěryhodný a ve výsledku také příliš nákladný.
3.2.3 TEMPERATURE MANAGEMENT
Tato metoda v podstatě nabádá k tomu, aby byly teploty v datových centrech zvedány nad
jejich dosud typické maximum. Velká část těchto center totiž pracuje s teplotami kolem 22°C,
což je samozřejmě velice náročné jak po stránce ekonomické (obrovské množství elektrické
energie), tak po stránce ekologické (velké množství CO2 vypouštěného do ovzduší). Některé
studie dokonce udávají, že zvýšení teploty o jediný stupeň Celsia dokáže snížit náklady na
energii o 2-5%. Microsoft dokonce oznámil, že zvýšením teploty o 2-5% v jediném jejich
datovém centru dokázalo ušetřit ročně až 250,000 dolarů za spotřebu energie [5]. Problémem
tohoto systému je samozřejmě snížená živostnost komponent serverů a tím zvýšená
pravděpodobnost nastání kritické chyby. Tímto problémem se zabývá studie [5], která se
snaží dokázat, že závislost zvýšené teploty na spolehlivosti základních komponent serverů
(konkrétně HDD, CPU a DRAM) je mnohem nižší, než se obecně předpokládá a to především
zjištěním, že do teplot kolem 50°C se chybovost komponent vyskytuje spíše jako lineární růst,
nežli jako růst exponenciální. Jiné studie však poukazují na to, že každých 10°C nad teplotu
21°C snižují spolehlivost elektrotechniky až o 50% [11]. Ideální teplotou se tedy jeví číslo
kolem 25°C.
3.2.4 ÚSPORNÉ PROCESORY
Zajímavým řešením a v podstatě i logickým krokem je pořizování serverů s více jádry. Dle
výrobců lze pomocí procesorů s více jádry ušetřit až 40% energie a tepla. Principem tedy je
mnohem větší rychlost řešení potřebných úkonů a možnost řešit o poznání více úkolů na
14
Kunst, Beneš, Volf
jednom procesoru, než tomu bylo dříve [9]. Problémem tohoto řešení je však neustále
narůstající náročnost společnosti, co se zadaných úkolů týče, přesto snaha výrobců o tvorbu
šetrných a energeticky méně náročných procesorů je stále patrnější.
3.3 ROZMÍSTĚNÍ SERVERŮ
Velice důležitou součástí při výstavbě nového datového centra, popřípadě jeho optimalizace,
je rozmístění racků dle jejich průměrného zatížení, což již předpokládá využití horké a
studené uličky. To by mělo následovat také zaslepení prázdných slotů v racku a správné
upravení kabelů (neboli zkrocení), což ve výsledku zamezí (nebo alespoň zredukuje) průnik
teplého vzduchu do uličky se vzduchem studeným a sníží tak potřebnou energii pro
klimatizaci. Špatné rozmístění serverů bez ohledu na zatížení pak může způsobit vážné
komplikace kvůli předimenzování nebo poddimenzování konvenčních CRACů (Computer
Room Air Conditioning), což může vést až k tomu, že chladící jednotka nebude schopna
zvýšené teploty na jedné straně místnosti uchladit (viz
Obr. 3), kdežto na druhé straně poběží jednotky jen na 50% svého výkonu [14]. Toho se tedy
lze vyvarovat správným rozestavěním, využít uzavřené horké/studené uličky, popřípadě
umístit celý rack do uzavřeného stojanu s vlastním chlazením [3].
Obr. 3. Špatné umístění dle zatížení [14]
4 ROZDĚLENÍ ZATÍŽENÍ SERVERŮ
Dalším krokem, který lze podniknout k ochlazení datových center a snížení nároků na
spotřebu energie, je optimalizace rozdělení zatížení mezi servery. Samozřejmě se jedná o
přidělování úkolů dávkového zpracování, které lze přidělit víceméně kdykoliv jakémukoliv
serveru, tedy jde nám pouze o rozložení výpočetní zátěže.
Je zřejmé, že v případě nulového či stoprocentního zatížení celého datového centra neexistuje
výběr mezi lepším a horším rozložením (pro každý tento extrémní stav existuje jen jedna
varianta). Nicméně ve všech ostatních případech již je možné nalézt více možností, jak zátěž
rozdělit, a najít mezi nimi ty nákladnější a ty méně nákladné. Na Obr. 4 je patrný rozdíl ve
výši nákladů na chlazení datového centra v případě nejlepšího či nejhoršího rozložení. Sklon a
zalomení křivek bude pro každé datové centrum jiné. Čím bude datové centrum lépe
AIP Scholaris
15
uspořádané a s lepšími klimatizačními podmínkami, tím se zalomení zelené křivky posune
více doprava [11].
Obr. 4. Vliv rozložení zátěže na náklady (překresleno dle [11])
Jak rozdělit zatížení mezi servery si povíme ve třech krocích. Nejdříve zjistíme jak vůbec
obecně rozkládat výkon po jednotlivých serverech, poté se budeme zabývat tím, jak rozložit
zátěž po serverech vzhledem k jejich fyzickému umístění v datovém serveru, a ve třetím
kroku se budeme věnovat rozložení zátěže v čase a s tím spojeným využitím obnovitelných
zdrojů.
4.1 POWER BUDGETING
Každé datové centrum má nějaký maximální výkon, který je mu možno dostupnými zdroji
dodávat. V současnosti tento výkon dokonce bývá menší, než celkový součet maximálních
výkonů všech zařízení datovém centru, takže kdyby měly všechny servery jet naplno, datové
centrum by jim k tomu nebylo schopno zajistit dostatek energie. Tomuto přetěžování se říká
„over-subscription“ [8]. Je tedy potřeba řídit zatěžování serverů tak, aby pro ně vždy byl
dostatek energie. Pokud se navíc podaří zatížit servery tak, aby byl jimi požadovaný výkon
minimální, lze uspořit velkou část energie a tedy i peněz.
Jelikož je velice složité řídit výkon každého serveru zvlášť a navíc v kontinuálním intervalu
od nulového po maximální výkon, je vhodnější použít jen několika diskrétních stavů, ve
kterých se server může vyskytnout. Těmito stavy jsou Nečinnost (Pneč) a Využito 1 až N jader
procesorů P1-Pn. Ještě přichází v úvahu stav Vypnuto (Pvyp), ale to je speciální případ, kterým
se budeme zabývat později. Pokud budeme chtít využívat datové centrum na X%, pak to
znamená, že nám X% serverů poběží na plné obrátky a ostatní budou nečinné.
Dle [11] je jednou s nejefektivnějších metod rozložení zátěže mezi servery metoda One Pass
Analog s nadstavbou Zone-Based Discretization (ZBD). Při aplikaci této metody je nejdříve
provedena kalibrační fáze, kdy se zatíží všechny servery rovnoměrně a je změřena průměrná
spotřeba na jeden server (Pref) a průměrná teplota u výdechu serveru (Tref). Následně je již při
normálním běhu celého centra měřena teplota u výdechu každého serveru i, ta je porovnávána
s Tref a na základě vzorce
16
Kunst, Beneš, Volf
(1)
je vypočítán power budget Pi daného serveru. Aby bylo možné pracovat s diskrétními
hodnotami, používá [11] nadstavbu Zone-Based Discretization. Při práci s diskrétními
hodnotami nezatěžujeme servery rovnoměrně, ale zatěžujeme jen některé, ale za to na 100%
(dosahují Pmax). Díky metodě One Pass Analog však mají servery přidělený jen power budget
Pi, který je menší než Pmax. Nadstavba funguje tak, že je vybrán nečinný server s nejvyšším
přiděleným Pi (tedy ten nejchladnější), zjistí, kolik výkonu mu chybí, aby dosáhl Pmax.
(2)
Tento výkon si pak server vypůjčí od serverů ze svého okolí. Velikost okolní zóny je dána –
má V serverů na výšku a H serverů na šířku, vždy symetricky okolo vybraného serveru (tedy
např. V = 4 znamená dva servery nad a dva pod vybraným serverem). Dále je dán poměr a,
což je poměr výkonu, který si náš server vypůjčí od každého z vertikálních sousedů ku
výkonu vypůjčenému od každého z horizontálních sousedů.
(3)
Teď již stačí jen zjistit, kolik Wattů si má vybraný server půjčit od svých sousedů. Nejdříve
zjistíme počet (N) rovnoměrných dílů, na které budeme dělit půjčovaný výkon Ppotř a pak
zjistíme, kolik Wattů připadá na jeden díl (Pdíl) a na konec jen přepočítáme na Ppůjč V a Ppůjč H,
tedy kolik je potřeba si vypůjčit od každého vertikálního a horizontálního souseda v rámci
zóny.
(4)
(5)
(6)
(7)
Pokud bychom chtěli takto zatížit více serverů, stačí opakovat algoritmus od začátku.
Výhodou je, že celkový power budget pro danou zónu zůstane nezměněný, jen se přemístil
výkon jinam. Efekt individuálního přístupu metody One Pass Analog zůstane zachován a
přitom je možné pracovat s diskrétními stavy serverů, což je jednodušší.
Další účinnou metodou zmíněnou v [11] je Minimizing Heat Recirculation (MinHR). Ta
vychází z poznatku, že servery nenasávají jen chladný vzduch z klimatizací, ale i ohřátý
vzduch, který vygenerují ostatní stroje a který se nestihne odsát. Zatímco ZBD snižuje výkon
strojů, aby tolik nehřály, MinHR řeší množství teplého vzduchu, který je znovu nasáván do
serverů.
AIP Scholaris
17
První fází metody MinHR je kalibrační fáze, kterou je nutno provádět v nečinném datovém
centru, a to vždy, když je v něm provedena nějaká větší změna (např. přidání CRAC jednotky
či nového racku se servery apod.). Při kalibrační fázi je změřeno množství vydaného tepla
(Qref) a množství recirkulovaného tepla (δQref). V druhé fázi jsou servery rozděleny do
skupinek, které jsou pak brány jedna po druhé, maximálně se zatíží CPU všech serverů ve
skupince a znovu se změří množství vydaného (Qj) a množství recirkulovaného tepla (δQj).
Z těchto hodnot je pro každou skupinku vypočítán Heat Recirculation Factor (HRF) a
součtem všech HRF je získán Summed Recirculation Factor (SRF). Pro každou skupinku
serverů je pak vypočítán její power budget Pj.
(8)
∑
(9)
(10)
Hlavními výhodami MinHR je, že maximalizuje celkový power budget a díky tomu i
potenciální využití každého serveru a minimalizuje celkové množství recirkulovaného tepla.
Oproti ZBD je ještě o 20% efektivnější, ale má určitá omezení. Například kalibrační fáze, kdy
je vyžadována poměrně dlouhá nečinnost celého datového centra a navíc se musí dělat při
každé změně datového centra. Pro srovnání oproti kalibraci ZBD ve vzorovém příkladu v [11]
zabrala kalibrace pro MinHR více než stokrát více času.
Pro ještě větší zefektivnění je možné nevyužité servery nenechávat nevyužité, ale úplně je
vypínat či alespoň hibernovat. Toto zefektivnění lze však úspěšně použít pouze v případě, kdy
máme k dispozici stroje, které jsou na časté zapínání a vypínání připravené a jsou schopné
naběhnout velmi rychle. Jinak je nevýhodou dlouhá odezva a vyšší poruchovost serverů.
4.2 ROZLOŽENÍ ZÁTĚŽE VZHLEDEM K ROZMÍSTĚNÍ SERVERŮ
Tato metoda vychází z poznatku, že v datovém centru jsou místa, která je složitější ochladit,
než místa jiná – například v rozích daleko od chladících jednotek nebo obecně ty, které jsou
v racku umístěny výš. Zákonitě tedy existují i místa, která je snazší ochladit, kde je chladící
efektivita vyšší. Metoda se zabývá nalezením těchto míst, která jsou vhodnější pro chlazení, a
tedy mohou generovat větší teplo, jinak řečeno – lze je více zatížit [14].
V [14] je nejdříve pro každý server spočítán Local Workload Placement Index (LWPI), který
je daný vzorcem
(11)
kde ΔTser značí o kolik stupňů je potřeba server zchladit, ΔTdod značí, o kolik stupňů byl server
zchlazen na základě teploty vzduchu dodávaného od CRAC jednotky a ΔTrec značí, o kolik
Kunst, Beneš, Volf
18
stupňů se vlivem recirkulace tepla zvyšuje teplota vzduchu u sání oproti teplotě vzduchu
doručené od CRAC jednotky.
Na servery s nejvyšším LWPI jsou umístěny nejdéle běžící úkoly, ostatní servery lze po
doběhnutí jejich úkolů nechat nevyužité, případně je zahibernovat či vypnout.
4.3 VYUŽÍVÁNÍ OBNOVITELNÝCH ZDROJŮ K NAPÁJENÍ
Jako třetí dimenzi v rozložení zátěže na servery jsme si vybrali čas, tedy kdy úkoly na
serverech spouštět, aby došlo k co největším úsporám. Za normálních okolností na čase
spouštění úkolů v podstatě nezáleží – elektřina stojí celý den stejně. Ovšem ve chvíli, kdy se
firma rozhodne začít používat obnovitelné zdroje, tak se situace změní.
Nejefektivnějším a zároveň nejsnáze instalovatelným zdrojem elektřiny získané
z obnovitelných zdrojů jsou fotovoltaické panely [10]. V tomto článku se nebudeme zabývat
posouzením, zda se nákup panelů vyplatí nebo ne, ale pouze se pokusíme ukázat, jak je využít
pro snížení nákladů na energii datového centra.
Nevýhodou fotovoltaických panelů je, že vyrábějí energii pouze ve dne. Je sice pravda, že
energii lze skladovat v různých akumulátorech, nicméně toto skladování je poměrně nákladné
a navíc dochází ke značným ztrátám během nabíjení a vybíjení. Nejefektivnější tedy je
používat energii hned, jak je vytvořená.
V datovém centru běží na serverech dva tipy úkolů – interaktivní, které je nutno provádět
právě v tu dobu, kdy jsou zadány, a neinteraktivní, které je možno spouštět prakticky
kdykoliv. Právě tyto úkoly se můžeme v čase pokusit rozmístit tak, aby bylo co nejvíce
využito levné energie z panelů.
Nejprve je nutné pro jednotlivé úkoly nedefinovat jejich výpočetní náročnost (počet
procesorů, počet hodin, začátek, čas ukončení). Na základě historických dat z předešlých dnů
a roků lze předpovědět kolik fotovoltaické energie bude dodáno a jaké bude požadováno
zatížení. Kombinací těchto dat, firemních cílů a potřeb a dalších parametrů jako teplota, cena
elektřiny, IT kapacita a parametry chlazení, je možno vytvořit rozvrh pro zatížení, resp. pro
spouštění jednotlivých úkolů.
Při experimentu dle [10] bylo k testování použito datové centrum v Californii, USA, se
130kW polem fotovoltaických panelů a 500 serverů s celkovým výkonem 100kW, na kterých
běžela webová služba s 85 miliony registrovaných uživatelů. Interaktivní zátěž běžela cca
mezi 8-18 hodinou.
Byly stanoveny čtyři simulace:



„Optimal“ (Optimální), kde bylo využito obnovitelných zdrojů přes den, případně
úkoly, které se do dne nevešly, byly zařazeny někdy v noci, kdy je venku chladněji,
takže lze využít chlazení vzduchem (pokud je na to datové centrum zařízeno)
„Night“ (Noční), kde ve dne byl ponechán prostor pro interaktivní úkoly a
neinteraktivní proběhly v noci (tedy tak, jak je to obyčejně zvykem)
„Best Effort“ (Nejlepší úsilí), kde je úkol plněn hned, jak vznikne požadavek a je při
tom využito veškeré dostupné IT k dokončení úkolu v co nejkratším čase.
AIP Scholaris

19
„Flat“ (konstantní režim), kde je rozdělení provedeno tak, aby v každou hodinu byla
zátěž z neinteraktivních úkolů stejná.
Výsledky simulací jsou na
Obr. 5 a)-d), v části e) je znázorněn poměr využití obnovitelných (zelené) a neobnovitelných
(modré) zdrojů a v části f) je pak vidět porovnání emisí CO2 a nákladů na energii. Je patrné,
že Optimální nastavení je proti normálnímu (tedy Nočnímu) způsobu diametrálně úspornější.
V tomto konkrétním příkladu šlo o více než 80%.
Obr. 5. Rozložení zátěže v čase [10]
Kunst, Beneš, Volf
20
5 ZÁVĚR
Nejprve je nutné si uvědomit, že tato práce má několik omezení:



Autoři nemohli uvedené postupy ověřit v reálném prostředí
Nebylo možné stanovit, jaký podíl na zvětšení efektivnosti jednotlivá řešení mají
A z toho plyne i ta skutečnost, že se nebylo možné určit reálné úspory, ani dopad na
efektivnost datového centra (PUE)
Na druhou stranu je nutné říci, že uvedené postupy byly testovány a většina z nich byla
uvedena i do praxe. Zde nabízený výčet řešení se v sobě snaží integrovat jednotlivé přístupy
k dané problematice tak, aby nabízel komplexní řešení pro řízení efektivnosti v datových
centrech.
Pro optimalizaci nákladů datových center doporučujeme v první řadě stanovit cílovou teplotu
na úroveň 25°C oproti obvyklým 22°C a dále pak rozmístit servery dle principu horkých a
studených uliček, navíc s využitím komínků pro přímější odvod tepla z místnosti a v případě
potřeby neváhat využít přídavná chladící zařízení pro kritická místa. Rovněž je užitečné
rozložit zatížení na servery tak, aby bylo zatížení rovnoměrné, respektive byly ještě o něco
více zatíženy servery, které lze efektivněji chladit vzhledem k jejich pozici vůči
klimatizačním jednotkám. Toho lze nejefektivněji docílit metodou MinHR, případně metodou
ZBD, která je sice o něco méně efektivní, ale zato jednodušší na provedení.
Je-li to vzhledem k lokálním klimatickým podmínkám vhodné, je určitě dobré používat
obnovitelné zdroje, a to ať jako zdroje elektřiny, tak jako zdroje chladu. S jejich využitím
ovšem vyvstává otázka ohledně dostupnosti zdrojů a akumulací energie, které se uplatní
v momentě, kdy není generovaný proud z obnovitelných zdrojů. Mezi metody využívající
obnovitelné zdroje patří Free cooling, Stored cooling a časové rozložení zátěže na servery tak,
aby většina energie mohla být dodávána obnovitelnými zdroji energie. Ideálním stavem je
princip udržitelného datového centra, které je právě založeno na maximálním využití
obnovitelných zdrojů.
Cíl práce byl tedy naplněn, jelikož každý krok sám o sobě představuje možnou úsporu
nákladů v datovém centru. Je škoda, že nebylo možné ověřit vliv jednotlivých zlepšení na
chod centra a zejména pak v případě, kdyby se celý balík integroval a optimalizoval
v reálném prostředí. Bylo by zajímavé sledovat vliv na jednotlivé ukazatele, ať už
v relativním nebo absolutním vyjádření.
Další relevantní otázky do budoucna:



Je možné, aby se koncept net-zero energy prosadil?
Jaká je jeho návratnost?
V jakých oblastech je nejvhodnější ho provozovat?
AIP Scholaris
21
6 SEZNAM POUŽITÝCH ZDROJŮ
[1]
AHMAD, Faraz a T. N. VIJAYKUMAR. ASPLOS XV: Fifteenth International
Conference on Architectural Support for Programming Languages and Operating
Systems, March 13-17, 2010, Pittsburgh, PA, USA. New York, N.Y.: ACM Press,
c2010, s. 243-256. ISBN 1605588393.
[2]
Datová centra. KTP. KABEL Trade Praha [online]. 2012. vyd. [cit. 2012-12-17].
Dostupné z: http://www.ktp.cz/cz/datova-centra
[3]
DĚDIČ, Marek. Jak při rozšiřování datacentra zvýšit i jeho efektivitu. System
Online [online]. 2009. vyd. [cit. 2012-12-17]. Dostupné z:
http://www.systemonline.cz/sprava-it/jak-pri-rozsirovani-datacentra-zvysit-i-jeho-efektivitu1.htm
[4]
EKOWATT. Průměrné měsíční doby slunečního svitu ve vybraných lokalitách ČR
[online]. 2011. vyd. [cit. 2012-12-20]. Dostupné z: http://www.tzb-info.cz/tabulky-avypocty/99-prumerne-mesicni-doby-slunecniho-svitu-ve-vybranych-lokalitach-cr
[5]
EL-SAYED, Nosayba. Temperature Management in Data Centers: Why Some (Might)
Like It Hot. [online]. 2012 [cit. 2012-12-17]. Dostupné z:
http://www.cs.toronto.edu/~nosayba/temperature_cam.pdf
[6]
FEEDIT. HP představuje unikátní architekturu pro datová centra – „Net-Zero Energy“
[online]. 18.7.2012. [cit. 2012-12-20]. Dostupné z
http:/www.feedit.cz/wordpress/2012/07/18/hp-predstavuje-unikatni-architekturu-prodatova-centra-net-zero-energy/
[7]
GREENBERG, Steve. Best Practices for Data Centers: Lessons Learned from
Benchmarking 22 Data Centers. [online]. 2006 [cit. 2012-12-17]. Dostupné z:
http://evanmills.lbl.gov/pubs/pdf/aceee-datacenters.pdf
[8]
HAROLD, Lim, Kansal AMAN a Liu JIE. Power budgeting for virtualized data centers
[online]. 2011[cit. 2012-12-18]. Dostupné z:
http://research.microsoft.com/pubs/147239/vpsusenix11.pdf
[9]
LAMB, John. The greening of IT: how comanies can make a difference for the
environment. Boston: IBM Press, 2009, s. 131-149. ISBN 978-0-13-715083-0.
[10] LIU Zhenhua, Yuan CHEN, Cullen BASH, Adam WIERMAN, Daniel GMACH,
Zhikui WANG, Manish MARWAH, and Chris HYSER. 2012. Renewable and cooling
aware workload management for sustainable data centers. SIGMETRICS Perform. Eval.
Rev. 40, 1 (June 2012), 175-186. Dostupné z:
http://smart.caltech.edu/papers/HPimplementation.pdf
[11] MOORE, Justin. Making Scheduling "Cool": Temperature-Aware Workload Placement
in Data Centers. [online]. 2005 [cit. 2012-12-17]. Dostupné z:
http://static.usenix.org/event/usenix05/tech/general/full_papers/moore/moore_html/
[12] MURTINGER, Karel. Ukládání elektřiny z fotovoltaických a větrných elektráren
[online]. 03. 05. 2011. [cit. 2012-12-20]. Dostupné z:
http://www.nazeleno.cz/energie/energetika/ukladani-elektriny-z-fotovoltaickych-a-vetrnychelektraren.aspx
22
Kunst, Beneš, Volf
[13] PAKBAZNIA, Ehsan a Massoud PEDRAM. Minimizing Data Center Cooling and
Server Power Cost [online]. 2009 [cit. 2012-12-19].Dostuoné z:
http://atrak.usc.edu/~massoud/Papers/datacenter-powcost-islped09.pdf
[14] PATEL, Chandrakant. Thermal Considerations in Cooling Large Scale High Compute
Density Data Centers. [online]. 2002 [cit. 2012-12-17]. ISSN 1089-9870. Dostupné z:
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.9.5049&rep=rep1&type=pdf