2 0 1 4 pro efektivnější byznys

Z VL Á ŠTNÍ NEPRODE JNÁ PŘÍLOHA | ČERVEN 2014
Bigdata
2 0 1 4
pro efektivnější byznys
„ Získejte z big dat hodnotné informace
„ Vybíráme nejvhodnější úložiště
„ Deset častých mýtů
S I LV E R PA R T N E R
Bez názvu-21 15
Bigdata_2014_235x297.indd 6
23.06.14 13:43
6/23/14 1:13 PM
BIG DATA | GOVERNANCE
Získejte z big dat hodnotné informace
V současnosti je běžnou součástí naší kultury zdravý životní styl.
Většina lidí se více či méně snaží žít zdravě a být v kondici, protože se
pak cítí lépe, dokáže snadněji vykonávat každodenní činnosti a ví, že se
v budoucnu vyhne mnohým problémům. A s big daty je to podobné.
I zde totiž platí, že větší neznamená lepší a silnější. Samotný fakt, že lze
pomocí různých technologií a nástrojů pracovat s velkými objemy dat,
není jistotou, že díky tomu lidé, komerční společnosti či jiné instituce
získají více informací nebo jakoukoli jinou užitnou hodnotu, kterou
budou schopny využít pro plnění svých cílů.
M I C H AL GÜRT NER
C
ílem big data governance je zavést jistá
pravidla, principy, technologie
a lidské činnosti, které budou
směřovat k efektivní správě a vytěNáklady
žování velkých objemů údajů
Zisk
s cílem vytvořit hodnotné inRizika
Strategie
formace pro své vlastníky
a uživatele.
Renomé
Procesy
Jinými slovy lze říci, že big
Big data
data governance je specifická
kultura pro práci s big daty.
Majetek
Pokud se správně definuje
Projekty
a dodržuje, odrazí se to nejen ve
Růst
Analytika
všech aktivitách, které komerční
i nekomerční instituce vykonávají,
ale bude to znamenat i lepší výhled do
budoucnosti a eliminaci možných
problémů.
Pojetí big data governance
Nicméně aby se podařilo vytvořit onu
„správně definovanou kulturu“ pro práci s big
daty a onu big data governance zavést, je poPráce a integrace
třeba si odpovědět na řadu otázek a přizpůsobit
Aby bylo možné big data využívat, je nutné je
jednotlivé oblasti tak, aby se jejich dodržování
přenést ze zdrojových systémů a všech možných
nebo rozsah samotný nestaly problémem.
zařízení, která je generují do cílových úložišť.
Příkladem otázek, na které je nutné znát odV rámci tohoto přenosu nebo kdykoli později se
povědi, mohou být:
musejí vykonat různé transformační úlohy včet■ V jakém stavu je aktuálně kultura pro práci
ně integrace s daty z jiných systémů a zařízení.
s daty, existuje vůbec, je formalizovaná a dodrŘešení na bázi Hadoopu, která existují, nežuje se?
jsou pro datové integrace vhodná ani použitelná.
■ Do jakého cílového stavu se chceme dostat,
Toto tvrzení pochází z analýzy „Hadoop is not
jaké oblasti big data governance chceme řešit
Data Integration Solution“, kterou uveřejnil
a jaké jsou priority?
Gartner.
■ Existují dostatečné zdroje a kapacity na imHlavním důvodem je fakt, že vlastnosti
plementaci a dosažení stanovených cílů, lze jich
a funkcionalita běžně dostupných ETL (ELT) náreálně dosáhnout v rámci požadovaného časostrojů žádná jiná řešení zatím neposkytují,
vého plánu?
a také kvůli tomu, že integrační úlohy nejsou
■ Co implementace big data governance přiizolované, je potřeba je řešit v kontextu a se znanese, lze její přínosy objektivně měřit a jakým
lostí okolí a účelu, pro jaký se údaje integrují.
způsobem?
Na druhé straně však stojí specifické úlohy,
Konkrétní oblasti, které big data governance
které naopak vyžadují „součinnost“ hadoopopokrývá, popisuje následující text. Definování,
implementace a dodržování big data governance vých řešení a mnohdy je vhodné udělat transformační úlohy s big daty právě prostřednictvím
lze považovat za klíč k získání hodnotných inHadoopu (procesů Map & Reduce).
formací z velkých objemů údajů, protože právě
Vzhledem k výše uvedeným faktům je nety pomáhají plnit cíle a stávají se ceněným mazbytné mít k dispozici vhodnou integrační platjetkem firem a institucí.
II
formu, která bude dostatečně flexibilní a robustní. Existuje mnoho způsobů, jakými lze data
zachytávat a předávat je k dalšímu zpracování.
Svět big dat znamená práci s velkými objemy
údajů z různých zdrojů, a proto jsou dalšími důležitými vlastnostmi konektivita, škálovatelnost
a rychlost, s jakou dokáže integrační platforma
data zpracovávat.
Integrační úlohy se v tomto případě nesmí
stát úzkým hrdlem a musejí zajistit poskytování
dat v podobě, která se nedefinuje, a v kvalitě
a čase, jenž splňuje očekávání uživatelů.
Pouze v takovém případě lze následně získat
požadované výstupy, které pomohou firmám
a organizacím plnit jejich cíle.
Porozumění, kvalita
a důvěryhodnost
Pokud se má z big dat vytěžit maximum, je nutné jim porozumět.
Objem, různorodost a rychlost,
s jakými se údaje generují,
jsou příliš vysoké na to, aby
bylo možné big datům porozumět jen na základě jejich
manuálního prozkoumávání –
ať už ve smyslu prohlížení jejich struktur či hodnot (tedy dat
samotných).
Kvůli tomu existuje řada softwarových nástrojů, které tyto činnosti dokážou automatizovat. Pokud jsou nástroje
dostatečně škálovatelné a dovedou vykonávat
analýzu velkého objemu dat během akceptovatelné doby či dokonce v reálném čase, lze jejich
výstupem řídit datové toky a v případě zjištění
nekonzistencí nebo nevyhovující datové kvality
spustit procesy čištění dat či párování záznamů – a to i ve světě big dat.
Datová kvalita však není jen otázkou párování
a odstraňování duplicitních údajů, ale i jejich
standardizací a obohacením. Týká se to širokého
spektra dat – nejen názvů firem, jmen lidí, adresních údajů, ale i názvů produktů, nejrůznějších kvantifikačních údajů, metrik nebo prostých textů, které mohou být zdrojem dat například pro analýzu sentimentu.
Jakýkoli výstup softwarového nástroje má
však omezenou vypovídající hodnotu, pokud se
datům neporozumí. Klíčové je proto datům i jejich strukturám přiřadit význam a znát jejich
kontext, souvislosti a vztah k činnostem a aktivitám, které firmy a instituce vykonávají.
Kvůli tomu je vhodné používat nástroje, jež
tuto problematiku pokrývají a poskytují svým
uživatelům komfortní uživatelské prostředí. Takové prostředí je rychle přístupné a umožní například zobrazit definici určitého termínu.
Následně lze zjistit, jaký je vztah konkrétního
termínu k datům, kde se nacházejí, jak vznikla
a jakou mají strukturu.
CO M P U T E RWO R L D 12 | 2014
CW12-bd2-3.indd II
20.06.14 14:04
GOVERNANCE | BIG DATA
Transakční
aplikace
Analytické
aplikace
Analýza
Integrace
Big data
Správa
Kostky
e
ac
gr
te
In
Rovněž je potřeba znát informace o tom,
jestli jsou data aktuální a zda prošla nějakým
procesem obohacování nebo čištění. S tím souvisí správa metadat nejrůznějších IT objektů
(např. databázových objektů, struktur Hadoop,
ETL, aplikací apod.), jež jsou nedílnou součástí
big data governance.
Oblast správy terminologie a metadat lze považovat za jednu z náročnějších z pohledu lidských zdrojů. Vyžaduje vysokou míru součinnosti mnoha lidí, kteří se podílejí na definování
termínů, jejich vztahů a vazeb do okolí.
Lidé zabývající se výhradně IT technologiemi
spolupracují s koncovými uživateli, kterým informační technologie nic neříkají – a přesto
spolu musí tito pracovníci komunikovat (například při zadávání a specifikaci požadavků na novou funkcionalitu či analýzu využívající technologii big dat).
Právě pro zlepšení komunikace a omezení
vzniku nedorozumění mezi těmito skupinami
lidí je klíčové využití vhodných nástrojů, které
usnadňují spolupráci mezi lidmi, jež mluví řečí
IT a byznysu.
Představit si lze situaci, kdy na základě reportu, který poukazuje na procentuální meziroční nárůst zisku, se rozhodlo o prorůstovém
opatření, třeba stavbě nové pobočky firmy.
V případě, že nejsou k dispozici přesné informace o tom, co vlastně termín zisk znamená
a jaká vstupní data se pro tvorbu reportu použila, by se mohlo stát, že report vykazoval informaci o zisku, který nebyl očištěn od kurzových
rozdílů a vytvořil se na základě neúplných
údajů – třeba jen za určitý segment či region. Je
tedy docela možné, že reálně zisk firmy neroste,
a není tedy důvod ke stavbě nové prodejní
pobočky.
Výše popsané oblasti big data governance pomáhají zvýšit důvěryhodnost i kvalitu dat a informací, na jejichž základě dochází k mnoha
rozhodnutím, která ovlivňují chod firem
či institucí.
Streamy
Datové
sklady
Data
Změny
Kvalita
Životní
cyklus
Bezpečnost
Zdroje,
zařízení
Součásti big data governance
Životní cyklus a bezpečnost
Životní cyklus dat a zajištění jejich bezpečnosti
je významnou úlohou, která přímo ovlivňuje náklady a reputaci všech firem a institucí. Včasná
archivace dat může například pozitivně ovlivnit
výkonnost některých databázových systémů,
protože pracují s menším množstvím dat a není
nutné je posilovat.
Cena za jednotku dat uložených v transakčním systému či v klasickém datovém skladu je
vyšší než u údajů ukládaných v Hadoopu či na
zálohovacím médiu. Vliv na tuto hodnotu mají
také použitý hardware, software a náklady na
administraci.
Nejen z tohoto důvodu se dnes big data a distribuce Hadoopu používají k tzv. augmentaci tradičních datových skladů – tedy jejich rozšíření
o struktury vhodné právě pro ukládání a práci
s big daty.
Za rozumnou cenu lze
tímto způsobem dosáhnout
zvýšení kapacity datových
skladů a vykonávat pokročilé
analýzy velkého množství
strukturovaných i nestrukturovaných dat.
Další oblastí, kterou je
nutné zvládnout a automatizovat, je příprava vhodného
vzorku testovacích dat, a tím
výrazné zkrácení času testování a nasazení nové aplikace.
Zásadně tím lze snížit cenu
celého projektu a mít dříve
benefity plynoucí z nasazení
nové aplikace či procesu.
Na bezpečnost dat se dnes
kladou vysoké nároky – existuje celá řada regulatorních
požadavků a zákonů, které
upravují způsob uchovávání, manipulaci a distribuci citlivých dat. Nejen klasické databázové systémy, ale i distribuce Hadoopu, které slouží
k uchování a práci s big daty, je nezbytné sledovat, zajistit jejich bezpečnost a zamezit přístupu
neoprávněných uživatelů.
Softwarová řešení, která dokážou sledovat
a řídit aktivity nejen v distribucích Hadoopu, by
měla být součástí majetku organizací – tak se
nevystaví nebezpečí ztráty dat a nechtěné publicity nebo vysoké pokuty za porušení zákona.
Zpřístupnění a analýza
Big data lze uživatelům zpřístupnit mnoha způsoby, například v podobě reportů s agregovanými
údaji, vizualizacemi, smysluplnými pohledy na
samotná data či dynamickými obrazovkami
s mnoha stále se měnícími informacemi.
Jinou možností jsou nástroje založené na
principu vyhledávání a indexace obsahu různých
datových zdrojů, které však dokážou zobrazovat
i relevantní informace, specifické a potřebné pro
danou organizaci.
Výstupy z analytických, statistických a modelovacích nástrojů jsou jen dalším příkladem prostředí, které propojuje uživatele s big daty.
Rozhodující však je, že hodnota jakéhokoli výstupu, obrazovky, reportu či analýzy roste anebo
naopak klesá úměrně s tím, jak úplné, kvalitní
a důvěryhodné jsou podkladové údaje.
V případě, že firmy a instituce budou respektovat výše popsané principy big data governance,
dokážou pomocí svých velkých objemů údajů generovat nejen hodnotné informace, které zlepší
jejich rozhodování. Zároveň i optimalizují svoje
náklady a eliminují možná rizika. A díky tomu
budou disponovat solidním základem pro svůj
■
budoucí rozvoj a prosperitu.
Autor pracuje jako technický konzultant pro IT
CO M P U T E RWO R L D.C Z
CW12-bd2-3.indd III
III
20.06.14 14:04
BIG DATA | STORAGE
Vyberte si vhodné úložiště
V éře big dat firmy shromažďují informace příslovečně nadsvětelnou
rychlostí. Tradiční strategie ukládání dat ale s tímto trendem nedokáže
udržet krok. Jak se tedy můžete vyhnout potížím s úložišti pro velké
objemy údajů?
Společnost Quicken Loans již měla stanovenou strategii pro škálování úložišť, která využívala centralizovanou síť SAN. Pro ukládání big
dat však potřebovala více než jen škálovatelný
úložný prostor, ale také výpočetní výkon umístěný blízko k uloženým datům. Řešením pro ni
byly uzly s Hadoopem.
„Můžeme využívat jednotlivé uzly, servery, procesory, úložnou kapacitu a operační paměť, takže je
to pro výpočty velmi rychlé,“ pochvaluje si Heová.
„Z hlediska nákladů, výkonu i růstu to pro nás má
mnohem větší vliv.“
Navíc takové řešení umocňuje a vytváří cestu
pro nové paradigma v oblasti podnikových big
dat, kde je úložiště levnější a neoddělitelně spojené s výpočetním a úložným výkonem.
Použití levnějších úložišť
STAC Y CO L L E T TOV Á
P
okud jde o big data, úložiště se již nepovažuje za monolitické silo, které by bylo svou
povahou proprietární a uzavřené, tvrdí
Ashish Nadkarni, analytik IDC.
Velké množství těchto systémů se podle něj
v současné době nasazuje s využitím interních
disků – je to podobné modelům použitým firmami jako Facebook nebo Google, kde je úložiště tvořeno právě interními disky v serverech.
Ty přitom mívají v sobě až 48 HDD a samotná
platforma ukládání se řídí softwarem. Používají
se k tomu univerzální operační systémy, na kterých běží softwarové jádro.
Uložená data rostou ročně o zhruba třetinu,
uvádí Aberdeen Group. To znamená, že oddělení
IT musí zdvojnásobit svou úložnou kapacitu každých 24 až 30 měsíců. „Dnes se na ukládání dat
vydává průměrně 13 % z rozpočtů IT,“ popisuje
Dick Csaplar, analytik Aberdeenu, a dodává:
„Za dva roky by to mohlo být 26 % a potom i 52 %.
Velmi brzy se to vymkne kontrole, takže nemůžete
dělat stále totéž znovu a znovu.“
Přestože je faktem, že náklady na úložiště
klesají, nesnižují se podle něj dostatečně rychle,
aby vyrovnaly potřebu dalších výdajů na úložiště,
jak objem dat roste.
Záplava nestrukturovaných dat také stále
stoupá. „Těžkým úkolem, který se každý snaží vyřešit, jsou nestrukturovaná data pocházející z doku-
IV
mentů, u nichž byste nečekali, že z nich budete dolovat informace,“ prohlašuje Vince Campisi, ředitel IT z GE Software, která propojuje počítače,
big data a lidi s cílem usnadnit analýzu údajů.
„Tradiční principy BI v koncepci a podobě stále
platí, ale množství přicházejících informací je mnohem větší, než postačí pro transakce v systémech
využívaných pro provoz běžného podnikání.“
Jak tedy vytvořit strategii ukládání dat v éře
big dat, škálovat architekturu ukládání dat, aby
dokázala udržet krok s daty a růstem podniku,
a udržet přitom náklady na ukládání dat pod
kontrolou? Poučte se u některých pokročilých
uživatelů.
Big data nejsou pro společnost Quicken Loans nic nového. Tento on-line poskytovatel hypoték je zvyklý na ukládání a analýzu dat od více
než 1,5 milionu klientů a úvěrů na bydlení
v hodnotě desítek miliard dolarů.
Před třemi lety však s nimi společnost teprve
začínala. „Začali jsme se zaměřovat na big data
získaná ze sociálních sítí – Twitteru, Facebooku, ze
sledování pohybu uživatelů na webu a z webového
chatu,“ což je obrovské množství nestrukturovaných dat, vysvětluje tamější ředitelka IT Linglong Heová.
„Způsob uchovávání dat je důležitý, protože má
dopad na strategii, a to nejen ohledně ukládání, ale
také synchronizace se strukturovanými daty či zvyšování vlivu na firmu,“ vysvětluje Heová.
V těsných politických závodech mohou informace způsobit rozdíl. Zeptejte se lidí z poradenské společnosti Catalist. Ta získává údaje od milionů voličů doplněné o obrovské množství „pozorování“ založených na dalších veřejných záznamech, jako jsou třeba transakce v oblasti
nemovitostí nebo žádosti o úvěrovou historii dotyčného subjektu.
Informace produkované jejími analytickými
nástroji sdělují organizátorům kampaně, jaké
lidi oslovit, a mohou dokonce doporučit kandidátům, aby přes noc změnili svou volební
strategii.
„Měli jsme velké úložiště EMC, které jsme vyřadili, protože bylo příliš drahé a spotřebovávalo
mnoho energie,“ vzpomíná Jeff Crigler, technologický ředitel Catalistu, a poznamenává, že systému EMC docházela i kapacita.
Firma tedy vybudovala cluster serverů NAS,
z nichž každý zvládne uložit petabajt dat. „Je to
v podstatě velká krabice disků s procesorem, který
je dostatečně inteligentní, aby mohl fungovat podobně jako řešení od EMC.“ Disky mají vysokou
kapacitu, software nabízí luxusní konfiguraci
a funkce zajišťuje nenáročný procesor.
Csaplar z Aberdeenu vidí rostoucí trend
ústupu od drahých úložišť, která stojí více než
dva miliony korun, směrem k levnějším serverům, jež nyní zvládnou udělat více práce.
„Výkon těchto zařízení roste a přebírá funkce,
které dříve vykonávala specializovaná řešení. Je to
podobné, jako když se sítě vyvinuly z rozbočovačů
a síťových karet připojených do sítě do funkce umístěné přímo v procesoru,“ dodává Csaplar.
Jsem přesvědčený, že se ukládání dat také
ubírá tímto směrem, myslí si Csaplar. Namísto
nákupu velkých a drahých diskových polí
firmy používají přístup JBOD (skupina disků) – nasazují neinteligentní zařízení pro
ukládání dat a výpočetní kapacitu serverů
k jejich správě.
„To snižuje celkové náklady na úložiště a nepřijdete o žádnou funkcionalitu – nebo možná dostanete 80 % výsledků za 20 % nákladů,“ poznamenává Csaplar.
Catalist nahradil svá zařízení s cenami více
než dva miliony korun za čtyři úložné jednotky
CO M P U T E RWO R L D 12 | 2014
CW12-bd4-5.indd IV
20.06.14 14:05
STORAGE | BIG DATA
NAS za tři čtvrtě milionu. „To bylo před rokem
a půl,“ a náklady na ukládání dat nadále
klesaly.
Csaplar očekává, že se na trhu objeví obyčejné levné systémy ve větší míře, až více organizací zjistí, že splňují jejich potřeby. Velcí dodavatelé, jako je EMC, vidí hrozbu, a proto kupují
firmy, které dodávají menší úložiště.
Mezera mezi ukládáním a zpracováním
Současný software umožňuje ukládání dat ještě
blíže k analytickým nástrojům a komprese souborů udržuje nároky na úložiště pod kontrolou.
Dodavatelé, jako je HP, respektive její divize
Vertica, mají přímo uvnitř databáze k dispozici
analytické funkce, které podnikům dovolují dělat analytické výpočty bez nutnosti extrahovat
informace do odděleného prostředí kvůli zpracování. Také Greenplum (součást EMC) nabízí
podobné funkce.
Obě řešení jsou součástí nové generace sloupcových databází, které jsou navrženy tak, aby
pokud jde o analytické pracovní zátěže, nabídly
výrazně lepší výkon, menší nároky na úložiště
a lepší efektivitu než databáze založené na řádcích. Greenplum se nedávno stala součástí firmy
Pivotal Labs, nabízející podnikovou platformu
PaaS a jež je součástí EMC.
Například firma Catalist si vybrala databázi
Vertica speciálně kvůli výše zmíněným funkcím,
uvádí Crigler. Protože je databáze sloupcová namísto řádková, hledá kardinalitu dat ve sloupci
a na základě toho může dělat kompresi. Kardinalita popisuje vztah jedné tabulky dat k jiné na
rozdíl od vztahů jeden vůči mnoha nebo mnoho
vůči mnoha.
V databázi máme sloupec nazývaný „Stav“
pro záznam každé osoby. V souboru o velikosti
300 milionů registrovaných voličů se ale objevuje jen padesátkrát, popisuje Crigler.
„V řádkově založených relačních open source databázových systémech, jako jsou například Postgres
nebo MySQL, by se objevoval 300milionkrát. Pokud
použijete takovou úroveň komprese na všechno –
od názvů ulic po příjmení Novák, pak to (a další
kompresní algoritmy) přinese z hlediska úložného
prostoru obrovské úspory.“
Volba databázové technologie tedy výrazně
ovlivní množství potřebného úložného místa.
Na straně úložiště pomáhají deduplikace,
komprese a virtualizace snižovat velikost souborů a množství dat ukládaných pro pozdější
analýzu. A tiering dat je dobře známá možnost
rychlého předání nejdůležitějších dat analytickým nástrojům.
SSD jsou dalším populárním médiem pro
ukládání dat v případě, že musí být rychle dostupná. Tyto systémy udržují údaje v režimu
velmi rychlé odezvy, vysvětluje Csaplar.
Uchovávají data v těsné blízkosti procesorů,
aby tak serverům umožnily rychlou analýzu dat.
Původně byly pro mnoho podniků příliš drahé,
ale ceny už klesly na úroveň, kdy si vrstvy vytvořené z SSD mohou dovolit i středně velké společnosti, dodává Csaplar.
Vzestup cloudů
Cloudové úložiště hraje ve strategiích ukládání
big dat stále významnější roli. V oborech, kde organizace působí po celém světě, jako jsou ropný
průmysl nebo těžaři zemního plynu, se údaje ze
senzorů posílají přímo do cloudu – a v mnoha
případech se tam dělá i analýza.
„Pokud sbíráte data z deseti nebo více zdrojů,
nebudete je pravděpodobně ukládat do svého datového centra, protože to není u tak velkého množství
dat nákladově efektivní,“ uvádí Nadkarni z IDC.
Například firma GE mnoho let analyzovala
data senzorů strojů pomocí technologie big dat
kvůli plánování údržby letadel. Campisi říká, že
množství údajů shromážděných z listu plynové
turbíny elektrárny jen za několik hodin běhu
může převyšovat množství dat, která se v sociálních sítích sbírají celý den.
Firmy využívají cloud ke shromažďování dat
i jejich analýze v něm, takže odpadá potřeba je
přenášet do datového centra.
„Společnosti jako Amazon vám poskytnou výpočetní vrstvu pro analýzu těchto údajů přímo
v cloudu. Když jejich rozbor dokončíte, můžete je
vždy přesunout, řekněme z vrstvy typu S3 na vrstvu
typu Glacier (Ledovec),“ dodává Nadkarni.
Glacier představuje extrémně levnou možnost uložení dat, kterou oznámil Amazon Web
Services v loňském roce. Je určená pro uchovávání dat „u ledu“ po celá desetiletí.
Další dodavatelé mají podobné služby cloudové archivace, uvádí Csaplar a poznamenává,
že tyto nabídky se profesionálně spravují za
velmi dostupnou cenu a mohly by například
sloužit jako konečné místo uložení starých
pásek.
Při velmi nízkých cenách za gigabajt je hodně
těžké takové nabídce odolat. „Jakmile dojde
k pročištění údajů a nebudou obsahovat žádné citlivé informace, můžete je do takovéhoto archivu
dát, a snížit si tak nároky na vlastní datové centrum,“ radí Nadkarni.
I běžné podniky se už zajímají o použití
cloudu pro ukládání a analýzu dat. Asi 20 % šéfů
IT dotázaných analytiky IDC uvádí, že se zaměřili na cloud jako na způsob rozšíření analytických schopností, i když mají k dělání analýz
vlastní datová centra.
„Je to hlavně ze dvou důvodů,“ vysvětluje Nadkarni. „Zaprvé tyto projekty často neřídí IT oddělení. Zadruhé vzhledem k času na nasazení a zprovoznění považuje mnoho podnikových oddělení za
jednodušší spustit několik instancí v cloudu, což zabere od pár týdnů po pouhých několik dní.“
Campisi z GE Software tvrdí, že většina zákazníků, které podporují, zatím pořád ukládá
a analyzuje data ve svém prostředí.
„Přecházíme ale na stále větší využívání cloudové technologie a schopnosti podporovat tuto strategii,“ popisuje Campisi.
Také Crigler se snaží přijít na to, jak přenést
všechna data Catalistu do cloudu. Tato firma již
replikuje do tohoto prostředí své databáze, jež
odpovídají identitám voličů, „protože je to velké
množství dat, které se používá v době, kdy dochází
ke špičkám“.
„Ke špičkám dochází čtyři až pět měsíců před
volbami. Schopnost rozšířit kapacitu zpracování
a využít více disků i procesorů je skutečně důležitá,“ vysvětluje Crigler.
Také se snaží najít strategii, která přinese nejlepší výkon za vynaložené investice při využití
tohoto typu dat a potřebě dělat analytické dotazy
vůči historickým údajům.
„Je to velká výzva,“ říká Crigler. Například
podle něj je služba Amazon Elastic Block pomalá
a S3 ještě pomalejší. Nejlepší možností je nejdražší alternativa – připojené vyhrazené úložiště
ve velmi velkých boxech Amazonu, ale to je
opravdu drahé.
„Musíte tedy najít způsob, jak svá data analyzovat a vypočítat křivku cena/výkon pro různé druhy
a stáří dat, a optimalizovat úložiště na základě
svých skutečných potřeb,“ dodává Crigler.
Mnoho firem se stále potýká s ranými fázemi
svých strategií ukládání big dat, ale zanedlouho
budou běžnější hyperškálovatelná výpočetní prostředí, jako využívají třeba firmy Google nebo
Facebook.
„Děje se to,“ prohlašuje Nadkarni. „Celý tento
návrh úložiště založený na levných serverech
s mnoha disky je přímým důsledkem zvyků oddělení, které Amazon, Facebook, Google a další
následovaly.“
V Silicon Valley některé startupy nabízejí
úložné systémy big dat založené na principech
právě od výše zmíněných gigantů. Na nedávné
konferenci VMworld „bylo minimálně deset firem
se zakladateli, kteří dříve pracovali ve společnostech Google nebo Facebook,“ popisuje Nadkarni.
„Z právních důvodů nemohou startupy přesně
okopírovat magické řešení využívané jejich dřívějším zaměstnavatelem, ale principy jsou tam už
dobře zavedené,“ vysvětluje Nadkarni. „Za pár let
uvidíte, jak si tento princip hyperškálovatelnosti
nachází cestu do běžných podniků, protože nebude
■
existovat jiný způsob, jak to efektivně udělat.“
CO M P U T E RWO R L D.C Z
CW12-bd4-5.indd V
V
20.06.14 14:05
Big data nejsou jen chiméra.
Zrychlí auto i vylepší přihrávku
Jenson Button řadí první rychlostní stupeň, červená světla zhasínají
a formule týmu McLaren-Mercedes vyráží do dalšího závodu. Ve stejnou
chvíli začnou do datového centra týmu plynout informace z desítek
senzorů umístěných v automobilu.
S
oučasné závody Formule 1 jsou sportem,
který je extrémně závislý na rychlosti. Už
dávno ale ne jen na rychlosti pilotů jednotlivých monopostů, ale také na tom, jakou rychlostí dovedou technici týmu vyhodnocovat informace tekoucí z vozu přímo do jejich počítačů.
Analyzovat je po závodě a připravovat se na ten
další rozhodně nestačí – změny v nastavení auta
se musí provést ještě během závodu.
A nemusí to pochopitelně platit jen o týmu Formule 1. Velkými objemy dat dnes disponuje celá
řada firem, schopnost je využít může být nejdůležitějším faktorem rozhodujícím o úspěchu či
neúspěchu.
Zažijte
fotbal jinak
Big data v realitě
Již několik let můžeme ve světě informačních
technologií sledovat dva zřejmě nejdůležitější
trendy – big data a cloud. I když o nich mluví
snad každý, představit si pod nimi něco reálného
neumí úplně všichni. Snad i proto řada firem
stále váhá, nakolik jsou tyto trendy pro ně důležité a co jim mohou přinést. V podstatě se tak
samy brání vlastnímu úspěchu. Firma, která
dnes nemá dostatek informací o svém podnikání
včas, je totiž odsouzena k neúspěchu.
Spojení obou těchto trendů, které přinesla
společnost SAP v podobě SAP HANA Enterprise
Cloud, umožňuje firmám analyzovat v reálném
čase skutečně obrovské množství dat a tyto informace okamžitě využít k řízení svého byznysu.
Podle odhadů IDC překročil celkový objem dat
umístěných v databázích v roce 2013 6 bilionů
terabajtů (1 TB = 1 099 511 627 776 bajtů).
Velká část může zůstat ležet bez užitku. Ale
nemusí. Příkladem mohou být právě závody Formule 1 a tým McLaren-Mercedes, který ve své
centrále ve Velké Británii implementoval právě
platformu SAP HANA Enterprise Cloud. Propojení in-memory technologie s cloudem umožňuje přímo v centrále společnosti analyzovat telemetrická data obou automobilů v reálném
čase. I když se jede třeba Velká cena Koreje či
Singapuru na opačné straně zeměkoule, mohou
technici ve Wokingu nedaleko Londýna jít až do
takového detailu, že upraví funkci turbodmychadla ve voze některého z jezdců týmu, případně
mohou, ve spolupráci s týmem na okruhu, upravovat závodní strategii.
Přitom právě v letošním roce prochází Formule 1 zřejmě největší proměnou za poslední
roky. Mění se auta i pravidla. Tým McLaren-Mercedes F1 je ale na tyto novinky díky spolupráci se SAP připraven. Schopnosti in-memory
platformy SAP HANA umožňují proměnit informace ve znalosti rychleji než kdykoli předtím.
VI
Nejde ale jen o tréninky hráčů jednoho týmu.
SAP spolupracuje také s německou fotbalovou
reprezentací. Ta využívá možnosti analýzy obrovského množství dat, kterou nabízí SAP
HANA, ke zpětné analýze zápasů.
Obrázky z kamer umístěných kolem hrací
plochy jsou ukládány na servery a analyzovány
po jednotlivých políčkách. Díky tomu je možné
získat detailní informace o pohybu každého
hráče po hřišti, ale také třeba identifikovat, jaké
chyby vedly k obdržené brance.
Často se říká, že hráč během utkání nemá čas
přemýšlet, že může jen reagovat. Big data ale
mohou pomoci proniknout do našich myšlenkových procesů – právě díky nim lze zpětně analyzovat chování toho kterého hráče v konkrétní situaci a zjistit, kterou vyhodnotil dobře a kdy se
naopak rozhodl špatně. Téměř by se dalo říci, že
big data nás znají lépe než my sami sebe.
Technologie vylepší trénink
Big data mohou proměnit i mnohem méně technologické sporty, než je právě Formule 1. Na
první pohled by se mohlo zdát, že jedinou technikou, která pomáhá fotbalistům, je ta kopací.
Bundesligový tým TSG Hoffenheim se rozhodl,
že při získávání informací o tréninku a výkonnosti svých hráčů nebude spoléhat jen na to, co
vidí trenér a jeho asistenti. A tak se spolehli na
SAP HANA.
Senzory, které jsou umístěné v míči a které
mají jednotliví hráči na těle, ale také v holenních
chráničích či v oblečení, umožňují získávat v reálném čase informace o pohybu jednotlivých
hráčů po hřišti, jejich zrychlení či třeba o práci
s míčem. Během jediného zápasu posbírají tyto
senzory až 60 milionů pozičních informací,
které se v reálném čase ukládají na servery SAP
HANA a mohou se okamžitě analyzovat
a zobrazovat.
Trenéři mají k dispozici data i z fyzické přípravy, mohou zjistit, kde jsou slabiny toho kterého hráče, a zaměřit se na ně. Stejně tak samotní fotbalisté mohou třeba při tréninku v posilovně okamžitě sledovat na obrazovkách, jak si
stojí ve srovnání se zbytkem týmu. Že to je pro
sportovce velmi motivační prvek, je asi zbytečné
zdůrazňovat.
Právě tyto informace mohou zcela
změnit pohled, jaký
máme dnes na sledování sportovních
utkání. Až dosud si
musel fanoušek vybrat mezi komfortem televizního přenosu a atmosférou
na tribuně. Brzy to
možná bude jinak.
Právě díky úžasným
schopnostem, které
nabízí SAP HANA
Enterprise Cloud, bude moci každý fanoušek
přímo na stadionu sledovat detailní informace
o hře na svém telefonu či tabletu. Bude se moci
kdykoli podívat, jak si ten který hráč stojí.
Na rozdíl od některých českých klubů týmy
v Bundeslize si uvědomují, jak důležití pro ně fanoušci jsou. I proto se s nimi chtějí podělit o celou řadu zákulisních informací, třeba na sociálních sítích. Profesionální tým musí mít profesionální komunikaci. S aplikací SAP Social Media
Analytics by NetBase mohou lidé zodpovědní za
komunikaci identifikovat důležité příspěvky na
sociálních sítích, zachytit případné stížnosti fanoušků v diskuzi nebo třeba poznat, co je za■
jímá.
Big data na vlastní oči
Analýzu hráčů německé reprezentace můžete vidět
na vlastní oči. A dokonce v kamiónu, který jinak převáží vozy Formule 1. Do Česka totiž dorazí SAP Big
Data Truck. K vidění v něm bude samozřejmě i celá
řada dalších příkladů, jak mohou big data posloužit
právě vašemu byznysu. Vice informací získáte na adrese: www.sap.com/ms/sap-big-data-tour.html
CO M P U T E RWO R L D 12 | 2014
CW12-bd6.indd VI
20.06.14 14:18
PRAXE | BIG DATA
Deset rozšířených mýtů: Jaká je skutečnost?
V poslední době se technologii big dat věnuje velká pozornost. Nabízela se
jako možné řešení pro všechno – od detekce narušení přes předcházení
podvodům až po léčbu rakoviny či stanovení optimálních cen produktů.
Big data však nejsou všelékem na každý problém.
„Nehledě na velikost vaší organizace je lepší,
abyste se rozhodovali na základě dat a nespoléhali
se jen na intuici či pocity,“ radí Darin Bartik,
výkonný ředitel produktového managementu
divize Information Management Solutions ve
společnosti Dell.
Menší podniky mohou dělat rozhodnutí na
základě dat méně často než ty velké, ale zase mohou svůj směr korigovat rychleji.
„Menší společnosti mohou využívat osvědčené
postupy, aby lépe využily data k rozhodování a překonaly či takticky porazily větší a pomalejší konkurenci,“ vysvětluje Bartik.
MÝTUS
MARIA KO ROLOVOV Á
P
okud firmy věří v některé mýty, které big
data obklopují, mohly by se kvůli tomu vydat špatným směrem, ztratit mnoho času
a peněz a mohlo by je to stát jejich konkurenční
postavení na trhu nebo poškodit jejich pověst.
Zde jsou některé z největších mýtů, které se
okolo big dat stále točí.
„Víme, že tam někde uvnitř se skrývá poklad,
a konečně máme výpočetní výkon, abychom se
k němu dostali,“ říká Farrell a dodává, že kombinace analýzy dat s odbornými lékařskými znalostmi otevírá zcela novou oblast prediktivního
zdravotnictví.
MÝTUS
MÝTUS
1
Big data zvládnou
jen datoví vědci
Ve skutečnosti samotní datoví
vědci nestačí. „Samotní tito lidé nedokážou z big
dat informace získávat, pokud v první řadě nevědí,
co hledají,“ upozorňuje Pat Farrell, šéf pro analýzy dat ve zdravotnickém ekosystému Penn Medicine. „Potřebujete specializované pracovníky,
kteří oboru rozumějí, mají znalosti z dotyčné oblasti, chápou možné otázky a pohledy, které by pro
váš konkrétní obor byly cenné.“
Zmíněný Penn Medicine zahrnuje jak samotný systém zdravotní péče, tak lékařskou
univerzitu.
Prvně jmenovaná divize po dlouhou dobu
shromažďuje klinická data ve svém datovém
skladu, na její univerzitě zase nová technologie
umožňuje dekódování lidského genomu, které
s sebou nese obrovské množství dat.
2
Čím více dat,
tím větší hodnota
Shromažďování dat, jejich ukládání
a katalogizace vyžadují čas a zdroje, připomíná
Farrell. Bezhlavý sběr velkého množství údajů
ale může vytížit zdroje, které byste jinak použili
na důležitější projekty.
Farrell proto doporučuje, aby společnosti
měly dříve, než začnou data sbírat, jasnou představu konkrétní metriky nebo klíčového ukazatele výkonu, které požadují.
„Chcete se dostat do bodu, kdy máte hrst plnou
zlatých valounů – moudrosti, jež je pro vás cenná,“
vysvětluje Farrell. „Samotná uložená data nestačí.“
MÝTUS
3
Big data jsou jen
pro velké společnosti
Větší firmy mohou mít více vnitřních zdrojů dat, ale i malé organizace mohou
efektivně využít data pocházející ze sociálních
sítí, od vládních úřadů a dodavatelů dat.
4
Všechna data
se vytvořila stejně
Státní úřad ve Virginii posledních
20 let shromažďuje data o zapsaných studentech, stipendiích a diplomech. Neznamená to
ale, že údaje shromážděné před 20 lety a uložené ve stejném datovém poli nutně obsahují
stejná data.
„Největším problémem je chápání dat – protože
jde o encyklopedická data, výzkumníci si myslí, že
se získala podle stejných pravidel,“ vysvětluje Tod
Massa, ředitel datových skladů a výzkumu pravidel tamější Rady vysokých škol.
Například data o výsledcích standardních studentských testů se původně sbírala jen za místní
studenty, potom došlo k pauze a nakonec se
shromažďují i za ty, kteří pocházejí ze zahraničí.
Podobně se rozdílně sledují údaje o etnické
příslušnosti.
Ve skutečnosti se mohou libovolná data nahlásit odlišně – z důvodu existence jiné instituce, jiného období nebo v důsledku změn personálu v těchto organizacích. „Domnívám se, že
se smysl dat v průběhu času mění,“ upozorňuje
Massa.
V důsledku toho je potřeba, aby analytici měli
nejen statistické schopnosti, ale také znalosti dat
a trendů v oboru jako celku. „Nemůžete všechny
tyto záležitosti naprogramovat do datového
skladu,“ dodává Massa.
Totéž platí i pro externí zdroje dat. „Údaje
shromažďované v průběhu například posledních
50 let se mohou dramaticky změnit. Pochopení kontextu je pro dobré využití dat skutečně nezbytné,“
upozorňuje Massa.
MÝTUS
5
Nasbírejte teď
a přeberte později
Úložiště jsou stále levnější, ale nejsou úplně zadarmo. Mnoha firmám však roste
chuť na data rychleji, než jak klesají ceny úložišť, prohlašuje Brad Peters, výkonný ředitel společnosti Birst, která je dodavatelem cloudového
řešení business intelligence.
Firmy si myslí, že budou sbírat data a teprve
později přijdou na to, co s nimi budou moci dě- ▶
CO M P U T E RWO R L D.C Z
CW12-bd7-8.indd VII
VII
20.06.14 14:06
BIG DATA | PRAXE
Význam pojmu big data se pravděpodobně změní stejně, jako je tomu u cloud computingu, a nijak se to neliší od toho, co se
stalo s webem či samotným internetem. Pojem se může změnit, ale smysl big dat zůstane.
BRYAN HILL, TECHNOLOGICKÝ ŘEDITEL, CADIENT GROUP
lat, popisuje Peters a dodává: „Vidím řadu velkých
korporací shromažďujících kvanta údajů, jejichž
náklady pro tuto činnost stále rostou, a přitom jim
to nepřináší žádnou hodnotu.“
Ve skutečnosti podle Peterse u některých
množin dat začíná platit zákon klesajících výnosů. Řekněme například, že děláte průzkum,
abyste dokázali odhadnout výsledek voleb.
Potřebujete pro reprezentativní vzorek získat
určitý počet lidí. Po dosažení tohoto bodu ale už
přidávání dalších lidí statistickou odchylku významně neovlivní.
„Ukládáte spoustu dat s nadějí, že vám poskytnou o něco vyšší přesnost?“ ptá se Peters. „Nebo
pořizujete více personálu? Zabezpečujete lépe své
sítě? Nepostupujete moc rychle z důvodu nedostatečného růstu ekonomiky a rozpočtů.“
Nejsou to ale jen náklady na úložiště, jak upozorňuje Dean Gonsowski, ředitel pro správu informací a big data z firmy Recommind, která se
specializuje na analýzy nestrukturovaných dat.
Například únik dat může podle něj společnost
značně poškodit.
Data uložená v datových skladech mohou být
navíc předmětem různých důkazů na základě
rozličných soudních sporů.
A konečně – čím více dat máte, tím déle trvá
jejich přebrání. „Když jsou v archivu miliardy záznamů, trvá vyhledávání odpovídajících informací
hodiny nebo i týdny,“ popisuje Gonsowski a dodává: „Velké množství informací skutečně začíná
blokovat činnost systémů, které se nikdy nevytvářely pro zvládání takových objemů.“
MÝTUS
6
Čím konkrétnější prognóza,
tím lépe
Je lidská přirozenost myslet si, že
když je něco konkrétnější, je to také přesnější.
Časový údaj 15 h 12 min. je přesnější než „někdy
odpoledne“. Meteorolog, který předpovídá, že
v neděli ráno bude určitě pršet, je přesnější než
ten, který předpovídá „padesátiprocentní šanci
na přeháňky o víkendu“.
Ve skutečnosti je ale pravdou opak. V mnoha
situacích platí, že přesnější předpověď je méně
pravděpodobná. Řekněme například, že zákazník koupí zcela konkrétní notebook s jasnou
konfigurací. A jediný další klient, který si produkt s naprosto stejnou konfigurací koupil v minulosti, si přibral k nákupu také pár růžových lodiček na jehlovém podpatku.
„Doporučení pro prodejce růžových lodiček na
jehlách může být velmi konkrétní, ale může mít velkou statistickou odchylku,“ upozorňuje Jerry Jao,
výkonný ředitel v marketingové organizaci Retention Science. Obchodní a marketingoví manažeři se ale podle něj s tímto stavem setkávají
zcela běžně.
VIII
MÝTUS
7
Big data jsou totéž jako
Hadoop
Hadoop, populární open source databáze pro nestrukturovaná data, poutá velkou
pozornost. Jsou zde ale také i jiné možnosti.
„Existuje celé hnutí NoSQL,“ popisuje Irfan
Khan, šéf a viceprezident divize Big Data ve společnosti SAP. „Jsou zde technologie jako MongoDB,
Cassandra a řada dalších.“
Některé z nich se mohou pro konkrétní projekt big dat hodit lépe než ostatní.
Konkrétně Hadoop funguje tak, že rozdělí
data na části a pracuje na více úsecích současně.
Tento přístup řeší mnoho problémů big dat, ale
ne všechny.
„Někdy musíte záležitost zvládnout způsobem,
pro který Hadoop není ideální,“ upozorňuje Grant
Ingersoll, technologický ředitel společnosti LucidWorks, která poskytuje poradenství pro big
data. „Lidé potřebují zachovat rozvahu a vybrat pro
sebe nejlepší řešení, ne se nechat zlákat popularitou
toho, co používají ostatní,“ dodává Ingersoll.
MÝTUS
8
Big data se hodí jen na velké
problémy
Ředitel IT ve velké bance nedávno
hovořil o technologii pro big data a dostal otázku
na možnost samoobslužného využití koncovými
uživateli. „Uvedl, že mu to nepřipadá možné,“
vzpomíná Peters ze společnosti Birst.
Je zcela běžné, že si někteří manažeři myslí,
že technologie pro big data dokáže odpovědět
jen na určité typy otázek.
Takový přístup lze shrnout následujícími
slovy: „Naším cílem využití big dat je vyřešit jen několik málo problémů s velmi vysokou hodnotou
s využitím práce datových vědců. Nechceme datový
chaos, kde přístup k těmto informacím mají i běžní
lidé, protože si nemyslíme, že to potřebují.“
Peters ale s tímto přístupem nesouhlasí a dodává, že je přitom v mnoha oborech běžný. „Je to
rozbujelý mýtus uvnitř hlavně velkých pojišťovacích
společností, že podnikoví uživatelé prý nejsou dost
chytří, aby to zvládli.“
MÝTUS
9
Koncoví uživatelé
nepotřebují přímý přístup
k technologii big dat
Rychlý přísun big dat z různých zdrojů a ve velkých objemech může vytvářet dojem, že je to
příliš složité na to, aby s touto technologií mohl
pracovat i běžný zaměstnanec. Nemusí to však
nutně být pravda.
Vezměte si například všechny údaje získané
z přístrojů na jednotce intenzivní péče. Srdeční
frekvence, údaje o dýchání a výsledky EKG. Lékaři a zdravotní sestry mohou příliš často vidět
jen aktuální naměřené hodnoty pacienta.
„Nemohou se podívat a vidět, jaké to bylo před
deseti minutami, nebo pomocí grafu odhadnout to,
co bude za hodinu,“ popisuje Anthony Jones,
marketingový ředitel společnosti Philips
Healthcare.
Možnost vidět historická data pacienta může
být pro lékaře při rozhodování velmi cenná.
„Lpění na týmu datových vědců může v tomto případě způsobit ztrátu velké příležitosti,“ varuje
Jones.
V současné době je potřeba zajistit, aby
všechna ta různá zařízení generující data spolu
komunikovala, přestože k tomu původně nebyla
navržená, a používají se různé platformy, operační systémy a programovací jazyky.
Jakmile se vám to podaří, musíte data dostat
do použitelné podoby a zpřístupnit je například
zmíněným lékařům a zdravotním sestrám v okamžiku, když je potřebují.
MÝTUS
10
Bublina big dat nakonec
praskne
Humbuk v podobě různých módních technologií se v cyklech objevuje a zase
mizí, ale transformační změny zůstávají. Internetová bublina praskla – ale neznamenalo to
přece konec samotného internetu.
A i když humbuk časem utichne, podniky budou i dále big data využívat. Ve skutečnosti budou v důsledku exponenciálního růstu využívat
big data ve větší míře, než kdy předpokládaly –
například IDC předpovídá, že celkové množství
shromažďovaných údajů se do roku 2020 každé
dva roky zdvojnásobí.
Nejde ale jen o to, že firmy budou shromažďovat více údajů, než sbírají v současné době.
Objeví se pravděpodobně nové typy dat, která
budou vyžadovat obrovské množství úložného
prostoru.
„Dostaneme se do bodu, kdy se například
u každé osoby přijímané do nemocnice bude mapovat její genom,“ tvrdí Anthony Jones z Philips Healthcare. „To umožní detailní přizpůsobení péče
o pacienta. Když mluvíme o big datech, jde o obrovské množství dat. Nemyslím, že si mnoho šéfů IT
opravdu uvědomuje, o kolik se zhorší situace okolo
úložišť.“
Tím, že firmy budou považovat big data za
pouhou fázi, mohou ztratit příležitost zachytit
údaje, které by mohly mít na jejich podnikání
vliv v budoucnu, varuje Bryan Hill, technologický ředitel společnosti Cadient Group, která se
specializuje na interaktivní marketing.
„Význam pojmu big data se pravděpodobně
změní, stejně jako je tomu u cloud computingu,
a nijak se to neliší od toho, co se stalo s webem či
samotným internetem,“ vysvětluje Hill. „Pojem se
může změnit, ale smysl big dat zůstane.“
■
CO M P U T E RWO R L D 12 | 2014
CW12-bd7-8.indd VIII
20.06.14 14:06