Zátěžové testování informačních systémů a aplikací

Transkript

Zátěžové testy
aplikací
Obsah
Zátěžové testy v životním cyklu vývoje software
Kdy a proč provádět zátěžové testy
Projekt zátěžového testu
Software pro zátěžové testy
Dáváme technologiím smysl
Copyright © 2013 KOMIX s.r.o.
Fáze zátěžového testu
Zátěžové testy v životním cyklu vývoje
software
Správa
požadavků na
testování
Plánování
testu
• Požadavky
na vývoj
a změny
Analýza
výsledků
• Vývoj
software
• Akceptační
řízení
• Nasazení do
provozu
Analýza
výsledků
Zátěžové
testování zpoza
firewallu
Zátěžové
testování
před
firewallem
• Vývojové
testy (UNIT)
Funkční
a regresivní
testování
Zátěžový test – online manuální
Zátěž on-line je vytvářena lidskými zdroji
Testeři pracují dle dohodnutého postupu a v
dohodnutém čase
Síť
Application
server
Testovaný systém
Testeři simulující
zátěž on-line
Database
server
Web
server
Manuální zátěžové testování
Výhody
není nutnost používat speciální testovací software
není nutný vývoj programových skriptů k zatěžování
relativně rychlá realizace
použitelnost na malé systémy do počtu 20 uživatelů
špatné řízení zátěže
neopakovatelnost testů
špatné sledování systému a sběr naměřených hodnot
vyšší chybovost z hlediska lidského faktoru
vyšší HW nároky (více PC)
Nevýhody
Zátěžový test - online automatizovaný
Speciální software
Analýza
LR Controller
Řeší omezení lidských zdrojů při zátěžovém testu:
• Nahradí testery virtuálními uživateli
Grafy, tabulky,
reporty
• Spouští velké množství virtuálních uživatelů na
několika málo počítačích
Vuser host
Load Generátor
Application
server
Testovaný systém
Database
server
Web
server
Automatizované zátěžové testování
Výhody
použitelnost i na velké systémy s tisíci uživateli
řízení zátěže z jednoho místa
snadná opakovatelnost testů
sledování systému pod zátěží, sběr naměřených hodnot
Nevýhody
nutnost použití specializovaného testovacího software
časová náročnost přípravy zátěžových skriptů
Kdy a proč zavádět zátěžové testy
Výkonnostní akceptace dodaného systému
Vyladění systému a jeho jednotlivých komponent před
reálným provozem
Zjištění výkonnostních limitů systému
Ověření chování systému při výpadku jednotlivých
komponent systému
Ověření použité platformy, technologie a infrastruktury
systému
Doba trvání zátěžového testu
8 dní
Analýza pro zátěžový test
10 dní
15 dní
4 dny
• Podrobná specifikace rozsahu a cíle
• Technické řešení (tech.test, prostředí,
generátory)
• Výběr business transakcí – transakční mix
• Popis vybraných business transakcí
• Stanovení počtu virtuálních uživatelů
• Specifikace testovacích dat
• Výběr monitorů a výkonnostní metriky
• Návrh scénářů ZT
• Organizace běhů ZT
• Kritéria pro ukončení ZT
• Analýza rizik
Příprava zátěžového testu
Příprava zátěžových skriptů
Příprava testovacích dat
Provedení zátěžového testu
Ukončení všech cyklů
• Výchozí podmínky pro test
• Spuštění testu
• Vyhodnocení - Analýza výsledů
X cyklů ZT
Závěrečné vyhodnocení
Kontrola prostředí pro ZT
Nároky na lidské kapacity v jednotlivých
fázích projektu zátěžového testování dle rolí
Analýza pro ZT
Definice cíle
ZT
Analýza
Příprava ZT
Nahrání
skriptů
Ladění
skriptů
Provedení a vyhodnocení ZT
Spuštění
ZT
Analýza
výsledků
Úprava
systému
Analytik
vývojového
týmu
Analytik
vývojového
týmu
Analytik
vývojového
týmu
Analytik
vývojového
týmu
Analytik
vývojového
týmu
Analytik ZT
Analytik ZT
Analytik ZT
Architekt
systému
Architekt
systému
Architekt
systému
Architekt
systému
Administrátor
Vývojář
Administrátor
Specialista
na HW, DB,
síť...
Specialista na
HW, DB, síť...
Specialista na
ZT
Specialista
na ZT
Specialista
na ZT
Specialista
na ZT
Specialista
na ZT
Specialista
na ZT
Manažer projektu (Vedoucí zátěžového testu)
Rozhodnutí o cíli a rozsahu zátěžového testu
Základní zaměření zátěžového testu (cíl)
Rozsah zátěžového testu (vazby na okolní systémy, dávkové
procesy na pozadí, provozní nebo testovací prostředí, možnost
naplnění DB) – časový a finanční aspekt
Volba softwarového nástroje pro zátěžový test
Hrubý časový rámec zátěžového testu
Tým pro zátěžový test – součinnost různých specialistů
Stanovení kritérií pro ukončení ZT v závislosti na cíli ZT
Jde o manažérské rozhodnutí před začátkem
zátěžového testu, které vymezuje provedení
zátěžového testu:
Technické řešení zátěžového testu
Technologický test – ověřuje vhodnost zvoleného softwarového
nástroje pro konkrétní zátěžový test
Umístění generátorů zátěže:
Zátěžový test uvnitř interní sítě (před firewallem)
Zátěžový test mimo interní síť (zpoza firewallu)
Simulace vazeb testovaného systému na okolní systémy:
Technické řešení generátorů zátěže – PC, servery, prostup
firewallem, ...
Technické řešení realizace zátěžového testu v provozním nebo
testovacím prostředí
Plná – součástí zátěžových skriptů jsou skripty simulující reakci
spolupracujících systémů
Částečná – simulace jen do definovaného rozhraní
Výběr business transakcí – transakční mix
Nejfrekventovanější transakce
Transakce významně zatěžující systém
Zastupitelnost funkčních modulů systému v zátěžovém testu
Činnosti kritické pro chod firmy
Transakce náročné z hlediska zpracování – komplikované
dotazy do DB, komunikace s okolními systémy, tisky atd.
Vytvoření skupin transakcí testovaného systému a
výběr vhodného představitele každé skupiny pro
zátěžový test (požadavek na vyváženost transakčního
mixu):
Testovací data pro zátěžový test
Přihlášení uživatelů do testované aplikace
doména, jméno, heslo ....
jeden přístup do systému pro všechny uživatele nebo přístupy
individuální (generované)
Opakované použití testovacích dat
Znehodnocení osobních údajů v datech (zákon
101/2000 Sb.)
Naplnění databáze před začátkem zátěžového testu na
definovaný % objem dat
Časově náročné
testovací data destruktivní
testovací data nedestruktivní
Počet uživatelů, kteří mají technické nebo licenční
podmínky pro přístup do systému
Počet virtuálních uživatelů v průběhu průměrného dne
a ve špičce
Pro jednotlivé vybrané transakce se provede
proporcionální výpočet počtu virtuálních uživatelů v
zátěžovém testu
Podle celkového nárůstu virtuálních uživatelů v
jednotlivých cyklech zátěžového testu (variantách) se
provede výpočet jejich nárůstu pro jednotlivé transakce
Rozhodne se o způsobu jejich přihlašování (v jeden
okamžik, ve stanoveném intervalu náhodně, atd.)
Stanovení počtu virtuálních uživatelů
Výběr monitorů a výkonnostní metriky
Typ metriky
Popis
Limit
Výkonnost jednotlivých transakcí systému na
uživatelském rozhraní – uživatelská odezva.
Odezva vytipované transakce na
uživatelském rozhraní.
<8 s
Vytížení paměti sleduje využívání operační paměti na Velikost obsazené operační paměti
definovaných serverech .
<75%
Efektivita práce databáze sleduje způsob využití
zdrojů databáze.
Rychlost vyřizování dotazů (délka
provádění vytipovaných SQL dotazu)
<1 s
Vytížení CPU sleduje využití CPU na definovaných
serverech, obvykle probíhá monitorování prostředky
operačního systému.
Vytížení procesoru
<80%
Monitorování sítě sleduje zpoždění sítě mezi
jednotlivými aktivními prvky sítě a průchodnost
jednotlivých prvků sítě.
Zpoždění sítě
<0,5 s
Dle cíle zátěžové testu jsou určeny sledované
výkonové ukazatele (metriky), vybrány vhodné
monitory, stanoveny výkonnostní metriky a typ výsledku
zátěžového testu pro porovnání s limitem
Transakce
Min.
/sec./
Ave
/sec./
Max.
/sec./
50%
/sec./
90%
/sec./
Prihlaseni
0.31
0.48
0.95
0.42
0.61
Nacteni_objednavek
4.23
5.28
10.49
6.02
8.12
Odeslani platebnich udaju
3.65
4.20
12.21
4.88
7.25
Zruseni_objednavek
4.57
5.83
9.07
5.64
7.21
Vyber letu
5.54
6.27
14.15
6.88
7.96
Vyber spolecnosti
4.43
5.60
11.23
6.59
8.10
Odhlaseni
0.32
0.41
0.82
0.46
0.63
Typy výsledků zátěžového testu
Návrh scénáře zátěžového testu
1.vlna
(VU)
2. vlna
(VU)
3. vlna
(VU)
Měřená referenční
zátěž
Doběh
10
10
10
60
10
nárůst VU
74
74
72
VU načítaně
74
148
220
nárůst VU
32
32
34
VU načítaně
32
64
98
nárůst VU
27
28
27
VU načítaně
27
55
82
nárůst VU
248
78
78
VU načítaně
133
267
400
1.skript
2.skript
3.skript
CELKEM VU
220
98
82
400
1. dávka na pozadí
X
2. dávka na pozadí
X
Doba trvání této činnosti (min.)
Návrh scénáře zátěžového testu - graf
Měřená referenční zátěž
Návrh testovacích cyklů
Cyklus 1
Cyklus 4
Transakce – 20 % denní špičky
Transakce - 140 % denní špičky
Cyklus 2
Cyklus 5
(běžný pracovní den)
Transakce - 200 % denní špičky
Cyklus 3
Cyklus 6
Transakce - pokus o kolaps
systému
Navrhované cykly zátěžového testu vycházejí ze
spouštění vybraných transakcí s postupným
zvětšováním zátěže
Příprava zátěžového testu
Příprava testovacího prostředí
Nahrání a odladění zátěžových skriptů
Příprava testovacích dat
Vytvoření scénářů pro zátěžový test
Zprovoznění generátorů zátěže
Kontrola prostředí pro zátěžový test
Zkušební běh zátěžového testu
Bezpečnost síťového provozu a běhu provozních
aplikací, pokud je zátěžový test prováděn za plného
provozu a v produkčním prostředí
Riziko chybného přepočtu mezi výkonnostními
parametry testovacího a produkčního prostředí, pokud
není zátěžový test prováděn v produkčním prostředí
Riziko objektivity výsledků zátěžového testu, pokud je
chybný výběr transakcí pro simulaci (transakční mix), výběr
a rozsah testovacích dat - může způsobit, že zátěžový test je
nevyvážený a jeho výsledky neodpovídají budoucímu
skutečnému běhu systému
Opomenutí vlivu okolních systémů nebo jejich chybná
simulace může způsobit zkreslení výsledků zátěžového
testu
Ošetření rizik vznikajících při zátěžovém testu
Provedení zátěžového testu
Kontrola výchozích podmínek zátěžového testu
Provedení běhu zátěžové testu
Vyhodnocení běhu zátěžového testu
Rozhodnutí o splnění/nesplnění kritérií pro ukončení ZT
Rozhodnutí o úpravách HW a SW parametrů systému,
případně o programových úpravách
Rozhodnutí o variantě dalšího běhu zátěžového testu
Výsledky zátěžového testu
Výsledky zátěžového testu
Výsledky ZT v sec - průměrné hodnoty
1.11.2006
15.11.2006
20.11.2006
134 VU
400 VU
400 VU
1000VU
Limit v sec.
login
5
1,5
8,7
3,4
4,4
GUI 207
5
1,1
3,6
2,1
4,8
zadani 1 pozadavku
15
10,3
16,2
13,3
18,5
prehled_stah_souboru
10
8,4
12,4
9,7
15,4
prehled_požadavku_2
15
30,1
36,4
14,1
18,1
stazeni_souboru
15
18,6
25,8
12,2
17,2
logout
5
1,4
1,6
1,6
2,8
Měřené transakce
28.10.2006
Meeting pro vyhodnocení běhu ZT
Prvotní analýza výsledků
Příprava souboru dat a grafů
sumarizace grafů, tvorba grafů závislostí
programová úprava testované aplikace
změna parametrů testované aplikace
změna architektury např. přidání dalšího aplikačního serveru
atd.
Návrh dalšího běhu ZT, jaký cyklus s jakými daty atd.
Důraz na měřítko naměřených hodnot a typu použitých
výsledků (min, max, průměr, 50 nebo 90 percentily)
Vyhodnocení ZT – podrobná analýza a diskuse nad
výsledky ZT
Návrh na úpravu testované aplikace nebo architektury
Závěrečná zpráva ze zátěžového testu
cíl zátěžového testu a jeho rozsah
specifikace prostředí, ve kterém zátěžový test probíhal
seznam vybraných transakcí (transakční mix)
navržené a realizované cykly zátěžového testu
výsledky provedených běhů zátěžového testu
porovnání dosažených výsledků s cílem zátěžového testu
nalezené problémy a „úzká místa“ systému
doporučení dalšího postupu
Závěrečná zpráva o zátěžovém testu se vytváří po
splnění kritérií o ukončení ZT a má obvykle tyto části:
Nástroje pro zátěžové testování
Komerční produkty
Jmeter
OpenSTA
Microsoft Web Stress Tool
OpenWebLoad
http_load
....
HP LoadRunner
Compuware QALoad
Segue SilkPerformer
Rational Performance Tester
RadView Webload
….
Freeware produkty
Porovnání komerčních a freeware
produktů
monitoring vybraných
parametrů během zátěže
většinou lze testovat i jiné než
webové aplikace (SAP, Siebel,
Citrix....)
přehledné grafické výstupy
z jednotlivých testů
technická podpora dodavatele
koupě nebo nájem za poplatek
kompletní dokumentace
možno zakoupit školení
vhodné pro akceptační
testování
Freeware produkty
chybí možnost monitoringu
během zátěže
většinou lze testovat pouze
webové aplikace (otevřená
rozhraní)
pouze jednoduché výstupy
z jednotlivých testů
bez technické podpory
zdarma
bez pořádné dokumentace
pouze samostudium
vhodné pro vývojové testování
Komerční produkty
Trendy ve zvyšování výkonnosti systému
Databáze výsledků
Návrh systému
Zátěžový test
Doporučení na změnu
architektury nebo
nastavení parametrů
systému
Monitoring
Systém vyhodnocení

Zátěžové testování informačních systémů a aplikací

Transkript

Podobné dokumenty

informace a harmonogram akce brillant brain ∞mallorca

Pracovní zkušenosti Vzdělání Jazyky

Investiční servis červen 2016

3 Ladění databázového systému Oracle

komixí noviny 2007 / 2008

sborník - Katedra ocelových a dřevěných konstrukcí

Konstrukční detaily fasád s přiznanými spárami