Konfirmační analýza dat

ZPRACOVÁNÍ DAT V EKOLOGII
SPOLEČENSTEV
VÍT SYROVÁTKA
OSNOVA PŘEDNÁŠKY
o Příprava dat pro numerické analýzy
•
typy sbíraných dat, čištění dat, odlehlé body, transformace, standardizace, EDA
o Ekologická podobnost
•
indexy podobnosti a vzdálenosti mezi vzorky
o Ordinace
•
lineární vs. unimodální, přímá vs. nepřímá, artefakty, ordinační diagramy, permutační testy,
rozklad variance, parciální analýza, příkladové studie
o Klasifikace
•
hierarchická vs. nehierarchická, aglomerativní vs. divisivní, řízená vs. neřízená
o Použití druhových atributů v analýzách
•
funkční vlastnosti druhů (traits) vs. Ellenbergovy indikační hodnoty, vážený průměr, čtvrtý roh
o Indexy druhové bohatosti
•
alfa, beta a gama diverzita, akumulační druhová křivka, rarefaction
o Design ekologických experimentů
•
manipulativní experimenty vs. přírodní experimenty (pozorování)
o Případové studie na použití jednotlivých metod
2
SOFTWARE
o CANOCO 5 – ordinační analýzy, diagramy, odpovědní křivky druhů
o PC-ORD 5 – klasifikace (ordinační analýzy), analýza indikátorových druhů,
analýza odlehlých bodů
o STATISTICA 12 – korelace, ANOVA, regresní analýzy, klasifikace, ordinace
o R – vše, zadarmo + kvalitní grafika
Kde co sehnat:
•
•
•
R – https://cran.r-project.org/bin/windows/
CANOCO 5 a PC-ORD 5 – instalace z webových stránek předmětu
(http://vitsyrovatka.info/doku.php?id=zpradat:cs:software)
STATISTICA – licenci je třeba získat po přihlášení na https://inet.muni.cz/app/soft/licence
3
LITERATURA
Starší, ale doporučená
o Lepš J. & Šmilauer P. (2001) Mnohorozměrná analýza ekologických dat
•
v anglické verzi vyšlo v nakladatelství Cambridge v roce 2003 jako Multivariate Analysis of Ecological Data
using CANOCO 5 (v roce 2014 vyšlo druhé vydání pro CANOCO 5)
o Herben T. & Münzbergová Z. (2003) Zpracování geobotanických dat v příkladech. Část 1.
Data o druhovém složení
Pro zapálené
o Zuur A.F., Ieno E.N & Smith G.M. (2007) Analysing Ecological Data. Springer
o Gotelli N.J. & Ellison A.M. (2004) A Primer of Ecological Statistics. Sinauer Associates.
o Oksanen J. (2004) Multivariate Analysis in Ecology, Lecture Notes.
•
http://cc.oulu.fi/~jarioksa/opetus/metodi/notes.pdf
o Palmer M. – Ordination methods for ecologists, website
•
http://ordination.okstate.edu/
o Legendre P. & Legendre L. (2012) Numerical Ecology (Third English Edition). Elsevier.
R friendly
o Borcard D., Gillet F. & Legendre P. (2011) Numerical Ecology with R. Springer.
4
DALŠÍ INFORMACE
o Webové stránky předmětu:
ve výstavbě, budu je postupně tvořit a doplňovat:
http://vitsyrovatka.info/doku.php?id=zpradat:cs:start
o Prozatím je možné využít pěkných stránek Davida Zeleného, který učil předmět do
loňského roku: www.bit.ly/ZpraDat
•
•
přednášky, software, příklady ke cvičení, studijní materiály
některé sekce vyžadují přihlášení
o Cvičení
•
•
•
probíhat bude v počítačové učebně blokově v dohodnutých termínech a zaměřené bude na analýzu dat a jejich vizualizaci v
programu CANOCO 5
tři čtyřhodinové bloky
v případě zájmu o program R je možné (v liché roky) zapsat si souběžně předmět Analýza dat v ekologii společenstev v
programu R (Bi7550)
o Domácí úkol
•
zadání bude sděleno v průběhu semestru
o Zkouška
•
•
vypracování závěrečné práce (pokyny viz webové stránky předmětu, sekce Závěrečná práce)
zhruba půlhodinová diskuze nad závěrečnou prací, doplněná o rozšiřující otázky týkající se probírané látky
5
TYPY SBÍRANÝCH DAT
EDA
ÚPRAVA DAT PRO ANALÝZU
DATA V EKOLOGII SPOLEČENSTEV
Společenstvo je soubor druhů, které se
vyskytují společně v prostoru a v čase.
(Begon 2007)
o společenstvo je studovaná (závislá) „proměnná“ (response variable)
o společenstvo je vícerozměrná „proměnná“ – zaznamenána v matici (data
matrix)
o každý druh - jeho přítomnost nebo kvantita - představuje jeden rozměr
společenstva
o zaznamenaný vzorek společenstva je reprezentativní pro určitou plochu a
daný čas
(závislá, vícerozměná proměnná nemusí nutně být tvořena druhy: mohou to být např.
proměnné prostředí, vlastnosti druhů, atd.)
o prediktory (nezávislé proměnné) popisují najčastěji prostředí, zkoumáme
jejich efekt na strukturu společenstva
7
USPOŘÁDÁNÍ DAT
1. druhová tabulka (matice)
•
abundance, pokryvnosti, prezence/absence druhů
2. proměnné prostředí
•
hodnoty naměřených proměnných prostředí
3. (geografické proměnné)
•
souřadnice lokalit
4. (popisné proměnné)
•
další proměnné popisující vzorkovací schéma, např. studovaná oblast,
determinátor organismů, vzorkující, datum/období odběru...
8
TYPY PROMĚNNÝCH
o Kategoriální (kvalitativní, nominální, prezenčně-absenční)
•
•
•
•
např. substrát, půdní typy, geografická oblast
binární proměnné (přítomnost-absence druhu)
kategorie jsou unikátní (každý jedinec/pozorování spadá právě do jedné z nich)
kategorie nelze smysluplně seřadit
o Ordinální (semikvantitativní)
• např. Ellenbergovy indikační hodnoty pro druhy, Braun-Blanquetova stupnice pro
odhad pokryvnosti druhů
• jednotlivé stupně (kategorie) lze seřadit, rozdíly mezi sousedními stupni jsou různě
velké
o Kvantitativní
• diskrétní (počty jedinců, měření s malou přesností), rozdíly mezi susedními stupni
jsou stejně velké
• kontinuální (přesná měření)
9
ALTERNATIVNÍ DĚLENÍ PROMĚNNÝCH
Typ proměnné
Příklady
binární (dvoustavová, 1/0)
přítomnost nebo absence
druhu, pohlaví
mnohostavová
neseřazená (nominální)
typ substrátu
seřazená
semikvantitativní (ordinální)
stupnice pokryvností druhů
kvantitativní (měření)
diskontinuální (počty, diskrétní)
počet jedinců
kontinuální
teplota, hloubka půdy
relativní stupnice (relative-scale) x intervalová stupnice (interval-scale)
abundance, rychlost proudu
°C, směr větru, datum
Legendre & Legendre 2012
10
KVANTITATIVNÍ VS. SEMIKVANTITATIVNÍ
o
o
o
o
kvantitativní sice přesnější
ale semikvantitativní rychlejší a levnější
trade-off mezi počtem vzorků a přesností
semikvantitativní často postačující
11
PRIMÁRNÍ DATA - SBĚR
12
PRIMÁRNÍ DATA – PŘEPIS
o tabulkový editor (spreadsheet)
• např. Microsoft Excel
o přepisujeme co nejdřív
•
•
•
•
zachycení chybějících dat
v poznámkách se snáz orientujeme, po čase přestanou být srozumitelné
dvě kopie je obtížnější ztratit nebo zničit
přítomnost dat v počítači podpoří jejich rychlé zpracování
o metadata – data o datech
•
•
•
•
•
•
jméno studie
kdo a kde data sbíral, za jakým účelem
popis experimentálních jednotek, objektů
metodika sběru dat a měření (velmi oceníme při psaní práce)
popis proměnných, jednotky
popisy zkratek
13
PRIMÁRNÍ DATA – SPREADSHEET
o v řádcích studované
objekty
•
vzorky
o v sloupcích proměnné,
kterými objekty
charakterizujeme
•
druhy, proměnné prostředí
vysvětlivky k proměnným
14
ZÁLOHA DAT
o Uchování a zpřístupnění primárních dat
•
•
•
problematika dlouhodobé archivace a nosičů dat
(nejlepší je stále papír bez volných kyselin +
laserová tiskárna)
zpřístupnění primárních dat (některé časopisy, např.
Ecological Monographs, Journal of Ecology aj., to
mají jako podmínku zveřejnění článku)
uložení dat ve veřejně dostupných elektronických
repositoriích (např. Dryad Digital Repository,
www.datadryad.org) nebo databázích (např. Česká
Národní Fytocenologická Databáze)
15
KONTROLA DAT
o
chyby (errors)
•
o
někdy se chovají jako odlehlé body, je třeba
zkontrolovat původní záznam a případně data
opravit
chybějící data (missing data, NA)
•
•
o
možnosti jejich nahrazení (interpolace, model)
vyloučení proměnné nebo vzorku který má
hodně chybějících hodnot
odlehlé body (outliers)
•
o
EDA – exploratory data analysis
další úpravy:
•
•
•
sjednocení taxonomické nomenklatury
taxonomická adjustace
někdy i vyloučení vzácných druhů (odstranění
šumu v datech)
16
KONFIRMAČNÍ VS. EXPLORAČNÍ ANALÝZA DAT
(hypothesis-driven vs data-driven science)
Konfirmační analýza dat (confirmatory data analysis, CDA)
o testuje hypotézy a generuje odhady parametrů
o např. regrese, ANOVA, testy signifikance
Explorační analýza dat (exploratory data analysis, EDA)
o průzkum dat a hledání hypotéz, které stojí za to testovat
pomocí experimentů s dalšího sběru dat
o slouží také k tzv. „vytěžování“ dat (data mining, data
dredging)
o grafická EDA slouží k
•
•
•
•
odhalení odlehlých bodů (outliers)
prozkoumání rozložení hodnot (střední hodnota, rozsah, tvar)
posouzení nutnosti transformace
odhalení vztahů mezi proměnnými
John Tukey
(1915-2000)
17
DATA EXPLORATION
o měla by zabrat 20% celkového času studie
Proč EDA:
o odhalení odlehlých bodů (outliers)
o prozkoumání rozložení hodnot
•
•
•
střední hodnota
rozsah
tvar rozložení (normalita, bimodalita, sešikmenost)
o odhalení vztahů mezi proměnnými
o posouzení nutnosti transformace
18
KRABICOVÝ GRAF (BOXPLOT)
outlier (hodnota je vyšší než horní kvartil + 1.5 x interkvartilový rozsah,
100
někdy ještě (STATISTICA) * – kvartil + 3 x interkvartilový rozsah)
maximální hodnota
50
Q3 – horní kvartil
Q2 - medián
Q1 – spodní kvartil
0
abundance Laeonereis acuta
150
Laeonereis acuta
data ze Zuur et al. 2007
minimální hodnota
19
50
100
150
0
50
100
150
Laeonereis acuta
5
10 15 20 25
0
0
Frequency
HISTOGRAM
Laeonereis acuta
20
KONDICIONÁLNÍ BOXPLOT
50
100
zde outlier už není
outlier
0
abundance Laeonereis acuta
150
Laeonereis acuta
1
2
Transekt
3
21
DOTCHART – CLEVELAND DOTPLOT
1
2
3
4
vzorky
0
50
100
Laeonereis acuta
150
22
KONDICIONÁLNÍ DOTCHART
HODNOTY ZOBRAZENY VE SKUPINÁCH
1
2
Transekt
3
outlier, potenciální
chybné měření
0
50
100
Laeonereis acuta
150
23
BODOVÝ GRAF (SCATTER PLOT)
A. outlier z hlediska
vztahu Y a X
Y
B
A
B. outlier z hlediska
rozložení hodnot X i Y
C.
outlier z hlediska
rozložení hodnot i
vztahu Y a X
C
X
24
BODOVÝ GRAF (SCATTER PLOT)
o dramatický vliv outlierů na výsledky analýz
A
C
25
400
300
200
Prec_anual
500
600
BODOVÝ GRAF (SCATTER PLOT)
-6
-4
-2
0
2
T_anual
data z Altaje, Chytrý et al., in prep.
26
PÁROVÝ GRAF (PAIR PLOT)
60
80
-26 -24 -22 -20
600
40
Prec_wetM
0.9
-6 -4 -2 0
0.4
0.6
0.5
-26
1.0
T_min.cold
ALTITUDE
200
400
-0.5
600
-1.0 -0.9
-6 -4 -2
0
2
1500
-0.7
500
-22
0.5
2
T_anual
2500
40
60
80
200
400
Prec_anual
500
1500
2500
27
400
300
200
Prec_anual
500
600
BODOVÝ GRAF (SCATTER PLOT)
-6
-4
-2
T_anual
0
2
28
COPLOT – KONDICIONÁLNÍ BODOVÝ GRAF
Given : Prec_anual
0
2
-6
-4
-2
0
500
2
-6
-4
-2
0
2
Open
Forest
Mire
20 40 60 80
Given : gr
-2
400
20 40 60 80
-4
300
20 40 60 80
richness
cévnatých rostlin
Druhová bohatost
-6
200
-6
-4
-2
0
2
-6
-4
-2
0
2
-6
-4
-2
0
2
T_anual
29
CO S OUTLIERY?
o automatické odstranění z datasetu – špatně!
o odstranění pouze když:
• data chybně zaznamenána
• nespadají do zamýšleného studovaného prostoru (sample space), např. v
důsledku havárie čističky nad lokalitou, nebo louka rozježděna čtyřkolkami
o některé body se jeví jako outliery jen proto, že je nutíme do
normálního rozložení
• extrémy v datech z log-normálního nebo exponenciálního rozložení po
transformaci krásně zapadnou mezi ostatní
30
TRANSFORMACE – CO TO JE?
o matematická funkce použitá na všechny původní hodnoty:
Y* = f(Y)
•
f() – kontinuální, monotónická, většinou jednoduchá funkce
o nemění pořadí hodnot
o mění relativní rozestupy mezi hodnotami a tudíž i varianci a tvar rozložení
o pořadí hodnot zůstane zachováno (transformace nemá vliv na neparametrické
testy)
o např. odmocnina, logaritmus
4
6
x2
8
10
2
1
0
-1
-2
-3
-4
x^0.5
2
ln(x)
80
x^2
60
40
20
0
0
ln(x)
0.0 0.5 1.0 1.5 2.0 2.5 3.0
x^0.5
100
x^2
0
2
4
6
x2
8
10
0
2
4
6
x2
8
10
31