Zpracování dat a automatická detekce druhů sov z nahrávky

Manuál vznikl v rámci projektu Využití informačních technologií v ornitologickém výzkumu
na Vysočině, který realizovala Pobočka České společnosti ornitologické na Vysočině. Projekt byl
částečně finančně podpořen Fondem Vysočiny v rámci programu Popularizace a vzdělávání v oblasti
informačních technologií - 2008, který je financován krajem Vysočina.
Manuál č. 2
Zpracování dat
a automatická detekce druhů sov z nahrávky
Dr. Ing. Jan Savický
[email protected]
Obr. 1. Označené selekce houkání výra v nahrávce, program Raven Pro 1.4 Beta.
43
Úvodem
Akustický monitoring je metoda zjišťování poznatků o ptácích užitím dlouhodobých
bezobslužných záznamů a vyhodnocení jejich hlasových projevů. Bez využití
výpočetní techniky by taková metoda byla odsouzena k ustrnutí v rovině nevyužité
možnosti. Pokud však algoritmizovatelné rutinní úlohy přenecháme počítačům, stává
se akustický monitoring účinnou cestou k získání nových jinak obtížně dosažitelných
znalostí. Automatická detekce hlasů umožní provádět systematické nahrávky lokalit
ve velkém rozsahu a efektivně je vyhodnotit.
Evidence, ukládání a konverze dat nahrávacích nocí
Akustický monitoring je technologická disciplína náročná na objemy a zpracování dat.
Pracuje s několika skupinami informací: se zvukovými, ale i časovými a prostorovými
daty a se záznamy o okolnostech a vyhodnocení.
Obr. 2. Soubory. Vlevo složky nahrávacích nocí, názvy jsou složeny z data (vždy den
rána nikoli večera), počet záznamníků (např. 10x), názvu lokality, pořadového čísla
opakování nahrávky na stejném místě. Vpravo jsou soubory jedné noci. WMA
soubory pojmenovává záznamník s využitím User ID (název záznamníku, např.
E___) a pořadového čísla souboru. Jedna noc se nahrává děleně do tří souborů,
důvod viz minulý seminář. Složka nahrávací noci obsahuje dále scan obrazovky
programu DSS Player s časy nahrávek (_dss_2009-02-08.gif) a scan mapy
(_mapa_2009-02-08.gif) z MapSource GPS aplikace. Vnitřní složky obsahují nálezy,
selekce a podobně. Soubor _nalez_2009-02-08.xlsx je základním dokumentem o
nálezech, viz dále v textu.
44
Zvuk
Záznam zvuku je datově objemný. Při užití formátu WMA, 44,1 kHz, 64 kbps
(viz předchozí seminář) vyprodukuje jedna nahrávací např. 14 hodinová noc přes 400
MB komprimovaných dat na jeden záznamník. Při použití linie s deseti záznamníky
(10x) zaplníme 4 GB diskového prostoru původními daty k dlouhodobému uložení.
Používáme k tomu např. externí USB vysokokapacitní disk o stovkách GB. Vhodný
bude RAID1 disk pro vyšší bezpečnost dat.
Před vlastním zpracováním je nezbytné WMA záznam rozvinout do formátu WAV. Při
použití 22,050 kHz se 16 bitovým zápisem stereo expandují pracovní soubory na
desetinásobek. Při linii 10x tedy na 40 GB / noc. Tato data není potřeba dlouhodobě
ukládat, ale je praktické je mít po ruce alespoň během sezóny pro další případné
vyhodnocení. Vhodný je externí USB disk 1 TB a více, zde zálohování není nutné,
originální data máme jinde.
Konverzi WMA do WAV provádíme např. programy 4Musics WMA to WAV Converter
nebo MP3 Cutter Joiner (dokáže soubory i zároveň rozdělit na menší části).
Dostupnost programů viz tabulka ke konci článku. Existuje řada konverzních
programů, mnohé však nenačtou velká data.
Obr. 3. 4Musics WMA to WAV Converter umožňuje převod WMA > WAV
v dávkovém režimu. Toho využijeme, protože převod 150 hodin záznamu trvá i
desítky minut. Pro úsporu objemu dat snížíme samplerate na 22,050 kHz (z
původních 44,1).
Program Raven umožňuje uložit detekované výřezy zvuku, tzv. selekce. Podle
nastavení se jedná typicky o 1 – 2 sekundové výřezy, jsou jich však stovky až tisíce.
V souhrnu nejsou velké, tisíc selekcí zabere např. 60 MB dat. Lze uvažovat o
dlouhodobém ukládání právě jen selekcí, ale tím pozorovatel ztrácí možnost
45
dodatečného průzkumu původních dat např. novou účinnější metodou, pro jiný druh
apod.
Pozice
Pozici každého záznamníku v terénu popisujeme jeho GPS souřadnicí. To je
praktické pro vyhledání čidla v terénu následující den a nezbytné pro vyhodnocení
dat. Evidujeme i směr mikrofonu, typicky ve směru linie nebo ve směru místa zájmu,
např. do středu lomu, k řece. Směr zapisujeme přímo do názvu trasového bodu
v GPS přístroji, např. podle vzoru: 20090208a120, kde zleva je datum 2009-02-08,
písmeno záznamníku „a“ a zprava jsou stupně azimutu směru čelní strany
záznamníku 120°. Smluvené kódy 400 (nekoliduje s 36 0 stupni azimutu) značí ve
směru linie, 500 ve směru zájmu. Scan mapy uložíme do složky s daty s názvem
např. _mapa_2009-02-08.gif.
Obr. 4. Scan obrazovky programu MapSource s mapou lokality s vyznačenými
pozicemi záznamníků (žlutě zvýrazněné).
Čas
Noc nahráváme děleně do tří souborů, za noc nasbíráme tedy např. i 30 souborů.
Čas počátků a konců jednotlivých nahrávek lze nejsnáze uchovat scanem obrazovky
programu DSS Player (uložit např. jako např. _dss_2009-02-08.gif). Informace o
časech je uložena v hlavičce samotných WMA souborů (zobrazit v textovém režimu).
Časy nemusí být totožné s naprogramovaným v timeru záznamníku, protože občas
dochází k předčasnému výpadku baterií apod.
46
Obr. 5. Scan obrazovky programu DSS Player s přehledem časů počátků a konců
nahrávek jednotlivých souborů. Čísla nemusíme pracně opisovat, postačí možnost
kontroly, zda došlo k neplánovaným změnám časů oproti timeru.
Nález
Nález zapisujeme podle potřeb projektu. V tomto semináři si předvedeme rozpoznání
jednotlivých zahoukání výra na dvou sousedních lokalitách v průběhu celé noci.
Nález s grafickou prezentací uložíme v MS Excel
souboru s názvem např.
_nalez_2009-02-08_vyr.xlsx (pro výra).
Okolnosti
Podle potřeby je vhodné zapisovat počasí, vítr, čas západu / východu slunce, pozdní
příchod na lokalitu, selhání baterek apod. Zejména mimořádné údaje, které nelze
získat zpětně z jiných zdrojů.
Základní přehled nahrávek pořizujeme v tabulce MS Excel. Obsahuje výběr z právě
popsaných dat.
Prohlížení nahrávek v software Raven Lite
Raven Lite je bezplatnou verzí programu vyvinutého týmem Cornell Lab of
Ornithology z Ithaky státu New York v USA. Vývojáři jsou ochotní a reagují na
dotazy. Při malém počtu záznamů lze tuto omezenou verzi využít pro prohlížení
spektrogramů, pro poslech a ukládání nalezených pasáží zvuku. Tato verze však má
řadu omezení, načte např. jen jeden ze stereo kanálů, přechod na další obrazovku je
pomalý, neumožňuje samozřejmě automatickou detekci.
47
Obr. 6. V programu Raven Lite lze prohlížet spektrogramy a ukládat výřezy.
Automatické vyhledávání hlasových projevů sov v software Raven
1.4 Pro Beta
Plná placená verze programu nabízí tzv. detektory pro vyhledání zvuků – signálů –
podle zadaných parametrů. Ze dvou připravených detektorů používám Power Band
Limited Detector. Hledá signály podle parametrů:
•
•
•
•
•
•
•
Spodní a horní frekvence signálu
Minimální a maximální délka trvání signálu
Minimální odstup mezi signály
Volba úrovně šumu percentilem z naměřených hodnot v definovaném okně
Minimální odstup signálu od šumu v db
Minimální zastoupení signálu v % v definovaném okně
Možnost nastavit frekvenční rozpětí, kde naopak signál být nesmí
Obr. 7. Zjednodušeně si lze hledání detektorem představit jako jízdu dálnicí v krajině
spektrogramu, kdy z okénka hledáte na loukách šumu (zelená) dostatečně vysoké a
správně dlouhé kopce signálů (fialová).
48
Pomocí sady parametrů lze detektor zacílit na určité hlasové projevy ptáků.
Parametry lze ladit v interaktivním režimu a uložit jako soubor. Program je schopen
v jedné dávce prohledat desítky hodin záznamu (vyzkoušeno 150 hodin) a pomocí již
zmíněných selekcí vyznačit pasáže, které daným parametrům vyhovují. Detektorů
(typicky s různým zacílením) může běžet více zároveň. To je skvělá vlastnost,
protože umožní provádět mnohahodinové detekce přes noc bez obsluhy.
Obr. 8. Raven dokáže otevřít sadu zvukových souborů najednou a spustit nad nimi
několik detektorů. Tak dokážeme využít noc pro zpracování rozsáhlých dat pro více
druhů naráz. V ukázce běží detekce na výra, puštíka a kulíška.
Selekce se zapisují do tabulky, kterou lze uložit a dále zpracovat. Jedná se o prostý
TXT soubor strukturovaný tabulátory. Pole tabulky lze sestavit pomocí okna Choose
Measurement (nad tabulkou pravé tlačítko myši > Choose Measurement). Pro
potřeby ukázky přidáme pole Begin File, které udá, ve kterém ze zvukových souborů
se nalézá aktuální selekce.
49
Obr. 9. Nastavení polí tabulky selekcí.
Detekce není dokonalá. Pokud je cílem projektu pouze doložit přítomnost druhu,
postačí potvrdit první správný nález. Pokud však usilujeme o označení všech
hlasových projevů, musíme postupovat v několika krocích. Rozlišme čtyři typy
výsledků:
Označení
detektorem
Neoznačení
detektorem
Sova (hledaný signál)
I. Správně: Označení sovy
(TP)
III. Nesprávně: Neoznačení
sovy (FN)
Šum
II. Nesprávně: Označení
šumu (FP)
IV. Správně: Neoznačení
šumu (TN)
Obr. 8. Znázornění množin typů výsledků. Modrý je hledaný signál sov, červený je
šum. Použité zkratky (TP - true positive, FP - false pozitive, FN - false negative, TN true negative) odpovídají typům I. až IV. v předchozí tabulce.
Po automatické detekci bude tedy třeba vyloučit nesprávné označení typu II. (místo
sovy je nalezen zvýšený šum) a naopak doplnit dosud neoznačené sovy, tedy opravit
typ III.
50
Příklad postupu vyhodnocení nahrávky
1. Příprava
a. Načíst všechny soubory (WAV) do Raven. Použijeme stránkování např. po 60
sekundách a vše načteme do jedné „file sequence“.
b. Vložit pomocné selekce na počátcích (vlevo ke kraji) prvních souborů
záznamníků. V tabulce selecí se zapíše počáteční čas Begin Time
jednotlivých souborů. Ten později použijeme pro výpočet absolutního času
signálů na jednotlivých záznamnících.
51
c. Uložit tabulku selekcí a importovat do XLS na list abc (karta Data > Z textu)
2. Detekce – automatický zápis do TXT
a. Provést detekci v Raven (View > Interactive Detectors > Band limited detector
> na okně detektoru Preset > vybrat detektor > OK > na okénku v levém
sloupci Run full).
52
b. Upravit pole tabulky selekcí na: Selection, Wiev, Channel, Begin Time, End
Time, Low Freq, High Freq, Begin File, Occupancy, Nalez
c. Uložit tabulku selekcí v TXT např. do složky _nalezy (File > Save selection
table as)
d. Uložit zvuky selekcí do složky např. _nalezy/selekce, formát: WAV, 16 bit, Pad
Size 0,1 nebo 0,2 sekund oba kanály (File > Save all selections in current
table as…)
3. Schválení detekcí – ruční zápis do XLS
a. Načíst WAVy selekcí do Raven (přetáhnout na obrazovku Raven soubor
s výčtem selecí). Zobrazí se selekce za selekcí s odstupem podle nastavení
Pad Size. Zde kontrolujeme, co selekce skutečně obsahují.
53
Ve spodním řádku okna Raven je uváděny lokální vlastnosti zvuku pod
kurzorem: číslo kanálu, čas, frekvence, síla signálu a také název
souboru, který obsahuje pro nás významné číslo selekce.
b. Importovat tabulku selekcí do MS Excelu na list data (obdobně jako bod 1. c).
Sestavit pracovní plochu tak, že excelovská tabulka bude k dispozici zároveň
s Ravenem.
c. Popsat do pole Nalez v Excelu vyhledané pozitivní selekce (potvrdit tak typ
selekcí I. a vyřadit typ II. – nesprávně označené).
4. Doplnění detekcí – ruční zápis do TXT
a. Zobrazit v Raven úplný záznam
b. Zkopírovat tabulku selekcí z XLS do TXT a otevřít v Raven (použít copy paste)
c. Doplnit další neoznačené sovy podle nálezu, tedy opravit typ III. (Označit hlas
selekcí, View > Active Selection > Commit)
54
5. Vyhodnocení – zápis do XLS
a. Načíst tabulku selekcí zpět do MS Excel, nahradit „.“ za „,“, nastavit filtry,
zpracovat, grafy
6. Zakončení
a. Odstranit selekce, zálohovat soubory
55
Přehled software
Název
Užití
Dostupnost
URL
Raven Pro 1.4
Beta
•
Mnohostranné zpracování
bioakustických dat včetně
detekce signálu
400 USD pro neziskové
využití, poskytují slevy
na 300 USD
http://www.birds.cornell.edu/br
p/raven/RavenFeatures.html
Raven Lite 1.0
•
Prohlížení spektrogramů
bezplatně
DSS Player Lite
• Nastavení User ID a správného
času do záznamníku
http://www.birds.cornell.edu/br
p/raven/RavenVersions.html#
RavenLite
http://www.olympus.cz/consu
mer/2590_4694.htm
V dodávce záznamníku
Olympus DS-50
• Přehled časů nahrávek
• Existuje Pro verze s možností
uploadu mnoha nastavení do
záznamníků, výhodné při
děleném nahrávání na liniích
s více záznamníky
4Musics WMA to
WAV Converter
MP3 Cutter
Joiner
•
Dávková konverze WMA do
WAV
• Dávková konverze WMA do
WAV s možností rozdělit
soubory na menší
MapSource
•
Mapové zobrazení trasových
bodů GPS
Adobe
Soundbooth
•
Výborný nástroj k prohlížení
spektrogramů a úpravě zvuku.
Nyní používám převážně
Raven.
56
Shareware, 17 USD
http://www.4musics.com/wmawav-converter.htm
Shareware, 19 EUR
http://www.audiotoolsfactory.c
om/mp3cutter/mp3cutter.htm
V dodávce Garmin
GPS přístrojů
http://www8.garmin.com/supp
ort/download_details.jsp?id=2
09
http://www.adobe.com/cz/prod
ucts/soundbooth/
Cca 7000 Kč s DPH