Zvuk a multimédia II. - OI-Wiki

Komentáře

Transkript

Zvuk a multimédia II. - OI-Wiki
Zvuk a multimédia II.
Adam J Sporka
[email protected]
Petr Skřípal
[email protected]
Multimédia a Animace, zima 2010/2011
Přednášky o zvuku v MMA
• Základy (21.10.2010)
– Co patří pod pojem „zvuk“
– Fyzikální principy
– Vnímání zvuku
• Práce se zvukovým signálem (4.11.2010)
–
–
–
–
Zpracování v časové oblasti (hlasitost, střih, …)
Zpracování ve frekvenční oblasti (filtry, pitch shifting, …)
Zvukové efekty
Syntéza zvuku
• Práce s hudbou (11.11.2010)
– Rozhraní pro tvorbu hudbu
– Procedurální audio
+ workshop: Ozvučení klipů z 3. cvičení
Zvuk II
Multimédia a Animace, Zima 2010/2011
2
Digitální zvukový signál
• Posloupnost hodnot, vypovídající o tom, jaká byla okamžitá
amplituda v době vzorkování
s[n]
• Vzorky stejně daleko od sebe
– Vzorkovací frekvence
• 44100 Hz pro CD, 8000 Hz pro telefonní kvalitu, apod.
• Vzorky mají určitý numerický rozsah
– Hloubka rozlišení
• 16 bit pro CD, 24 nebo 48 bit na studiových zařízeních, 8 bit na
starších zvukových kartách
<D>
Zvuk II
Multimédia a Animace, Zima 2010/2011
3
Přehrávání zvukového signálu
• Teoreticky velmi jednoduché:
Digitální signál > Analogový signál > Zesilovač > Reproduktory
Zvuk II
Multimédia a Animace, Zima 2010/2011
4
Přehrávání: Praktické problémy
• Vzorkovací frekvence se neshoduje s
frekvencí přehrávání
– Problém při nahrávání více stop přes sebe
• Mírná změna výšky a tempa
– Problém při použití více zvukových karet
• Vícekanálové audio pomocí více karet
• Problém při přenosu zvuku přes Internet
Zvuk II
Multimédia a Animace, Zima 2010/2011
5
Přehrávání: Praktické problémy
• Charakteristika sluchátek / reproduktorů
– Referenční sluchátka
– Referenční studiové reproduktory
• Akustické vlastnosti prostředí
• Práce s bufferem
Zvuk II
Multimédia a Animace, Zima 2010/2011
6
Přehrávání
while (want_to_play) {
prepare_buffer();
play_buffer();
}
PREPARE BUFFER
1
PLAY BUFFER
1
PREPARE BUFFER
2
PLAY BUFFER
2
PREPARE BUFFER
3
PLAY BUFFER
3
PREPARE BUFFER
4
PLAY BUFFER
4
PREPARE BUFFER
5
PLAY BUFFER 5
...
time
Zvuk II
Multimédia a Animace, Zima 2010/2011
7
Přehrávání
• Paralelní procesy
– Generování bufferu zároveň s přehráváním již
vygenerovaného bufferu
– Obsluha přehrávání (řeší OS / API)
• Fronta bufferů
• Výzva k vygenerování dalšího bufferu
Zvuk II
Multimédia a Animace, Zima 2010/2011
8
Přehrávání
// Main thread
audioAPI_set_callback(&some_func
tion);
audioAPI_play();
carry_out_the_main_task();
audioAPI_stop();
Zvuk II
Multimédia a Animace, Zima 2010/2011
// Callback function
static cursor = 0;
void some_function(
signed_8bit_number
*dest_buff,
int length)
{
for (int a=0; a<length; a++) {
cursor ++;
double time = cursor / 44100;
dest_buff[a] = 127*sin(time);
}
}
9
Přehrávání
CALLBACKSSOUND HW ACTIVITY
PREPARE BUFFER
PREPARE1 BUFFER
PREPARE2 BUFFER
PREPARE3 BUFFER
PLAY BUFFER 1
PLAY BUFFER 2
PLAY BUFFER 3
PREPARE4 BUFFER
5
PREPARE BUFFER
PREPARE6 BUFFER
PLAY BUFFER 4
7
PLAY BUFFER 7
 GAP!
PLAY BUFFER 5
PLAY BUFFER 6
time
Zvuk II
Multimédia a Animace, Zima 2010/2011
10
Přehrávání
• Více bufferů ve frontě
– 4 buffery po 256 vzorcích @ 44100 Hz
• 23 ms
– ISO 9241: “20ms of delay causes no degradation in user
performance”
• Rychlá odezva
• Malý prostor pro chyby
– 10 bufferů po 1024 vzorcích @ 44100 Hz
• 230 ms
– ISO 9241: “100ms of delay causes 50% degradation in user
performance”
• Bezpečnější
• Pomalejší odezva
• Nevhodné pro real-time úlohy
Zvuk II
Multimédia a Animace, Zima 2010/2011
11
Pořizování (A/D konverze)
• Volba vzorkovací frekvence
– Podle nejvyšší frekvence v signálu
• Volba rozlišení
• Nastavení zesilovače
– Přebuzení  ztráta informace
<clipping_example.aup>
Zvuk II
Multimédia a Animace, Zima 2010/2011
12
Zpracování zvukového signálu
• Úprava vlastností již existujícího zvukového
signálu
• Typická použití
– V reálném čase
• Ozvučení sálu
• Přímý přenos (rozhlas / televize)
– Post-processing
• Zpracování pořízené nahrávky před masteringem
• Odstranění šumu
Zvuk II
Multimédia a Animace, Zima 2010/2011
13
Příklady z praxe
• DSP modelování emocí obsažených v hlase:
– Vliv výšky hlasu, intonace, rychlosti řeči, průměrné výšky
tónu, množství oscilací…
– Úprava multidimenzionalní prozódické linky:
• Time stretching, pitch shifting
• …
<prosody>
Zvuk II
Multimédia a Animace, Zima 2010/2011
14
Časová oblast
Změna hlasitosti
sout [n] = c ⋅ sin [n]
• c ... koeficient zesílení
c > 1 … zesílení
(c > 0) && (c <1) … zeslabení
• Pozor: Omezený rozsah a rozlišení úrovní
– Možné přebuzení signálu při zesílení
– Možná ztráta přesnosti při zeslabení
Zvuk II
Multimédia a Animace, Zima 2010/2011
16
Změna hlasitosti
• Přebuzení:
Zvuk II
Multimédia a Animace, Zima 2010/2011
17
Normalizace signálu
• Maximální zesílení signálu, aby výsledný
signál nebyl přebuzen.
sout [n] = c ⋅ sin [n],
c=
1
N
max sin [i ]
i=1
Zvuk II
Multimédia a Animace, Zima 2010/2011
18
Mixování
• Princip superpozice
• Součet dvou signálů po vzorcích
sout [n] = s1[n] + s2 [n]
• Součet může sahat za rozsah  opět hrozí
přebuzení
Zvuk II
Multimédia a Animace, Zima 2010/2011
19
Fade-out
• Postupné snižování hlasitosti až do ticha
• Pro předčasné ukončení souvislého zvuku
Autor: Resistance D, Skladba: Skyline (Bytes Mix)
Zvuk II
Multimédia a Animace, Zima 2010/2011
20
Fade-in
• Postupné zvyšování hlasitosti z ticha až do
plné hlasitosti signálu
• Na začátku přehrávání hudební ukázky
• Pro přehrání zvuku pořízeného v prostředí s
hlukem pozadí
– Bez fade-in:
– Fade-in:
– Nejlepší:
zvuk pozadí začne bez úvodu
hlavní zvuk začíná ještě během fade-in
nechat zaposlouchat se do hluku pozadí ještě
před tím, než začne hlavní zvuk
Zvuk II
Multimédia a Animace, Zima 2010/2011
21
Střih
• Ostrý řez
• Lépe:
– Krátky fade-in + fade-out
neboli crossfade - prolnutí
Autor: Michael Galasso, High Lines
Zvuk II
Multimédia a Animace, Zima 2010/2011
22
Beat Slicing
• Signál ke zpracování:
– Smyčka bicích
– Segment skladby s výrazným rytmem
• Signál je rozdělen na slices
– Přehrávány (částečně) v jiném pořadí
– Jungle, Drum-n-Bass
Zvuk II
Multimédia a Animace, Zima 2010/2011
23
Scratching
• Časté změny rychlosti
vzorkovací frekvence
při přehrávání signálu
– http://www.youtube.com/watch?
v=bp48GBxadF4
Zvuk II
Multimédia a Animace, Zima 2010/2011
24
Dynamic Range Compression
• Modifikace úrovně hlasitosti
signálu
– Snižování intenzity signálu nad
zvoleným prahem.
• Stejný obsah signálu, ale
„plošší“ dynamika
• Využití:
– Omezení clippingu při mixování
více zdrojů
– Unifikace hlasitosti v rozhlasovém
přenosu
– Poslech signálu v hlasitém
prostředí
Zvuk II
Multimédia a Animace, Zima 2010/2011
http://en.wikipedia.org/wiki/Dynamic_range_compression
25
Loudness War
• Maximalizovat hlasitost
nahrávky
– Reklamy
– Nové nahrávky
– Remastering starých
nahrávek
http://en.wikipedia.org/wiki/Loudness_war
• Popření významu hi-fi technologie
http://www.youtube.com/watch?v=TqQX3htzhSY
http://www.youtube.com/watch?v=-v6ML2DsBfA
Zvuk II
Multimédia a Animace, Zima 2010/2011
26
Dynamic Range Compression pro sluchově postižené
Normal
Impaired
Intense
Non-linear
Moderate
Weak
Dillon (2001)
Zvuk II
Multimédia a Animace, Zima 2010/2011
27
Frekvenční oblast
Zpracování ve frekvenční oblasti
•
•
•
•
•
Segmentace
Převod do spektra (FFT, apod.)
Zpracování (filtrace, efekty…)
Převod zpět do časové oblasti
Spojení do výstupního signálu
Zvuk II
Multimédia a Animace, Zima 2010/2011
29
Filtry
• High-pass filtr
•
Band-pass filtr
Zvuk II
Multimédia a Animace, Zima 2010/2011
•
Grafický ekvalizér
30
Time Stretching
• Změna rychlosti přehrávání
– Zpomalení
– Zrychlení
• Zachování subjektivní výšky tónu
Zvuk II
Multimédia a Animace, Zima 2010/2011
31
Pitch Transposition and Shifting
•
Původní zvuk
•
•
•
•
Simulace - pokus
Výška se mění s formanty
Nepřirozený zvuk
Pitch transposition
Zvuk II
Multimédia a Animace, Zima 2010/2011
•
•
•
Simulace
Zachování spektrální obálky
Pitch shifting
32
Syntéza zvuku
Počátky
• Luigi Russolo a Balilla Pratella: Orchestr z
rachotítek (bruituers). Umění hluků, Miláno 1914.
• Darius Milhauld: První dokumentované použití
zpomalování / zrychlování nahrávek
• Ottorino Respighi: Použití nahrávky slavíků jako
podkladu k živému koncertu, Pini di Roma, Řím
1924.
• George Antheil: Ballet Mechanique, 1927.
• Pierre Schaeffer, Musique concrete, Paříž 1948.
Zvuk II
Multimédia a Animace, Zima 2010/2011
34
Syntéza zvukového signálu
• Proces, který generuje zvukový signál na základě
nějakého algoritmu
– Digitálně řízený elektrický obvod
• Syntezátor SID v počítači Commodore 64, POKEY v Atari 800
• FM syntéza
– Analytický předpis
• s[n] = cos(2*PI*n/44100)
– Simulace elektrického obvodu
• FM syntéza
– Wave-table syntéza
• Přehrávání vzorků o dané rychlosti
Zvuk II
Multimédia a Animace, Zima 2010/2011
35
Použití zvukových syntezátorů
• Simulace existujících nástrojů
– Kladívkové nástroje jdou docela dobře
– Smyčcové a dechové nástroje moc dobře nejdou
• Tvorba zvuků, které nejsou jinak dosažitelné
• Simulace motoru v příliš dobře zvukově
izolovaných autech
• Syntéza šumu pro akustickou izolaci pracovišť v
open space
Zvuk II
Multimédia a Animace, Zima 2010/2011
36
Typický hudební nástroj
•
•
Zdroj zvuku – budič: kladívko u piána, smyčec
Rezonátor
– vytváří „barvu“ zvuku / nástroje
– mění frekvenční charakteristiku zvuku
– většinou dutý prostor nástroje
Zvuk II
Multimédia a Animace, Zima 2010/2011
37
Jednoduchý syntezátor
frekvence
oscilátor
filtr
Zvuk II
Multimédia a Animace, Zima 2010/2011
amplituda
zesilovač
obálka
38
Druhy syntézy
• Aditivní syntéza
– Začíná se z ticha
– Tóny se přidávají přes sebe
– Kostelní varhany
• Subtraktivní syntéza
– od základního signálu se
odečítají zadaná frekvenční
pásma (pomocí filtrů)
– parametry
• tvar základního signálu
• modulace výšky základního
tónu
• řízení filtrů
Zvuk II
Multimédia a Animace, Zima 2010/2011
39
Druhy syntézy
• Amplitudová modulace
(AM)
Nosná vlna
Modulující signál
Výsledný signál
Zvuk II
Multimédia a Animace, Zima 2010/2011
40
Tabulka vzorků (Wavetable)
• Předem nasnímané zvuky
uložené do tabulky nástrojů
• Syntetizovat zvuk je totéž, co
přehrát zaznamenaný signál
zrychlený / zpomalený, aby
měl požadovanou výšku
• Použitelné pro simulaci
perkusních a kladívkových
nástrojů
Zvuk II
Multimédia a Animace, Zima 2010/2011
41
Fyzikální modelování
• Fyzikální modelování
– Každý hudební nástroj tvoří
zvuk určitým fyzikálním
procesem
• vibrující struny / blány
• vibrující vzduchové
sloupce ...
– Hledání věrných
numerických modelů
aproximací vlnové funkce
– Odlišný přístup: kontrola
procesu, který zvuk vytváří
(na rozdíl od imitace spektra
)
Zvuk II
Multimédia a Animace, Zima 2010/2011
42
Granulační syntéza
• Mikrovzorky v řádu 50ms
(granulky)
• Ty se přehrávají velmi rychle
za sebou, takže je lidský
mozek vnímá jako spojitý
zvuk
• Použití např. v procedurálním
audiu (vysamplované hud.
nástroje)
Barry Truax: riverrun
Zvuk II
Multimédia a Animace, Zima 2010/2011
43
Příklady syntezátorů
• Roland TB 303 Bass Line
– Vyráběn v letech 1982 – 1984
– ebay.com dnes: US$300 až 4000
– Emulátor zdarma na http://rebirthmuseum.com
• Roland TR-909 Rhythm Composer
– 1983
– Zčásti analogový, zčásti sample-based
Zvuk II
Multimédia a Animace, Zima 2010/2011
44
MOS Technology 6581/8580 SID
• MOS Technology 6581/8580 SID
– 1983
– Commodore 64, 128
– Tři oscilátory, 16—4000 Hz
– Pila, trojúhelník, obdélník, šum
– Low-, high-, band-pass
– ADSR obálka
Zvuk II
Multimédia a Animace, Zima 2010/2011
45
Závěr
Shrnutí
• Přehrávání zvuků
– Potřeba více bufferů a paralelního zpracování
– Důležité využít prostředků OS
• Manipulace se zvukem
–
–
–
–
Pozor na rozsah a ztrátu přesnosti
Loudness War
Časová vs. frekvenční oblast
3D zvuk
• Syntéza zvuku
– Mnoho různých metod
– Významný podíl na tvorbě současné hudby
Zvuk II
Multimédia a Animace, Zima 2010/2011
47

Podobné dokumenty

Audiodrom LUXMAN L

Audiodrom LUXMAN L Zvuková scéna Luxmanu L-590AX je prostornější, než u Accuphase E-560. To nemusí nutně znamenat, že je to tak i správně, nicméně v tomto případě to správně asi bude. Luxman nechá kompletně zmizet re...

Více

partystany + altany - PARTYSTANY Ostrava

partystany + altany - PARTYSTANY Ostrava středně velká jeviště. SLX spojuje funkci automatického nastavení, volitelnou funkci Logic a vynikající kvalitu zvuku. BEZDRÁTOVÝ HLAVOVÝ SET AKG WMS 470 SPORT SET Sada WMS 470 Sports Set obsahuje ...

Více

Hra o trůny - Game of Thrones - Píseň ledu a ohně

Hra o trůny - Game of Thrones - Píseň ledu a ohně Robertem Baratheonem, Aeryse II Targaryena, Střet králů [1998] provdaná do rodu Knize Hra o trůny (A Game of Thrones) předchází události, na které unesená Rhaegarem (A Clash of Kings) Targaryenem, ...

Více

Hra o Trůny

Hra o Trůny k tomu použijí žetony umístí v pořadí výše nabídky stejně Všechny žetony moci nabídnuté za královský dvůr se vrací zpět na použitelné moci. Přihazování se jako u Železného trůnu. Hromádku. děje pos...

Více

Little Axe a Skip McDonaldBought For A Dollar/Sold For A Dime

Little Axe a Skip McDonaldBought For A Dollar/Sold For A Dime Na albu „Verse“ lze napočítat přes čtyřicet hostů včetně hvězdných jmen, jako jsou Sinead O’Connor, Peter Gabriel či Robert Plant. Album otevírá klasika tvorby Afro Celt Sound Sytem skladba Pagan z...

Více

Roland Fantom X6/7/8 test v časopise Music

Roland Fantom X6/7/8 test v časopise Music GB. Vzorky mohou vstupovat jak z analogového, tak digitálního konektoru In, nebo rovnou při hře. Zmíněné nástroje k editaci (Edit Screen, Chop a Timestretching) jsou na ovládání jednoduché, editace...

Více

Vítejte na desátém ročníku festivalu

Vítejte na desátém ročníku festivalu Podle zpěvačky z padesátých let - Jackie Cane pojmenovali své dva roky staré album. Připomíná starou hudbu a zasadilo skupinu kamsi do kolonky alternativní pop. Potvrzení této skutečnosti, jenže z ...

Více