Technologie počítačového zpracování řeči

hlasová komunikace
pod kontrolou
Technologie počítačového
zpracování řeči
Pavel Cenek
OptimSys, s.r.o.
5. odborný seminář
Teorie a praxe IP telefonie
Praha, 5. – 6. prosince 2012
Řečové technologie
přehled a charakteristika
Copyright © 2012 OptimSys, s.r.o.
2
Řečové technologie
Text
Syntéza řeči
Řeč
Rozpoznávání řeči
Rozpoznávání řečníka
(Hlasová biometrie)
Jméno řečníka
Jiří Černý
Mluví Jiří Černý?
Ano / Ne
Detekce řečové aktivity
Hranice řeči a ticha
5,152 s; 8,132 s; 14,26 s
Řeč
Identifikace jazyka
Odhad
Rozpoznávání
pohlaví / řeči
věku
Odhad emocí
Copyright © 2012 OptimSys, s.r.o.
Význam řeči
Odkud: Brno, Kam: Aš
Přepis řeči na text
Dobrý den, chtěl bych...
Detekce klíčových slov
konkurence (15,268 s)
Jazyk
Česky / Polsky / ..
Pohlaví / Věk
Muž, ~ 30 let
Emoční stav
Naštvaný / Veselý / ...
3
Charakteristiky
Zpracování/generování streamu („on-the-fly“)
Zpracování/generování nahrávky („off-line“)
●
Některé technologie jazykově závislé
●
Většinou nezávislé na mluvčím
●
Komplexní algoritmy pracující s velkým množstvím dat
◦
●
Náročné na výkon CPU a paměť
Algoritmy založené na pravděpodobnosti, strojovém učení,
neuronových sítích
◦
Je třeba počítat s chybovostí
◦
Je třeba mít kvalitní data pro učení
▪
Příprava vyžaduje dost ruční práce
Copyright © 2012 OptimSys, s.r.o.
4
Syntéza řeči
●
Text-to-speech (TTS)
●
Generuje přirozeně znějící řeč z textu
●
Vstup: (označkovaný) text
●
Výstup: audio
●
Kvalita blížící se běžné lidské řeči s výbornou srozumitelností
●
Možnost poskytnout personalizované informace
●
Odpadají náklady na nahrávání hlášek
●
Konzistentní hlas hlášek v čase
●
Výslovnost cizích slov
●
Chyby v interpretaci textu (jak přečíst 123456?)
●
Chyby v intonaci
Copyright © 2012 OptimSys, s.r.o.
5
Rozpoznávání řeči
●
Automatic speech recognition (ASR)
●
Postup, který z mluvené řeči určí význam toho, co bylo řečeno
●
●
Vstup: audio (řeč) + tzv. gramatika – popis promluv/frází/vět,
které systém může rozpoznat + jak “vypočítat” význam
promluvy
Výstup: text a význam vyřčené promluvy + věrohodnost, pokud
systém rozuměl, nebo informace, že nerozuměl
●
Rychlejší a přirozenější komunikace než pomocí tlačítek telefonu
●
Možnost výběru z dlouhých seznamů
●
Možnost skoku „doprostřed“
●
Záměna podobných slov
●
Akcent, vady řeči, cizí slova
●
Hlučné prostředí
Copyright © 2012 OptimSys, s.r.o.
6
Přepis řeči na text
●
Speech-to-text (STT), LVCSR
●
Vytvoří čitelný přepis řeči
●
Vstup: audio (řeč)
●
Výstup: text
◦
●
●
Ne však gramaticky správný a bez chyb → nenahrazuje
sekretářku/písařku
Zpřístupňuje obsah hovorů pro zpracování „konvenčními“
technologiemi (užívanými pro práci s texty)
Kromě nejlepšího přepisu generuje i další pravděpodobné
hypotézy, které lze počítačově zpracovávat
●
Rozpozná jen slova, která jsou ve slovníku
●
Je nutná „jazyková“ adaptace na konkrétní doménu (použití)
Copyright © 2012 OptimSys, s.r.o.
7
Detekce klíčových slov
●
Keyword spotting (KWS)
●
Nalezne v řeči textově zadaná klíčová slova
●
Vstup: audio (řeč) a seznam klíčových slov
●
●
●
Výstup: výskyty klíčových slov (kde, s jakou
věrohodností)
Ověří, zda se v obsahu hovoru vyskytuje daná fráze
Při změně klíčových slov je nutné zpracovat nahrávky
znovu
Copyright © 2012 OptimSys, s.r.o.
8
Rozpoznávání řečníka
(Hlasová biometrie)
●
Identifikace řečníka (Speaker Identification, SI)
●
Kdo z dané množiny hovoří
◦
Vstup: audio + hlasové otisky množiny řečníků
◦
Výstup: nejpravděpodobnější řečník z dané množiny + věrohodnost
detekce, nebo věrohodnost pro každého řečníka z dané množiny
●
Verifikace řečníka (Speaker Verification, SV)
●
Hovoří osoba XYZ?
◦
Vstup: audio + hlasový otisk konkrétního řečníka
◦
Výstup: věrohodnost, že řečník je opravdu XYZ
●
Výsledky často spolehlivější než detekce provedená člověkem
●
Jazykově nezávislá technologie
Copyright © 2012 OptimSys, s.r.o.
9
Další řečové technologie
●
Detekce řečové aktivity
◦
Označení segmentů, kde se vyskytuje řeč a kde ticho
▪
např. formou časových indexů hranic
●
Detekce jazyka
●
Odhad pohlaví a věku
●
Odhad emocí
●
◦
Víceméně stále laboratorní technologie, první pokusy
o komerční uplatnění
◦
Problém: data
Jazykově nezávislé technologie
Copyright © 2012 OptimSys, s.r.o.
10
Využití řečových
technologií
Copyright © 2012 OptimSys, s.r.o.
11
Hlasové automaty (IVR)
●
Při použití ASR nemusí být struktura automatu strom
●
Flexibilita hlášek díky TTS
●
Umožňují vést s člověkem dialog
◦
●
●
Umožňují reagovat na problémy
◦
Nápověda, pokud uživatel mlčí nebo selže rozpoznávání řeči
◦
Zúžení rozsahu dotazu při selhání rozpoznávání řeči
◦
Přechod k tlačítkové volbě
◦
Přesměrování na živého operátora
Do interakčního scénáře lze zapojit další řečové technologie
◦
●
A doptat se na chybějící informace
Např. hlasovou biometrii
Nedůvěra až averze k „plechovým hubám“
Copyright © 2012 OptimSys, s.r.o.
12
Obsluha příchozích hovorů
●
Řečové technologie otevírají zcela nové možnosti
◦
Kvalitnější automatický sběr informací od klienta
▪
◦
Automatizace jednoduchých, často se opakujících činností
▪
Odlehčení operátorům při zpracování rutinních dotazů
◦
Kvalitní informace v době, kdy není linka obsluhovaná
operátorem
◦
Odhad směrování volajících (ACD) na základě detekce
klíčových slov
▪
●
Snížení času na obsluhu hovoru operátorem
Zákazník řekne automatu svůj požadavek, odpadá nudné
procházení stromem
Důležité rovněž propojení telefonie s informačními
systémy
Copyright © 2012 OptimSys, s.r.o.
13
Automatické doručování
hlasových zpráv
●
Upozornění na konec předplatného, fakturu po splatnosti,
plánovaný výpadek služeb, změnu času nebo místa…
◦
Díky TTS může být zpráva vygenerovaná na míru každému
volanému
◦
Na rozdíl od SMS víme, zda příjemce zprávu skutečně přijal
(můžeme si vyžádat i explicitní potvrzení formou stisku
klávesy telefonu)
●
Automatický telefonický průzkum, ankety
●
Automatický telemarketing
◦
●
Lze oslovit daleko více respondentů a udělat preselekci pro
následné oslovení operátorem call centra
Lze obecně chápat jako „odchozí hlasový automat“ se všemi jeho
možnostmi obousměrné komunikace
Copyright © 2012 OptimSys, s.r.o.
14
Vyhledání informací
v archivu hovorů
●
Vyhledávání pomocí detekce klíčových slov
●
Vyhledávání pomocí přepisu řeči na text
●
Možnost zpracovat objemy zcela mimo možnosti ručního
zpracování člověkem
◦
●
Rychlá navigace nad obsahem
Možnost vytěžit jinak nedostupné informace z historických
dat
◦
◦
Obsahová analýza
▪
Frekvenční analýza významových slov
▪
Identifikace témat
Kontextová analýza
▪
Souvislost mezi obsahem hovorů a definovanými tématy
Copyright © 2012 OptimSys, s.r.o.
15
Hlasový vstup
do CRM systémů a helpdesků
●
●
Obchodník bezprostředně po schůzce namluví zápis do
CRM systému
◦
Do CRM se uloží nahrávka + její textový přepis (bude
obsahovat chyby, ale lepší než žádný zápis)
◦
Čerstvé informace, na nic důležitého se nezapomene
◦
Rychlá navigace nad obsahem
Na základě telefonátu klienta se v helpdesku vytvoří
automaticky nový ticket, uloží se k němu nahrávka
telefonátu + její textový přepis
◦
Zadaní požadavku může proběhnout plně automaticky přes
hlasový automat
◦
Rychlá navigace nad obsahem
Copyright © 2012 OptimSys, s.r.o.
16
Využití hlasové biometrie
●
Náhrada/doplněk hesla pro přístup k určité službě
◦
●
Služba pro automatický reset hesla
◦
●
Tichá, neinvazivní, neobtěžující autentizace
Vyhledání řečníka v archivu nahrávek
◦
●
Může významně odlehčit operátorům
Kontrola identity zákazníka z hlasu na pozadí
◦
●
Kombinace s dalšími technologiemi (ASR, KWS) jako ochrana
proti nahrávkám hlasu
Zpětná analýza chování, detekce podvodů
Blokace na základě vzorku hlasu
◦
Funguje, i když volá z různých čísel
Copyright © 2012 OptimSys, s.r.o.
17
Analýza hlasového provozu
call centra
●
Kombinace detekce klíčových slov, přepisu řeči na text, detekce
hlasové aktivity, hlasové biometrie, …
◦
●
●
Ověření dodržování call skriptu a povinných frází ze strany
agenta
Sledování nevhodných slov u agentů
◦
●
Rychlost odpovědi, rychlost řeči, skočení do řeči, ...
Porovnávání práce agenta napříč časem
◦
●
Názvy konkurence, nevhodná slova, ...
Měření výkonnosti agenta na základě analýzy rozhovoru
◦
●
automatická preselekce „podezřelých“ hovorů
S jeho běžnými hodnotami, oproti zkušeným kolegům, průměru
oddělení, průměru v rámci kampaně apod.
Detekce nespokojenosti zákazníka
Copyright © 2012 OptimSys, s.r.o.
18
Analýza hlasového provozu
call centra (2)
●
●
●
●
●
Metodická kontrola 100% provedených hovorů
Automatizovaná kontrola agentů vedoucí ke snížení
počtu nespokojených zákazníků
Snížení času věnovaného seniory na dohled nad prací
agentů
Podrobné statistiky o každém hovoru agenta
naznačující nutnost doškolení
Souhrnné reporty hodnocení dialogů a sledovaných
slov/frází pro hodnocení agentů
Copyright © 2012 OptimSys, s.r.o.
19
Dělejte to jako my!
Děkuji za pozornost
dotazy?
tický
pohled na svět
doporučují
4 z 5 psychologů
Copyright © 2012 OptimSys, s.r.o.
[email protected]
Pavel Cenek
Tel: 511 205 391
OptimSys, s.r.o.
Inovační park JIC Fax: 541 143 066
www.optimsys.cz
U Vodárny 2
61600 Brno
20