Lingvistické aplikace

Inovace studia obecné
jazykovědy a teorie
komunikace ve spolupráci s
přírodními vědami
reg. č.: CZ.1.07/2.2.00/28.0076
Lingvistické aplikace
Kateřina Veselovská
[email protected]
po 16:45 – 18:15
Kateřinská 17, 1.16
Kateřina Veselovská
vědecká pracovnice + doktorandka ÚFAL
On the Linguistic Structure of Emotional Meaning
in Czech
produktová manažerka pro textovou analytiku
Co budeme dělat
Lingvistické aplikace = kde všude lze lingvistické znalosti
uplatnit prakticky
Co budeme dělat
• lingvistická analýza textu (k čemu a jak)
• rozpoznávání mluvené řeči (dialogové systémy a spol.)
• rozpoznávání jazyka (strojový překlad apod.)
• „dolování informací“ (automatická detekce emocí atd.)
• neuro a psycholingvistické aplikace…
Co budu chtít
• aktivní účast v semináři
• esej na vybrané téma
• heslo v encyklopedii
Co za to
• zápočet
Lingvistické aplikace
Aplikovaná lingvistika = VŠECHNO…
Aplikovaná lingvistika
a) „humanitní“ = didaktika jazyka, teorie překladu,
jazyková terapie…
b) „komputační“ = umělá inteligence, automatizace,
strojový překlad…
Aplikovaná lingvistika
c) „narativní věda“ = vězměte jakákoliv data
(zákaznické e-maily, fotbalové statistiky,
bankovní účty) a proměňte je v příběh.
Lingvistická analýza textu – motivace
Samotná data vám řeknou JAK se lidé chovají.
Lingvistická analýza vám řekne PROČ.
Příklady zdrojů dat
Lingvistická analýza textu – motivace
• lepší pochopení zákaznických potřeb
– o čem zákazníci mluví, co si myslí, jak se cítí atp.
• zefektivnění práce zaměstnanců
– úspora času, inteligentní plánování
• obeznámenost s konkurencí
– co plánují, na čem pracují, o čem se baví ostatní
• integrace výše zmíněného
– přizpůsobení procesů
Lingvistická analýza textu ‒ jak
• automatická kategorizace
• sémantické technologie
• shluková analýza
• extrakce entit
• automatická sumarizace
• question answering
• analýza sentimentu
• strojový překlad atd.
Příprava dat
• segmentace na věty
• tokenizace
• spell-checking
• lemmatizace
• Part-of-speech tagging
• parsing
Automatická kategorizace
• obsahová analýza
• přiřazuje k textu některou z předem daných kategorií
- na základě četnosti výskytů
- na základě strojového učení
Automatická kategorizace
Také jsem se o tuhle hypotéku trochu zajímal. Přišla mi až
podezřele výhodná a bez skrytých drobných částek
placených kolem, které ve finále hypotéku celkem přidraží.
Problém je, když něco najdou (nějaký dluh nebo nějakou
nesrovnalost). To prý žádost o hypotéku zamítnou, zapíše se
to do databáze a je potom složitější získat hypotéku u jiné
instituce.
 kategorie hypotéka
Shluková analýza
• obsahová analýza
• rozděluje texty do skupin
- na základě podobností
- sémantické sítě
- hierarchické/nehierarchické klastrování
Shluková analýza
Sumarizace textu
• summary extraction – výběr podstatných vět
(heuristika, statistika, latentní
sémantická analýza)
• summary abstraction – hlubší sémantická analýza
Sumarizace textu
Každý už ví, že dovolenou je nutno kupovat jen u CK pojištěné proti
úpadku. Ale kterou CK vybrat. Kam jít koupit svou vysněnou dovolenou.
Možností je hodně. I já jsem zpočátku obíhala cestovní kanceláře ve městě.
Nyní ale využívám mnohem rychlejší a pohodlnější způsob. Vybírám si
dovolenou na internetových stránkách. Jsou zde zájezdy všech velkých
cestovních kanceláří a více než sta dalších ck. Do celého světa a za stejnou
cenu jako u cestovní kanceláře. Navíc dostávám dárek - pojištění
stornopoplatků v hodnotě 600Kč zdarma. To vše rychle a z pohodlí domova
- internetem.
Každý už ví, že dovolenou je nutno kupovat jen u CK pojištěné proti
úpadku. Do celého světa a za stejnou cenu jako u cestovní kanceláře. To
vše rychle a z pohodlí domova - internetem.
Analýza sentimentu
• automatická extrakce názorů a postojů z textu
- pozitivní a negativní sentiment
- extrakce cílů hodnocení
• jednoduché hlasování
• strojové učení – pravděpodobnostní modely
Analýza sentimentu
[Pochvala pro callcentrum Reiffeisenbank, když jsem si
vyřizoval tu KK Style, aspoň že mají vstřícný zaměstnance,
což jinde bejvá někdy problém.]+
- hlasování s prostou většinou na základě slovníku
Analýza sentimentu
Sémantické technologie
• získávání informací ze sémantického webu např. pomocí
běžných ontologií
• extrakce faktů
auto = dopravní prostředek, má řidiče = člověka, který má
řidičský průkaz
Petr jel autem do práce = Petr pravděpodobně má řidičský průkaz.
Extrakce entit
• určení entit zmíněných v textu
- známé i neznámé entity
- eventy atp.
• katalogy variant
• pravidlová extrakce
• desambiguace
Extrakce entit
„Paris Hilton je jednou z největších superstar současného
Hollywoodu. Prosadila se před necelými čtyřmi lety v lehce
skandální televizní live-show The Simple Life, kterou
produkovala stanice Fox. Dále se objevila v televizních
sériích Las Vegas nebo Veronica Mars.“
Question answering
• systémy pro automatické odpovědi
- na základě korpusu
- filtrování false positives aj.
Q: Co je to aplikovaná lingvistika?
A: Narativní věda.
Lingvistická analýza textu - proč
• customer churn analysis
• customer loyalty analysis
• customer risk analysis
• customer feedback analysis
• analýza sociálních sítí
Customer churn analysis
„Blahopřeju vám k anti-péči o zákazníka. Jsem u vás od
roku 2002 a jediné co mi umíte nabídnout jsou běžné −
a stále dost nevýhodné − tarify. Člověk si aspoň
uvědomí, jak moc potřebujeme Evropskou unii (jejíž
instituce jako jediná z relevantních subjektů tlačí ceny
dolů). Po špatných zkušenostech hodlám přejít ke
konkurenci.“
• analýza sentimentu, kategorizace
Customer loyalty analysis
„Produkt této společnosti používám na několika PC už
několik let a zatím jsem neobjevil žádné vady. Vzhledem
k mé naprosté spokojenosti ani do budoucna nehodlám
měnit.“
• analýza sentimentu, kategorizace
Customer risk analysis
• Detekce lži:
kratší věty, krátká slova, více výrazů vyjadřujících
pozitivní emoce… (+ další dimenze)
• Detekce spamu, detekce falešných profilů aj.
• obsahová analýza, analýza sentimentu
Customer feedback analysis
„Koupit si tento fotoaparát a spoléhat na jméno firmy se
mi vůbec nevyplatilo. Např. proti mému stařičkému
fotoaparátu je toto naprostý propadák. Průměrný
telefon s fotoaparátem udělá stejné, ne-li lepší
fotografie. Ani komunikace s centrem podpory nestojí
za nic. Výrobek mě zklamal a víckrát už si žádný
produkt této firmy bezpochyby nekoupím.“
 cílený marketing
Analýza sociálních sítí
personalizovaný marketing, individuální
interakce se zákazníkem
Lingvistická analýza textu - shrnutí
• žijeme ve věku „velkých dat“, která stále přibývají
Lingvistická analýza textu - shrnutí
• rozvoj Webu 2.0 => obsah generovaný uživateli
=> potřeba třídění
a vytěžování informací
=> potřeba kvalifikovaných lingvistů
Příště – témata
• exkurze na ÚFAL
• dialogové systémy
Příště – úkoly
• popovídejte si s Petrou:
• popovídejte si s Alex:
800 899 998