Prezentace aplikace PowerPoint

Department
of Informatics
Natural Language Processing and Text
Mining Group
František Dařena
[email protected]
Představení
• skupina založena asi před pěti lety
• tři akademičtí pracovníci, několik
doktorských, magisterských a bakalářských
studentů
• kontakty – Argentina, ČR, Indie, Irsko, Itálie,
Kanada, Qatar, Rumunsko, Rusko, Řecko,
Srbsko, Španělsko, Tunis, UK, USA
• http://ui.pefka.mendelu.cz/en/NLP
Zaměření skupiny
• odhalování informací a znalostí ukrytých
v rozsáhlých kolekcích textových dat
• aplikace zejména metod strojového učení a
jejich kombinací
– supervised (klasifikace)
– unsupervised (shlukování, hledání asociací)
– semi-supervised
Výzkumná témata řešená v minulosti
• hledání dokumentů na základě podobnosti,
včetně vhodného výběru vzorků
• extrakce mínění (významná slova, fráze)
z označených (labeled) zákaznických recenzí
• extrakce mínění a témat z neoznačených
(unlabeled) dat
• paralelizace úloh text miningu
• předzpracování (preprocessing) textových dat
a jeho vliv na proces a výsledky text miningu
Hledání mínění v zákaznických
recenzích – významná slova
Hledání mínění v zákaznických
recenzích – významná slova
Hledání mínění v zákaznických
recenzích – významná slova
Hledání mínění v zákaznických
recenzích – významné fráze
Hledání mínění v zákaznických
recenzích – významné fráze
Hledání mínění v zákaznických
recenzích – významné fráze
Zpracovávaná data
• standardní kolekce dat – 20 News Groups,
Reuters
• sociální sítě – Twitter
• novinové články – iDnes
• zákaznické recenze – Amazon, Booking.com,
wellness.com, masquemedicos.com,
heureka.cz
Vývoj aplikace pro převod textových
dokumentů do vektorového formátu
• převede surová data do formátu
vyžadovaného běžnými aplikacemi pro data
mining
• grafické a řádkové rozhraní
• implementováno v Perlu – přenositelné,
snadný vývoj a modifikace
Vývoj aplikace pro převod textových
dokumentů do vektorového formátu
• výstupní formáty: C5, arff, sparse, cluto, svmlight,
csv, yale
• lokální váhy: Binary (Term Presence), Term
Frequency, Thresholded TF, Logarithm, Alternate
Logarithm, Normalized Logarithm, Augumented
Normalized TF (optional K), Okapi's TF factor
• globální váhy: IDF, probabilistic IDF, normal,
GFIDF, entropy
• normalizace: cosine, sum of weights, max weight,
fourth normalization
• typ logaritmu: natural, common
Vývoj aplikace pro převod textových
dokumentů do vektorového formátu
• vstup: všechna data, náhodně vybraný počet
dokumentů, dokumentu určitých tříd, věty,
obsah elementů
• výstup: unigramy/n-gramy, upravené textu,
slovník volitelně s frekvencemi (i pro třídy)
• filtrace atributů: délka slov, min/max
lokální/globální frekvence
• odstranění stopslov, zachování zkratek, čísel,
emotikonů, symbolů
Budoucnost
• práce s velkými objemy dat, aktualizovatelnými
algoritmy, datovými toky
• práce s více přirozenými jazyky
• využití latentní sémantické analýzy
• aplikace semi-supervised metod
• aplikace constrained clustering
• analýza závislostí mezi textovými daty (zprávy,
ekonomické přehledy, příspěvky na sociálních
sítích…) a ekonomickými jevy (vývoj ceny akcií…)