NLP

Überblick und Publikation

• Folgende Publikation lesen:

[1] A. Hotho, A. Nurnberger¨, and G. Paaß, “A Brief Survey of Text Mining,” 2005. PDF

• Dabei folgende Punkte herausarbeiten und Fragen für sich selbst beantworten:

1. Was ist Text Mining?
2. Was ist NLP? Was kann es?
3. Was ist der Unterschied zwischen Informationsgewinnung (Information Retrival, Extraction) und nLP
4. Wie kanh Text kodiert werden (z.B. für nachfolgendes ML)
5. Welche ML Verfahren werden für das Text Mining eingesetzt?

JavaScript Toolkit compromise

• NLP ⇒ compromise
• Dokumentation unter https://github.com/spencermountain/compromise lesen! (Link in einem neuen Browser Tab/Fenster öffnen)

Daten

DATA: Variable State.dataNews Type: { IDLink : number, Title : string, Headline : string, Source : string, Topic : string, PublishDate : string, SentimentTitle : number, SentimentHeadline : number, Facebook : number, GooglePlus : number, LinkedIn : number } [5000]

• Daten aus Nachrichtenheadlines mit Topic Labels
• Quelle: https://archive.ics.uci.edu/ml/machine-learning-databases/00432/

# README

#################################################################
#								#
# Multi-Source Social Feedback of Online News Feeds		#
# Nuno Moniz and Luís Torgo					#
# 								#
# The data set is made available under a CC-BY license		#
#								#
#################################################################

##################
# REFERENCE
# 
# Nuno Moniz and Luís Torgo (2018), “Multi-Source Social Feedback of Online News Feeds”,
# CoRR, abs/1801.07055
#
# @Article{Moniz2018,
#   title = {Multi-Source Social Feedback of Online News Feeds},
#   author = {Nuno Moniz and Lu\’is Torgo},
#   year = {2018},
#   ee = {https://arxiv.org/abs/1801.07055},
#   volume = {abs/1801.07055},
#   journal = {CoRR},
# }
# 
##################

##################
#
# VARIABLES OF NEWS DATA
#
# IDLink (numeric): Unique identifier of news items
# Title (string): Title of the news item according to the official media sources
# Headline (string): Headline of the news item according to the official media sources
# Source (string): Original news outlet that published the news item
# Topic (string): Query topic used to obtain the items in the official media sources
# PublishDate (timestamp): Date and time of the news items' publication
# SentimentTitle (numeric): Sentiment score of the text in the news items' title
# SentimentHeadline (numeric): Sentiment score of the text in the news items' headline
# Facebook (numeric): Final value of the news items' popularity according to the social media source Facebook
# GooglePlus (numeric): Final value of the news items' popularity according to the social media source Google+
# LinkedIn (numeric): Final value of the news items' popularity according to the social media source LinkedIn
#
##################

##################
#
# VARIABLES OF SOCIAL FEEDBACK DATA
#
# IDLink (numeric): Unique identifier of news items
# TS1 (numeric): Level of popularity in time slice 1 (0-20 minutes upon publication)
# TS2 (numeric): Level of popularity in time slice 2 (20-40 minutes upon publication)
# TS... (numeric): Level of popularity in time slice ...
# TS144 (numeric): Final level of popularity after 2 days upon publication
#
##################

Textanalyse (1)

Wortstatistiken

• Was sind die häufigsten starken Schlüsselwörter?

Erstellen eines Wörterbuchs

Auswahl der häufigsten Wörter

Merkmalskodierung

• Die Texteinheiten sollen anhand von bestimmtem Merkmalen kodiert werdem

• Als ein Eingabemerkmal sollen n Schlüsselwörter in einem Multi-hot Vektor kodiert werden

• Ziel ist später die automatische prognostische Erkennung eines Themas zu dem der Text gehört

Eingabevariablen

Test

Ausgabevariablen

• Es werden die Topics aus der Datentabelle One-hot kodiert

Test

Der Klassifizier

• Es soll ein ANN für die Prädiktion der Headlineklasse trainiert unf eingesetzt werden

• Die Frage ist ob das Problem nahezu linear separierbar ist oder nicht, d.h. ob innere Schichten im ANN benötigt werden

Datenvorverarbeitung

• Die Trainingszeit wird sehr groß werden (5000 Dateninstanzen)
  • Daher zunächst eines randomisierte Auswahl

Modell ANN

Das Modell ist nicht direkt speicherbar!! Eine explizite Serialisierung und Deserialisierung wäre erforderlich. nache einem erneuten Laden der notebook JSON Datei ist das Modell in this.modelA ungültig!

Training ANN

Test ANN

• Hier verschiedene Datensätze testen (training, test, ..)

Klassifikation ANN