Herzlich Willkommen, liebe Studierende,
zu einer weiteren Ausgabe Ihrer Vorlesungsreihe Methoden der empirischen Sozialforschung.
Ich bin Kai Überschnapp und heute beschäftigen wir uns mit dem
Thema Text ist Data Teil 2. Und zwar wollen wir,
nachdem wir in der letzten Woche uns vor allem darum gekümmert haben,
die Menschentexte lesen, kodieren, interpretieren, verarbeiten,
wollen wir uns heute mit maschinengestützter, computergestützter Inhaltsanalyse beschäftigen.
Sie sehen im Hintergrund das, was wir Digital Ambundance,
digitalen Überfluss nennen.
Es gibt inzwischen Unmengen Daten,
vor allem natürlich Textdaten
Die im Internet zur Verfügung stehen, mit den unterschiedlichsten Inhalten,
die wir nutzen können, als Sozialwissenschaftlerin,
aber auch für andere Zwecke, um aus diesen Texten Daten zu machen,
mit denen wir irgendetwas über die Welt herausfinden können.
Und so will ich auch einsteigen, ich will Ihnen zunächst
einige Anwendungen, maschineller Textanalyse, einige Beispiele bringen.
Ich werde nochmal den Bezug zu den letzten beiden Themen herstellen,
nämlich einmal zu Big Data, was wir vor zwei Wochen
gemacht haben und dann zur klassischen Textanalyse, gemachten Textanalyse aus der letzten Woche.
Der nächste Schritt ist dann mit Ihnen in groben Zügen zu besprechen,
was passieren eigentlich für Arbeitsschritte, was müssen für Arbeitsschritte passieren,
bei der Textaufbereitung, wenn ich Text tatsächlich maschinell analysieren will,
welche Verfahren gibt es dann,
um Text zu analysieren und es gibt eine Zusammenfassung am Schluss,
die auch nochmal einen kurzen erkenntnistheoretischen Blick auf all das wirft,
was hier passiert unter der Rubrik maschinelle Textanalyse,
aber auch unter der größeren Rubrik Big Data,
also wenn wir hier von maschineller Textanalyse reden,
dann reden wir meistens ja auch von Big Anwendungen in gewisser Weise.
Texas Data, Anwendungsfelder, natürlich für uns am meisten naheliegend, sozialwissenschaftliche Anwendungen.
Was Sie hier sehen, ohne ins Detail gehen zu können,
sind zum Beispiel Analysen von wissenschaftlichen Netzwerken.
Das ist eine Analyse von Populismus. Das ist eine Analyse
von Dingen, die Menschen am meisten bewegen,
die uns am meisten Sorgen machen.
Das alles aus Internettexten, aus großen Textdatenbanken herausgeholt.
Hier vielleicht etwas konkreter,
digitaler und Datenjournalismus
Der eine oder die andere von Ihnen
hat vielleicht diese Webseite der Süddeutschen Zeitung schon mal gesehen,
wo die Süddeutsche Zeitung mit einer ihrer prominenten Datenjournalistinnen tatsächlich sein Projekt aufgelegt hat,
indem sie sämtliche Reden, die im Bundestag gehalten wurden,
seit der Bundestag besteht, mal so grob sortiert haben.
Welche Themen sind besprochen worden? Welche Akteure haben gesprochen und
so weiter? Das würde man mit Handkodierungen sicherlich kaum hinkriegen,
weil das eine so riesige Textmenge ist,
das sind auf alle Fälle auch Anwendungen,
dieses Projekt lohnt sich auf alle Fälle
mal näher anzuschauen
Text ist Data ist natürlich auch eine Anwendung,
die in der Wirtschaft eine große Rolle spielt.
Zum Beispiel beim Marketing, was Sie hier sehen,
also Customer Support, E-Mails und Memos und so weiter.
Und dann können da alle möglichen Formen von Text-Analytics draufgeworfen werden,
um eben auch wirtschaftliche Prozesse besser gestalten zu können,
ob jede von uns das Normativ wertvoll findet,
dass damit Marketingstrategien entwickelt werden.
Das steht auf einem anderen Blatt. Hier geht es darum
zu sagen, dass in Bereiche,
in denen
solche Anwendungen stattfinden
Sehr ähnliches Feld, aber vielleicht normativ etwas besser bewertet.
Auch die öffentliche Verwaltung geht inzwischen dazu über, Text es
Data zu verwenden. Hier haben Sie ein kurzes Beispiel,
wo Daten des National Health Service, also des Gesundheitsdienstes,
des Gesundheitssystems in Großbritannien analysiert wurden.
Und zwar Rückmeldungen von Patienten auf den Webseiten des NHS,
zur Servicequalität, die an bestimmten Standorten erbracht wurde oder zu der Art und Weise,
wie die Menschen sich behandelt gefühlt haben im Gesundheitssystem.
Und hier würde man vielleicht sagen, naja,
das ist doch eigentlich eine gute Sache,
wenn man sich jetzt auch in systematischer Art und Weise
damit auseinandersetzen kann
Ob die Patienten sich freundlich und zuvorkommend behandelt gefühlt haben,
wie das eigentlich mit dem Zeitmanagement gewesen ist,
wie bestimmte Einschätzungen auch der medizinischen Qualität gewesen sind und so weiter.
Sie finden unten die Zitation, falls Sie das näher interessiert,
dann können Sie sich auch mal anschauen,
was denn eigentlich so dieses Netzwerk da im Hintergrund bedeutet.
Aber auch das ein Anwendungsfeld einerseits von Big Data und zugespitzt
eben von Text ist Data, wo man gesagt hat,
so wir haben hier tausende von Rückmeldungen von Patienten darüber,
wie an den unterschiedlichsten Standorten
Servicequalität gewesen ist
Das ist für menschliche Codiererinnen überhaupt in keinem sinnvollen Sinne überarbeitbar,
aber wenn wir da Maschinen drüber laufen lassen,
dann können wir da so ein paar Sachen rausholen.
Sie sehen hier mehrfach das Wort Topic auftauchen, genau das,
was hier passiert ist, das sogenannte Topic-Modeling,
werden wir nachher auch noch mal kurz ansprechen,
was da eigentlich dahinter steckt.
Naja, und letzten Endes ist das natürlich auch ein Zivilgesellschaftliches Ding,
also wenn Sie jetzt an Wikileaks und so weiter denken,
auch hier geht es zum einen natürlich um Big-Data-Anwendungen,
aber es geht eben
auch um Texas-Data-Anwendungen
Und was wir hier in der Grafik auch sehen, ist,
wie das explodiert ist, also wie die Menge an Text explodiert ist,
die wir zur Verfügung haben für sowas.
Cable Gate, 2010 auf Wikileaks veröffentlicht, das waren noch 1,7 Gigabyte.
Dann die Offshore-Leaks von ICAJ veröffentlicht, 2013,
260 Gigabyte und die Panama Papers dürften den meisten von ihnen ein Begriff sein. 2.600 Gigabyte,
also 2,6 Terabyte, Textdaten,
die dort jetzt zur Verfügung stehen und alleine des Datenvolumens wegen ist völlig klar,
ohne maschinelle Hilfe wird man dieser ganzen Dinge nicht her,
aber es gibt offensichtlich eben doch eine ganze Menge Bereiche,
wo es sehr sinnvoll ist,
diese maschinellen Verfahren zu kennen und Gegenstand der heutigen Sitzung soll sein,
ihnen einen allerersten ganz groben Überblick über diese Verfahren zu geben.
Natürlich gehen sie hier nicht aus der Sitzung raus und sagen,
jetzt setze ich mich vor den Computer,
schnapp mir R oder Python und lege los,
aber sie kriegen eine Idee dafür,
was geht und welche Prinzipien dahinter stecken und das ist das,
was ich heute auch erreichen will, ihnen genau diesen Überblick zu geben.
Ich gehe davon aus,
dass die eine oder der andere von ihnen ja auch schon ein Stück weiter ist,
als diese heutige Vorlesung Sitzung das berichten kann,
aber mit dem Problem ist man ja an der Universität immer konfrontiert,
dass es in jedem Feld eigentlich jemanden gibt,
der da auch schon als oder die da auch schon als Spezialistin an die Universität kommt.
Ich hoffe, dass es für die meisten von ihnen
trotzdem interessant ist. Soweit zu den Anwendungsbeispielen,
jetzt nochmal der kurze Rückblick in die beiden letzten Sitzungen,
wo ist eigentlich der Bezug zu Big Data,
beziehungsweise wo sind auch spezifische Unterschiede, wo ist der Bezug zur klassischen Textanalyse.
Wenn Sie nochmal an meinen räuberisches Darstellen, mein räuberisches Ausnutzen
der Folien von David Krise denken. Dieses Spiegel-Mining,
wie er es genannt hat,
dann haben wir da einerseits eine sehr vergleichbare Anwendung,
weil David Krise eben auch sagt,
da liegen Daten rum im Internet und diese Daten hole ich mir auf meinen Rechner,
diese Daten analysiere ich.
Was Krise aber letzten Endes gemacht hat,
ist noch gar nicht wirklich eine Text- oder inhaltsanalytische Arbeit,
sondern Krisel hat sich vor allem mit den sogenannten Metadaten
auseinandergesetzt.
Was sind Metadaten
Das Textdokument, das wir im Internet finden,
hat eine Reihe von Daten oder bringt eine Reihe von Daten
mit sich, die das Dokument erstmal als solches charakterisieren.
Das sind die sogenannten Metadaten. Wer hat diesen Text
überhaupt verfasst? Wann ist er verfasst worden? Die Länge
des Textes, bestimmte Stichworte, die man dazu gibt.
Das sind alles sogenannte Metadaten, wenn sie ganz klassisch denken,
dann haben sie in der Bibliothek
Bücher stehen
Und auch zu diesen Büchern gibt es Metadaten. Das ist
nämlich alles, was im Bibliothekskatalog über das Buch finden.
Die Autoren, der Verlag, die Anzahl der Seiten,
ein paar Stichworte, der Titel und was gegebenen wird.
Der Preis, die ISBN-Nummer, all das sind sogenannte Metadaten.
Und das ist hier auch die Beziehung sozusagen zwischen unseren Textdaten
und Big Data. Unsere Textdaten gehören zu Pig Data.
Und wenn wir einen konkreten Text uns aus dem Internet herausholen,
dann hat er zumindest zwei Komponenten von Big Data,
nämlich einerseits den Text selbst.
Das, worum wir uns heute kümmern wollen.
Andererseits die Metadaten
Das, was David Krise vor allem ausgewertet hat. Und natürlich ist in seiner Auswertung von Stichworten,
deswegen habe ich auch dieses große Netzdiagramm nochmal mitgebracht.
Natürlich ist in seiner Auswertung von Stichworten in gewisser Weise
auch schon eine Sinnkomponente enthalten. Letzten Endes aber nicht wirklich,
weil er sich ja eigentlich gar nicht darum kümmert,
was der Sinn von irgendwelchen Themen von irgendwelchen Texten ist,
sondern er sucht ja einfach nur Aber der analysiert ja einfach nur die Frage,
welche Stichworte tauchen eher gemeinsam auf und welche Stichworte tauchen nicht so oft gemeinsam auf.
Und dann haben wir eben oben in Pink die Blase mit
dem Fußball und unten in Rot die gesamte Außenpolitik. Wir sehen da gewisse Zusammenhänge,
denen wir als Interpretinnen, als Betrachterin natürlich auch einen Sinn zuweisen,
aber Krise selbst hat sich noch nicht im engeren Sinne darum gekümmert oder dafür interessiert,
die Texte zu analysieren,
sondern er hat eben dann auch eher so lustige Fragen gestellt,
wie wer fährt mit wem gemeinsam in Urlaub und so weiter.
Aber das natürlich wieder auf der Basis der Metadaten.
Was ist der Bezug zu den Themen der letzten Woche
Wir haben über qualitative etwas zu kurz und über quantitative Textanalyse gesprochen.
Bei der qualitativen Textanalyse ging es darum zu sagen,
okay, hier wird Sinn interpretiert. Also der Text wird
als solcher gelesen und wir interpretieren. Wir versuchen zu verstehen,
was die Autorin, egal in welcher Autorinnenrolle, Redenhalterin,
Zeitungsartikel, Schreiberin, tatsächlich Autorin etc. sie gewesen ist.
Also wir versuchen herauszubekommen, was diese Leute gedacht haben,
was sie nicht teilen wollten. Es werden unter Umständen bei der qualitativen Inhaltsanalyse
Sinn, Varianten ausprobiert, wenn wir in die Sequenzanalyse gehen.
Es werden insbesondere Machtverhältnisse versucht, aus kommunikativen Akten heraus zu
interpretieren, wenn wir uns die Diskursanalyse vorstellen.
Also wir haben hier eine sehr tiefe,
hermeneutische, einen sehr tiefen hermeneutischen Zugang auf diese Texte,
eine sehr tiefe hermeneutische Perspektive.
Und darauf werden wir etwas weiter hinten in der heutigen Sitzung,
bei dem heutigen Thema auch nochmal wieder zurückkommen,
weil wir die maschinelle Textanalyse an bestimmten Stellen auch genau mit
so einem hermeneutischen Vorgehen dann wieder verknüpfen oder zumindest verknüpfen können
Und wir haben bei der quantitativen Textanalyse darüber gesprochen, dass es in erster Linie darum geht,
Texte mit bestimmten Merkmalen zu quantifizieren oder in einer quantifizierbaren Form zu erfassen, sodass ich auch statistische Aussagen über den Text treffen kann. Der Sinn bleibt bei dieser Arbeitsweise relevant,
weil es ja zum Beispiel darum geht,
eben vorgegebene inhaltliche Kurz zu nutzen, im Textstellen zu identifizieren,
die diesen Kurs zugeordnet werden können,
aber der Sinn wird natürlich schon ganz anders erschlossen als bei der interpretierenden,
bei der hermeneutischen, qualitativen Analyse, weil es eben nicht darum geht,
möglicherweise noch mehr Sätze aus einem Satz zu machen,
um dieses Verständnis, das ich als Interpretin entwickle,
dann auch wieder zu verbalisieren, sondern es geht hier eher darum,
den Text kompakter zu machen, durch Diskurdieren eben wirklich,
wenn man so wie Luft rauszulassen und ihn auf seine,
auf seine Gerippe zu reduzieren.
Also einmal eine eher ausdehnende,
einmal eine stark komprimierende Form der Analyse,
aber das sind die beiden Anschlussstellen aus der letzten Woche
und aus diesen Anschlussstellen heraus gehen wir jetzt in die
maschinelle Analyse
Die maschinelle Analyse muss natürlich notwendigerweise in ganz anderer Form als
die Hermeneutik auf den Sinn zugreifen und greift auch mit unterschiedlichen
Verfahren nochmal innerhalb dieser maschinellen Verfahren unterschiedlich auf Sinn zu.
Es gibt, und das werden wir im folgenden etwas stärker im Detail besprechen,
es gibt Verfahren, die setzen auf blanke Worthäufigkeiten.
Und wir werden uns das Gleiche anschauen,
aber um es in einem Satz zu sagen,
dort werden zwei Texte einfach miteinander verglichen vor dem Hintergrund der Frage,
welche Worte tauchen in Text 1 häufig auf und welche selten?
Welche Worte tauchen in Text 2 häufig auf und welche selten?
Und über diese blanken Worthäufigkeiten werden die Texte inhaltlich vergleichbar gemacht.
Dabei wird Sinn, natürlich nur auf einer Meta-Ebene interpretiert,
auf der Ebene der ganzen Texte,
einzelne Aussagen in diesem Text werden dabei überhaupt nicht in einem engeren Sinne berücksichtigt.
Ein zweiter Zugang ist der Zugang über sogenannte Wörterbücher,
Dictionaries, oft vor deren Hintergrund,
also diese Wörterbücher kann man in gewisser Weise verstehen,
wie ein Codeplan, aber nicht ganz, auch das werden wir uns gleich anschauen.
Hier ist natürlich menschliche Sinnzuschreibung mit am Werk,
weil Menschen diese Dictionaries erstellt haben, Aber am Ende geht es darum,
dass die Maschine auf der Basis so eines Wörterbuches einen Text codiert.
Also die Wörter identifiziert, die im Wörterbuch drin sind und
dann auch wieder anfängt zu zählen und so weiter.
Aber es gibt dann, damit werden wir die heutige Sitzung beenden,
oder das ist kurz vor dem Ende, es gibt auch Verfahren,
mit denen die Maschine tatsächlich Sinneinheiten im Text sucht.
Also in der Lage ist über das einzelne Wort hinauszugehen,
über ganze Textstrukturen sich anzuschauen,
die müssen immer noch vom Menschen interpretiert werden.
Oder es ist sinnvoll, dass wir als Wissenschaftlerin dann mit
diesen Textstellen weiterarbeiten. Aber die Maschinen sind inzwischen so weit,
dass sie tatsächlich Sinneinheiten erfassen können und auch das würde ich
ihnen kurz in kurzen Beispielen zeigen
Damit sind wir schon beim nächsten Schritt, nämlich der Frage,
was sind denn jetzt eigentlich die Arbeitsschritte,
die ich unternehmen muss, um einen Text aufzubereiten,
damit er dann maschinell bearbeitet werden kann.
Über den Teil sind wir in der letzten Woche etwas schnell hinweggegangen,
was einfach daran liegt,
dass für menschliches Kodieren keine ganz besonderen Textaufbereitungsanstrengungen unternommen werden müssen.
Wir haben ein Transkript,
wir setzen uns vor das Transkript und dann kann ich anfangen
zu lesen und kann mit Max Kudia zum Beispiel diesen Text
kodieren oder ich kann mit einem hermeneutischen Verfahren anfangen auf der Basis des Transkriptes.
Das kann sogar ein handschriftliches Transkript sein, arbeiten.
Wenn wir Texte von Maschinen analysieren wollen, dann sind deutlich mehr Arbeitsschritte notwendig,
damit das überhaupt funktionieren kann und genau das will ich mit Ihnen jetzt besprechen.
Ich hatte eingangs gesagt, dass wir inzwischen in einer Welt des digitalen Datenüberflusses leben.
Und das ist zumindest in gewisser Weise ja durchaus eine positive Formulierung.
Wir haben einen unheimlichen Reichtum, wo man Informationen,
die wir uns eigentlich nur auf den Schreibtisch,
die wir uns eigentlich nur in den Computer holen müssen.
Und dann können wir damit loslegen. Aber dieser digitale Überfluss ist
auch ein Unstructured Mess, ein unstrukturierter Haufen von irgendwas.
Und weil das so ist, steht eben immer auch die Frage,
wie kann ich eigentlich aus diesem unsortierten Haufen von irgendwas etwas machen,
auf das dann Computer,
die ja sehr systematische Wesen in dieser Welt sind,
auf das diese Computer zugreifen können und dass die Computer bearbeiten können.
Und da haben wir drei Schritte, wir müssen diese Daten überhaupt erst mal sammeln,
also wir müssen sie aus dem Netz herausholen,
wir müssen sie dann strukturieren und wir müssen sie analysieren.
Das Ganze kann man dann auch hier in diesem kleinen Flussdiagramm abbilden,
das auf einen Text von Ken Beneut zurückgeht,
letztes Jahr erst veröffentlicht, eine zusammenfassende Darstellung dazu,
was Textanalyse für die Sozialwissenschaften leisten kann.
Und beneut sagt eben, ja, wir müssen diese Texte sammeln,
wir müssen sie strukturieren und wir müssen sie analysieren.
Auf den Schritt des Sammelns gehe ich jetzt überhaupt nicht ausführlich ein.
Einer der zentralen Begriffe ist hier das Webscraping.
Und allein das fordert schon einigermaßen entfalteten technischen Aufwand.
Also dazu muss man sowas lernen wie R oder Pathan,
um Programme schreiben zu können,
die dann genau die Webseiten anschauen können von den Webseiten,
die Daten sammeln können, die sie brauchen.
Und dann geht es auf alle Fälle darum, drei Fragen zu klären.
Erstens, welchen Zugang habe ich zu den Daten?
Also wenn wir zum Beispiel über Twitter oder Facebook reden,
darf ich das, was auf diesen Webseiten dann steht,
darf ich das, was in den Feeds drin ist,
denn eigentlich von diesen Webseiten runtersammeln oder nicht?
Oder wenn ich zum Bundestag gehe und mir die Bundestagsprotokolle anschaue,
die dort alle in transkribierten PDF-Dateien rumliegen und so weiter.
Also die erste Frage, die zu klären ist,
gibt es technisch gesehen einen Zugang zu den Daten, die ich brauche?
Und die zweite Frage ist dieser Zugang, der technisch möglich ist,
denn auch von den jeweiligen Anbietern dieser Daten oder wird mir erlaubt,
diesen technischen Zugang zu nutzen.
Dann reden wir über Dinge wie APIs, Application, Programmer,
Interfaces, also Dinge, die dann die Datenanbieter im Zweifelsfalle auch bereithalten,
damit diese Schnittstelle funktionieren kann.
Weil das ist immer die erste Frage.
Welche Daten sind da? Gibt es einen technischen Zugang?
Und das hängt natürlich dann auch stark an meinen eigenen Kompetenzen,
ob ich diesen technischen Zugang in irgendeiner Form nutzen kann.
Und bin ich rechtlich, ist mir rechtlich erlaubt, das zu tun.
Die nächste Frage ist dann die der Datenqualität.
Da kommen wir wieder stärker auf den Unstructure Mess zurück.
In welcher Form liegen die Daten denn eigentlich vor oder
welche Formen haben die Daten, die mich interessieren?
Sind sehr gut sortierte Daten. Da steht dran,
wer gesprochen hat, da gibt es über jedem Protokoll eine Überschrift.
Das ändert sich über Zeit mitunter ein bisschen,
wie die Dinge aufgezeichnet werden. Aber diese PDF-Dokumente haben eine
sehr klare Struktur. Wenn ich das einmal erkannt habe,
dann ist es relativ einfach, mein Programm so zu schreiben,
dass es die Dinge aus diesen Dokumenten rausliest, die mich interessieren.
Und zum Beispiel sowas wie Seitennummern,
wenn ich nicht gerade an die Quellennachweise denke,
sondern einfach nur an den Text wegzulassen und alles mögliche andere auch wegzulassen.
Aber die Datenqualität ist etwas,
über das ich mir Gedanken machen muss und zwar nicht
so sehr im Sinne von hohe Qualität oder niedrige Qualität,
sondern welche Qualität, welche Struktur haben diese Daten.
Wie stark sind sie schon vereinheitlicht
Wie stark sind Sie möglicherweise nicht vereinheitlicht?
Was muss ich da tun? Und natürlich steht,
auch wenn ich maschinell arbeite, immer die Frage der Datenauswahl.
Will ich das gesamte Twitter-Universum angucken?
Will ich zumindest das gesamte Universum an Bundestagsprotokollen anschauen?
Letzteres wahrscheinlich eine plausiblere Aufgabe als Ersteres. Und die Süddeutsche Zeitung,
das Beispiel, auf das ich vorhin kurz verwiesen hatte,
hat sich tatsächlich alle Bundestagesprotokolle angeguckt.
Also was will ich da wirklich im Detail machen?
Das ist also der erste Schritt. Wir müssen
die Daten irgendwie uns zugänglich machen. Wir müssen diese Texte
wirklich erstmal als Texte irgendwo abgreifen können
Die weiteren Schritte, wie aus dem, was ich abgegriffen habe,
was ich zunächst als hohe Textdaten auf meinem Rechner gesichert habe,
wie ich daraus dann die Daten mache,
mit denen ich arbeiten kann.
Das heißt, wir haben die Texte auf unserem Rechner gesichert,
die sind in PDF, die sind als HTML,
die sind XML, die sind Jay-Sound-Dateien, also Datenbank-Dateien.
Das sind möglicherweise TXT-Files, je nachdem, wie die Exporte funktionieren.
Und jetzt muss das Ganze in Starter oder R oder Python
geladen werden, damit ich dann mit den Daten irgendetwas machen kann.
Also damit ich dann diese Schritte diskutierens und der Analyse
vornehmen kann. Und dann kommt zum Schluss eben
die tatsächliche Textinterpretationsarbeit
Wir wollen uns den Schritt des Umwandelns der Daten,
also des Bearbeitens des Textkörpers, nochmal etwas genauer anschauen, was da eigentlich passiert.
Also hier ist ein x-beliebiger Satz aus einer Rede von Nixon aus dem Jahre 1973,
This leads only to inflated expectations to reduced individual effort and to a disappointment.
Und jetzt ist die Frage,
was muss ich denn jetzt eigentlich mit diesem Text,
der ganz normale, gesprochene Sprache ist,
mit Satzzeichen und Groß- und Kleinschreibungen und Wörtern,
die auch nicht unbedingt einen Sinn tragen,
wie zum Beispiel End oder Two oder ey,
was mache ich mit diesem Text, damit der Computer damit irgendetwas anfangen kann.
Der erste Schritt ist die sogenannte Tokenization und sie werden feststellen,
dass wenn wir über Textanalyse reden,
dass wir an den wenigsten Stellen tatsächlich deutsche Begriffe für viele Prozesse haben,
Tokenization meint zunächst nichts weiter,
als dass jeder explizibige Text wirklich nach jedem einzelnen Element,
das er enthält, jedes Wort,
jedes Satzzeichen in einzelne kleine Päckchen geteilt wird.
Und mit diesem Token wird jetzt im nächsten Schritt
etwas gemacht
Dass den Zweck erfüllt, alles aus diesem Text rauszuschmeißen, was nicht wirklich sinntragend ist.
Das heißt, es werden die sogenannten Stopwords aus dem Text genommen.
Stopwords sind alle Wörter, die vor allem der logischen Verbindung dienen,
two and, aber auch alle Füllwörter. Also alles,
was einen normalen, gesprochenen Satz mit viel Masse füllt,
was aber im engeren Sinne keinen Sinn trägt, was nur sinnträgt,
möglicherweise um WörterInnen zueinander in Verbindung zu setzen und natürlich Satzzeichen und so weiter.
All das fliegt aus dem Text raus und sie sehen aus
der relativ langen Liste Tokens, also die Spalte,
in der jetzt die rot durchgestrichenen Worte sind,
wird dann eine deutlich kleinere Liste an Inhaltstragenden Wörtern,
die jetzt dann wirklich in die Analyse eingehen.
Damit das Programm damit klarkommt, reicht das aber noch nicht,
denn wir alle wissen, die meisten menschlichen Sprachen haben Grammatik.
Das heißt, Inflated, Inflation, Inflate,
da können die unterschiedlichsten Endungen dran sein. Wir wollen aber,
dass das Programm ähnliche Inhalte oder gleiche Inhalte als gleich erkennt.
Was wir deswegen machen, ist, dass wir alle Wörter zunächst in Kleinschreibung übersetzen,
damit der Computer ein Wort am Satz anfangen und ein Wort mitten im Satz als gleiches Wort erkennt.
Und dann werden die Stämme sozusagen herausgeholt,
also das, was hier als Stemming bezeichnet ist,
da geht es darum, die Wortstätten nichts,
als die Wortstämme stehen zu lassen und das machen die Computer,
denn sie haben das hier durch die Streichungen gesehen,
also aus Leads wird dann ein Lead ausinflated wird in Flate,
aus Expectation wird Expect und so weiter und so fort.
Und wenn sie dann jetzt den vollständigen Text sehen,
dann werden sie da eben auch erkennen,
dass an unterschiedlichen Stellen Lied in unterschiedlichen Konjurationen auftaucht,
das Expectations zumindestens in der Einzahl und in der Mehrzahl auftauchen,
das möglicherweise auch Expect als Verb auftaucht.
Und auf diese Art und Weise wird dafür gesorgt,
dass all diese sinntragenden Einheiten für das Computerprogramm sichtbar werden als etwas,
das inhaltlich das Gleiche meint. Ja,
und dann kann man das tatsächlich in die Maschine schmeißen
und kann anfangen zu zählen und Aussagen zu machen,
zum Beispiel über positive oder negative Aussagen oder überhaupt über welche Themen,
welche Menschen, welche Politikerinnen und Politiker gesprochen haben und so weiter.
Also nach all diesen Schritten Tokenization Removal of Puncturation and Stop Words,
also löschen von Satzzeichen und logischen oder Füllwörtern,
übersetzen der Wörter oder Umschreiben der Wörter in Kleinschreibung und Abtrennen aller möglichen grammatikalischer Änderungen.
Dann sind wir so weit, dass wir mit dem Text
arbeiten können. Und der Witz ist,
dass diese ganzen aufwendigen Schritte Eigentlich nichts anderes sind als das,
was unser Kopf auch macht, wenn er einen Text liest.
Also der muss ja auch irgendwie versuchen, da Struktur reinzukriegen.
Und natürlich hilft unserem Kopf, sonst hätte die Sprache
sich nicht so entwickelt. Natürlich hilft unserem Kopf das,
was wir auf der allerersten Form haben,
also in dem direkten Nixen-Zitat, um den Text einzuordnen und zu verstehen.
Aber letzten Endes nimmt unser Kopf auch wieder diese Abstraktionsschritte vor,
die wir jetzt hier in der Maschine ganz explizit sehen.
Also dass er eben erkennt, Leads Lead, Leader,
Leadership, das sind alles Worte, die in eine gemeinsame Richtung gehen.
Und in dem Sinne macht unser Kopf das eben auch.
Er macht dieses Stemming, er unterscheidet dann eben nicht mehr
zwischen Lead großgeschrieben am Anfang des Satzes und wie klein geschrieben,
im Satz, weil er sagt, das ist beides mal das gleiche Wort.
Also am Ende haben wir hier einen Prozess,
der in unseren Köpfen stattfindet, einfach so übersetzt,
dass die Maschine ihn auch ausführen kann.
Oder wir haben zumindest eine Variante dieses Prozesses entwickelt,
die Dinge macht, die unser Kopf auch macht.
Nämlich von dem konkreten, gesprochenen Text,
This Leads only to inflated expectations to reduced individual effort and
to a this appointment zu abstrahieren und einen abstrakteren Sinn da rauszuholen,
den ich dann auch mit anderen Sätzen, mit anderen Inhalten vergleichen kann.
Also das sozusagen die Schritte, die dann wirklich,
wenn der Text da ist, getan werden müssen,
damit er von der Maschine auch wirklich sinnvoll analysiert werden kann
Soweit der kurze Überblick über die Arbeitsschritte, die notwendig sind,
um Text für die maschinelle Analyse aufzubereiten.
Natürlich wird es sie wesentlich mehr Zeit kosten,
die tatsächlichen technischen Schritte zu erlernen, die für jede dieser einzelnen Folien,
die ich eben gezeigt habe, notwendig sind.
Also man kann im Prinzip fast sagen, Scraping ist ein Halbsemester
langer Workshop und die Textaufbereitung dauert sicherlich auch nochmal so lange.
Aber auf der abstrakten Ebene sind das die Schritte, die getan werden müssen.
Damit können wir jetzt zu technischen Verfahren der Textinterpretation übergehen.
Bevor wir das machen, schalte ich aber eine kurze Pause
ein.
Bis gleich