Ja, aus der Pause zurück und wir wenden uns jetzt
den Verfahren der technischen Textinterpretation zu und werden dabei zumindest eine Grundidee davon kriegen,
ob und wenn ja in welcher Weise Maschinen vielleicht sogar
Sinn verstehen können
Grundsätzlich gibt es drei Zugänge, wie maschinell Text analysiert werden kann.
Die sind vorhin auch schon kurz angedeutet worden. Der erste Zugang sind
die sogenannten, oder ist der sogenannte Back of Words Zugang.
Bei diesem Back-of-Words-Zugang werden Texte tatsächlich einfach nur daraufhin untersucht,
welche Worte wie häufig in diesen Texten vorkommen.
Und diese Häufigkeiten werden miteinander verglichen. Wir gucken uns das
auch gleich nochmal in etwas größerem Detail an.
Der zweite Zugang ist dann der Zugang über Wörterbücher oder Topic-Models.
Hier wird tatsächlich über eine entweder Bekannte im Falle der Wörterbücher
oder überein zu entwickelndes Verständnis der Wörter versucht,
den Sinn in Texten zu erschließen.
Auch wenn die Maschine natürlich nicht im engeren Sinne versteht, was dieser Sinn macht.
Aber sie ist zumindest in der Lage, Sinneinheiten zu erkennen.
Und dann gibt es die sogenannten Vector-Modelle oder das Natural
Language Processing, also die Verarbeitung natürlicher Sprache.
Und hier kommt die Maschine tatsächlich relativ weiterhin wirklich
den Sinn des gesprochenen Wortes über Sprachstrukturen erschließen zu können.
Ich werde Ihnen nachher ein Beispiel zeigen,
das deutlich macht, dass wenn das funktioniert,
tatsächlich Sinnerschließung in gewisser Weise funktioniert
Gehen wir zunächst zu diesen sogenannten Back-of-Worlds-Ansätzen. Da gibt es
zwei Varianten, die wollen wir uns im Folgenden anschauen.
Bei der ersten Variante sagt man, okay,
ich habe also bestimmte Vergleichstexte, sagen wir mal, Parteiprogramme.
Und ich möchte diese Vergleichstexte, ähnlich der Zielrichtung,
die letzte Woche am Beispiel des Macho-Projektes beschrieben war.
Ich möchte diese Parteiprogramme vor allem ideologisch relativ zueinander einordnen können.
Also ich möchte wissen, welches Programm ist eher.
Nickes Programm, welches Programm ist eher ein rechtes Programm?
Im ersten Ansatz dieser Back-of-Words-Ansätze gehe ich jetzt so vor,
dass ich sage, okay, ich habe bestimmte Referenzprogramme,
von denen sage ich,
bevor der Computer anfängt zu arbeiten,
als Wissenschaftlerin
Dieses Programm nehme ich hier, lese ich und gebe
dem Programm als menschliche Kodiererin oder als menschliche Kodiererin,
als Wissenschaftlerin, einen Wert auf einer Links-Rechtsskala.
Also ich nehme mir zum Beispiel eine bestimmte Bundestagswahl heraus und sage,
Programm der linken Programm, der CDU-Programm der AfD,
Programm der SPD und so weiter,
lese diese Programme und gebe denen einen bestimmten Wert auf einer Links-Rechtsskala.
Und jetzt kann ich weitere Programme heranholen und würde die Häufigkeit bestimmter Worte in den Referenzprogrammen
Mit der Häufigkeit bestimmter Worte in den zu analysierenden Programmen vergleichen und würde dann sagen,
je näher die Worthäufigkeitsverteilung in einem zu analysierenden Programm einen der Referenzprogramme ist,
desto eher würde ich sagen, okay,
diese beiden Programme haben eine ähnliche ideologische Position.
Und dann wird eben die Nähe eines solchen zu analysierenden Programms
im Verhältnis zu allen Referenzprogrammen ausgerechnet. Sie können sich das quasi
wie eine Landkarte vorstellen und dann Oder wie so eine Entfernungstabelle,
die sie in Landkarten oder in Atlanten hinten drin haben.
Also oben gehen die Städte von Augsburg bis Zittau und in
der Spalte gehen sie auch nochmal von Augsburg bis Zittau und in den Kreuzungspunkten steht jeweils,
wie weit diese Programme auseinander entfernt sind, so wie weit diese Städte auseinander entfernt sind.
So ähnlich müssen sie sich das hier vorstellen,
dass quasi für jedes zu analysierende Programm diese relativen Entfernungen,
sprich die Differenz in den Worthäufigkeiten zu den anderen Programmen festgelegt wird,
Und dann wird auf dieser Basis gesagt, okay,
dieses Programm ist Erlings, dieses ist eher Mitte.
Dieses ist eher rechts. Der große Vorteil dieser Vorgehensweise,
die Zuordnung zu links, rechts wird maßgeblich durch die Menschen,
die diese Referenzprogramme kodieren, definiert.
Also menschliche Sinninterpretationen spielt eine große Rolle.
Das ist aber auch gleichzeitig der Nachteil. Ich muss eben
diesen menschlichen Schritt an dieser Stelle oder diese menschliche Kodierarbeit leisten.
Ich brauche immer diese Referenzprogramme, damit diese Art und Weise
der Zuordnung funktioniert. Und ganz wichtig, sie machen eben
hier keine
Detaillierte Sinninterpretation, sondern sie machen letzten Endes lediglich eine Zuordnung von Programmen zu
bestimmten Orten im ideologischen Raum auf der Basis dieser Ähnlichkeiten.
Sie können sehr wenig über die eigentlichen Inhalte der Programme sagen.
Der Witz der Sache ist, dass dieses häufig Worthäufigkeitsbasierte Verfahren sehr zuverlässig funktioniert auf dieser Ebene der generellen Einordnung von Texten in ein bestimmtes Spektrum. Sie können da auch stärker in Politikfelder reingehen,
meinetwegen Dokumente der Klimakonferenzen hernehmen, da müssen die Länder ja zum Beispiel,
wir werden darauf gleich noch kommen,
regelmäßig so Berichte abgeben und dann können sie einfach sagen,
okay, sind eher Länder, die interessiert daran sind,
etwas gegen den Klimawandel zu tun oder es sind eher Länder,
die das nicht tun, also diese Möglichkeiten verschieben sich natürlich,
je nachdem, was ihr Analysegegenstand ist,
aber sie bleiben eben immer auf der Ebene der Bedeutung der gesamten Texte,
aber das können sie mit diesen Worthäufigkeiten,
so strange ist es vielleicht im ersten Moment klingt,
was ich mache einfach das, was ich da eben beschrieben habe,
Turkanization und Punkte raus und Stemming und so weiter und dann zähle ich einfach die Wörter und da kann ich Unterschiede erkennen,
aber ja, das ist so,
weil natürlich die einen Worte in dem einen Text auftauchen,
also eine Partei,
die stark an Sozialpolitik interessiert,
es wird sehr häufig über Sozialpolitik reden
Eine andere Partei tut das nicht. Der theoretische Hintergrund ist da
der gleiche, wie wir ihn letzte Woche auch besprochen hatten.
Also bei den Parteiprogrammen zumindest, dass man ihnen sagt,
Akteure sprechen vor allem über das, was sie tun.
Sie sprechen an sehr wenigen Stellen über Dinge,
die sie nicht tun wollen bei Dingen,
die ihnen als nicht tun,
wie eine Handlung vorkommen und in dem Sinne wichtig sind und andere Dinge lassen sie einfach weg.
Und dadurch kann man tatsächlich über diese Worthäufigkeiten doch unerwarteterweise zunächst
sehr viel herauskriegen. Die zweite Variante mit diesem Back-of-Words-Ansatz umzugehen
, ist die sogenannte direkte Skalierung
Das gucken wir uns jetzt an,
bei der direkten Skalierung gibt es keine Referenzdokumente,
sondern die direkte Skalierung zählt Wörter und vergleicht dann Texte einfach auf der Basis dieser gezielten Wörter.
Das Verfahren dahinter heißt tatsächlich Skalierung. Und was bei so einer Skalierung herauskommt,
ist dann zum Beispiel das, was wir hier sehen,
die Grafik habe ich aus einer Masterarbeit herausgenommen,
die bei mir vor einiger Zeit geschrieben wurde von Christoph Deppel.
Und was er hier analysiert hat,
sind die National Communications, also die Policy Briefs,
die die einzelnen Länder in Vorbereitung der Klimakonferenz in Paris,
also der Conference of Partys 21, schreiben mussten.
Und was sieht man jetzt denn in dieser Darstellung? Also zunächst,
was das Programm macht, ist wiederum zu gucken, wo,
in welchen Dokumenten tauchen, welche Worte, mit welcher Häufigkeit auf.
Und wir interpretieren jetzt dieses Bild. Und die Interpretation des Bildes geht damit los,
dass wir ein bisschen statistisches Wissen noch erwerben müssen.
Und dieses statistische Wissen über das Verfahren,
das ja angewendet wurde, sagt uns dann, okay,
der Bereich, der jetzt hier grau umrandet ist,
Climate Yoto Copenhagan, Ist der Bereich von Worten,
die in allen National Communications auftauchten.
Und das ist irgendwie auch völlig klar. Es geht um eine Klimakonferenz. Es geht darum,
Bezug zu nehmen auf Konferenzen, die vorher stattgefunden haben,
in denen bestimmte Beschlüsse gefasst wurden, wo man also auch sagt,
mit Bezug auf die Beschlüsse aus Kopenhagen mit Bezug auf die
Beschlüsse aus Tokio und so weiter haben wir XY getan,
um Klimapolitik zu betreiben.
Sie sehen übrigens gerade an dem Wort Climate oben,
dass da auch dieses Stemming stattgefunden hat.
Also da sind keine Endungen mehr dran und so weiter,
das ist wirklich nur der Wortstamm und selbst das E hinten,
das ja eigentlich noch daran gehört, fehlt.
Also hier in der Mitte dieser Grafik sind Worte,
die alle Texte, die hier analysiert wurden, verwenden müssen.
Die sind in dem Sinne für uns auch nicht informativ.
Die zeigen einfach nur, was ist der gemeinsame Nenner dieser Texte.
Und dann haben wir aber Bereiche,
die nicht identisch sind, wo auf der einen Seite,
das sind jetzt hier etwas willkürlich herausgeausgezogene Begriffe,
so Begriffe auftauchen wie Forrestlands, Hun Flow Development.
Und auf der anderen Seite steht sowas wie Carbon Intensity,
Bali und Alumina. Und hier geht jetzt die eigentliche Arbeit los.
Ich bin nicht genug Klimawissenschaftler um hier jetzt entscheiden zu können,
welche dieser Seiten ist, die klimafreundliche und welche ist, die nicht so klimafreundliche Seite. Aber das ist das,
was mit diesen Skalierungsverfahren letzten Endes passiert, dass man sagt,
okay, wir hauen diese Texte in diese statistische Verwarnung,
das statistische Verfahren ist in der Lage, uns zu sagen,
welche Worte tauchen tatsächlich fast gleichmäßig in allen Dokumenten auf,
quasi die Worte, die das Oberthema beschreiben,
um dass sich all diese Texte drehen, Klima,
Rückbezüge auf vorherige Klimakonferenzen und dann tauchen Policies auf,
die in den einzelnen Ländern durchgeführt werden oder Themen,
die in den einzelnen Ländern bearbeitet werden oder eben auch nicht bearbeitet werden.
Und hier geht jetzt dann doch wieder die Arbeit des menschlichen Interpreten los,
der sagen muss, okay,
welchen Sinn kann ich jetzt daraus machen,
dass da auf der linken Seite Worte auftauchen und auf der rechten Seite Worte auftauchen.
Also die menschliche Arbeit hieran ist dann tatsächlich auch wieder eine eher hermeneutische,
nämlich zu erschließen, warum es sinnvoll ist,
dass bestimmte Worte gemeinsam in Dokumenten auftauchen.
Da wird es dann auch wieder weniger Back of Words.
Da wird man sicherlich dann auch in die Dokumente zurückgehen.
Also ich kann auf der Basis dieser Darstellung jetzt die einzelnen
National Communications tatsächlich zuordnen. Ich kann sagen,
die National Communication von Germany ist eher auf der linken Seite gewesen,
die von den Vereinigten Staaten eher auf der rechten Seite gewesen,
zum Beispiel.
Und dann kann ich versuchen, mir zu erschließen,
was das eigentlich bedeutet. Und ich kann aber eben
auch wieder Programme gruppieren
Als die, die auf dem Einflügel der Klimapolitik
sind und die auf dem anderen Flügel der Klimapolitik sind.
Und je nachdem, wie differenziert ich dann vorgehe,
kann ich dann natürlich auch innerhalb dessen noch wieder analysieren.
Also das sind die beiden Back-of-Words-Ansätze, die letzten Endes über reine Häufigkeiten,
über die Häufigkeit von Worten und über die Unterschiede in den Häufigkeiten von Worten versuchen, Texte zu analysieren.
Wichtig ist, dass diese beiden Verfahren immer nur Texte in
Relation zu anderen sehr ähnlichen Texten analysieren können.
Also sie können schon nicht mal hier so eine National Communication reinschmeißen und irgendein anderes klimabezogenes Politikdokument,
sondern damit diese Ansätze vernünftig funktionieren müssen,
ist strukturell und vom Ziel her sehr ähnliche Texte sein.
Also Parteiprogramme können sie auf diese Art und Weise vergleichen.
Sie können National Communications bezogen auf eine bestimmte Konferenz zum Beispiel
miteinander vergleichen. Sie können nicht völlig heterogene Dokumente vergleichen,
wie zum Beispiel Parteiprogramme auf der einen Seite und Pressemitteilungen von Parteien
zum Beispiel auf der anderen Seite,
weil dann die Voraussetzungen, die erfüllt sein müssen,
damit diese Häufigkeitsinterpretierenden oder diese Häufigkeitsausnutzenden Ansätze funktionieren.
Diese Voraussetzungen sind nicht mehr erfüllt,
wenn sie Texte unterschiedlicher Art haben, weil in Texten unterschiedlicher Art,
selbst wenn sie das Gleiche ausdrücken wollen,
unterschiedliche Worte verwendet werden und so weiter.
Also es bleibt voraussetzungsvoll, aber wenn sie ähnliche Texte
haben und an vielen Stellen ist das der Fall,
dann können sie das auch machen.
Vielleicht noch ein Wort der Warnung, nochmal kurz zurück zu den Parteiprogrammen.
Ich habe vorhin gesagt, dann nehmen sie einfach so fünf,
sechs, sieben Programme, je nachdem wie viele Parteien gerade im Bundestag sind.
Zu einer Bundestagswahl haben sie pro Partei ja nur ein Programm
Das heißt, wir denken hier eigentlich dann über Vergleiche, über Zeit.
Und da muss man natürlich sagen, es wird wenig sinnvoll sein.
Programme aus der Bundestagswahl 2017 als Referenzprogramme zu nutzen,
wenn ich die erste Bundestagswahl 1949 beschreiben möchte.
Also auch hier muss ich dann nochmal wieder mir die Frage stellen,
was macht Dokumente eigentlich vergleichbar und strukturell ähnlich und was macht sie wenig vergleichbar?
Wahrscheinlich kann man die 2017er-Programme benutzen, um die Bundestagswahl 2012
zum Beispiel zu analysieren und auch noch ein Stück zurückgehen.
Man kann sich überlegen, ob diese Programme Referenzprogramme sein könnten
für alle Landtagswahlen, zeitlicher Nähe stattfinden.
Da hätte ich schon wieder meine Zweifel, weil auf der
Landesebene häufig ganz andere Dinge verhandelt werden als im Bund.
Aber das sind dann eben auch Überlegungen,
die man anstellen muss und sich fragen,
wie ähnlich sind die Dokumente, kann dieser Ansatz denn eigentlich funktionieren?
Gut, nächster Schritt, Wörterbücher oder das sogenannte Dictionary Coding?
Hier geht die Arbeit damit los,
dass ich entweder ein Wörterbuch finde,
also inzwischen gibt es im Internet zu den unterschiedlichsten Themen
gute Wörterbücher für diesen Zweck oder dass ich ein Wörterbuch entwickle,
sehr aufwendiger Prozess für meine bestimmte Frage stellen
Dann gibt es allgemeine Wörterbücher, die einfach allgemeinen Politik beschreiben können.
Es gibt Spezialwörterbücher, wenn ich zum Beispiel eine sogenannte Sentiment-Analyse machen will.
Also wenn ich die Stimmung in Texten erfassen will,
zum Beispiel vor dem Hintergrund der Frage,
Twitter-Kommunikation ist sie aggressiv oder ist sie kooperativ oder was mich da immer noch interessieren kann.
Also dann brauche ich solche Spezialwörterbücher und diese Wörterbücher werden genutzt, um den Text zu interpretieren.
Und hier geht natürlich auch schon wieder menschliches Textverständnis ein,
wenn ich überhaupt Wörterbücher zusammenstelle, weil ich natürlich über die Zusammenstellung der Wörterbücher entscheide,
welche sind Elemente überhaupt angeschaut werden können.
Oder wenn ich jetzt an solche Spezialwörterbücher,
wie zum Beispiel zu Sentiments nachdenke,
da stehen dann eben nicht nur die Wörter drin,
sondern es steht auch dann quasi eine Kodierung der Wörter drin,
wenn dieses Wort auftaucht, ist es eher ein aggressiver Tonfall,
wenn dieses Wort auftaucht, ist es eher ein kooperativer Tonfall.
Hier wird er ausgewichen und so weiter und so fort.
Also hier wird vorab, ähnlich wie bei einem Codeplan, auch schon Textinterpretation vorgenommen.
Und dann werden die Texte anhand dieser Wörterbücher kodiert.
Also hier wird dann mit Hilfe der Wörterbücher etwas in gewisser
Weise vergleichbares zum menschlichen Kodieren mit dem Text gemacht,
um dann auf der Basis dessen, was da kodiert wurde,
letztlich auch wieder weitere Analysen durchführen zu können.
Und also diese weiteren Analysen ist dann eben auch wieder Auszählung
statistische Analysen, möglicherweise solche Bilder erstellen,
wie wir sie eben gesehen haben
Bei den sogenannten Topic-Models gehen wir jetzt tatsächlich Schritte dahin,
dass die Maschine Sinn erkennt in unserem Text.
Also Topic-Models werden verwendet um thematische Strukturen in Text-Corpora zu entdecken.
Kurz nochmal zu diesem Begriff der Text-Corpora, der Textanalytiker, der Mensch,
der sich oder die sich mit der maschinellen Analyse von Text auseinandersetzt,
bezeichnet als Text-Corpus, Mehrzahl Corpora, die Menge an Text,
die für eine Analyse eben genutzt werden soll.
Also ein Text-Corpus kann sein, alle Bundestagswahlprogramme die
je in der Geschichte der Bundesrepublik Deutschland geschrieben wurden.
Ein anderer Textkorpus kann sein, alle Bundestagsprotokolle, die je erfasst wurden.
Also was die Süddeutsche Zeitung gemacht hat. Die hat mit
dem Text Korpus Bundestagsprotokolle gearbeitet. Ein Textkorpus kann natürlich auch sein,
was sie an Transkripten angefertigt haben, über eine Interviewstudie, die sie gemacht haben.
Oder ein Textkorpus kann sein, das Ergebnis ihres Twitter-Scrapings.
Also mit Textkorpus meinen wir nichts weiter als die Datenbasis,
aus der heraus wir unsere Analyse machen wollen.
Und Topic-Models sind Modelle, zumindest thematische Strukturen erkennen,
also Sinnzusammenhänge erkennen. Die können den vielleicht nicht interpretieren,
aber sie sind zumindest in der Lage, mir zu sagen,
mein Lieber, an dieser Stelle oder an jener Stelle ist
ein Sinnzusammenhang beziehungsweise folgende Sinnzusammenhänge sind in diesem Text drin.
Die Back-of-Words-Ansätze arbeiten natürlich in gewisser Weise auch datengetrieben,
weil sie sagen,
wir nehmen einfach diesen Haufen Text und machen damit irgendwas,
aber in beiden Ansätzen ist ja zunächst eine relativ starke interpretierende Komponente auch mit drin.
Diese Topic-Models kümmern sich zunächst
überhaupt nicht um menschliche Interpretationen
Sondern die gehen einfach auf die Texte los,
versuchen in diesen Texten Ähnlichkeiten, Ähnlichkeitsstrukturen zu finden.
Und damit muss man dann weiterarbeiten. Die Grundannahme dieser Topic-Models ist,
dass alle Dokumente Mischungen aus verschiedenen Themen enthalten,
dass diese Themen durch spezifische, durch themenspezifische Worte gekennzeichnet sind.
Und dass das wiederum zu unterschiedlichen Anteilen in den Texten passiert.
Und die Themen werden jetzt wiederum statistisch erschlossen auf der Basis
des gemeinsamen Auftretens von Worten in einem Korpus.
Aber im Unterschied zu den Back-of-Words-Ansätzen wird jetzt eben nicht gesagt,
ich nehme diesen gesamten Wörtersack und zähle einfach,
wie oft taucht das eine Wort in den Text auf und
wie oft taucht das andere Wort in dem Text auf und vergleiche dann diese beiden Säcke auf dieser Basis miteinander,
sondern hier wird mit einem deutlich komplexeren und deswegen auch rechenaufwendigeren Verfahren innerhalb des Textes geguckt.
Welche Wörter tauchen denn gemeinsam auf? Also letztlich im Sinne dessen,
was wir letzte Woche als Zusammenhangsanalyse benannt haben,
wir sind da ja auch nicht größer ins Detail gegangen,
also genau das wird hier jetzt versucht,
der Text wird in unterschiedlicher Griffweite, wenn man so will,
analysiert und es wird versucht zu schauen,
welche Worte tauchen eigentlich Immer wieder gemeinsam auf,
welche anderen Worte tauchen gemeinsam auf,
um auf die Art und Weise zumindest Sinnzusammenhänge in Texten markieren zu können und dann zum Beispiel zu sagen,
Bundestagsprotokolle, das ist offensichtlich ein Text oder ein Absatz,
in dem über Friedenspolitik geredet wurde.
Das ist ein Absatz, in dem Übergleichstellungspolitik geredet wurde und so weiter.
Die Methode ist an mindestens zwei Stellen, die nicht vollständig reproduzierbar.
Die eine Stelle kommt gleich, da setzt wieder menschliche Interpretationen ein.
Die andere Stelle ist aber auch schon die statistische Stelle.
Da hängt es wirklich von zum Teil auch zufälligen Einstellungen ab. Das sind dann Dinge,
die man sich wieder genau anschauen muss,
wenn man mit dem Verfahren wirklich technisch arbeiten möchte,
wenn man das Verfahren wirklich kennenlernen möchte,
dass man hier sehr genau darauf achten muss,
dass man diese intersubjektive Nachvollziehbarkeit, von der wir ja immer reden als Wissenschaftlerin,
dass man die auch wirklich sicherstellt,
weil hier wirklich eine ganze Reihe von Parametern dann auch vor der Analyse fixiert werden müssen.
Also da geht es dann um Fragen wie,
wie weit soll der Algorithmus denn nach vorne und nach hinten um ein Wort herumgreifen,
um Ähnlichkeiten zu messen oder soll er sich auf bestimmte Textstrukturelemente fokussieren,
wie Absätze und so weiter.
Und da können kleine Änderungen der Parameter zum Teil
deutliche Änderungen der Ergebnisse hervorrufen.
Aber das nur so als generelle Warnung an dieser Stelle
Diese Topic-Models sind sehr gut geeignet, um große Text-Corpora überhaupt erst mal zu erkunden.
Also um quasi jemandem, der keine Zeit hat,
alle Bundestagsprotokolle zu lesen, eine Möglichkeit zu geben,
in aggregierter Form die Inhalte präsentiert zu bekommen,
indem eben dieses Topic-Model sagt, so,
das sind ungefähr so Themenhaufen, die ich identifizieren konnte.
Und ich will Ihnen das an einem Beispiel einer Seminararbeit aus
unserem Masterprogramm von Gina Görner und Josef Hollenburger mal kurz zeigen.
Die beiden haben sich schlechtsbezogene Repräsentationsunterschiede im Deutschen Bundestag angeschaut.
Und zwar vor dem Hintergrund der Frage, inwiefern unterscheiden sich Redebeiträge?
Sie haben auch das Verhalten dann noch angeschaut.
Wir gucken jetzt nur kurz in die Redebeiträge. Inwiefern unterscheiden sich
Redebeiträge und Verhalten von weiblichen und männlichen Abgeordneten im 19. Deutschen Bundestag
bezüglich Häufigkeit, Thematik und Schlecht, Geschlechterneutralität?
Und die beiden haben tatsächlich hier mit Topic-Models gearbeitet.
Und jetzt sehen wir zunächst, war es so ein Topic-Model dann auswirft.
Es macht nichts weiter, als zu sagen, okay,
ich habe insgesamt, es waren noch ein bisschen mehr,
ich glaube 82, ich habe insgesamt 82 Hopics,
82 voneinander abgrenzbare Themen in diesen Texten gefunden.
Und ich habe jetzt willkürlich drei Themen, die das Programm identifiziert hat, herausgegriffen.
Also Topic 6, da tauchen die Begriffe Digitalisierung, Intelligenz,
digitale, digitalen, künstliche Strategiezukunft, unsere liebe Wirtschaft,
Menschenthema, Daten brauchen heute vielen neue dafür, gibt Gesellschaft auf.
Wenn wir das jetzt so vorlesen, kann man noch mal wieder zurückgreifen,
kann sich fragen, ob hier das Stemming zum Beispiel wirklich schon vollständig durchgeführt wurde.
Also wenn digitale und digitalen auftaucht,
da hätte man vielleicht beim Stemming nachdem L abschneiden können,
dann wäre das schon mal nur noch ein Wort gewesen und Digitalisierung genauso und hätte uns vielleicht das Ganze noch kompakter hingelegt.
Die Frage ist,
ob heute vielen und Neue nicht eigentlich oder dafür nicht eigentlich Stoppwords sind,
die aus der Analyse hätten ausgeschlossen werden sollen,
weil sie in dem Sinne keine Bedeutung tragen oder spätestens in dieser Darstellung keine Bedeutung mehr tragen,
weil das Neue eben nicht vor neue Methoden oder neue Themen oder neue Daten steht,
sondern es steht einfach nur als etwas, das in diesem Zusammenhang genannt wird.
Das ist eventuell nicht so hilfreich, aber das ist das,
was aus so einem Topic-Model rauskommt. Topic 2,
Russland, USA, Europa, NATO, Weltvertrag,
Staatenabrüstung, INF-Vertrag, da taucht auch wieder heute auf Trump,
Liebe ist offensichtlich ein Wort dass man sich in Bundestagsreden auch überlegen muss,
ob man es nicht rausschmeißt, weil es möglicherweise einfach die Anrede am Beginn des Textes ist.
Sicherheit, Atomwaffenantrag, Iran, Deutschen Politik gibt deshalb und
das dritte Topic Frauenmännerprozent arbeiten, beschäftigen.
Arbeit, Teilzeit, Unternehmen, Gesetz, Arbeitszeit.
Wenn man jetzt da drauf schaut und auch noch mit berücksichtigt,
was ich jetzt eben gesagt habe, über Stop-Orts,
die hier vielleicht noch hätten herausgenommen werden sollen, über bestimmte Stemmingschritte,
die vielleicht noch nicht vollständig gelaufen sind, dann wird man sagen,
okay, Topic 6 ist schon relativ offensichtlich das Thema Digitalisierung.
Da müsste man jetzt natürlich noch gucken, gibt es noch weitere Topics,
die hier aufgetaucht sind oder die das Programm identifiziert hat,
die einen sehr ähnlichen Sinn haben,
aber Topic 6 kann man ziemlich sicher sagen,
dass es sich da um Digitalisierung dreht beim Topic 28 geht es um Außenpolitik und ich würde sagen,
beim Topic 76 geht es um Gleichstellung.
Also das ist jetzt dann doch wieder menschliche Interpretationsarbeit des Topic-Model wirft einem diese Zusammenfassung an Wörtern aus
Und jetzt gehe ich hin und sage, okay,
welche übergeordneten Themen erkenne ich denn jetzt in der Menge hier als gemeinsam auftauchend ausgewiesener Worte?
Und dann kann ich damit aber einen Schritt weitergehen und kann eben sagen,
okay, ich habe jetzt also diese Themen, Digitalisierung,
Außenpolitik, Gleichstellung. Das sind Themen, die die beiden,
also Gina und Josef, an der Stelle identifiziert haben,
zum Beispiel Banken, Seaguardian, Landwirtschaft, Religionsfreiheit,
Energiewende, EU-Außenpolitik, Klimaschutz und so weiter.
Und was die dann damit gemacht haben,
und das wäre dann eine Verwendung von Topic-Models, war eben zu gucken,
okay, welche Topics werden denn stärker von Frauen angesprochen,
wenn sie im Bundestagsreden Bundestag reden,
welche Topics werden stärker von habe ich jetzt gesagt.
Welche werden stärker von Männern angesprochen? Welche werden stärker von Frauen angesprochen?
Sie sehen hier so eine kleine gestrichelte Linie in der Mitte.
Alle Punkte, die sich links von der Linie befinden,
sind Themen, die von den Männern stärker betont wurden,
Themen rechts von der Linie sind Themen,
die von den von den Frauen stärker betont wurden.
Also Frauen reden offensichtlich über Landwirtschaft, Religionsfreiheit, Klimaschutz,
Gleichberechtigung, Männer über Bundeshaushalt, Finanzen, Energiewende und EU-Außenpolitik.
Das ist jetzt auf der Ebene erstmal sehr diskreptiv,
aber wenn die Frage ist,
in welcher Art und Weise unterscheiden sich Männer und Frauen in ihrem Verhalten im Bundestag,
dann sind das natürlich die ersten Schritte,
die man gehen kann und gehen möchte,
überhaupt erst mal diese Unterschiede zu beschreiben.
Und dazu kann man eben diese Topic-Models verwenden,
die auf der groben Ebene so funktionieren, wie eben beschrieben.
Und dann steckt da ein ganz schön großer, statistischer Apparat dahinter,
den man sich im Zweifelsfalle angucken muss, mit dem man sich im Zweifelsfalle auseinandersetzen muss.
Das letzte Verfahren, auf das ich eingehen möchte an dieser Stelle,
sind sprachstrukturorientierte Modelle, also sogenannte Vector,
models und diese Modelle gehen jetzt von dem aus,
was wir auch als menschliche Sprecherinnen natürlich als Annahme verwenden würden.
Der Kontext von Wörtern ist relevant. Also die stehen nicht
einfach nur da irgendwie und ich kann die zählen,
egal ob ich sie jetzt in große Säcke packe,
einen Sack für einen Text oder in kleine Säcke,
viele Topics in dem großen Sack,
die aber trotzdem die einzelnen Wörter dann aus ihren Kontexten herauslösen.
Vectorbased Models gehen davon aus, dass der Kontext relevant ist.
Deswegen sind sie auch am ehesten geeignet oder zumindest besser geeignet,
als die bisher genannten Verfahren Sinn zu verstehen,
wobei ich das Verstehen auch ganz gerne in Anführungsstriche setzen würde.
Aber Das folgende Beispiel zeigt, was hier mit Sinnverstehen gemeint ist,
also ein Vector-Based-Model ist zum Beispiel in der Lage,
zu erkennen, dass die beiden Sätze, die jetzt hier stehen,
Obama-Spicks to the Media an Elli Neu und The President Greeds,
The Press in Chicago, dass die eigentlich das gleiche Ereignis betreffen.
Die vorhergenannten Ansätze würden sagen, Obama-Speaks, Media,
Lenoy, President Greeds,
Press,
Das müssen komplett unterschiedliche Dinge sein. Und Battery-Based-Models, Natural Language Processing,
sind dann in der Lage hier auf der Basis der Struktur
und auf der Basis noch von ein bisschen zusätzlich hinzugezogener Information zu erkennen,
okay, hier geht es um den gleichen Inhalten,
die würden uns das sozusagen als inhaltlich ähnliche Texte ausweisen.
Das zeigt uns auch schon, dass Vactor-Based-Models, Natural Language Processing,
auch mächtiger sind, was die Unterschiedlichkeit von Texten angeht.
Also hier muss man jetzt nicht unbedingt sagen,
Only-National Communications von Cop21, sondern hier wird man sagen können,
eine Pressemitteilung Ein, weiß ich nicht, Rechenschaftsbericht,
ein Parteiprogramm werden hier möglicherweise dann doch vergleichend analysierbar,
weil diese Programme eben in der Lage sind,
den Kontext eines Wortes oder den Gesamtzusammenhang,
in dem Worte sich befinden, zu analysieren.
Und daraus Sinneinheiten zu bilden, die dann jenseits von Worten auf ihre Vergleichbarkeit geprüft werden können.
Für den Menschen ist das überhaupt kein Problem, Obamaspeaks,
The President Weeds, relativ schnell hat sie erkannt,
dass es hier offensichtlich oder vielleicht sogar um genau das gleiche
Ereignis geht für die Maschine, ist das recht aufwendig,
das muss man sich dann wirklich auch nochmal anschauen.
Also, wie ich eben schon gesagt habe,
die zählenden Methoden sehen hier komplett unterschiedliche Wörter und damit komplett unterschiedliche Inhalte,
Bactrobased Models sehen tatsächlich,
dass hier Sinngleichheit da ist und die wird dann auch entsprechend extrahiert.
Diese Vectorbased Models funktionieren auf der Basis neuronaler Netzwerke.
Da gehen wir jetzt sehr tief rein in die künstliche Intelligenz.
Es gibt aber ein sehr schönes Video auf YouTube
Das eigentlich zeigen soll, wie der menschliche Kopf funktioniert,
wie unser Kopf Informationen verarbeitet. Aber das,
was unser Kopf benutzt, um Informationen zu verarbeiten,
sind neuronale Netzwerke. Und wenn sie sich das anschauen,
dann kriegen sie eine Grundvorstellung davon, wie diese Vectorbased-Models,
indem sie auf deutlich weniger komplexer Ebene als unser Kopf,
aber indem sie quasi simulieren, was unser Kopf macht.
Das Video ist insgesamt eine gute halbe Stunde lang,
wenn sie nicht die ganze Zeit investieren wollen.
Ab Minute 36 Sekunden wird grundsätzlich erklärt, worum es insgesamt geht.
Das spielt aber dann auch wirklich nochmal die Frage eine
sehr große Rolle
Was passiert eigentlich in unserem Kopf beim Denken? Ab Minute 9,
35 sollten sie dann wirklich einsteigen, weil da der Mechanismus erläutert wird,
wie dieses neuronale Netzwerk Informationen verarbeitet, indem es bestimmte Informationspartikel über mehrere Stufen filtert.
Und ab Minute 17 ist dann die eigentliche Simulation. Das ist auch ein bisschen lustig und auch sehr spannend. Immer noch auf einer sehr geringen Komplexitätsstufe,
also da sind wir noch weit entfernt von Spracherkennung,
aber sie erkennen die Idee,
wie das funktioniert und man sieht dort eben auch,
das sind jetzt keine statistischen Verfahren mehr,
sondern das sind wirklich komplexe Verschaltungsmechanismen,
die Informationen filtern und zusammenführen oder zusammenführen und filtern, beides gleichzeitig,
um am Ende zum Beispiel aus einem optischen Eindruck die Informationen zu machen,
das, was ich da gesehen habe,
ist eine Zahl und es ist die Zahl 8. Also wenn sie das ein bisschen vertieft interessiert,
gucken sich auf alle Fälle dieses YouTube-Video an,
ich zumindest habe es sehr spannend gefunden und sie lernen auch gleich noch was über Methoden hinaus,
nämlich sie lernen was darüber,
wie in ihrem Kopf eigentlich Informationsverarbeitung funktioniert.
Also wir hatten über drei Zugänge gesprochen, wie maschinell,
maschinenlesbarer Text, die jetzt auch wirklich analysiert werden kann.
Back of Words-Ansätze, die sind eigentlich nur häufigkeitsbasiert vergleichen,
in dem Sinne auch keine sinninterpretierenden Verfahren sind,
sondern der Sinn kommt immer nur von außen durch uns Menschen dazu.
Wörterbücher und Topic-Models, hier wird Sinn in bestimmter Art und Weise
schon in das technische Verfahren reingegeben. Einmal darüber,
dass Sinninterpretation über diejenigen, die die Wörterbücher erstellen,
von vornherein ins Verfahren gegeben wird. Beim zweiten Mal darüber,
dass zumindest Sinn, Zusammenhänge deutlich werden,
auch wenn wir dann interpretieren müssen,
welcher Sinnzusammenhang das ist und Vektormodelle,
die tatsächlich Sinn in Sprachstrukturen oberhalb der Wortebene
sozusagen erschließen können
Damit komme ich zum Schluss, möchte zunächst noch auf einen Punkt hinweisen,
der sehr eng in das Thema gehört,
aber trotzdem über diese reinen maschinellen Dinge hinausgeht.
Das ist die Frage, wie kann man sich jetzt eigentlich oder was sind denn produktive Methoden,
humanes und maschinelles Textlesen oder Humane und maschinelle Textinterpretationen miteinander zu verbinden?
Ich weiß nicht,
ob Ihnen der Begriff der Mixed Medics schon einmal begegnet ist von Mixed Medics,
spricht man in der Regel dann,
wenn man auf der einen Seite standardisiert arbeitende,
mit Statistik arbeitende Verfahren und andererseits offen erhebende,
qualitative Verfahren hat und die sozusagen zusammenspielen ist.
Es gibt es an ganz vielen Stellen und eine der
wirklich besseren Stellen ist das Zusammenspiel von sogenannten Distant and
Close Reading
Was ist mit Distant und Close Realing gemeint? Distant Reading ist,
die Maschine schaut sich Texte an, sortiert vor und markiert
relevante Passagen zum Beispiel durch Topic-Models. Close Reading heißt dann,
nachdem die Maschine gesagt hat, aus einer Riesenmenge an Text,
wenn sie dieses Beispiel von Sebastian Dumm dann lesen,
dann ist diese Riesenmenge an Text,
sind Zeitungsartikel aus mehreren großen Tageszeitungen über einen sehr großen Zeitraum.
Die Maschine liest diese Texte und sagt bezogen auf eine bestimmte Fragestellung,
hier und da und dort sind möglicherweise Textpassagen, die dich interessieren könnten.
Und dann kommt das Close Reading, das heißt,
ein Mensch schaut sich diese Passagen jetzt an, weil man sagt,
das, was wir aus dem Text rausholen wollen,
im engeren Sinne kann die Maschine nicht rausholen,
dazu ist menschliche Interpretationsleistung erforderlich, möglicherweise händisches kodieren möglicherweise,
aber auch tatsächlich harmeneutisches Arbeiten im qualitativen Sinne.
Und dann würden also Menschen diese Textpassagen lesen. Und hier wird jetzt
also eine enge Zusammenarbeit quasi zwischen diesen unterschiedlichen Methoden eingegangen,
dass man sagt, was wir wollen,
ist die Analyse von großen Textmengen,
diese Textmengen sind viel zu groß,
um sie mit menschlichen Kodiererinnen sinnvoll bearbeiten zu können oder niemand gibt uns so viel Geld,
tausend Kodiererinnen einzustellen, damit die das alles machen können.
Also lassen wir die Maschine einen Teil der Arbeit übernehmen und
machen am Ende nur das, was wirklich Menschen machen müssen,
wir im Moment noch keine Programme haben oder vielleicht auch nie haben,
werden die eine bestimmte Ebene des Textverständnisses erreichen.
Und in dem Sinne also distant, maschinelles Lesen oder dismaxiertes,
maschinelles Lesen und Nähen lesen aus der Nähe durch den Menschen.
Und wie gesagt, ich habe ihnen, hier ist ein Textverweis,
der Text liegt auch auf Open Olad.
Da geht es um Forschung über Neoliberalismus in der deutschen Presse oder eher die Frage,
wie hat sich eigentlich dieses Neoliberale Thema oder Paradigma im Laufe der Zeit ausgebreitet,
welche unterschiedlichen Argumentationswege ist es gegangen.
Das finden Sie in dem Text von Sebastian Dumm,
der im Übrigen an ein oder zwei Stellen auch relevant ist
für den nächsten Online-Test
Damit gehe ich nochmal auf eine ganz hohe oder
auf eine deutlich höhere Abstraktionsebene, ein Punkt,
der in meiner Auseinandersetzung mit David Krisel auch schon kurz auftauchte.
Das ist der neue Empirismus. Da gehen wir auch breiter auf Big Data zurück,
beziehungsweise das, was hier über Texas Data zu sagen wäre,
geht genauso für Big Data.
Wir haben unheimlich große Datenmengen, Digital Abundance,
digitalen Überfluss in allen möglichen Lebensbereichen und kommen dann in sehr hohe Auflösung dessen, was passiert.
Deswegen brauchen wir heutzutage eigentlich keine Theorie mehr. Wir brauchen
keine Modelle mehr. Wir können eigentlich agnostische Datenanalyse betreiben,
soll heißen Daten, die sich Datenanalyse,
die sich wenig um die Voraussetzungen kümmert,
die auch nicht mit Interpretationsvorschlägen mit Inhalt strukturierenden Vorstellungen alias Theorienkonzepte und so weiter rangeht,
sondern wir lassen einfach die Daten sprechen.
Und wir sehen dann, was in den Daten drinsteckt.
Bedeutung entsteht völlig unabhängig vom Kontext.
Wer Statistiken lesen kann,
kann Daten lesen
Relativ bekannter Vertreter dieser Richtung ist Chris Anderson,
hat seinerzeit das Magazin Wired geleitet und hat 2008 schon Aussagen in diese Richtung getroffen.
Er damals sehr stark basierend auf Blicke in die Gensequenzierung,
wo er einfach gesagt hat, das ist ein Verfahren,
da geht es nicht mehr um Sinninterpretation,
da geht es wirklich um Strukturen und hat es einfach verallgemeinert auf die ganze Welt.
Dazu gibt es einen klaren Gegenstandpunkt, ich würde mich diesem
Gegenstandpunkt anschließen und nicht der empiristischen Perspektive Ich würde sagen,
Daten sind immer perspektivisch, einen bordgleichen Datenblick gibt es nicht.
Also wenn ich nur genug Daten habe,
dann brauche ich nichts mehr darüber hinaus.
Allen Datenerfassungssystemen, das ist ein zentraler Punkt. Und ich glaube,
an bestimmten Stellen ist es heute auch deutlich geworden,
allen Datenerfassungssystemen liegen auch Theorien zugrunde.
Theorielose Beobachtung ist nicht möglich. Also der Back-of-Words-Ansatz hat eine zentrale Annahme,
die Häufigkeit von Wörtern in einem Text bzw. die Unterschiede in
dieser Häufigkeit sind relevant,
wenn ich diese Texte Grossomodo in bestimmte Gebiete einteilen will
Diese Annahme kann stimmen und dann kann ich mit dem Verfahren arbeiten.
Diese Annahme muss aber nicht stimmen. Das heißt,
ich muss ja auf alle Fälle auch prüfen,
ob diese Annahme, die da eingeht, richtig ist.
Ich kann nicht einfach sagen, ich habe hier große Daten,
ich gehe davon aus, das und dann mache ich das.
Die Interpretation von Daten ist immer ziel- und zweckgebunden.
Es gibt nicht die Möglichkeit einer zielonabhängigen Interpretation. Selbst wenn ich als Wissenschaftlerin sage,
ich möchte mit möglichst großem Abstand, mit möglichst großer Neutralität arbeiten,
dann verfolge ich ja trotzdem ein bestimmtes Ziel und diese Ziele
gehen in die Interpretation der Daten ein.
Und in dem Sinne brauche ich auch wieder Theorien und Konzepte,
um diese Ziele zu definieren, um sie benennen zu können,
auch um sie transparent machen zu können.
Und die sinnvolle Interpretation von Daten fordert immer Vorwissen.
Wir haben das bei David Krisel gesehen
Bei dem Beispiel mit den Menschen, die gemeinsam Urlaub machen,
wo man sagen kann, okay,
meine Annahme ist Menschen, haben zur gleichen Zeit Urlaub,
weil sie gemeinsam Urlaub machen wollen und weil sie vielleicht ein Verhältnis haben.
Ich kann aber auch mit einer ganz anderen Theorie rangehen und kann sagen,
naja, es gibt schon bestimmte gesellschaftliche Zeitstrukturen,
die dann auch solches Urlaub gehen beeinflussen, wie zum Beispiel Schulferien bei Eltern.
Und da sehen sie schon wieder der rein empiristische Blick auf die Daten,
ist erstens nicht möglich, finde zweitens aber auch nicht statt.
Krisel hat ja auch nicht auf die Daten geschaut und hat gesagt,
Da sind so diese Zeitmuster und was könnte es denn sein,
sondern da gehen ja Annahmen darüber ein,
wie er denkt, dass Menschen miteinander zu tun haben.
Und er denkt zum Beispiel, dass eben Beziehungsleben eine wichtige Rolle spielt.
Deswegen sieht er da Beziehungsstrukturen. Andere Leute denken vielleicht,
dass Elternschaft eine wichtige Rolle spielt, aber beide gehen mit Vorwissen auf diese Daten zu.
In dem Sinne ist der empiristische Standpunkt aus meiner Sicht nicht
zu vertreten und hier nochmal eine ein bisschen witzige Darstellung von der Webseite www.tylerwingencom.
Der hat dort in großer Zahl das,
was die Statistik Asparious Currelations, also zufällige Korrelationen nennen,
eine meiner Lieblings-Burrious-Currelations auf seiner Seite, ist die zwischen Menschen,
die in einen Twimmingpool gefallen sind und dabei ertrunken und der Anzahl von Filmen,
in denen Nicolas Cage aufgetaucht ist über Zeit und sie sehen diese beiden Zahlenreihen,
sind sehr eng miteinander verbunden.
Jetzt könnte man sagen, wenn man Nicolas Cage kennt,
mich wundert nicht, dass wenn der mehr Filme macht,
mehr Leute sich in den Pool schmeißen, um zu ertrinken,
so traurig wie der immer durch die Gegend rennt.
Ich glaube, die wenigsten von uns würden diese kausale Interpretation mittragen,
aber man sieht eben, wenn man einfach nur auf die Daten schaut,
dann findet man alle möglichen Dinge und wird möglicherweise auch das
eine oder andere spinnerte über diese Welt in die Welt setzen,
wenn man nicht theoriebasiert, wenn man nicht Vorwissen berücksichtigend in die Analyse von Daten geht.
Und insofern ist meine ganz klare Überzeugung oder meine wissenschaftliche Überzeugung dieser Datenüberfluss,
den wir heutzutage haben, macht Theorien, macht Konzepte,
macht abstraktes Denken überhaupt nicht, obsolet,
weil wir aus den Daten nicht die Wahrheit herauslesen können.
Letzten Endes das alte Beispiel entgegenden, wo Störche sehr häufig auftauchen,
gibt es auch sehr viele Babys,
also bringen die Störche die Babys,
Störche tauchen in ländlichen Gegenden häufiger auf und Leute in
ländlichen Gegenden kriegen pro Kopf mehr Kinder Störche,
tauchen in städtischen Gegenden seltener auf und Leute in Städten kriegen pro Kopf weniger Kinder.
Also es gibt da eine gemeinsame Variable, die beidem zugrunde liegt,
aber auch hier ist wieder der Punkt Stumpfes auf die Daten gucken,
wird mich in sehr vielen Fällen zu komplett idiotischen Schlussfolgerungen führen.
Und deswegen ist es gut, dass wir diese vielen Daten haben,
weil wir mit ihnen vieles untersuchen können, aber wir bleiben als Wissenschaftlerin,
wir bleiben als Menschen, die über Theorien und Konzepte nachdenken.
Deswegen trotzdem relevant. Hier haben Sie noch zwei Literaturhinweise,
das obere Der obere Hinweis ist das Buch,
in dem unter anderem dieser Text von dumm drin ist und noch alle möglichen anderen Dinge,
auch eine ganze Reihe von Texten,
wie sich mit Themen aus der heutigen Sitzung befinden,
also maschineller Textanalyse.
Und sie haben diesen Text von Ken beneut,
aus dem mindestens zwei Grafiken waren, wo sie nochmal Text ist,
Data, als Überblick dargestellt bekommen.
Und damit sind wir am heutigen, am Ende der heutigen Vorlesung angelangt.
Herzlichen Dank für die Aufmerksamkeit, passen Sie auf sich auf.
Wir sehen uns dann am nächsten Donnerstag wieder