So, ja, ich hatte ja Ende letzter Woche im Prinzip aufgehört mit dem Thema der,
so noch ein bisschen weiter runter, dann versteht man mich noch.
Gut. Ich meine jetzt nicht inhaltlich, sondern nur akustisch.
Also ich hatte aufgehört mit dem Thema der Quellencodierung.
Dazu grob die beiden üblichen Verfahren skizziert. Das eine ist im Prinzip die Kudierung nach Phano,
wo man dann eben im Prinzip sagt,
die Symbole werden entsprechend ihrer Wahrscheinlichkeit in abschlagender Reihenfolge sortiert,
anschließend ungefähr in zweigleich große Gruppen unterteilt und anschließend wird dann
eben dieses Verfahren rekursiv auf jede dieser Mengen entsprechend wieder ausgeführt.
Das war das eine Verfahren,
das zweite Verfahren war also im Prinzip die Kudierung nach Hoffman,
wo man dann im Prinzip Andersrum vorgeht und dort sogenannten Kodierbäume dann aufbaut.
Rein praktisch sieht das so aus, dass man die Symbole
quasi vom Kleinsten zu den größten Wahrscheinlichkeiten hinsortiert.
Anschließend die beiden Symbole mit den Kleinsten Wahrscheinlichkeiten zu einem neuen Zusammenfass.
Die Summe der Wahrscheinlichkeit entsprechend berechnet das Ganze dann eben wieder
In seine sortierte Liste entsprechend einträgt und das dann eben soweit fortführt,
bis man eben nur noch ein einziges Symbol übrig hat und
dass es dann eben letztendlich dann die Wurzel des Kodierbaums,
den man dann daraufhin rekursiv aufspannen kann.
Als letztes hatte ich das ja so nochmal mit diesem ganz kleinen Beispiel vorgeführt,
zum besseren Verständnis, folgt also hier nochmal einen etwas größeren Beispiel,
wo man jetzt also im Prinzip hier sieben Buchstaben als Symbole hat,
statt der Wahrscheinlichkeiten sind jetzt hier also quasi sowas wie
relative Häufigkeiten angegeben
Was man dann also machen würde,
wäre diese sieben Symbole entsprechend ihrer Häufigkeiten sortieren vom Kleinsten,
dem Symbol D,
mit der Häufigkeit 2 bis zum Größten,
eh mit der Häufigkeit 18. Und dann würde man eben folgendermaßen vorgehen,
also die ist dann quasi immer diese Entwicklung,
also immer so entsprechend von oben nach unten und anschließend in der zweiten Spalte weiter.
In diesem Fall, wenn jetzt die Symbole D&R zusammengefasst zu
einem neuen was dann also quasi jetzt als Häufigkeit oder als Wertigkeit 6 erhält.
Dieses wird dann in den Rest dieser sortierten Liste quasi jetzt wieder einsortiert.
Hier sieht man eben auch schon das Ganze,
lässt auch Alternativen zu, weil,
also hier habe ich das jetzt also quasi LN dann
eben dieses neue Symbol 6, dann diese Symbole.
Ich kann das aber natürlich also auch an dieser Stelle einordnen und
das L würde sich dann also quasi dann hier befinden.
Nimmt sich nachher vom Kot nichts, wenn ich den Kotbaum fertig entwickelt habe,
wen wir auch sehen, dass ich da eigentlich jenhaltlich nichts ändert,
plus die Kodierung ist dann also eigentlich eine andere.
Gut, anschließend, wenn das eben einsortiert ist,
werden wieder die beiden Symbole mit den geringsten Häufigkeiten oder beziehungsweise Wahrscheinlichkeiten zusammengefasst,
in diesem Fall L&N Meter 11, wird dann entsprechend Tier einsortiert.
Und ich nehme jetzt eben diesen Talbaum 6,
das Symbol S mit der Häufigkeit 7, erzeuge daraus diesen Knoten,
das wird dann eben entsprechend hier einsortiert und das ganze Verfahren wird dann eben entsprechend soweit fortgeführt,
bis man ihm hier letztendlich noch einen einzigen Wurzelknoten hat.
Und was man dann macht, ist,
dass man dann eben entsprechend umgekehrt davon den gesamten Baum aufbaut,
bis man dann eben wirklich jetzt wieder bei den Buchstaben oder in Symbolen,
also quasi als Blatter landet,
würde in diesem Beispiel dann entsprechend so aussehen.
So, damit hat man einen minimalen, prefixfreien Code erzeugt,
der also diese Phano-Bedingungen genügt und der dann eben eindeutig dekodierbar ist.
Also in diesem Fall sieht der Code jetzt so aus,
dass jeweils bei den Verzwagungen der linke Ast
mit einer Null kodiert wird,
rechnen wir
eine Eins
Und ich demzufolge dann eben zum Beispiel jetzt für das Symbol
I dann eben 0-0 als Codierung habe,
El dann eben als 0-1-0 und so weiter und so fort.
Was man hier jetzt eben auch schon sieht, ist,
wenn ich jetzt, also bei diesem ersten Schritt,
wo ich diesen Talbaum mit der Sechs quasi jetzt hier einsortiert habe,
wenn ich das jetzt also hier an dieser Stelle gemacht hätte und das andersrum gemacht hätte,
würde sich das Ganze dann,
also in diesem Baum dann dadurch unterscheiden,
dass also quasi dieser Talbaum,
also mit diesem Wurzelknoten Sechs dann eben an dieser Stelle
sitzen würde und das End stattdessen hier
Von der Symbollänge, die ich hier benutze,
ändert das nichts an der Tiefe des Baums, ändert das nichts,
man sieht also, das ist dann eigentlich völlig äquivalent.
Und was man hier dann eben auch sieht,
wenn ich dann eben jetzt, also hier irgendein entsprechendes Wort habe,
also quasi diesen String 1, 001, 001 1,
1 01 1 11,
lässt sich das dann eben eindeutig hieraus als Riese dekodieren
Gut, auch dazu findet man jetzt,
wenn man also irgendwie im Internet sucht oder sonstiges,
dann sind wir irgendwelche Tabellen,
wo das jetzt also für die Auftretenswahrscheinlichkeit von Buchstaben in Sprachen zum Beispiel gemacht ist,
also dass wir ja jetzt also zum Beispiel dann eben auch nochmal für die deutschen Großbuchstaben sowas,
nicht der zugehörige Baum würde dann eben letztendlich so aussehen.
Und ähnlich wie bei dem Farno-Code, wo ich also auch schon mal so eine Statistik aufliegen hatte, hat man damit dann also entsprechend seine Kodierung. Was dann jetzt eben interessant ist,
also wie gesagt, das Ganze liefern in dem Stichwort Quellencodierung,
das heißt, wir wollen aufgrund der Häufigkeiten der einzelnen Symbole ja sagen,
die Symbole, die häufiger vorkommen,
sollen einen kürzeren Pookcode bekommen, im Gegensatz zu irgendwelchen Blockcodes,
wo ich jetzt sage, also ich brauche eben beispielsweise,
wie jetzt beim Asky-Code irgendwie 128 Zeichen,
codiere das also irgendwie konstant mit sieben Bit, nicht,
dass man dann eben sagt,
wenn ich das so entsprechend diese Häufigkeiten mache,
spare ich eben einiges an Zeichen.
Wie man diese durchschnittlichen Mittlängen ausrechnet,
das wird also jetzt auch gleich noch folgen,
wo es dann im Prinzip um die Begriffe der Entropie und der Redonvanz geht,
wo die dann letztendlich ein Master für darstellen,
wie gut solche Codierungen letztendlich dann eben wirklich sind.
Gut, was ja auch gesagt hat,
dann sowas wie so eine Huffin-Codierung ist eben ein optimales Verfahren,
was man dann eben letztendlich auch beweisen kann.
Hier ist jetzt nur grob die Beweisidee skizziert.
Das ist also jetzt nicht der formale mathematische Beweis.
Der wird also auch nicht in der Klausur abgefragt.
Also von daher keine Angst. Beweisgrundidee ist eigentlich ähnlich zu dem Vorverfahren
oder zu dem Algorithmus, wie das Ganze funktioniert, spricht,
also wie man jetzt diesen Baum aufbaut, dann eben nur entsprechend umgekehrt.
Und in der Regel läuft sowas dann eigentlich immer bei vielen
solchen Sachen, also über so einen Widerspruchsbeweis.
Nicht in diesem Fall sagt man also, ich habe einmal
Ein Code, Groß-C, mit eben einer durchschnittlichen Code-Länge L. Und wenn man jetzt eben annimmt,
es würde einen besseren Code geben,
also das heißt auch ein Prefix-Code mit einer durchschnittlichen Code-Länge M,
die dann aber eben kleiner ist als L.,
würde sich dann eben daraus ergeben,
dass wenn man jetzt also zu diesen beiden Codes C und D die entsprechenden Dekodierbäume aufspannt und in diesen Bäumen jetzt,
also quasi die Tiefe geborene, sukzessive immer weiter reduziert,
indem man letztendlich dann immer die Knoten mit den Symbolen kleinster Wahrscheinlichkeit zusammenfasst.
Das ist ja also das, wie man letztendlich ja so beim Huffment-Code
diesen Baum genau aufgebaut hat. Führt das dann eben dazu,
dass man also entsprechend diesem Verfahren beim Huffment-Code eben dann zu
einem Knoten für den gesamten Code mit der Länge 1
das Ganze reduzieren kann und bei dem angeblich besseren Code dann eben auf eine Länge kleiner 1,
was dann aber natürlich dann also nicht möglich ist.
Und damit ist dann also quasi dann der Widerspruchsbeweis gemacht
Gut, jetzt hatte ich letzte Woche ja auch schon kurz gesagt,
was passiert jetzt, wenn ich bei solchen Quellencodierungen folgendes Problem habe,
dass ich also jetzt eins oder einige wenige Symbole habe,
oder nein, also grundsätzlich erstmal ein Symbol war es, also eben extrem wahrscheinlich ist.
Nicht, weil diese ganzen Codierungsverfahren funktionieren eben vergleichsweise gut,
wenn ich sehr viele Symbole habe, eben typischerweise was für irgendwelche Buchstabenmengen oder Zahnmengen. Und die Häufigkeiten dann also mehr oder minder ähnlich klein verteilt sind,
also vielleicht sicherlich schon mit irgendwelchen Abweichungen,
aber eben jetzt nicht so, dass ich sagen kann,
okay, ich habe jetzt also irgendwie sowas wie ein Beispiel,
wenn ich jetzt also eine Codierung,
also es ist hier auch als Beispiel angegeben,
also von irgendeinem einer Bilddatei machen möchte, also ich mache jetzt,
dass ich hier irgendwie mal so Foto in den Raum rein,
man sieht also hier diese wunderschöne 70er-Jahre-Vertieflung,
das heißt also überwiegend also irgendwie relativ viele Flächen mit irgendwie so einem dunklen Braun,
wenn die Auflösung nicht so doll ist,
also auch noch mit wenig Textur.
Dann hat man da eigentlich immer relativ viele gleiche oder gleichartige Pixel mit drin.
Die sind sehr viel häufiger als eben bestimmte andere Farben. So,
wenn die jetzt also deutlich öfter vorkommen, als jetzt eben Wahrscheinlichkeit 0,5,
für das jetzt also sowohl beim Fano als auch beim Hafenenverfahren dazu,
dass also diese Kodierung natürlich da dann also unnötig viel Platz verschenkt.
Gut, und dafür gibt es dann eben andere Verfahren,
die ich jetzt, also wie gesagt,
also zu der Kodierung, auch das,
was jetzt am Rest dieses Kapitels noch folgt,
soll diese Vorlesung jetzt also nur eine kleine Idee oder einen ersten Eindruck vermitteln.
Deswegen werden sie hier jetzt, also auch nicht alle Verfahren im Detail vorgestellt.
Und eben auch bei solchen Sachen gibt es dann eben
andere Verfahren, die da deutlich effizienter sind.
Typischerweise sowas kann man zum Beispiel sowas benutzen wie Lauflenkodierung.
Das ist also im Prinzip nichts Neues. Das ist also aus den 50er Jahren,
als irgendwie Faxgeräte entwickelt wurden, also schon gemacht wurden und eben in einigen Grafikformaten ist sowas auch mit drin.
Da ist einfach die Grundidee, dass ich sage,
wenn ich jetzt also zum Beispiel so ein Bild habe und das jetzt irgendwie zahlenweise einfach abtaste und wer jetzt eben irgendwo so einen gleichmäßigen,
meinetwegen Hintergrund, also irgendwie draußen fotografiert, Himmel,
alles blau, habe, dann sage ich einfach, Hockey,
ich sende einmal die Information blaues Pixel mit der und der Farbe und davon habe ich jetzt erst mal 60 Stück hintereinander.
Das ist also die Grundidee von Lauflängenkodierung,
dass man eben sagt, ich habe irgendwas,
das wird so und
so oft wiederholt
Das gibt es dann eben auch noch in zweidimensional und mit Bill-Pyramiden, das sind dann also Sachen,
wie sie beispielsweise dann eben auch in anderen Verfahren noch mit drin sind.
Cosinus-Transformation geht auch in die Richtung, das ist also etwas,
was in einem JPEG-Verfahren mit drin ist,
eins unter vielen verschiedenen Komprimierungsmethoden, die da letztendlich mit reinspielen,
also ganz am Ende dieses Kapitels kommt dazu,
also auch nur nochmal so ein kurzes Beispiel,
weil das meiste,
was wir letztendlich in der Informatik benutzen für Codierung,
sind also Kombinationen von
sehr vielen unterschiedlichen Formaten
Mich war man häufig mit der Kodierung, also erreichen möchte,
dass man also zum Beispiel, wie jetzt das bei so einer Quellenkodierung, Dateigrößen verringert.
Auf der anderen Seite möchte man dann eben auch noch etwas,
was also dann jetzt im Folgenden gleich kommen wird,
erreichen, dass man dann eben beispielsweise sowas hat,
wie eine Fehlererkennung, Fehlerkorrektur,
was dann also im Prinzip darauf hinzielt,
wenn ich eben Daten übertrage,
die jetzt vielleicht verfälscht werden,
dass da
nicht alles entsprechend irgendwie kaputt geht
Nee, und deswegen werden bei den meisten Standard-Kudierungsverfahren dann eben
verschiedene Kombinationen, diese ganzen Methoden irgendwo eingesetzt.
Was man auch häufig machen oder als Erweiterung von solchen Hafenen-Kudierungen
machen kann, sind dann also sogenannte dynamische Hafenen-Kudierungen.
Da geht es letztendlich darum, dass man sagt,
wenn ich nicht Apriori weiß, wie häufig welche Symbole sind,
dann läuft das Ganze eben in der Art und Weise ab,
dass man einfach bei der Kodierung letztendlich die Anzahlen der Symbole mitzählt.
Und da war dann eben dynamisch so ein Kodierbaum aufbaut.
Und wenn man eben feststellt, bestimmte Symbole sind sehr häufig,
dann wären dafür eben entsprechende Codes mit eingebaut.
Man braucht natürlich Verwaltungsinformationen, die dann noch in den Code mit reingeht.
Aber letztendlich kann man sowas dann eben nach festen Algorithmen machen und berechnen.
Und analog dazu kann der N-Coder, das heißt der entsprechende Algorithmus,
der dann also aus diesem Datenstrom oder aus diesem Datenpakete oder der Datei,
was auch immer, die Information wieder zurückrechnet dann eben quasi genau das Umgekehrt, das Inverse Verfahren macht.
Nicht, dass es also zum Beispiel auch das,
was also in den üblichen Standardkompressionsverfahren für Dateien eben mit drin ist,
wo ich sage,
ich nehme jetzt eine Datei und packe die jetzt mit irgendeinem Zip oder irgendeinem anderen Algorithmus letztendlich mit ein,
wo man dann eben auch sieht, abhängig davon,
was Inhalte der Dateien sind,
komprimieren die eben sehr gut.
Zum Beispiel über Textdateien, während wenn das also irgendwelche
sowieso schon komprimierten Formate sind. Also JPEG,
MP3 oder sowas, wo ich also eigentlich wenig Redundanz habe,
dann werden die also vielleicht noch zwei Prozent Liner, wenn überhaupt.
Also das sind dann in der Regel alles solche Verfahren,
die dann eben mit solchen dynamischen Algorithmen arbeiten. Gut,
zu der Kodierung beziehungsweise zu dieser Kodierungs-Theorie hier auch noch mal
einen Hinweis auf die sogenannte Kraftunleichung,
wurde eben auch Ende der 40er Jahre von einem Mathematiker da entsprechend aufgestellt.
Da geht es darum,
dass man also jetzt für einen Code eine notwendige bzw. eine
hinreichende Bedingung definiert, um zu sagen,
kriege ich den also mit entsprechenden Wortlängen über einem bestimmten Alphabet
überhaupt erstmal kodiert
Dazu das, was also diese eigentliche Kraft und Leichung ist,
sagt halt eben, wenn ich jetzt also einen konären Zeichenvorrat habe.
Also bei uns ist es in der Regel natürlich binär,
mit genau zwei Zeichen. Ich kann aber eben auch sagen,
ich habe drei oder N-Zeichen letztendlich zur Verfügung.
Und ich habe eben ein eindeutig dekodierbaren Esselementigen Code,
habe es Symbole diskutieren möchte und jedes Symbol hat eben eine
bestimmte Codelänge.
Das ist eben
dieses El
Eins bis LS. Und was eben letztendlich gelten muss,
ist, dass die Summe über alle Symbole, Kuh hoch,
LI und davon also der Kehrwert, dann eben Planer gleich eins sein muss.
Gut, was ist da drunter zu verstehen, beziehungsweise wie sieht das rein praktisch aus? Das ist hier ein kurzes Beispiel. Mich also angenommen,
ich habe diesen Coach,
wo man also jetzt natürlich schon relativ eindeutig sehen kann,
dass der die Farno-Bedingungen verletzt,
weil also hier die Eins und das 1-1 als Codewort ist in diesem Fall dann also nicht briefixfrei,
nicht aber eben in diese Formel eingesetzt,
kann ich jetzt eben sagen, ich habe ein binäres Alphabet,
das heißt also Cool ist gleich zwei,
ich habe als Codling einmal die Code länger 1,
demzufolge habe ich dann eben hier als einen Ausdruck dann eins durch zwei Hocheins,
also eineinhalb,
plus und dann habe ich hier drei Elemente mit der Codelänge 2,
also plus dreimal Eins durch zwei, hoch zwei.
Und das ist dann eben in der Summe 1,25 größer als eins.
Und damit hat man dann eben letztendlich gesehen oder kann man
ihm zeigen, dass dieser Code nicht präfixfrei sein kann.
Wie gesagt, das ist hier natürlich ein triviales Beispiel.
Da kann man natürlich sagen, ja, sehe ich doch sofort.
Wenn ich das jetzt natürlich bei irgendwelchen realistischen Codes mache mit
irgendwelchen mehreren Hunderten oder tausenden Symbolen und irgendwelchen Codelängen von irgendwie einigen zig oder 100 Bits,
dann sieht man das also nicht mehr sofort nicht.
Also deswegen,
ja gut
Hier ein anderes Beispiel. Ich habe also in diese
vollen Ternnäheres Alphabet, also sprich mit drei Elementen.
Ich möchte dort entsprechend jetzt neun Symbole kodieren,
nämlich eins mit einer Wortlänge eins. Hier entsprechend fünf mit
einer Wortlänge. Zwei, drei mit einer Wortlänge drei.
Nicht wenn ich das jetzt also hier entsprechend in diese Ungleichung
einsetze, kriege ich eben raus als Summe gleich eins.
Das heißt, es existiert ein passender Präfix-Code,
den kann man dann eben auch
rein praktisch konstruieren
Das Verfahren, beziehungsweise das, was sich also jetzt
hier beweisen entfolgt, dann gleich auf der nächsten Seite.
In dem Fall wird eben dieses einmal eben das Codewort 0 genommen.
Dann eben 1-0, 1-1,
1-2, 2-0, 2-1.
Das sind dann eben genau diese fünf Elemente, Wortlänge 2.
Und dann habe ich jetzt eben hier noch drei Elemente,
wortlange etwa rein.
Ich finde, da sieht man eben sehr schön,
also dass die Null hier nirgendwo mehr auftaucht.
Dieses geht bis 2-1 und mit 2-2
sind dann eben genau diese, als Brieffixe,
dann eben genau diese Elemente mit der Wortlänge 3
kodiert worden
Wie gesagt, Beweis stimmt nicht ganz. Also auch hier
nur im Prinzip so eine Art Beweisidee skizziert.
Letztendlich kann man hier also noch mal so ein bisschen Mathematischome-Formung machen.
Also wenn ich jetzt also diesen Ausdruck nehme und das jetzt also über die Symbole aufsummiere,
kann ich das also auch dadurch ein bisschen abkürzen,
dass ich sage, na gut,
also ich lasse die Summe jetzt nicht über die Symbole,
sondern einfach jetzt nur über die Längen der Elemente laufen und habe dann eben entsprechend U-Elemente einer bestimmten Länge.
Das ist eben genau hier ein Elemente länger eins,
fünf Elemente der Länge, zwei, drei Elemente der Länge drei.
Nicht, dass wir ja dann alle entsprechen, dieser Formel.
Und ich kann diesen Ausdruck dann eben entsprechend also auch noch so umformen.
Und dann kann man das Ganze eben umrechnen,
dass man also hier dazu kommt, dass dann also hier die Skuho-M rauszieht.
Die Grundidee bei dem Beweis oder bei dieser Beweisidee liegt eben letztendlich daran,
dass ich sage, wenn ich so ein kunäres Alphabet habe,
und ich habe als maximal Länge Ähm, dies kleinen M,
was also quasi die Tiefe des Baumes ist.
Dann habe ich, wenn ich jetzt also einen präfixfreien Code habe, das heißt also,
die zu kodierenden Symbole können nur Blätter des Baumes sein,
aber können keine Knoten hier drin sein.
Dann kann ich eben maximal letztendlich Kuhhoch-M-Knoten kodieren.
Allerdings hat dann jeder Knoten genau Die Wortlänge M. Das ist also quasi das,
was so zum Beispiel bei Zahlen ganz normaler Binärcode ist, also einfach ein Blockcode. So,
wenn ich jetzt mit unterschiedlichen Wortlängen arbeite und ich sage,
ich habe jetzt eben hier irgendein Symbol, wo ich also jetzt,
also hier eine Wortlänge eben zum Beispiel von ihm nur zulasse,
dann heißt das, dass also quasi von dieser Gesamtanzahl der Knoten,
die ich also darstellen kann, also dieser gesamte Teilbaum,
der sich hierhinter verbirgt,
Nicht, weil dadurch, dass ich also hier ein Symbol habe und das Prefix frei sein muss,
kann also hier nichts mehr folgen. Und das ist im Prinzip das,
was also damit gemeint ist, dass man dann eben sagt,
wenn ich also so ein Kotwort einer bestimmten Länge habe,
dass das dann eben aus dieser Gesamtanzahl möglicher Kotworte,
Q-Hoch-M-E-Worter, das ist dann nämlich das,
was also dann quasi unten letztendlich wegfällt,
verbraucht, die dann eben nicht mehr genutzt werden können.
Und damit kann man das Ganze dann eben letztendlich rekursiv aufbauen,
dass es dann also in dem Fall dann diese Beweisidee zur Kraft und Leichung Gut,
dann kommen wir jetzt also auch nochmal zu einem,
auch nochmal etwas mathematischer geprägten Thema,
also wo ich also auch nochmal kurz wieder auf diese Informationstheorie eingehe,
wo jetzt also nochmal ein Begriff der Information formal gefasst wird,
beziehungsweise rein technisch möchten wir also ein Maß für eine Information ermitteln und das werde ich dann also jetzt in ASL nochmal kurz vorstellen.
Wie gesagt, Information kann man ja immer sagen, ist letztendlich das,
was jetzt irgendwo zu kodieren ist, was irgendwo übertragen wird.
Von der Idee her kann man dann immer sagen,
also die Information, die ein bestimmtes übertragenes Symbol in sich trägt,
was mit einer bestimmten Wahrscheinlichkeit auftritt, entspricht dann quasi einem Ereignis mit einer bestimmten Auftretenswahrscheinlichkeit.
Das heißt, damit habe ich dann eigentlich über alle Symbole
erst mal so was wie ein stochastisches Modell erstellt.
Nicht, dass ich eben sage,
beispielsweise ist bei den deutschen Buchstaben irgendwie weit genug zurückspulen.
Naja gut, also wir haben das jetzt irgendwie nicht so weiter mit drin.
Nicht, also bei den deutschen Buchstaben kann ich eben sagen,
von den Leerzeichen habe ich also irgendwie eine bestimmte Wahrscheinlichkeit.
Für ein E habe ich eine bestimmte Wahrscheinlichkeit von bestimmte Wahrscheinlichkeit
und so weiter. Also jedes, diese Symbole hat,
wenn es quasi als Ereignis eintritt.
Das heißt, bei mir als Empfänger irgendwo übertragen wird.
Ich, dass es irgendwo auf dem Bildschirm lese,
entsprechend seiner Auftretenswahrscheinlichkeit oder trägt es dann eben eine gewisse Information mit sich.
Nicht demzufolge kann man eben sagen,
wenn es ein Symbol übertragen wird,
mit einer bestimmten Wahrscheinlichkeit empfangen wird
Das ist dann eben letztendlich das,
was ich dann als Informationsgewinn habe,
beziehungsweise umgangssprachlich kann ich dann eben sagen, also Informationsgewinn,
also Überraschung, also das, was ich da irgendwo letztendlich rauslese.
So, und dieser Informationsgewinn ist natürlich umso größer.
Je kleiner die Wahrscheinlichkeit von dem einzelnen Symbol ist. Das heißt,
wenn ich jetzt mehrere Symbole habe und eins ist eben sehr wahrscheinlich,
dann wird das sehr häufig kommen.
Dadurch habe ich also von diesem Symbol jetzt also vergleichsweise erstmal wenig Informationsgewinn.
Während wenn ich, also wenn wir jetzt bei den Buchstaben bleiben,
wenn ich also jetzt irgendwie ein Y empfange,
was nun also vielleicht nicht ganz so häufig vorkommt,
habe ich damit
vergleichsweise höheren Informationsgewinn
Extremfall ist, das ist das,
was dieses Beispiel jetzt hier nur andeutet, ich habe Binär,
zwei Symbole, 0 und 1. Nein, N-Symbole,
1 hat die Wahrscheinlichkeit 1.
Alle anderen haben die Wahrscheinlichkeit null. Das heißt,
mit jedem Symbol wird eigentlich nur genau dieses Symbol empfangen,
was eben diese Wahrscheinlichkeit 1 hat.
Das heißt, der Empfang selber bringt also irgendwie
keinerlei Informationsgewinn.
Nur nochmal zur Veranschaulichung, was dann eben damit gemalt ist.
Gut, wenn man jetzt den Informationsgewinn oder eben diese Information
irgendwie messen will, wie kann man das machen?
Jetzt kann ich es natürlich sagen, okay,
also die Übertragung der Information und das Empfangen als stochastisches Modell,
sage ich jetzt, also jedes Symbol ist von dem anderen voneinander unabhängig.
Das heißt, ich habe also entsprechend voneinander unabhängige Wahrscheinlichkeiten. Das heißt,
Wenn jetzt erst das Symbol A übertragen wird, dann das Symbol B,
dass dann quasi die Wahrscheinlichkeit beide Ereignisse dann eben demzufolge,
nicht ganz einfach, du hast,
wirkt dann eben entsprechend P von A mal, P von B ist.
So, das Anna hatte hier auch schon gesagt, Informationsgewinn, je großer kleinerpähig ist.
So, um jetzt zu sagen, okay, Kleiner,
die Wahrscheinlichkeit für ein Symbol ist, umso größer es der Informationsgewinn.
Also versuche ich also aus irgendwie möglichst kleinen Zahlen,
möglichst große Zahlen zu machen, also bilde ich den Kehrwert.
Das könnte ja dann also irgendwie ein geeignetes Maß dafür sein. Das heißt,
wenn ich jetzt eine sehr kleine Zahl habe,
also die Wahrscheinlichkeit meinetwegen jetzt von dem Z,
kriege ich damit einen relativ großen Wert,
wenn ich jetzt also was verlagsweise häufiges habe, nicht so viel.
So, jetzt ist natürlich das Problem,
wenn ich jetzt eben Folgen von Symbolen empfange,
auch wenn dieses jetzt erstmal nur zwei sind,
haben wir hier gesehen, dass das im Prinzip die Wahrscheinlichkeiten entsprechend multiplikativ ermittelt werden.
So, das ist jetzt natürlich irgendwie nicht so schön zu berechnen jetzt,
also für dieses Maß, für die Information.
Deswegen möchte man natürlich da jetzt also irgendwas rechnerisch gesehen haben,
was sie sich jetzt also nicht über ein Produkt multiplikativ ermittelt,
sondern irgendwas, was sich addieren kann.
Und die additive Größe, die man in dem Fall dann eben bildet,
ist dann also,
dass sich jetzt nicht eins durch P nehme,
sondern den Logarithmus von eins durch
Ah, was war das noch? Schulmathematik, beziehungsweise gut
in Übungsaufgaben, ist ja teilweise auch schon mit vorgekommen.
Also hier nochmal kurz zusammengefasst, Umkehrung zur Exponentialfunktion.
Nicht nur rein technisch kann ich eben sagen,
es gilt für die Leichung, A ist gleich,
B hoch X,
dass dann eben X Logarhythmus von A zur Basis B letztendlich ist,
beziehungsweise hier dann eben Beispiel,
also Logaratmos zur Basis 2 von 8 wäre 3,
weil 2 hoch 3,
8 ist
So, und hier dann nochmal auch nur kurz zusammengefasst,
also die üblichen Rechenregeln, die man also in irgendwelchen Mathe-Tabellen oder Formelsammlungen immer findet.
Und das, was uns jetzt eben hier interessiert,
ist, dass ich, wenn ich berechne,
Logarithmus von x mal y kann ich eben rechnen, Logarithmus x plus Logarithmus y,
das heißt also statt der Multiplikation habe ich eine additive Größe.
Was in dem Zusammenhang dann eigentlich auch nur nochmal kurz erwähnt werden sollte,
weil also das ist eine von den Formeln oder Rechenregeln,
die man also manchmal auch braucht, Also was gilt,
wenn ich,
also Logarithmus von X zu einer bestimmten Basis B haben möchte.
Und ich jetzt also entweder durch Taschenrechner oder durch irgendwelche anderen Sachen, also jetzt nicht beliebige Basis
B einstellen kann, dass ich das dann eben rechnen kann als Logarithmus X zur Basis A, geteilt durch Lyrerhythmus B zur Basis A,
beziehungsweise wenn ich das also hier jetzt hier mit der Basis 2 mache,
dann könnte ich das also jetzt hier über den natürlichen Logarithmus machen,
also sprich sogar, ob man es mit der Basis zur eulerschen Zahl,
wo ich dann eben sage, LN von X durch Ellen,
von zwei, was ich also jetzt hier irgendwie dann mit 0,603 irgendwas,
erst mal irgendwie so näherungsweise angebe, nicht,
und damit kann man dann im Prinzip dann immer,
so ein Logo muss dann im Taschenrechner,
wird ausrechnen.
Gut, hier auch noch kurz angesprochen,
also es gibt dann auch mal noch den Begriff des binären Logarhythmus,
das ist also das, womit wir uns dann also häufig auch immer bewegen,
ist von der Idee her dann im Prinzip sowas,
dass sich die Eingabe quasi in den Bereich von eins bis zwei skaliere.
Und dann habe ich eben als binären Logarhythmus das,
was, wenn ich also jetzt quasi im Dualsystem bin,
letztendlich den Nachkommastellen entsprechen würde. Das ist dann nämlich mathematisch gesehen,
dann arge ich dann also auch unter anderem die Grundlage,
wie beispielsweise, also bei Fleece-Komma-Darstellung dann eben entsprechend die Mantisen
dargestellt werden
Gut, ja,
jetzt haben wir also den Logarhythmus als additive Größe eingeführt für die,
als Maß für die Informationsgehalt,
wird dann auch immer mit diesem großen I,
also der Informationsgehalt von einem Ereignis AI oder auch Entscheidungsgehalt,
berechnet sich dann eben als Logarhythmus zur Basiszahl von 1
durch PI
P war die Wahrscheinlichkeit von dem Symbol A, I nicht,
beziehungsweise statt eins durch PI kann ich dann eben minus Logarithmus von PI genauso gut rechnen. So,
und dann habe ich eben letztendlich das,
womit ich jetzt angefangen hatte, mit dieser additiven Größe,
wenn ich sage, okay, also wie groß ist der Informationsgewinn,
wenn ich jetzt also erst das Symbol A empfange und anschließend das Symbol B,
nicht ich, also letztendlich dann hier rechnen muss,
I von A plus I von B,
dass das dann eben dem Logarithmus von eins durch PA mal PB entspricht,
beziehungsweise aufgrund dieser Rechenregeln habe ich dann eben hier genau meine Addition,
mit der ich dann also arbeiten kann.
Gut, diese Größe für den Informationsgehalt wird eben in der Einheit Bit gemessen.
Dazu nur als Anmerkung, also wie gesagt,
Bit ist in der Formatik immer so ein bisschen mehr deutlich.
Also hier ist jetzt eben wirklich gemeint eine Maßeinheit,
also sprich eine reelle Größe,
Ich brauche jetzt für Informationsgehalt für Entropie,
für irgendwelche anderen Sachen jetzt, also hier in diesem Zusammenhang.
Wie gesagt, nicht zu verwechseln mit den Binärstellenbett oder eben den Binären Symbolen 01.
Ich habe versucht, das hier irgendwie so ein bisschen einheitlich zu machen.
Also hier wird das Split dann immer auch entsprechend groß geschrieben, also typischerweise als Größe.
Wenn man jetzt also irgendwo in den Folien hat,
also ein Wort mit 8 Bett,
dann habe ich immer versucht,
das Lord Line
zu machen
Nichtsdestotrotz, also wenn sie jetzt im Zweifelsfall,
also hier sämtliche Folien irgendwie durchscannen, kann es sein,
dass ich mich da auch irgendwo mal vertan habe oder ist
das nicht konsistent angewandt wurde, bitte ich zu entschuldigen.
Ich denke mal, das geht dann also aus dem Kontext hervor,
was da letztendlich gemeint ist. Gut, wie gesagt,
also Bit als Einheit für den Informationsgehalt. Das,
was wir jetzt ja häufig haben, ist,
dass wir sagen, okay, wir haben jetzt nur zwei Symbole,
die übertragen werden, nämlich nur 0 und eine 1.
Die haben jetzt also auch noch die gleiche Wahrscheinlichkeit
Von beispielsweise jetzt eben, oder typischerweise nebeneinhalb. Dann hat jedes dieser Symbole
null oder eins als Informationsgehalt dann eben auch ein Bit.
Das heißt, das ist also das, weswegen ich dann
quasi mit einem Bit Übertragung zu ein Bit Information komme.
Nicht deswegen, es ist also gerade an der Stelle dann
eben entsprechend schnell mit den Verwechslungen geschehen
Gut, was kann man jetzt mit diesen Informationen,
beziehungsweise Informationsgehalt annehmen letztendlich, anfangen,
im Sinne der Informationstheorie kann man jetzt natürlich sagen,
okay, also ich warte jetzt auf irgendeine Nachricht,
irgendwas, was jetzt hier übertragen wird,
wenn das jetzt also mit irgendwelchen Vergleichsweise unwahrscheinlichen Symbolen,
Nachrichten, Informationen passiert, die dann übertragen werden,
okay, dann habe ich eben Informationsgewinn oder eben eine Überraschung.
Und letztendlich kann man eben sagen, also all diese Größen
kann man dann eben letztendlich immer in Bit messen.
Gut, also hier bin ich jetzt natürlich mehr so beim Umgangssprachlichen.
Meistens sieht man das also eher so nachrichtentechnisch,
weil gerade vor diesem Hintergrund der Übertragung von Daten
man dann eben entsprechend mit dieser Einheit dann eben auch
noch viel rechnet
Gut, ja, hier auch nur praktisches Beispiel.
Also wenn man jetzt sagt, okay, also die Wahrscheinlichkeit,
dass man irgendwie jetzt von einem, an einem Tag,
also innerhalb von 24 Stunden von einem Metal War getroffen wird,
sei mit 10 und minus 16, also vergleichsweise gering.
Dann heißt das, wenn ich jetzt eben sage,
ich habe jetzt als Informationsgehalt der Nachricht, ich werde nicht vom Meto erschlagen,
dass ich da so relativ wenig Überraschung bei habe, weil,
wie gesagt, also das ja nun extrem unwahrscheinliches Ereignis ist, glücklicherweise.
Und man demzufolge dann eben auch sagen kann, okay,
wie groß als Zahnwert ist dann eben entsprechend dort die,
Entschuldigung, Ungewissheit bzw. da die Überraschung nicht,
dann ist das eben wirklich stumpfes Einsetzen in die Formel.
Also das nicht vom Meteor erschlagen werden,
also ist dann eben quasi das Eins-Minus dieser Wahrscheinlichkeit
Da von der Kehrwert, Logarithmus, Duales,
lassen wir ihn bei 3,2 mal 10 Uhr minus 16. Nicht,
dass es dann eben vergleichsweise ein sehr geringer Wert für den Informationsgehalt dieser Nachricht,
andersrum, wenn eben doch dann dieses Ereignis eintritt,
wäre dann eben die Überraschung vergleichsweise groß und man platt,
aber okay.
Und letztendlich wäre dann auch hier einfach nach Formeln,
also quasi Informationsgewinnern 53,15 Bit
Gut, von Zeitungsnachrichten jetzt mal abkommen wir jetzt also hier wieder zu dem,
wo wir uns natürlich so ein bisschen mehr bewegen, würfeln bzw. dann eben wirklich die Übertragung von Informationen.
Wenn man jetzt also sagt, okay, beim Würfeln,
ich möchte jetzt eben wissen, die Wahrscheinlichkeit,
eine Sechs zu würfeln, wenn der Würfel nicht gezinkt ist,
alle Seiten gleich häufig mit einem Sechstel Wahrscheinlichkeit auftreffen,
dann ist eben der Informationsgewinn,
wenn ich jetzt würfel und wirklich eine Sechs kommt,
Luca Rhythmus, du alles von eins durch ein Sechstel,
beziehungsweise minus Logotmostualis von sechs wäre dann eben, 2,58585 Bit.
Hier ein anderes Beispiel, wo es jetzt also auch so um Häufigkeiten geht,
nicht, also auch hier gegeben zwei Bücher, deutscher Text,
einmal irgendwie jetzt ganz normal aus dem Buch und einmal irgendwie mit einem Zufallszahngenerator erzeugte Folge von irgendwelchen Zeichen, die jetzt also letztendlich irgendwie zufällig live verteilt erzeugt worden sind. Und da muss er jetzt eben sagen,
okay, also hinter diesem Maß für die Informationsanheit Bit,
also verbirgt sie jetzt natürlich also erstmal irgendwie was Abstraktes,
wo man dann rechnen kann,
was also teilweise im Kontext jetzt von irgendwelchen praktischen Beispielen dann also jetzt wieder nur bedingt anschaulich ist,
weil was man daraus dann eben rechnen kann,
dass man sagt, okay, also normalen Text,
also jetzt in einem Buch,
habe ich eben aufgrund der Kontextinformationen natürlich also schon den Fall,
dass die Wahrscheinlichkeiten, also A,
sowieso nicht gleich verteilt sind für bestimmte Buchstaben und wenn ich jetzt eben quasi solche zusammengesetzten Ereignisse nehme,
ich habe mich also quasi schon gelesen habe, der begrief,
dass dann höchstwahrscheinlich,
wenn man sich da jetzt also nicht gerade irgendwie mit der Rechtschreibkorrektur nicht weiter beschäftigt hat,
danach also noch irgendwie ein zweites F kommen wird.
Und das ist ja eben genau das,
was man dann eben auch mal in solchen Beispielen hat oder
wenn man selber seine eigenen Texte liest, nicht?
Also da sind also irgendwie horrende Fehler drin und man überliest das einfach,
weil man das also einfach irgendwie automatisch ergänzt.
Im Sinne der Informationstheorie ist es dann aber eben so,
dass man dann eben auch sagen kann, okay,
also wenn ich das nehme, ist dieses Symbol eben sehr wahrscheinlich,
also da habe ich eigentlich irgendwie gar keinen Informationsgewinn.
Beim Zufallszahlentext liefert die, der zwar eigentlich absoluter Unsinn ist,
aber da liefert eben jedes Symbol die zusätzliche Information von eins
durch ein 80. und davon eben Lugarith musst du alles.
Das heißt also, da von diesem Maß her,
muss man jetzt eben sagen, okay,
der Zufallstext hält die größtmögliche Information. Nicht für uns,
können wir sagen, der Zufallstext ist Unsinn, aber ich,
also da ist jetzt erstmal nur zu den Begriffen oder Begrifflichkeiten
dahinter ist bei dieser Informationstheorie
Ja, hier, jetzt auch nochmal, jetzt eben sowas für einzelne Buchstaben. Ich,
wenn ich jetzt eben sage,
Wahrscheinlichkeit in einem Text an einer Stelle ein Zeichen A einzutreffen,
wäre jetzt eben 0,01. Nicht, dann wäre eben der Informationsgehalt von,
wenn ich jetzt den Buchstabenarzt,
also irgendwo über den Fernschreibe oder irgendwie empfange,
dann eben 6,64, 3,9 Bit.
Wenn ich das ganz jetzt, also quasi Gehen wir jetzt also nochmal
ein paar Kapitel zurück. Also in diese ISO 81859-Guddierung bringe,
wo ich das ja so im Prinzip jetzt mit einer 8-Bit-Kodierung,
die Buchstaben und eben Sonderzeichen und so ein paar Steuerzeichen mit darstelle,
kann man sagen, der Informationsgehalt ist 6,6439Bit.
Für die Kodierung werden aber 8Bit benutzt. Nicht,
das ist also dann schon mal so ein Hinweis darauf, wie Informationsgehalt und Länge der Kodierung dann eben auch auseinandergehen können. Das ist so das,
was also dann gleich vor dem Hintergrund beziehungsweise vor dem Begriff der Redundanz jetzt eben noch angesprochen wird,
nicht wo man eben sagt, also ich Während ich bei der Quellenquellenkodierung,
also quasi jetzt also Codierung nach Farno oder nach Halfman,
ja nun versuche die Kodierung genau so zu gestalten,
dass ich eben entsprechend kurze Codierungen für entsprechend häufige Symbole habe,
sieht man also, dass man jetzt eben hier,
wenn ich jetzt also solche typischen Block-Kodierungen habe, wie jetzt also eben so eine Acht-Bit-Kodierung,
da eben schon mal mehr mitbrauche als das, was ich dann also hier als Informationsgehalt für einen einzelnen Buchstaben letztendlich dann habe.
Gut, hier und nee, mach doch noch mal ihm
diese Unterscheidung zwischen Mars als Informationsgehalt und Anzahl der Minäher stellen. Gut,
damit kommen wir dann eben zu dem Begriff der Entropie,
wo man nämlich immer sagt, okay,
also bislang war es hier in den Beispielen beschrieben hatte,
ging es jetzt immer nur darum,
dass man sagt,
also wie groß sind die oder wie groß ist der Informationsgehalt,
wenn ich ein einzelnes Zeichen oder eine Folge von zwei Zeichen
oder von Endzeichen übermittelt bekomme
Wenn ich jetzt insgesamt aber untersuchen möchte, wie gut oder wie schlecht ist eine Kodierung insgesamt,
dann landet man eben bei dem Begriff der Entropie,
wo es eben letztendlich darum geht, die durchschnittliche Information beim Empfang eines Symbols irgendwie auszudrücken.
Das heißt also, wenn ich jetzt bei diesem Beispiel Buchstaben bleibe,
dass ich dann jetzt eben nicht mehr sage, okay,
ich empfange jetzt ein einzelnes A oder ich empfange ein einzelnes Z,
sondern für eine Kodierung,
die ich dann also entweder als Baum mache oder als Askikodierung oder was auch immer,
kann ich eben jetzt sagen, wie groß die durchschnittliche Information ist,
wenn ich also in dieser Kodierung ein einzelnes Zeichen empfange,
dass erst mal unabhängig vom Zeichen.
Und das ist das, was man dann eben als Entropie
bezeichnet, wird dann eben häufig auch mittlerer Informationsgehalt genannt.
Gut, während Im Prinzip sowas wie der Informationsgehalt.
Sich hier ja quasi ableitet als stohastisches Modell. Das heißt,
Zeichen und Auftretenswahrscheinlichkeit dieses Zeichens geht man hier jetzt darauf,
dass man jetzt sagt,
wie sieht das Ganze jetzt eben bei einer bestimmten Kodierung nachher aus,
beziehungsweise wie sieht das dann eben aus,
wenn ich das jetzt eben quasi über den Gesamtstatist stochastischen Prozess nehme,
das heißt dann eben jetzt wirklich über die Wahrscheinlichkeiten der Gesamtmenge aller Zeichen.
Gut, was logischerweise gilt, ist natürlich, dass die
Summe der Einzelwahrscheinlichkeiten dann also erstmal eins ist. Und das,
was man also als Entropie als Maß für so eine durchschnittliche Wahrscheinlichkeit nimmt,
kann man dann eben quasi einfach dadurch berechnen, dass ich sage,
okay, ich möchte jetzt ja die Menge aller Zeichen betrachten.
Also nehme ich die Wahrscheinlichkeit eines einzelnen Zeichens,
multipliziere das mit dessen Informationsgewinn oder Informationsgehalt und summiere das Ganze dann eben über alle Zeichen auf.
Das heißt also für die Entropie hier dann immer als Großhaar abgekürzt,
gilt dem zufolge, dass es dann eben die Summe PI mal,
I von AI und das war dann eben, Logarith,
musst du alles eins durch PI beziehungsweise minus.
Logarith musst du alles von PI. Das heißt also,
mit diesem Ausdruck kann man dann eben für einen gegebenen Kot,
beziehungsweise eine gegebene Menge von Ereignissen dann eben die Entropie ausrechnen.
So, das heißt,
dieses ist dann eben als Funktion erstmal nur abhängig von diesem stochastischen Modell,
wo ich dann eben sage,
zu jedem Zeichen AI habe ich eben dessen Wahrscheinlichkeit
Beispiele, drei mögliche Ereignisse, Wahrscheinlichkeiten,
ein halb ein Drittel und ein Sechstel,
stumpf in die Formel eingesetzt, kann man dann eben sagen,
die Entopie ist dann eben minus eineinhalb Malogorithmus-Duales von anhalb plus ein Drittel Malogorithm,
was du alles für ein Drittel plus das, in Zahlenwert,
1,45991, das heißt, wenn ich eins von diesen Symbolen,
die quasi zu diesen Wahrscheinlichkeiten gehören, empfange,
habe ich als mittleren Informationsgewinn, beziehungsweise als Intropie dann eben 1,0,
4, 5, 9,1 Bit.
Gut, bei Binärstellen, das heißt,
ich habe genau zwei Zeichen und ich habe also die Wahrscheinlichkeit für dieses eine Zeichen,
Q für das andere Zeichen 1, minus Q, ergibt sich dann folgendes,
wenn eben diese Zeichen gleich wahrscheinlich sind, das heißt,
gutgleich anhalb, Würde man dann eben auch hier als Entropie genau 1,0 bekommen.
Das heißt, es ist also letztendlich genau wie der Informationsgehalt eines einzelnen Zeichens ein Bit. Nicht, das gilt aber dann eben logischerweise auch nur, wenn beide Symbole genau gleich wahrscheinlich sind. Wenn die Wahrscheinlichkeiten,
also von dem Q bzw. von dem 1-Q dann dementsprechend unterschiedlich sind,
und ich dann quasi jetzt hier so eine Intropisoness in deren Kanals habe,
Ergibt sich formelmäßig einfach folgendes, dass man sagt, okay,
bei gleicher Wahrscheinlichkeit, das heißt also die Wahrscheinlichkeit ist ein Symbol,
also beispielsweise der Null wäre 0,5,
habe ich ihm genau als Informationsgehalt ein Bit,
wenn jetzt also ein Symbol immer wahrscheinlicher wird,
also sprich beispielsweise die Wahrscheinlichkeit der Null immer weiter zurückgeht,
singt dann eben auch die Entropie und Extremfall ist eben dieses eine Beispiel,
was sich also vorhin schon kurz angedeutet hatte,
wenn Nicht nur ein,
oder wenn ich jetzt von den Symbolen eins mit einer Wahrscheinlichkeit eins habe,
dass alle anderen oder in diesem Fall das Zweite,
hat eben die Wahrscheinlichkeit Null.
Ja gut, dann ist der Informationsgewinn letztendlich gleich Null,
weil nicht, also alles, was ich empfange,
ist immer nur genau dieses eine Zeichen.
Gut, demzufolge kann man jetzt eben sagen,
was gilt jetzt letztendlich dann eben jetzt für solche Blockcodes oder generell eben für Codes,
wenn ich jetzt also eine Binäherstelle habe oder eben so einen Binärencode,
beide Symbole sind leicht wahrscheinlich, dann ist eben der Sorry.
Informationsgehalt letztendlich dann eben genau ein Bit. Wenn man größere
Symbolmengen hat und auch dort alle Symbole jeweils gleich wahrscheinlich sind.
Also beispielsweise, ich habe jetzt 256 Symbole.
Ich habe die mit 8 Bit kodiert. Jedes Symbol hat
1, 256. als Wahrscheinlichkeit. Dann erhält man dann eben
auch als Entropie für diesen Code genau 8 Bit.
Das heißt also immer, wenn Symbole gleich häufig sind,
was man eben dann eben so einmal bei solchen Blockcodes dann ja auch oft hat,
dann ist quasi die Länge der Kodierung in mit,
also die Anzahl der Stellen, die man braucht.
Und das Maß für die Intropie dann eben genau gleich groß. Gut,
welche Eigenschaften gelten jetzt also für dieses Maß der Entropie,
also was sie eben schon gezeigt hat,
also das ist letztendlich maximal,
wenn alle Symbole
gleich wahrscheinlich sind
Sowas wie dieser Begriff der Entropie ist eben letztendlich symmetrisch. Das heißt,
wenn ich jetzt also für Symbole irgendwelche Symbolwahrscheinlichkeiten habe und die jetzt irgendwie permotiere,
also wenn ich jetzt sage,
also was weiß ich,
bei den Buchstaben der deutschen Sprache,
das eher eine Wahrscheinlichkeit von 0,1 und das Zelt hat eine Wahrscheinlichkeit von 0,01 und anschließend,
ich hätte jetzt eben beispielsweise dann in irgendeiner anderen Sprache oder sonstige in einer anderen Kodierung irgendwas,
wo ich eben genau diese beiden Werte vertausche,
ändert sich dann eben letztendlich an dem Master Entropie
nichts weiter bei diesen stohastischen Prozessen in dem Fall
Gut, das hatte ich dann ja eben auch schon gesagt.
In der Regel habe ich dann eben hier irgendwas größer.
Gleich null und gleich null wird es eben genau dann,
wenn eben nur ein einziges Symbol die Wahrscheinlichkeit eins hat.
Alle anderen Symbole, die Wahrscheinlichkeit null. Wenn ich hier irgendwas habe,
wo also überhaupt ein Symbol, also die Wahrscheinlichkeit null hat,
dann kann ich das ja sowieso wegfahren lassen.
Wenn hier ist nur ausgedrückt, dass wenn ich Symbole mit hinzunehme,
das heißt also von Endsymbol nach Endsymbol 1 Synplus 1 Symbolen gehe,
dass ich dann quasi hier eine größere Entropie habe.
Und gut, also aufgrund der Rechenvorschrift überhaupt mit dem Logarithmuskel sinnigerweise natürlich dann,
also diese Additivität, dass sich dann eben die Entropie jetzt von irgendwelchen Kodierungen,
wenn ich die zusammenfasse, dann eben auch entsprechend additiv weiter berechnen kann.
Ups, das war jetzt hier irgendwie falsch mit dem Licht gespielt, so wollen wir das hier mal zumachen, da komme ich nicht weiter in die Versuchung. Also,
ja, bleiben wir also jetzt nochmal bei dem Informationsgehalt,
also ich hatte ja gesagt,
also im Prinzip dieser Begriff der Entropie als solches ist ja jetzt erstmal gegeben durch die Symbole und die entsprechenden Symbolen Wahrscheinlichkeiten,
wenn ich jetzt Informationen übertrage, das heißt,
ich meine Symbole jetzt irgendwie binär oder wie auch immer,
mit einem Code, einer bestimmten,
über einem kuh näheren Alphabet, wenn ich mal so weiter,
bei dem Text, das von vorhin bleibe,
mit entsprechend einer Länge L irgendwie jetzt kodiere,
dann muss ich eben ja immer,
oder kann man eben immer unterscheiden zwischen dem,
was also quasi einmal die Entropie ist,
also sprich das, was eine stochastische Prozesse gibt.
Und auf der anderen Seite das, was jetzt also meine Kodierung daraus macht.
Und dazu betrachtet man dann eben hier das,
was also hier dann als H0, also der Mögliche Informationsgehalt bezeichnet wird,
der dann eben letztendlich durch die Symbolkodierung festgelegt wird.
Und während die Entropie sowas, also wie quasi ein durchschnittlicher Informationsgewinn für ein Zeichen ist,
ist dann eben hiermit für eine Kodierung sowas quasi definiert,
was dann also eine Art mittleren Kotwortlänge entspricht.
Symbol ist dann eben quasi bei der Entropie war es ein großes Haar,
hier ist es H0,
was dann also quasi auf diese Symbolkodierung hindeutet und formalmäßig wird das Ganze dann eben letztendlich dadurch gemacht oder gerechnet,
dass ich hier dann quasi ja auch über mit den Wahrscheinlichkeiten der Symbole multipliziere,
dass über alle Symbole aufsummiere,
dass ich aber dann eben hier an dieser Stelle jetzt eben nicht mehr den Logarithmus-Dualis von 1 durch die Auftretenswahrscheinlichkeit habe,
sondern entsprechend die Art der Kodierung,
also Kunäres Alphabet und dann eben die Codewortlänge,
die ich eben jetzt für dieses Element letztendlich einsetze.
Das heißt also,
hier hat man jetzt eben das Ganze beschrieben über einen Code,
für Binärcodes, wo also quasi das Kuh gleich zwei ist,
nicht gestern Lugarithmus,
Duales,
von zwei hoch
Kann ich das dann also quasi komplett raus weglassen oder
er fällt in Logo und muss dann eben entsprechend weg.
Das heißt, also da ist dann eben das HNU dann gleich
die Summe über PI mal L.I., also der Länge der Codierung.
Bei Blockcodes, Blockcodes, das waren die Codes,
wo alle Worte genau die gleiche Länge haben, gilt dann eben typischerweise,
da ich das Wort Länge N haben und ich den dann eben auch einen vollständigen Code habe,
dass dann eben HNU gleich N ist, Was, ja?
Also letztendlich, also genau sowas ist das,
wie dann, also hier so ein Beispiel,
wo ich ja so 256 Symbole, alle gleich wahrscheinlich,
mit genau 8-Bit-Kodiere und sowohl die Enthropie als dann eben auch in diesem Fall jetzt,
also der mögliche Informationsgehalt entspricht dann eben dieser Wortlänge von Großen.
So, und damit kommen wir dann eben zu dem Begriff der Redundanz,
das ist eben genau der Unterschied zwischen der Codierung, sprich,
was kann ich jetzt mit einer Codierung theoretisch an Informationen unterbringen und der Entropie,
das heißt also hanul minus sa,
das ist dann eben quasi die Redundanz, ein Master für,
wie viel jetzt wirklich von dem möglichen Informationsgehalt dann eben genutzt worden ist.
Neben diesem Wert, was also quasi ein absoluter Wert ist,
kann man das daraus auch noch sowas wie eine relative Redundanz machen,
wo ich das dann sogar dann eben noch entsprechend mit H0 normiere,
das heißt,
da wäre dann eben die Relative Redundanz H0 minus H
durch Hanul
Gut, bei dem, womit wir jetzt eine typische Weise arbeiten,
also sprich binäre Codes, kann man dann eben sagen,
wenn ich einen binären Blockcode habe, der Länge N,
Hannold ist gleich N,
dann würde sich quasi das Ganze dann eben errechnen,
Redundanz dann eben als Hannold-Sam, wie gesagt,
beim Blockcode wäre der mögliche Informationsgehalt dann in dem Code,
dann ja also gleich N und davon muss ich dann eben noch eben diesen Ausdruck,
also sprich das für die Entopie, entsprechend abziehen,
beziehungsweise dadurch, dass ich das jetzt abziehe,
dass hier das Negative ist,
ergibt sich dann also hier entsprechend dieser Ausdruck.
Und das wäre dann also, wie man jetzt also die Redundanz in solchen Codes berechnet.
Gut, wofür braucht man das Ganze jetzt? Also diese
Maße für die Güte der Kodierung oder die Maße eben für den stochastischen Prozess,
das heißt, wie häufig oder wie wahrscheinlich sind bestimmte Informationen,
das braucht man jetzt eben,
wenn ich das Ganze betrachte vor dem Hintergrund,
ich möchte die Information ertragen über ein Medium, über ein Übertragungskanal.
Und in diesem Kanal habe ich dann eben auch noch
die Möglichkeit, dass die Information eben verfälscht wird.
Auch diese Verfälschung von Informationen in einem Übertragungskanal kann man eben
als statt als, ja, also mit der Statistik untersuchen,
beziehungsweise daraus in einem stochhastischen Prozess machen.
Und das dann eben entsprechend hier
mit reinnehmen
Also was ist damit gemeint? Also beispielsweise,
ich bin jetzt also hier mit dem Laptop jetzt,
also per Y-Fair, also jetzt hier irgendwie mit dem Idorom verbunden.
Daten werden übertragen, mit einer gewissen Wahrscheinlichkeit,
Bitfehlerwahrscheinlichkeit in diesem Fall, kann es dann eben sein,
dass ein einzelnes Bit, Badedekodierung statt einer 1, eine 0 ergibt.
Nicht, dass es dann eben letztendlich das,
was dann in dem in dem Kanal dann eben letztendlich als Fehler auftritt,
was man dann eben auch über Fehlerwahrscheinlichkeiten,
also genauso wie eben Informationswahrscheinlichkeiten habe, dann über Fehlerwahrscheinlichkeiten modellieren kann.
Das führt dann eben dazu,
dass man für die Übertragungsmedien dann eben so was wie eine Kanalkapazität definieren kann,
rein umgangssprachlich, rein inhaltlich, was verbirgt sich dahinter,
wenn ich eben die Wahrscheinlichkeit habe,
dass irgendwas falsch übertragen wird,
kann ich eben über dieses Medium nicht
unendlich viele Informationen übertragen
Rein praktisch. Beziehungsweise wir sehen das ja immer nur,
dass man sagt, naja gut, also hier,
wenn ich das mit jedem Standard,
wo das WLAN also immer noch ein bisschen schneller und ein bisschen besser unter bestimmten optimalen Voraussetzungen,
aber rein technisch gesehen ist es uns natürlich immer noch zu langsam.
Also das ist dann das, was dann eigentlich,
sagen wir jetzt, natürlich irgendwo elektrotechnisch,
aber dann auch irgendwo informationstheoretisch dahinter steht,
dass sich dann eben quasi über das Medium und über eine bestimmte Art der Übertragung dann eben also auch nur eine gewisse Kanalkapazität habe.
Und das ist dann eben auch das,
was letztendlich dann jetzt in den unterschiedlichen Funkstandards beispielsweise dann eben definiert ist,
dass man dann eben sagt, also was weiß ich,
in den 2,4 Gigahertz waren,
kann ich eben unter den und den Einstellungen eben maximal das und das an Informationen übertragen.
Das ist also da dann das entsprechende Resultat.
So führt dann eben auch dazu, dass ich sagen kann,
okay, die entsprechend dieser Kanalkapazität wird dann eben pro Binärstelle
dann eben auch nur 1 minus H von F übertragen.
Und wie gesagt, genauso wie ich jetzt eben für einzelne Zeichen
ein stochastisches Modell aufstellen kann und Wahrscheinlichkeiten, wie häufig die auftreten,
kann man eben genauso gut auch Wahrscheinlichkeiten aufstellen wie häufig jetzt eben Fehler auftreten.
Und rein praktisch kann man eben nur sagen,
dass die Kanalkapazität für eine Binärstelle dann eben nicht ein Bit ist,
sondern eben kleiner,
wenn ich eine Fehlerwahrscheinlichkeit habe,
die eben größer als Null ist
Ist trivial, das ist aber, eigentlich ist erstmal das,
was also jetzt nur rein mathematisch gesehen aus dieser Formel dann bei rauskommt. Gut,
relativ am Anfang hatte ich also auch schon mal diese Folie aufliegen,
also wie gesagt, das ist jetzt eben genau das,
wo wir uns jetzt also hier bewegen,
nicht, dass man sagt, ich habe jetzt Informationsquelle,
die Information wird jetzt irgendwie kodiert,
gehe durch einen Übertragungskanal,
wird entsprechend dekodiert und hier habe ich den eben auch so ein Störprozess,
der dann eben dafür sorgen kann,
dass da also irgendwas letztendlich
kaputt gehen kann
Gut, wie sieht das dann jetzt nochmal aus für so einen Übertragungskanal, also angenommen,
ich habe jetzt also hier zwei Symbole mit jeweils gleichen Wahrscheinlichkeiten und ich habe jetzt eben irgendwelche Wahrscheinlichkeiten,
dass bei diesen Symbolen entsprechende Fehler auftreten, dann kann man eben analog dem,
was sie ja jetzt irgendwie die letzte halbe Stunde quasi vorgestellt hat,
eben genauso wie ich ja so eben auch irgendwie die Entropie ausrechne,
beziehungsweise eben den Informationsgewinn ausrechne,
dann eben auch für dieses Fehlerverhalten eben entsprechend so eine Entropie formelmäßig bestimmen.
Ich habe, wie gesagt,
bei zwei Symbolen, kann man dann eben sagen,
dass das dann eben auch entsprechend P, Malogorithmus,
du alles von der 1 durch P ist,
beziehungsweise für das zweite Symbol mit der Wahrscheinlichkeit 1-P,
wo dann eben entsprechend dieses gelten
War es dann für die Kanalkapazität, heißt,
wenn ich eine Bittfehlerwahrscheinlichkeit von Null habe,
also diese Kurve ist ja eigentlich nichts anderes als eins, minus.
Dem hier, wenn ich eine Bittfehlerwahrscheinlichkeit von Null habe,
habe ich quasi bei einer Heimbitt, was übertragen wird,
dann eben die Kanalkapazität von 1, weil dieses Bit eben korrekt übertragen wird.
Und je größer dann eben die Bittfehlerwahrscheinlichkeit wird,
umso kleiner wird dann also letztendlich die Kanalkapazität.
Sprich, mit einer gewissen Wahrscheinlichkeit empfange ich eben falsche Symbole.
Und der Kanal verfälscht und mit irgendwelchen Mechanismen muss ich jetzt eben dafür sorgen, dass ich also diese falschen Werte erkenne oder vielleicht sogar korrigieren kann. So,
in dem Fall, wo ich also jetzt eine Bittfehlerwahrscheinlichkeit von 0,5 habe,
das heißt, Statistisch gesehen jedes zweite Bit wird gekippt oder nicht gekippt,
dann ist das quasi die Kanalkapazität null, weil das,
was ich empfange, kann ich jetzt also nicht mehr von irgendeinem zufälligen Rauschen unterscheiden,
weil es kann ein gültiges Bit sein, es kann aber auch ein Bit sein,
was jetzt gerade mal kaputt gegangen ist, also das ist also letztendlich das, was hier miteinander so nur angedeutet ist.
Gut, wie gesagt,
Kanalkapazität kann man jetzt ja eben auch erstmal so statistisch ausrechnen,
ist dann eben letztendlich sowas wie so eine Art obere Schranke,
gut rein praktisch wird das dann eben technisch eigentlich auch immer nicht erreicht,
aber man kann theoretisch dann eben erst mal sagen,
ich kann sowas maximal ausrechnen und eben versuchen,
mit entsprechenden Verfahren da einigermaßen nah ranzukommen,
wie man das macht oder wie man das machen kann,
geht jetzt natürlich also erst mal so aus diesen Verfahren,
beziehungsweise aus den Statistiken, also nicht hervor,
was die Theorie uns aber auch noch sagt, ist,
also dass da dann eben die sogenannte Shannon-Theorie eben auch gilt,
was also der, Herr Shannon, waren Elektrotechniker in Amerika 1949,
aufgestellt hat, der eben quasi jetzt,
wo man eben sagt,
also ich habe einen binärensymmetrischen Kanal.
Das heißt, ich übertrage Informationen von A nach B. Ich habe eine bestimmte Störwahrscheinlichkeit P.
Und der Kanal hat eine bestimmte Kapazität. So,
und das, was man erstmal theoretisch sagen kann, ist,
wenn ich einen Übertragungsrate habe, die kleiner ist als die Kanalkapazität.
Dann findet man quasi für jede Fehlerkodierwahrscheinlichkeit,
beziehungsweise sieben Y-Größer Null,
einen Code
Der, wenn ich den übertrage, mindestens so schnell übertragen wird,
natürlich wie also jetzt die ursprüngliche Übertragungsrate,
maximal natürlich also schnell wie das, was der Kanal überhaupt zulässt.
Die Fehlerkodierwahrscheinlichkeit,
aber eben immer kleiner wird als das Y. Rein praktisch übersetzt heißt das,
wenn die Übertragungsrate kleiner ist als die Kanalkapazität,
existieren kurz die
beliebig zuverlässig sind
Und wenn, beziehungsweise was ja eben auch noch gilt,
dass da eben deren Signalübertragungsraten beliebig nah an der Kanalkapazität liegen.
So, das ist jetzt natürlich irgendwie so ein schönes Beispiel
aus der Theorie, wo man auch mal sagen muss,
damit haben wir jetzt noch keine Idee zur Realisierung.
Und das ist eben letztendlich immer das Problem jetzt bei solchen strahastischen Verfahren,
das Ganze funktioniert eben eigentlich auch am Monophon endlich lange Nachrichten.
Das heißt also, je länger die Nachricht sind,
umso besser kriegt man das hin. Nicht,
aber was man also theoretisch machen kann, ist,
dass man eben wirklich sagt, also ich habe jetzt eben sehr gestörten Kanal,
habe da so irgendwelche Nachrichten zu übertragen.
Trotzdem kriege ich, oder schaffe ich es mit geeigneten Codierungen,
quasi einen Code zu machen, wo ich quasi fehlerfrei meine Symbole dekodiere.
Das Problem ist nur,
weil eben jetzt sehr stark gestörten oder verrauschten Übertragungsmedien und Kanälen,
dass das, was ich dann eben quasi jetzt für diese Codierung aufwenden muss,
eben aufwendig wird und sehr groß wird.
Wo also diese ganze Informationskodierungstheorie dann nämlich eigentlich auch so ein bisschen mit herkommt.
Also deswegen, also vielleicht auch nochmal so zurzeitlichen Einordnung,
ist natürlich dann immer irgendwie so bei der militärischen Kommunikation. Wenn man sagt,
also gut, also du hast dann 14 noch nicht,
aber wenn man jetzt eben sagt, also ich möchte jetzt,
also irgendwo in den Welten mehr mit meinen U-Booten über Langwelle irgendwie Informationen austauschen, dann geht das zwar theoretisch beliebig zuverlässig. Ich muss,
es kann dann eben sein,
dass wenn ich letztendlich oder zwei Bit an Nutzdaten übertragen möchte,
man also mehrere Megabit an Daten, also irgendwie an Rauspustet,
weil quasi also irgendwie sowas wie Empfang unter Wasser und überhaupt mit Langwellensignalen,
also so stark gestört ist,
dass man da eigentlich nur mehr oder minder viel Rauschen empfängt und nur wenn ich entsprechend viele Symbole habe,
das dann also über stochastische Prozesse dann erreicht wird,
dass man daraus dann eben auch wieder seine nutzenden Informationen zurückholen kann,
dadurch, dass dann eben teilweise dann eben Sachen,
also doch noch ein bisschen wahrscheinlicher oder unwahrscheinlicher sind,
als jetzt eben So eine Fehlerwahrscheinlichkeit dann eben von 0,5,
sondern man bewegt sich dann irgendwo in diesem Bereich.
Also wie gesagt, das ist also das, was dort theoretisch machbar ist. Gut,
also rein praktisch, das, wo wir jetzt,
also irgendwelche Codierungen haben in gestörten Medien,
sind es natürlich also jetzt irgendwie nicht ganz so grauslich,
um ganz so kritische Beispiele, wo man dann eben auch sagt,
gut, also da gibt es also entsprechend viele standardisierte Codes,
mit denen man eben entsprechend der Informationstheorie dann eben für die Übertragung,
dass dann eben also auch sehr, sehr gut und zuverlässig hinkriegt,
dass man da dann eben auch zusichern kann,
dass also Verfälschung der Daten aufgrund eines gestörten Übertragungskanals dann also quasi ausgeschlossen werden.
Und das ist dann eben auch letztendlich der Grund,
weswegen man dann also je nach Übertragungsmedium dann eben
auch entsprechend gute oder schlechte Datenraten letztendlich hinbekommt,
weil man das da dann eben entsprechend mit berücksichtigen muss
Gut, das ist jetzt natürlich erstmal so die Theorie und stochastische Prozess.
Jetzt ist natürlich die Frage, okay, wie sieht sowas
rein praktischer aus? Dazu kann ich immer nur sagen,
na gut, also irgendwie solche Kodierungssachen,
also auch da kann man also ganze eigene Vorlesungen drüber halten,
was ich also jetzt hier nicht machen werde.
Deswegen kommen jetzt hier nur zum Thema Fehlererkennung bzw. Fehlerkorrektur so
ein paar relativ einfache Standardverfahren bzw. erstmal so die groben Grundideen
zum Einsatz.
Nicht alles andere
Kann ihn oder wird ihn vielleicht später im Studium noch irgendwo in entsprechenden Teilen begegnen.
Ich habe gesagt, also hier geht das erstmal nur so ein bisschen um die Zusammenhänge und eben die eigentlichen Grundlagen. Also wie gesagt,
das war es, wir bislang jetzt ja gelernt haben,
ist, dass man sagen kann, okay,
ich hörweise diese ganze Theorie,
ich habe eine begrenzte Kanalkapazität und nach dem Shannon-Theorie kann ich da aber entsprechend,
wenn ich jetzt eben zum Beispiel sowas wie Redundanz hinzufüge,
also zusätzliche Witzübertrage, hatte ich eben ja schon angedeutet,
erreichen,
dass ich also auch bei Störungen meine Nutzinformationen wieder
korrekt rückrechnen kann
So, in dem Zusammenhang, das, was wir also haben möchten,
jetzt für die Kodierung in solchen gestörten Übertragungskanälen,
sind also Fehler erkennende oder vielleicht sogar Fehler korrigierende Codes.
Gut, was kann prinzipiell erstmal so an theoretischen Fehlern,
also irgendwie auftreten? Also ich kann jetzt sagen,
also wenn ich jetzt also irgendwie was übertrage,
ein bestimmtes Zeichen,
wie auch immer das jetzt kodiert sein mag oder
der Empfänger empfängt irgendwas und für den ist das jetzt aber
ein anderes Zeichen
Sprichverwechslung. Dann hat man häufig in irgendwelchen Bit-Folgen dann eben solche Effekte,
dass man sagen kann, also vertauschen benachbarter Zeichen, vertauschen,
entfernterer Zeichen oder eben irgendwie sowas wie Zwillingsfehler, Bündelfehler,
wo dann eben gleich ganze Gruppen von Zeichen letztendlich kaputt gehen.
Letztendlich das, was auftritt, ist dann immer nicht,
also deswegen hier unten mal so kurz dieser Hinweis,
dann abhängig davon, wie dieser Code eingegeben wurde,
beziehungsweise wodurch es da jetzt also zu diesem Problem gekommen ist.
Also wenn ich jetzt also sage, ich habe jetzt
meine Information Nullen und Einzelnen ungefähr so auf einer CD.
Okay, hat man heute also auch nur noch bedingt. Da ist irgendwo ein Kratzer drauf,
dann kann man sagen, okay, also bei dem,
was dort, also Folge von Nullen und Eins irgendwie gelesen wird,
ist eben quasi erstmal so ein ganz gesamter Bereich,
der zwar jetzt vielleicht irgendwie nur so einen Millimeter umfasst,
aber erstmal irgendwie so ein gesamter Bereich nicht lesbar.
Das heißt, da kann ich sagen,
das sind also im Prinzip irgendwie solche Sachen,
wo ich also hier statt irgendwelcher Informationen,
also nichts mit anfangen kann oder sagen,
das interpretiere ich als Null
oder was auch immer
Nicht, wenn ich hier im WLAN-Funkmedium unterwegs bin,
dann kann man sagen, okay,
was dort auftreten kann, sind dann eben irgendwelche Störrimpulse,
also sprich irgendwelche anderen elektromagnetischen Signale, also sprich irgendwie,
jemand schaltet das Licht ein,
also irgendwo im Lichtschalter gibt es mal einen Funken,
der streut dann also mal relativ breitbandig,
also auch in die Frequenzbereiche, wo das WLAN arbeitet,
dann kann es eben sein,
dass also dann mal irgendwie für ein paar Millisekunden,
also quasi der Empfang,
also irgendwie gestört ist
Oder rein praktisch, also das sind dann immer so Beispiele für solche Sachen,
sowas wie Eingabefehler durch Benutzer. Gut, bei den,
gucken wir ja mit der Zeit hin, bei den Fehlern,
also jetzt hier nur noch mal kurz ein paar Begriffe,
bevor ich also jetzt hier gleich zu den Fehlern Korrektur beziehungsweise Fehlererkennungsmaßnahmen komme,
hatten wir teilweise schon Blogcodes, sind halt immer,
dass man sagt,
ich habe irgendwie eine Anzahl von mit an Informationen,
die ich also quasi übertragen möchte.
Und ich kodiere die mit einem entsprechend größeren Wort im Sinne der Informationstheorie
mache ich damit also nichts anderes, als dass ich Redundanz hinzufüge.
Nicht, weil dieses hier, sagen wir mal,
spiegelt letztendlich den stohastischen Prozess, die Entropie, wieder für meine Wahrscheinlichkeiten.
Nicht dieses hier ist dann eben quasi das,
was ich in der Kodierung als möglichen Informationsgewinn mit drin habe,
wo ich dann eben jetzt noch zusätzliche Bits mit anfüge
Wo man dann eben beispielsweise eben irgendwas machen kann,
wo ich dann also Fehlerkennung oder Korrektur mache. Wie gesagt,
wie diese Algorithmen aussehen, wird dann gleich noch folgen,
beziehungsweise rein praktisch wird das dann am Freitag der Fall sein.
Verhaltungskurz sind bestimmte Codes,
die ich jetzt hier allerdings nicht vorstellen werde,
wo man jetzt also nicht einzelne Zeichen nimmt und sagt,
also ich habe jetzt also ein Zeichen von so und so viel Bit,
was ich vielleicht irgendwie ein längeres weil unter Parke.
Sondern Faltungscodes sind Sachen, wo ich also quasi jetzt irgendwie einen kontinuierlichen Bittstrom habe.
Theoretisch zum Beispiel sowas wie jetzt also irgendeinen Datenstrom von einer CD oder irgendwas,
was sie jetzt, also hier irgendwie ans WLAN-Modul rausschicke,
wo ich quasi in diesem kontinuierlichen Bittstrom jetzt gar nicht mehr unterscheide.
Also das ist jetzt also mein Zeichen A, B,
C oder Sonstiges, sondern einfach nur irgendwie eine Folge von 0 und 1.
Und in diesem Bettstrom füge ich jetzt eben nach bestimmten Regeln
dann eben zusätzliche Bits mit ein.
Das heißt, ihr zeugt aus einem Eingangsbitchstrom mit einer bestimmten Datenrate
einen Ausgangsbitchstrom in einer höheren Datenrate.
Das heißt, da sind eben entsprechend einfach jetzt in
der Zeit noch bis hinzugekommen
Die man das macht. Rein technisch gesehen funktioniert sowas dann
mit bedingten Wahrscheinlichkeiten und endlichen Automaten.
Endliche Automaten werden also dann in drei Kapiteln folgen.
Ansonsten sowas wie eben die Sachen, die da dann dahinter stehen,
also gerade mit diesen bedingten Wahrscheinlichkeiten oder sowas.
Also das wird dann also, denke ich mir,
vielleicht auch noch später ein Studium angesprochen werden.
Also da hat man dann eben auch gerade aufgrund solcher stochastischen Prozesse,
also Markov-Modelle oder sowas, dann eben Möglichkeiten, da was zu machen.
Gut, das, womit wir eben in der Regel dann arbeiten,
jetzt hier sind sogenannte lineare in K-Codes.
Also wie gesagt, da geht es einfach nur nochmal auf,
wie gesagt, dieses Verhältnis von K-Informations-Bit und N übertragenen Bit.
In der Regel sind solche Codes ein sogenannter Unterraum von GF
2 hoch
Was ist damit gemeint, was er bislang immer hatten oder worüber wir gesprochen hatten,
war ja also die Bulsche Algebra, wo ich dann sage,
ich habe und oder und Negation,
beziehungsweise dann eben teilweise noch sowas wie exklusiv oder so.
Im Prinzip kann ich das aber hier raus alles aufbauen und sagen,
okay, also rein vom Begriff der Algebra her entspricht das Ohnt,
also quasi einem multiplikativen Operator und das oder einem additiven Operator.
Was es aber nicht gibt, ist,
dass es eben für diesen additiven Operator,
also sprich für das oder eine inverses Element gibt.
Das heißt also, rein mathematisch gesehen ist es eine Argebase, aber kein Körper.
Galoire fehlt mit zwei Elementen, also GF2, ist ein Körper.
Da gibt es nämlich zwei Verknüpfungen und das Exklusiv-Oder. Wie gesagt,
das Unentsprechung Multiplikation, das Exklusiv-Oder,
so eine Art Addition-Modul 2. Und dann gilt eben,
das ist ein Körper, war ich dann also x,
exklusiv oder x dann wieder gleich null ist.
Das heißt, das ist dann eben entsprechend dieses inverse Element
So, und eben über so einem Code,
der jetzt nicht nur ein Bit, sondern N-Bit umfasst,
dass es dann eben GF 2 hochenden.
So, in dem Zusammenhang spricht man häufig noch von sogenannten modifizierten Codes,
wenn eben in dem Code bestimmte Stellen systematisch verändert werden.
Beispiele zu werden dann also nachher, beziehungsweise am Freitag dann
noch folgen. Und ich denke mir, dann wird das
von den Begriffen her dann noch ein bisschen klarer.
Gut, damit habe ich für heute genug überzogen