So, bevor wir uns jetzt, ich denke mal die ganze,
den ganzen Rest der Woche, diese Woche,
also jetzt noch weiter mit der Codierung bzw. Codierungstheorie beschäftigen,
hier nur noch mal ein kurzer Hinweis,
die ersten Praktikumsgruppen gehen ja nächste Woche los, also sprich ab Montag,
also dann wirklich und jetzt nicht irgendwie falsche Stine angekündigt.
Dazu dann also nur noch mal der Hinweis auf der entsprechenden Webseite,
beziehungsweise noch über Stine sollten dann auch die Verweise da sein.
Kann man sich dann also,
das Material beziehungsweise diese Aufgabenblätter dazu dann runterladen und es empfiehlt sich,
nicht deswegen, also hier nochmal Vorbereitung unbedingt erforderlich,
das empfiehlt sich sich, das also vorher mal anzugucken,
weil beim Praktikum ist es eben wirklich so,
dass man das also einfach zeitlich nicht schafft oder eben irgendwelche Zusatztermine braucht,
weil man sich da jetzt nicht so ein bisschen vorbereitet.
Gerade am Anfang ist es relativ viel Text, also wo jetzt
also auch erstmal Sachen beschrieben werden, ein paar Grundlagen beschrieben werden.
Auch jetzt wieder einfach so aus diesem zeitlichen Grund heraus.
Dort werden dann also teilweise Inhalte auch wieder jetzt benutzt oder vorgestellt,
die jetzt eine Vorlesung noch nicht dran waren, folgen noch, also irgendwann ein paar Gebietekapitel später.
Aber damit man da dann also schon mal entsprechend auch arbeiten kann,
ist also erstmal relativ viel ein Allgemeiner Beschreibung. Das,
was man dann wirklich rein praktisch macht,
ist gerade beim ersten Versuch, also sagen wir jetzt nicht so viel,
so ein paar Sachen sind eben auch dabei,
wo man sich dann also ähnlich wie in den Übungsaufgaben,
also in Richtung Zahlendarstellung, einfach so ein paar Sachen mal überlegen soll,
das nochmal vertiefen soll.
Im Zweifelsfall dann auch einfach schon relativ viel in dem Praktikum
kann man eigentlich vorbereiten und auch schon vorher gelöst haben,
dann ist das natürlich alles sehr entspannt und dann kann man also auch im Zweifelsfall schon deutlich früher gehen,
wenn man sagt, okay, hier fertig, die Abgabe abgenommen hat, aber wie gesagt, man sollte da also mal richtig reingeguckt haben. Gut,
dann hatte ich ja im Prinzip Letzte Woche aufgehört mit dem Thema der Quellenkodierung,
Quellenkodierung nur noch mal zur Erinnerung, war im Prinzip,
dass man sagt, okay,
wenn ich jetzt also irgendwelche Kodierungen mache und ich jetzt eben weiß,
das, was ich an Informationen quasi jetzt versenden möchte,
ist mit unterschiedlichen Wahrscheinlichkeiten oder Häufigkeiten bei den Symbolen da und ich habe jetzt also,
anders als bei Zahlen, wo ich das jetzt ja nicht habe,
wo ich eben typischerweise Blockcodes verwende,
Ebenso was wie zum Beispiel das Buchstaben des Alphabets,
wo ich sagen kann, okay, also sowas wie ein ENN,
ein Leerzeichen sind eben deutlich häufiger in der deutschen Sprache,
als jetzt also ein Kuh oder ein Y demzufolge wird ich da dann oder kann man da dann eben bei der Kondierung was machen und also aufgrund dieser Häufigkeitsverteilung,
die Kodierung eben so wählen,
dass Symbole mit einer großen Auftretenswahrscheinlichkeit quasi einen kurzen Code bekommen,
welche, die also sehr selten sind,
also einen entsprechend langen Code und man im Mittel aber kurz ist,
als jetzt ein reiner Blockcode, wo ich jetzt sage, ich habe also 28 Symbole irgendwie darzustellen und naja gut, dafür brauche ich dann eben fünf Bild nicht, kann die da mit der Nase entsprechend unterscheiden.
Voraussetzung für das Ganze ist eben diese Fahne-Bedingung,
also sprich Briefix-Freiheit, um jetzt eben zu sagen,
wenn ich eben einen Code habe,
besagt das jetzt eben,
dass kein Code oder kein Codewort Anfang eines anderen Codeworts
sein darf
Gut, dazu hatte ich jetzt ja so ein paar Beispiele gebracht. Morsokoda ist etwas,
wo das nicht ist und im Prinzip diese beiden Verfahren vorgestellt,
nämlich einmal, also dies Verfahren nach Farno,
wie man also sich so einen Code generieren kann und als zweites Verfahren und damit hatte ich dann letztendlich aufgehört,
die Kodierung nach dem Verfahren von Half-Man, wo man dann im Prinzip auch sich so einen Codebaum aufbaut und damit dann eben so ein Hinsichtlich der Quellencodierung eben optimalen Code erzeugen kann.
So, und dass er dann eben auch wirklich optimal ist,
kann man jetzt, also das war jetzt,
dass ich hier das passende Beispiel dazu,
hier sieht man dann eben auch nochmal als Beispiel,
wie das jetzt, also zum Beispiel für George und Großbuchstabenhaus sieht,
also was da so relativ häufig ist, mit kurzem,
kurz, das, was an Buchstaben eben selten ist,
mit entsprechend längeren Codes, wenn man das dann eben so aufteilt,
aus diesem Beispiel kommt man dann eben zu so einem Baum,
wo man dann eben wirklich sagen kann, okay,
ich habe jetzt also hier mit Codewort Länge 3 Leerzeichen eh und ein N und hier eben mit irgendwie entsprechend längeren Codewortlängen,
dann Asi, die Elemente,
die jetzt also seltener sind.
So, und dafür kann man dann im Prinzip sowas
wie eine mittlere Codewortlänge ausrechnen, die Formel dazu,
beziehungsweise die Mathematik dahinter, wird jetzt also heute noch irgendwie kommen.
Ansonsten kann man aber eigentlich, sagen wir mal,
so mit ein bisschen Menschenverstand sich also ja auch schon überlegen,
was ist die mittlere Codewortlänge? Ja, das ist einfach,
wenn ich jetzt also quasi über alle Zeichen gucke,
wie häufig ist ein Zeichen, das heißt,
wie groß ist dessen Wahrscheinlichkeit, Diese Auftreten ist Wahrscheinlichkeiten,
multipliziere ich mit der entsprechenden Codewortlänge.
Das mache ich eben für alle Zeichen und dividiere das Ganze
dann eben durch die Anzahl der Zeichen.
Dann habe ich sowas wie eine mittlere Codewortlänge. So,
wenn man das jetzt also hier in diesem Beispiel macht,
würde man eben bei ungefähr 4,5 Bit pro Zeichen landen.
Neck, wenn ich das jetzt also vergleiche mit dem,
was man also eben in Askekodierung macht, sieht man also,
dass man da eben schon deutlich besser beziehungsweise,
wenn ich jetzt also hier generell erstmal sage, ich habe Gut,
Aski kann jetzt mehr zeichnen, weil ich dann auch noch die Kleinbuchstaben drin habe.
Aber wenn ich jetzt eben sage,
ich habe nur die Großbuchstaben und hier die Elemente nicht,
dann würde ich damit also quasi fünf Bit schon mal benötigen,
um das entsprechend zu kodieren.
Und auch da bin ich dann also mit den 4,5 Bit immer noch besser.
So, was man jetzt eben bei diesem Verfahren von Hafenmann machen kann,
ist eben auch wirklich beweisen, dass es ein optimales Verfahren ist.
Der Beweis ist also hier kurz skizziert,
will ich also auch jetzt Nur grob die Idee vorstellen,
wie dieser Beweis funktioniert. Das heißt also,
das müssen sie jetzt also nicht zwingend in der Prüfung oder in der nächsten Übungsaufgabe beweisen,
weil, da schlägt man dann also irgendwelche passenden Werke auf und schreibt das ab.
Also das schockt natürlich dann nicht so richtig. Also die Idee ist einfach,
dass ich letztendlich in diesem Fall genau dieses Verfahren benutze und dass ich eben sage,
wenn ich jetzt also einen Huffman-CoC habe mit einer durchschnittlichen Codewortlänge ähne und ich jetzt eben einen anderen Briefix-Code hätte,
eine Kurtwortlänge M hat,
die jetzt eben kleiner wäre als die von Anne oder von AL und eben minimal.
Dann kann man quasi hier jetzt über so einen Widerspruchsbeweis dann eben sagen,
dass also dieser CoD eigentlich nicht existieren kann.
Also in dem Fall wäre ja also CoD dann also ein besserer Code.
Wie kann man das machen, 4C und DWN,
also die entsprechenden Dekodierbäume aufgebaut, also im Prinzip genau so war es.
Ich habe dann also hier für die Zeichen jeweils, also die jeweiligen Auftrittenswahrscheinlichkeiten
Und was man dann eben macht, ist,
dass man der Reihe nach, also die Tiefe des Baumes immer weiter reduziert.
Das heißt, man nimmt jetzt also quasi ein von den Blättern weg,
schreibt dann also quasi dessen Wahrscheinlichkeit dann eben an den entsprechenden Knoten darüber,
kann dann eben dieses Blatt letztendlich streichen.
Hier kann man dann eben ausrechnen, wie sich daraus dann
also die mittlere Kotwortlänge ändert.
Und das Ganze wird rekursiv dann eben eigentlich fortgeführt,
bis man also letztendlich einen Baum hat
Mit einer Länge 1, 4C, wenn ich das dann aber eben vorausgesetzt,
es würde einen besseren code.de geben, müsste der dann eben eine Länge kleiner als A1 haben und das funktioniert dann eben nicht. Gut,
jetzt ist es ja so,
das hatte ich eingangs ja auch schon mal gesagt letzte Woche,
dass diese Kodierung,
sei das jetzt also nach vorn oder nach Hafenmann eigentlich immer ganz gut funktionieren,
wenn ich also relativ große Zeichenmengen habe und wenn die Symbole dann also quasi jetzt irgendwelche Häufigkeiten haben,
die dann dann eben auch hinreichend klein sind,
sodass man also quasi bei diesem Verfahren, sei das jetzt nach vorne,
wo ich diese Mengen bilde oder sei das nach Hafman,
wo ich dann immer die kleinsten zusammenfasse,
dass man dann eben mit diesen Verfahren jetzt eben auch irgendwelche Wahrscheinlichkeiten oder Häufigkeiten hat, die dann eben jeweils hinreichend klein sind.
So, wenn ich jetzt aber irgendwelche Beispiele hätte,
wo ich dann eben sage,
ich habe also ein Zeichen oder ein Element,
was ich kodieren möchte, was also eine sehr große Wahrscheinlichkeit hat,
also meinetwegen 0,9 und dann habe ich noch irgendwie 200 Elemente,
die dann also entsprechend sehr, sehr kleine Wahrscheinlichkeit haben,
dann sind letztendlich diese Verfahren Immer ineffizient,
weil ich dann eigentlich diesem sehr häufigen Element dann eigentlich eine Codierung zuweisen müsste,
die dann also weniger als ein Bit enthält.
Weil wenn ich jetzt also ein Bit für das häufigste Element
benutze und jetzt eben so einen Baumaufbau,
dann entspräche das dann quasi schon der Wahrscheinlichkeit von 0,5. Nicht,
aber wenn die Wahrscheinlichkeit eben deutlich größer ist,
kann ich das nicht
anders machen
Für solche Fälle gibt es dann eben andere Möglichkeiten der Kodierung,
sogenannte Lauflenkudierung oder in der Bildverarbeitung, Cosinus-Transformation, Wayflat-Transformation und,
und, und. Also im Prinzip andere Verfahren,
die da dann eben deutlich effizienter sind als jetzt diese Kodierung nach,
also diese Prefix-bedingten Kodierungen nach Hafen oder nach Fano.
Nicht klassisches Beispiel für sowas wäre, wenn ich jetzt eben sage,
ich nehme jetzt also hier die Vorlesungsfolien, ich mache daraus einen Screenshot irgendwie als Bild und würde das jetzt entsprechend komprimieren wollen.
Da kann man sagen, naja gut,
also bei den Farben oder Farbwerden überwiegt erstmal irgendwie weiß,
dann habe ich also noch so ein bisschen schwarzer Anteil,
dann gibt es nochmal irgendwie sowas mit hellgrau und mit diesem Uni-Rot und das war es dann aber schon,
aber im Prinzip weiß es aber schon mal mehr als 50 Prozent des Bildes.
Und wie gesagt, da würde man dann eben mit anderen Verfahren entsprechend effizienter sein. Lauflängenkodierung nicht,
also dass wir dann zum Beispiel etwas,
was man hier dann also einsetzen könnte,
da sind einfach grob gesagt Verfahren, wo ich einfach sage,
angenommen, ich würde jetzt also dieses Bild nehmen,
hier jetzt irgendwie so zahlenweise abrastern,
dann sage ich jetzt eben, okay,
ab hier kommt ein weißer Pixel und danach kommen noch die nächsten 20 Bildzahlen komplett nur noch weiße Pixel,
dann muss ich also nur sagen,
einmal weißer Pixel und davon die nächsten 500 Stück.
Und das kann ich natürlich deutlich kürzer kodieren,
als wenn ich also jetzt irgendwie 501 mal diese Information
für einen weißen Pixel übertragen werde.
Das ist also die grobe Idee bei Lauflängenkodierung,
wo man dann im Prinzip sowas mit verwenden würde
Andere Sache, auf die ich jetzt also auch nicht weiter eingehen will,
es gibt ja ein Sonnenverfahren für sogenanntes Dynamic-Huffman-Coding.
Da geht es darum, dass man sagt,
wenn ich jetzt nicht Apriori, die auftreten, ist Wahrscheinlichkeiten kenne.
Also hier zum Beispiel Text, Buchstabenhäufigkeiten der deutschen Sprache,
na gut, das kann man also irgendwo nochmal nachschlagen oder kann
sich das also selber mit irgendwelchen Programmen mal irgendwo ausrechnen lassen und damit irgendwie was machen.
Aber wenn ich jetzt beliebige Daten übertrage,
Und da jetzt also versuche ich zum Beispiel on the fly,
so eine Kodierung hinzukriegen, dann weiß ich jetzt eben nicht,
wie häufig sind jetzt also irgendwelche Symbole, die dort auftreten würden.
Oder wenn sich also auch gerade jetzt im Laufe der Übertragungssymbolhäufigkeiten ändern. Auch da gibt es Verfahren,
wo quasi on the fly dynamisch so ein Kodierbaum aufgebaut wird,
der aber, wenn Symbole, die jetzt eben sehr weit unten im Baum sind,
also in dem Zufolge eine lange Kodierung haben,
dann also entsprechend immer häufiger auftauchen, wird dieser Baum quasi neu berechnet und baut sich dann also selber um.
Und wenn man diese Verfahren dazu sowohl in dem zu kodierenden Teil,
also dem Encoder, als auch in dem dekodierenden Teil,
also quasi jetzt identisch implementiert, muss ich jetzt eben gar nicht übertragen,
wie die einzelnen Symbole jetzt kodiert werden,
sondern ich sage am Anfang,
ich gehe jetzt eben immer mit einer identischen Symbolwahrscheinlichkeit rein und irgendwann passt sich das dann dementsprechend an,
sowohl Sender als auch empfängerseitig und das funktioniert entsprechend.
Nicht, das ist also das, was Sie
unter Dynamic-Hoffman-Coding letztendlich beschrieben ist
Gut, eine, auch nochmal eine andere Sache,
wo wenn man jetzt sagt, okay,
ich habe Zeichen beziehungsweise einen bestimmten Zeichenvorrat und ich möchte mir jetzt also überlegen,
kann ich für diese Zeichen beziehungsweise kann ich für diese Zeichen vor diesen Zeilenvorrat jetzt also eine Codierung wählen,
wo ich jetzt beispielsweise sage,
also die Symbole sind häufig,
dafür möchte ich jetzt also meinetwegen drei Bit benutzen,
die sind nicht so häufig,
dafür möchte ich fünf Bit benutzen und dann müsste es
doch eigentlich einen Code geben,
der das leistet
So, und um das jetzt zu untersuchen,
hat der Herr Kraft im Prinzip eine notwendige und hinreichende Bedingung formuliert,
wo man eben sagen kann, ob wir jetzt überhaupt erstmal so ein Code existieren kann.
Und zwar gibt es dazu dann eben diese Kraft- und Gleichung.
Das ist also diese Formel, dass ich eben sage,
wenn ich jetzt ein kuhnäheres Alphabet habe,
also ein Alphabet mit Kuh-Elementen, bei dem,
was wir bisher getrachtet hatten, wer ist ein binäres Alphabet,
also mit genau zwei Elementen,
nicht aber hier ist,
das ist nur der allgemeine Fall,
wo ich jetzt letztendlich Kuh-Symbole zur Verfügung habe
Und mit diesem kunären Alphabet, sage ich jetzt,
also ich habe jetzt bestimmte Codewortlängen und eine bestimmte Anzahl von
Elementen mit diesem Codewortlängen. Dann muss eben gelten,
dass also quasi die Summe über alle Symbole,
die ich jetzt kodiere, von Q hoch der Länge dieser Symbole.
Und davon dann also der Kehrwert,
kleiner gleich 1 ist
So ein Beispiel, da sieht also selbst der anfängliche Informatiker,
dass also hier im Prinzip zum Beispiel sowas wie die Fahne-Bedingungen verletzt ist.
Also ich habe hier einen Code mit diesen vier Codewörtern 1,
0-0, 0-1, unter 1-1.
Wie man also sofort sieht,
der Code kann nicht funktionieren, weil also die Briefix-Bedingungen,
diese 1 ist nämlich Prefix von diesem Wort,
verletzt ist,
nicht gegeben ist
Nach der Kraftungleichung würde man in diesem Fall dann eben auch rechnen.
Ich habe ein Symbol der Länge eins,
also einmal eins durch zwei Hoch eins,
ist ein halb und ich habe drei Symbole der Länge zwei,
also dreimal eins durch zwei Hoch zwei und wenn ich das ausrechne,
lande ich bei 1,25,
was also bekanntlich nun größer als eins ist und demzufolge diese
Kraft- und Leitung verletzt
Gut, wie gesagt, hier sieht man natürlich trivial,
dass dieser Code nicht funktionieren kann.
Wenn ich jetzt aber wirklich einen sehr langen, sehr komplizierten Code habe,
wo ich das also nicht mehr so ad hoc sehe,
kann man also zumindest aufgrund dieser Bedingung schon mal sagen,
dieser Code kann nicht sein.
Oder kann nicht funktionieren. Hier also auch noch mal weitere Beispiele.
Also ich habe jetzt hier in diesem Fall mal ein Alphabet
mit drei Elementen und ich möchte jetzt also sagen,
gibt es einen Code, wo ich also sage,
ein Codewort hat die Länge eins.
Fünf Codewörter haben die Länge zwei und drei
Codewörter sollen die Länge drei haben
Kann es so einen Code geben, kann der funktionieren als Prefix-Code?
Nach der Kraftungleichung eingesetzt, ausgerechnet würde ich dann eben rechnen,
einmal 3 Hoch 1 plus 5 mal 3 Hoch 2 plus 3 mal 3
Hoch 3 ist gleich 1. Kleiner Gleich, ja, kann,
kann passen, also es existiert ein passender Prefix-Code. So,
den kann man jetzt also auch entsprechend über so ein Baumverfahren da nämlich konstruieren,
indem ich dann eben anfange zu sagen,
Welche Elemente kodiere ich mir und also beispielsweise ein möglicher Code wäre dann sowas,
wo ich dann sage eben, einmal die Null, als Element,
so damit ist, nach Prefix-Bedingungen ja schon mal alles ausgeschlossen,
was jetzt weiter mit einer Null anfängt.
Die nächsten Worte müssen jetzt also mit einer Eins anfangen.
Das sollen jetzt also im Prinzip welche mit der Länge 2 werden.
Zweites Element also 0, 1 und 2. So,
damit habe ich also dort jetzt also alles letztendlich erschöpft,
müsste dann also quasi als nächstes hier eine 2 nehmen,
hätte dann eben eins und zwei,
habe damit meine Elemente und jetzt sollen eben noch drei Elemente,
die Länge drei generiert werden und das sind diese drei hier und Dieser Code würde dann eben auch entsprechend erfahrene Bedingungen genügen.
Auch das kann man also rein formal beweisen,
wenn man das also hier quasi jetzt in Form folgende Formeln bzw. Umformungen bringt,
also auch, wie gesagt,
hier will ich eigentlich eher nur so grob die Idee von dem Beweis skizzieren bzw. dann,
um auf diese Grafik verweisen,
weil damit wird dann nämlich eigentlich diese Grundidee von dem Ganzen klar.
Also das, was ich ja mache, ist letztendlich mir ein Codebaum aufzubauen,
wo ich also quasi von jedem Knoten aus Im Prinzip jetzt bei einem QNean Alphabet,
also quasi jetzt Kuh-Elemente darunter stehen habe. So,
und ein Coach, den ich mir jetzt also irgendwie erzeuge,
würde jetzt eben letztendlich immer so aussehen,
dass er also von diesem möglichen Baum,
der hier also aufgespannt wird,
also jetzt also irgendwelche Knoten belegt und Wenn es heißt Prefix-Bedingungen,
das heißt, wenn dieser Code jetzt also hier diesen Knoten an dieser Stelle hier bewegt,
heißt das, entsprechend dieses Wort darf jetzt nicht Prefix eines anderen Wortes sein.
Das heißt also, alles, was hier drunter als möglicher Baum jetzt hängen würde,
an möglichen Blättern, darf nicht mehr verwendet werden. So,
und wie sehen dann also theoretisch also jetzt mögliche Codes aus,
wenn ich jetzt eben sage, ich nehme sowas wie einen Blogcode,
Sprich, die Nährzahlen,
so und so viel Bild
Ja, sorry, ich hatte vorhin eigentlich die Batterien getauscht
und die wurden mich also als die Besseren angezeigt,
aber in dem war also doch nicht so.
Gut, also, angenommen, ich hätte jetzt eben Blockcode,
also sowas wie Willnär zahlen, alle Elemente sind gleich lang.
Das heißt, in diesem Baum,
ich benutze letztendlich nur hier unten
alle Wurzelknoten
Oder, nee, alle Wortsknossien. Alle Blätter,
die jetzt also letztendlich hier unten sind. Das,
was wir jetzt eben bei diesem Prefix-Codes hatten, ist eben,
dass ich dann entsprechend auch mal irgendwelche kürzeren Codes habe.
Und dann würden eben hier die entsprechenden Teilbäume rausfallen. So,
in die Fahnebedingungen umgesetzt, heißt das jetzt eben,
wenn ich jetzt also sage,
ich habe die Länge eines Symbols gleich M und ich habe
dann also irgendwie die Anzahl der Codewörter U einer Länge I, dass man dann eben sagen kann, Fahnebedingungen.
Es muss eben gelten, dass die Summe über alle Symbole von eins durch Kuhhoch LI, das war also quasi das, was hier die Kraftongleichung letztendlich ist. Klar,
das gleiche Eins ist,
das kann ich dann eben entsprechend mir in diesem Baum dann also auch überlegen,
dass ich sage, wenn ich jetzt also nicht über die Symbole iteriere,
also quasi jetzt hier den Index bis S laufen lasse,
sondern also hier mit dem Index J jetzt,
also über die Elemente mit ihren unterschiedlichen Längen laufen lasse,
dass dann eben entsprechend dieser Teil hier gilt und das kann ich dann eben auch wieder entsprechend umformen,
wenn ich jetzt also hier ein,
mal eine oder diese Formel nehmen wir das Ganze dann eben durch Kuch, M,
also quasi dann eben durch die größte Anzahl der Knoten entsprechend teile,
hätte dann dementsprechend diese Formel nicht und daraus kann man dann eben jetzt wieder sich überlegen, was jetzt passiert, wenn ich dann eben ein Element mit einer bestimmten Länge oder mit dieser maximal Länge rausnehme.
Wenn das entspricht, dann eben letztendlich dem,
dass dieser runterliegende Teilbaum oder diese Elemente dann eben rausfallen würden.
Also dass so grob die Idee, also wie gesagt,
man kann sich das eigentlich am besten immer an diesem Bild
von diesem Baum noch so ein bisschen veranschaulichen
Gut, dann machen wir jetzt auch gleich noch ein bisschen
mathematisch weiter. Und zwar jetzt im Stichwort der Informationstheorie.
Also da werde ich jetzt auch erstmal so ein bisschen sagen,
okay, also was ist jetzt ein Begriff von Informationen,
was versteht man da drunter?
Das ist also noch irgendwie relativ einfach und umgangssprachlich.
Dann geht es aber letztendlich auch darum, dass wir sagen,
wie messen wir Informationen? Und das bezieht sich dann eben letztendlich
auch wieder auf diese Eigenschaften von Symbolen, beziehungsweise von Ereignissen,
also wie häufig oder wie selten treten die auf.
Und wenn ich jetzt eben sage,
ein Ereignis ist entsprechend häufiger und es tritt auf,
dann ist das also natürlich jetzt irgendwie keine besondere Überraschung,
wenn es an Vergleichsweise seltenes Ereignis ist und es tritt auf,
dann wäre das das entsprechend eine große Überraschung.
Und um das zu messen, gibt es da dann eben auch entsprechende Maßeinheiten.
Gut, was nehmen wir jetzt als Information? Wir haben
letztendlich mehrere Ereignisse A, die irgendwie zufällig nacheinander eintreten,
mit einer gewissen Auftretenswahrscheinlichkeit. Das heißt,
damit hat man also letztendlich sowas wie ein stochastisches Modell.
Nicht also eine Menge von AI mit jeweiligen Wahrscheinlichkeiten.
Das ist also letztendlich nichts anderes als das, was wir vorher hatten.
Wenn ich also jetzt zum Beispiel sage, deutsche Sprache,
Buchstaben, Häufigkeit, für die und die Zeichen,
genau das wäre dann also letztendlich hier so
ein stohastisches Modell
So, wenn ich jetzt diese Information oder einen Buchstaben übertrage,
kann ich dann eben auch sagen,
wie sieht das dann für die Informationsübertragung aus,
dass also ein Symbol mit einer bestimmten Wahrscheinlichkeit daneben empfangen wird.
Da kann man natürlich erstmal trivial sagen,
wenn ich jetzt also irgendwie bei den Wahrscheinlichkeiten irgendwo
eine Eins habe und überall woanders dann logischerweise eine Null.
Na gut, dann ist natürlich klar,
dass das genau nur dieses eine Symbol empfangen wird.
Das heißt, also da habe ich jetzt in dem Sinne
keinen Informationsgewinn. Das heißt also, das,
was jetzt hier als Informationsgewinn oder als Überraschung bezeichnet ist,
kann man sich dann eben schon mal grob überlegen,
ist eigentlich, umso größer, je kleiner die Wahrscheinlichkeit ist.
Das ist also genau das, was ich gesagt habe,
nicht, also ich spiele Lotto, die Wahrscheinlichkeit,
dass ich da also irgendwie sieben Richtige habe,
ist also entsprechend sehr, sehr klein,
wenn genau dieses Ereignis eintritt, ist die Überraschung sehr groß.
Wenn ich jetzt weiß, als quasi Gegenereignis ich gewinne nicht.
Naja gut, das ist leider relativ wahrscheinlich und Überraschung,
dass ich nicht gewinne, hinterher sehr klein. Das heißt also,
wenn ich jetzt irgendwie ein Maß für meine Information haben möchte,
kann man sich also schon mal merken,
dass ergibt sich quasi irgendwo aus dem Kehrwert der Auftretenswahrscheinlichkeit.
Beziehungsweise also die E-Kleiner, die Auftretenswahrscheinlichkeit ist,
umso größer ist eben letztendlich der Informationsgehalt.
So muss man
das vielleicht sehen
Gut, dann, wie sieht das jetzt mit voneinander unabhängigen Ereignissen,
die jetzt aber quasi nah aneinander stattfinden aus, das ist auch da,
Stochastik, Schuhmathematik hat man also irgendwann mal gelernt,
gab es ja also letztendlich die Sache,
dass also dann für die Wahrscheinlichkeiten letztendlich die Auftretenswahrscheinlichkeit des Ereignisses erst tritt A ein,
dann tritt B ein,
die sind unabhängig voneinander und ich betrachte jetzt aber,
was ist mit eben genau dieser Reihenfolge,
dass sich einfach berechnet durch die Wahrscheinlichkeit, das A-Eintritt mal,
der Wahrscheinlichkeit von B. Gut,
aus der Folie zuvor hatte ich ja schon so ein bisschen abgeleitet.
Die Überraschung wird umso größer in kleiner P ist.
Jetzt kann ich natürlich sagen, na gut,
als Maß für die Information und Informationsgewinn,
nehme ich also jetzt den Kehrwert von der Wahrscheinlichkeit,
also eins durch P und habe damit also irgendwie eine Größe,
mit der ich so rechnen kann.
Ein Nachteil bei dem Ganzen ist jetzt aber,
dass wenn ich jetzt eben Nicht nur zwei oder überhaupt mehr Ereignisse betrachte,
dass dann also letztendlich dieser Gesamtinformationsgehalt sicher hier quasi dann immer irgendwie über das Produkt berechnet.
Und wir sind ja alle immer faul. Multiplikation ist das
immer schon mal prinzipiell ein bisschen schwieriger zu berechnen,
als jetzt Addition oder Subtraktion. Deswegen wäre es eben ganz nett,
weil man eigentlich eine Größe hat oder eben irgendwas,
wo man dann rechnen kann,
wo ich addiere oder addieren kann
Dazu macht man dann eben folgenden Trick,
dass man also quasi als Maß für die Informationen eben jetzt
nicht eins durch P nimmt, sondern den Logarhythmus von eins durch P.
Weil dann kann ich ihn in diesem Fall, nämlich statt Multiplikation,
eine Addition verwenden. So, Logarhythmus hat man immer gerne verdrängt.
Was war das noch? Ist letztendlich die Umkehrfunktionsexponentialfunktion. Das heißt,
wenn ich Für zwei Zahlen A und B eben sage,
Logarithmus wäre dann quasi die Lösung dieser Gleichung,
nämlich B hoch X ist gleich A. Das heißt also,
womit muss ich, wie jetzt also hier als Potenz,
berechnen, damit A rauskommt.
Und dass es dann eben letztendlich diese Zahl,
also Logarorhythmus von A zur Basis B. Rein praktisch mit Zahlen,
die man also auch noch irgendwie einigermaßen nachvollziehen kann.
Logarhythmus von 8 zur Basis 2 wäre 3,
weil gilt 2 hoch 3 ist gleich
So, und die Rechenregeln sind dann eben,
wenn ich jetzt also hier den Logarithmus von irgendwas nehme und das letztendlich multipliziere,
kann ich dann eben auch die einzelnen Teiltherme nehmen und addieren.
Logarithmus und Exponentialfunktion löschen sich gegenseitig dann aus.
Dann hinsichtig der Basis von dem Logarithmus, kann ich jetzt
eben auch sagen, Logarithmus von X zur Basis B,
kann ich eben ersetzen durch Logarithmus von X zu irgendeiner beliebigen anderen gewählten Basis A,
geteilt durch Lugarithmus von B zu dieser anderen Basis A.
Und was man da immer ganz gerne macht, ist,
dass man dann also quasi einen natürlichen Lugarithmus dann immer nimmt. Das heißt,
wenn ich also hier sowas berechnen möchte und ich also jetzt irgendwie auf meinem Taschenrechner irgendwie suche,
die Funktion Logarithmus zur Basis 2 und sie dann also eine höchstwahrscheinlich nicht finden werde,
kann man eben stattdessen dann eben rechnen,
Lugarithmus von X oder Lugarithmus Naturalis von X geteilte Lugarithmus Naturalis von 2,
beziehungsweise ungefähr,
wenn ich das jetzt also hier irgendwie als so einen Wert angebe,
kann man das
dann also
dadurch ersetzen
Gut, also das zum Logarithmus und den Rechenregeln.
Hier auch nur noch mal als Erinnerung, sogenannter Binia-Logarithmus,
entspricht im Großen und Ganzen dem,
wie wir eigentlich schon bei der Zahlenberechnung oder vorgegangen sind,
wenn wir gesagt haben,
wir möchten von einer Zahl die Nachkommastellen berechnen,
dann ist das eigentlich relativ ähnlich zu diesem Verfahren
Also binärer Logarhythmus kann man also sagen,
wenn ich jetzt also die Zahl nehme,
die ihr überhaupt erst mal skaliere im Zahlenbereich zwischen 1 und 2,
nicht dann gilt nämlich,
dass der Logarhythmus dual ist von dieser Zahl letztendlich nichts anderes ist,
als die Nachkommastellen, als Vorkomma hätte ich dann eine Null dieser Zahl in Binärdarstellung.
Nicht, weil letztendlich dann also außer so einem Formel
sich dann also quasi da das Ganze ergibt.
Und wie gesagt, berechnen war ja dann immer dass ich
dann quasi hier entsprechend jetzt über meine Stellen dann durchiterriere.
Zahlen nehme, in diesem Fall dann eben potenziere,
gucke, ist das Ergebnis größer als zwei.
Wenn ja, wird es durch zwei geteilt und das entsprechende Bit gesetzt.
Wenn nicht, wird das Bit entsprechend nicht gesetzt.
Also so kann man dann eben auch sehr schnell einen binären Algorithmus ausrechnen.
Gut, aber kommen wir jetzt wieder zu dem Thema
des Informationsgehalts oder beziehungsweise der Definition von Informationen
wieder zurück
Also ich habe jetzt mein Ereignisse, ich habe die Wahrscheinlichkeiten P von diesem Ereignis.
Und dann gilt eben quasi per Definition der Informationsgehalt von diesem Ereignis,
wäre dann eben eins durch PI und davon dann eben den Loghythmus zur Basis
2. Das ist also nach Definition der Informationsgehalt bzw. die Informationen oder auch Entscheidungsgehalte,
also je nachdem, wo man das jetzt also findet,
wird das mal sowas so genannt, von dem Ganzen.
Häufig findet man dann also auch immer diese Formen,
ich weiß auch, das ist ja einfache Rechenregeln beim Lokalrhythmus,
statt eins durch PI, kann ich sagen,
PI hoch minus eins, das Minus wird dann letztendlich vorgezogen,
dann kann man dann eben auch entsprechend sagen,
minus Lokalrhythmus zwei von PI.
Gut, in den Formeln habe ich das dann meistens
immer mit dieser Division,
also eins durch irgendwas geschrieben
So, und mit dieser Definition von Informationen bzw. Informationsgehalt funktioniert dann nämlich,
dass ich sage, okay, was passiert ist,
wenn ich also zwei Nachrichten A und B erhalte,
nämlich also erst A und dann B,
dass dann eben hier auch gilt,
für dieses Gesamtereignis, eins durch PR,
Mal-PB, gerade von der Logorithmus,
berechnet sich dann eben Logorithmus von A als durch PR Plus,
Logorithmus von Luga musste über das Zweifeln A als durch PB,
das heißt also,
ich nehme dann eben die einzelnen Thermen und kann die
dann eben entsprechend einfach nur addieren
So, und das, was wir damit definiert haben,
ist die Einheit des Bit. Dazu eben nochmal hier die
Anmerkung zu dem hier unten. Also Bit ist in Informatik,
also nicht nur in der OE, sondern also auch sonst allgegenwärtig.
Zum einen dient es eben, wie jetzt hier definiert,
als Markt von Informationsgehalt, also wirklich eine Maßeinheit.
Häufig ist es dann natürlich sowas wie die Anzahl der Binärstellen.
Nicht, wenn ich sage, ein 32-Bit-Wort oder eine 64-Bit-Zahl,
dass ich eben sage, wie viele Binärstellen das sind.
Und was man natürlich dann auch hat einfach,
also quasi als Synonymen für die jeweiligen Symbole, 0 und 1,
quasi die Binärzeichen, wie das also in dem vorvorigen Kapitel,
also auch schon definiert worden ist.
Gut, nehmen wir jetzt also hier ein Beispiel angenommen,
ich habe jetzt eben die beiden Symbole,
0 und 1, die sind beide gleich wahrscheinlich,
das heißt die Wahrscheinlichkeit von der Null ist einhalb,
die Wahrscheinlichkeit von der 1
ist einhalb
Jetzt empfange ich ein Zeichen, entweder eine Null oder eine Eins,
was auch immer. Wie groß ist dann der Informationsgehalt?
Und wenn ich das jetzt also einfach in die Formel einsetze,
nicht da wäre das eben eins durch eineinhalb, davon Logarhythmus zur Basis
2. Und das ist also in diesem Fall dann natürlich genau eins.
Das heißt, wenn ich ein Binärzeichen empfange, ist der Informationsgehalt genau ein Bit.
Liest jetzt also irgendwie so ein bisschen blöd,
eigentlich ist eben nur die Sache,
dass ich einmal eben Das Bild jetzt eben nicht als Maß nehme und einmal eben natürlich sage,
Anzahl der Binärzeichen, in diesem Fall ist eben genau ein Einsieg ist,
was ich empfangen habe.
Gut, also das ist in dem Fall jetzt natürlich nicht so der richtig interessante Fall,
sondern interessante Fall kommt jetzt eben jetzt, wenn ich eben Symbole habe,
die unterschiedliche Wahrscheinlichkeiten haben und ich damit was messe,
beziehungsweise wenn ich mir dann diese Einheit Bit nehme,
um damit also um bestimmte Eigenschaften meiner Datenübertragung beziehungsweise meiner Datenkodierung dann auch auszudrücken.
Das, was wir also, denke ich mal,
dann heute auch alles noch kennenlernen werden. Gut, generell
noch mal so ein bisschen zu dem Begriff der Information.
Das war eigentlich das, was ich also angangs auch schon ein bisschen gesagt habe.
Nicht also Schlüsselworte hier, Ungewissheit in Überraschung, Information.
Also all das sind eigentlich jetzt irgendwelche Sachen,
die man also quasi zum Bit messen könnte
Nee, und Umwärtsspanik kann man jetzt eben sagen,
also vor dem Empfang der Nachricht bin ich jetzt mit dem Ungewissen.
Ich war am Empfang, erhalte ich Informationen, ja,
das ist dann eben die Überraschung und das Ganze
ist dann eben letztendlich der Informationsgewinn,
den ich dann eben irgendwie in Bit messen kann
Wie gesagt, rein praktisch wird das bei uns dann eben häufig,
oder typischerweise in der Kodierungstheorie, beziehungsweise eben auch teilweise in der Nachrichtentechnik,
also in Bezug auf die Übertragung von Daten verwendet.
Auch dazu folgen dann noch so ein bisschen Beispiele. Gut,
ja, auch nochmal am Beispiel jetzt, dass es so Informationsgehalt,
also ich hatte jetzt eben das Beispiel mit dem Lotto-Schein,
anderes Beispiel,
Meteorit,
die Wahrscheinlichkeit an einem Tag von einem Meteor getroffen zu werden sei,
also irgendwie 10 hoch minus
Sprich, es ist vergleichsweise sehr unwahrscheinlich. Dann kann ich jetzt sagen,
wie groß ist letztendlich die Überraschung, wenn dieser Fall nicht eintritt.
Das heißt also, ich habe jetzt die Nachricht, ich wurde nicht vom Meteor erschlagen.
Und in dem Fall kann man dann eben sagen,
der Informationsgehalt dieser Nachricht, ich wurde nicht vom Meteor erschlagen,
ist eben sehr, sehr klein mit dem,
was ich eben an Formeln vorgestellt habe,
kann ich das jetzt eben auch Einfach rein mathematisch ausrechnen.
Und zwar hier stumpf in die Formel eingesetzt. Also die
Wahrscheinlichkeit vom Multio erschlagen zu werden, ist 10 und minus 16. Die Wahrscheinlichkeit,
nicht vom Milieu erschlagen zu werden, ist also eins,
minus 10 und minus 16. Davon dann eben den Kehrwert,
das wäre dann also quasi dann entsprechend eins durch diese Wahrscheinlichkeit,
davon Lugorithmus dual ist, landet man dann also irgendwie so bei ungefähr 300,2 mal 10 und minus 16.
Das wäre dann also letztendlich der Informationsgehalt dieser Nachricht.
Ich wurde nicht vom Meteor erschlagen
Das Gegenbeispiel davon wäre jetzt, was,
also in dieser Feuer nun nicht eingetreten ist,
wie groß die Überraschung wäre, davon abgesehen,
dass man von der Überraschung relativ wenig hat,
wie groß die Überraschung wäre,
dass man vom Meteor erschlagen wird und rein formelmäßig,
kann man eben sagen, landet man da dann nebenbei 53,15 Bit,
ich in diesem Fall daneben zu rechnen,
eins durch 10 und minus 16 und davon dann eben Lucarith
musst du
alles bilden
Gut, bleiben wir bei Handhabbaren, Größen anderen Beispielen.
Wir haben jetzt also keine gezinkten Würfel,
Würfeln und wie groß ist die Wahrscheinlichkeit, beziehungsweise der Informationsgehalt,
also dass jetzt also eine Sechs gewürfelt wird.
Gut, die Wahrscheinlichkeit sei es eben ein Sechstel und
auch hier einfach stumpf in die Formel eingesetzt,
eins durch ein Sechstel,
da von Luca Rhythmus Duales wäre dann
Was im Fall eines nicht gezinkten Würfels dann eben auch für
alle anderen Zahlen letztendlich genauso zutreffen würde. Ja,
hier jetzt nochmal ein anderes Beispiel,
wobei man da dann eben auch schon wieder so ein bisschen sagen kann,
mit dem Informationsgehalt hat man dann immer, sagen wir mal,
so ein bisschen so seine Türken hinsichtlich der Definition,
was sich dann also teilweise so aus dem Kontext gibt.
Also wir haben Bücher? Einmal, also jetzt einen ganz normalen deutschen Text,
das andere Mal ist das irgendwie Buchstabensalat per Zufallszahlengenerator erzeugt.
So, und wie groß ist es in beiden Fällen
ein Informationsgehalt? Und das kann man sagen,
also im deutschen Text habe ich natürlich irgendwo Kontext wissen,
weil ich also irgendwie so ungefähr die Syntax kenne.
Und jetzt, also in der Historie zum Beispiel,
empfangen habe Anzeichen, der Begriff, dann wird also höchstwahrscheinlich
Ein zweites F als nächstes Symbol relativ wahrscheinlich sein. Das heißt,
da wäre dann in dem Fall der Informationsgehalt relativ gering. So,
und da muss man jetzt eben sagen, das sind einfach die Sachen,
wo ich jetzt eben auch wieder so ein bisschen unterscheiden muss von dem,
was eigentlich mathematisch passiert,
wo ich jetzt eben zum Beispiel dieses Kontextwissen nicht habe.
Und dem, was sich jetzt also dadurch ergibt,
dass ich jetzt hier so auf einmal
So eine Folge von Zeichen betrachte. Hier auch nochmal als Hinweis an,
wie gesagt, beim Zufallstext lief natürlich jedes nur Symbol,
die gleiche identische Information, nicht die es zuvor gern hält,
der Zufallstext, die größtmögliche Information, was natürlich Blödsinn ist.
Also wenn ich also irgendwie ein Buch habe,
dann kann ich damit was anfangen, wenn da so irgendwie ein Buchstabensalat ist.
Natürlich nicht. Also das nur nochmal so als Hintergrund,
man muss da eben auch so ein bisschen sehen.
Also zum einen habe ich jetzt Nachrichtentechnische beziehungsweise Informationstechnische Definition, mit denen ich rechne.
Zum anderen habe ich jetzt natürlich also irgendwie dieses Kontextwissen,
also sag mal jetzt im Alltag, wo man dann auch sagen kann,
ist dieses mathematische Modell darauf überhaupt anwendbar.
Und wie gesagt, also bei diesem Buchbeispiel sieht man,
das haut dann also nicht so richtig hin.
Die Idee mit dem Kontextwissen wird übrigens auch verwendet,
wenn ich jetzt sage, ich hatte also am Anfang dieser Vorlesung
quasi sowas wie So war es hier, so ein Codebaum aufgelegt.
Also zeichne deutsche Sprache und dann eben zum Beispiel, also irgendwie nach Hafenland codiert.
Wenn man jetzt also wirklich effiziente Codierungen machen will,
ist es eben zum Beispiel auch wieder deutlich besser zu sagen,
ich nehme jetzt nicht einzelne Buchstaben, sondern ich nehme Duplets oder Triebplätze,
das heißt zwei oder drei Zeichen, weil ich zum Beispiel sagen kann,
dass im Deutschen sowas wie Paar relativ häufig in Verbindung mit dem C davor auftritt.
Also ein C-H oder ein SCH, das heißt,
dadurch kriegt man über diese entsprechenden Häufigkeiten, die ich dann da widerschlagen,
dann eben auch wieder deutlich effizientere Kodierung als sowas hin.
Und wie gesagt, das ist dann etwas,
was dann eben eigentlich auch so ein bisschen dann eben so in diese Richtung geht,
wo dann also letztendlich über größere Wortgruppen entsprechende Häufigkeiten gebildet werden.
Gut, ja, hier auch nochmal,
wenn ich jetzt einen einzelnen Buchstaben nehme und angenommen die Wahrscheinlichkeiten Text an einer bestimmten Stelle dass dem Buchstaben A zu erhalten,
ich kann euch das jetzt wieder in diese Tabelle zurückgucken,
findet da so irgendwie sowas wie Auftretenswahrscheinlichkeiten 0,01,
nicht der Informationsgehalt von dem Zeichen A,
wäre dann eben eins durch 0,901, also in diesem Fall 6,6439.
So, und wenn ich diese Kodierung jetzt mit diesen 6,6439,
was jetzt also quasi der Informationsgehalt ist,
nehme und vergleiche,
wie sieht das jetzt mit den
wirklich benutzten Kodierungen oder Repräsentationen aus
Exciting, so was wie ein Asky-Code, 7-Bit,
sah das so was wie ein ISO88859 oder OTF8,
wo ich dann also jeweils 8-Bit benutze, dann sieht man eben,
dass ich quasi je mehr Bits für die Informationsübertragung verwende,
als der zugehörige Informationsgehalt von diesem Zeichen eigentlich ist.
Nicht, das wird uns dann also gleich noch bei dem Begriff der Redundanz mit begegnen,
wo man dann nämlich also diesen Unterschied zwischen dem Informationsgehalt,
der sich jetzt wirklich rein aus dem stochastischen Modell ergibt und einer gewählten Kodierung letztendlich miteinander vergleicht.
Gut, dann hatte ich jetzt also nach dem bisherigen Definition ja immer nur gesagt,
also was ist also der Definitionsgehalt eines einzelnen Zeichnens oder Ereignisses,
nämlich entsprechend dieser Formel, nicht also eins durch PI und davon Logonatmostuales.
Wenn ich jetzt also insgesamt eine Kodierung nehme und betrachten möchte,
Dann geht es ja darum, dass ich sage,
was wäre daneben, beispielsweise ist es wirklich sowas wie die durchschnittliche Information,
die ich erhalte, wenn ich jetzt eben ein Zeichen dieser Kodierung empfange.
Und diese Durchschnittliche Informationen, das ist eben das,
was man als mittleren Informationsgehalt oder als Entropie bezeichnen würde. Wie gesagt,
ich habe meine möglichen Ereignisse in einer Menge à la AI mit den Zugehörigen Wahrscheinlichkeiten,
da ich quasi Immer eins von diesen möglichen AI erhalten,
muss dann eben logischerweise gelten,
dass die Gesamtsumme der Wahrscheinlichkeiten irgendwo ja auch eins ergibt.
So, und das, was dann eben die Entropie ist,
also sprich der Erwartungswert oder der mittlere Informationsgehalt eines Zeichens,
würde sich dann eben berechnen als die Summe über alle Zeichen Einzelwahrscheinlichkeit,
mal Informationsgehalt dieses Zeichens.
Und das ist dann eben vornemäßig das, was er als
Entopie bzw. da dann eben als Hadern immer dargestellt wird.
So, Summe, Auftreten ist Wahrscheinlichkeit ein Zeichen, mal dem Informationsgehalt.
Das wird hier einfach formelmäßig eingesetzt. Demzufolge ergibt sich dann
eben für die Entopie, also sprich den Erwartungswert,
wenn ich jetzt also eins sage, eines kurz bekomme,
entsprechend diese Formel Fehler in dieser Schreibweise oder mit dem.
Oder mit dem entsprechenden Minus dann, also da vorgezogen.
So diese Entropie, das ist eben letztendlich eine Eigenschaft,
dieses stochastischen Modells. Also das ist das,
was jetzt also hier eigentlich erstmal nur klar werden soll.
Gut, Beispiele dazu. Angenommen,
wir haben jetzt also drei mögliche Ereignisse mit den Wahrscheinlichkeiten,
ein halb,
ein Drittel und ein Sechstel
Die Entropie würde sich dann eben einfach stumpf in die Formel eingesetzt berechnen,
minus anhalb Malegorithmus, duales von eineinhalb plus ein Drittel Malegorithmus,
duales von ein Drittel plus ein Sechstel,
mal dem Informationsgehalt von diesem Zeichen ausgerechnet,
landet man Namen bei 1,4591 und irgendwie ein bisschen weiter.
So, wenn ich jetzt Als zweites Beispiel nehme,
ich nehme eine Binärstelle. Das heißt, wie gesagt,
eine der beiden Binärzahlen 0 oder 1. Und ich habe eben
für das eine Zeichen eine bestimmte Wahrscheinlichkeit,
Q für das andere zeigen, die Wahrscheinlichkeit 1, Minuskuh.
Was passiert, wenn beide gleich wahrscheinlich sind?
Nicht dann ist also quasi die Entopie genau
Sprich, ein Bild, nicht auch da kann man jetzt sagen,
na gut, also aufgrund dieses stohahastischen Modells ist eben der mittlere Informationsgehalt,
wenn ich ein Zeichen empfange, ein Bett.
So was passiert, wenn diese Zeichen jetzt nicht gleich wahrscheinlich sind,
dann sieht man eben einfach formelmäßig, also quasi ausgerechnet,
das war jetzt hier beispielsweise in diesem Fall die Wahrscheinlichkeit der Null,
mit 0,5 angenommen,
nicht dann habe ich also hier eben entsprechend den die maximale Entropie mit Heimbit.
Wenn die Null jetzt also weniger häufig auftaucht und meinetwegen jetzt
also irgendwie nur 10 Prozent Null sind und 90 Prozent Einsen,
wäre, kann man dann eben einfach in die Formel einsetzen,
ausrechnen, die Entropie in diesem Fall dann also irgendwas im Bereich von 0,48 oder so.
So, das heißt, wenn ich Symbole habe,
Oder Symbolmengen, wo jetzt alle Zeichen letztendlich möglichst gleich wahrscheinlich sind.
Das ist also das, was man hier eigentlich nur auslesen kann.
Dann wird letztendlich auch die Entropie maximal. Also in diesem Beispiel
mit den beiden Zeichen 0 und 1, jeweils mit 0,5 Wahrscheinlichkeit,
hätte ich dann eben als Informationskalt für ein Zeichen genau ein Bit.
Wenn ich beispielsweise sage,
ich habe jetzt also irgendwie 8 Bit, 256 Symbole,
die sind alle gleich wahrscheinlich,
setze das also hier entsprechend in die Formel ein
Erhalte ich dann eben auch genau als Entropie,
in diesem Fall 8-Bit. Wenn ich jetzt aber Zeichen habe,
die häufiger, beziehungsweise wahrscheinlicher sind als andere,
würde ich dann eben hier entsprechend Werte kleiner als 8 mitbekommen.
Eine Frage. Was war das gemeint? Zwei Leibzeit,
die große Mahlzeit im Leben,
am Anfang
Du weißt. Also die Frage war jetzt,
also ob das jetzt auch mit dieser Idee der Fahno-Kudierung korrelierte,
wo man ja also im Prinzip dann auch diese Kodierbäume aufbaut.
Kann ich sagen, wird gleich auf die nächsten Folien dann korrelieren. Also das,
was eigentlich wichtig ist und das,
was sie ja auch erstmal nur mitnehmen sollen,
also deswegen reite ich eben mal auf stochastischen Modellen rum,
als Begriff, ist jetzt wirklich, dass man sagt,
also das, worüber wir hier jetzt reden,
Informationsgehalt in Bit und Entropie ergibt sich jetzt wirklich nur aus der Stochastik.
Das heißt also, wie häufig sind welche Symbole und ja,
beziehungsweise wie viele Symbole gibt es und wie häufig sind deren Wahrscheinlichkeiten.
Also hier habe ich jetzt noch gar nichts reingebracht,
wie ich die Dinger nachher kodiere. Und das ist immer so das,
wo man jetzt natürlich sagt, okay,
wenn ich jetzt hier mit Zahn oder mit einzelnen Bits ankomme,
natürlich kodiere ich die auch als 0 und 1.
Und wenn ich also hier sage,
ich habe also irgendwie 256 Symbole,
dann würde ich ja auch erstmal sagen,
ja gut,
die kann ich natürlich mit 8 Bit
einfach irgendwie binär durchzählen
Hätte eine 8-Bit-Kodierung und hätte dann also irgendwie meinen Code. Das ist dann aber etwas,
wo es dann nachher um das Thema Redundanz geht,
nämlich also Entropie,
abhängig jetzt von den Wahrscheinlichkeiten,
da einzelne Symbole und auf der anderen Seite habe ich dann meine Kodierung,
die jetzt entweder besonders gut oder besonders schlecht sein kann,
die dann eben irgendwie relativ stark von dieser Entropie abweicht und je kleiner diese Abweichung ist,
umso besser ist dann letztendlich der Code.
Und das ergibt sich dann eben nach der Art und Weise,
wie ich den Code generiert habe,
ob ich das jetzt über so einen Codebaum gemacht habe oder
ob ich die einfach nur alle irgendwie durchgezählt habe und
durchnummeriert habe
Gut, bleiben wir aber jetzt hier bei der Entropie,
also hier so einige Eigenschaften. Das ist natürlich auch erstmal
so ein bisschen mathematischer beschrieben, was sich dahinter verbirgt.
Ist aber eigentlich auch relativ stark selbsterklärend. Also die Entropie ist
maximal für N-Elemente, wenn die Wahrscheinlichkeit der Einzelnen zeichnen,
jeweils eins durch Ende ist, also sprich alle Zeichen gleich wahrscheinlich sind.
Das ist also genau das, was ich eben in den beiden Beispielen ja schon gesagt habe. So,
die Entropie ist quasi symmetrisch, das heißt,
wenn ich hier die Endropie jetzt von irgendeinem Zeichen habe und deren Wahrscheinlichkeiten,
dann ist das eben genau das Gleiche oder wird dann eben den gleichen Wert ergeben,
wenn ich jetzt hier irgendeine beliebige Permutation dieser Wahrscheinlichkeiten anwende.
Also auch das ist klar, wenn ich jetzt sage,
ich habe irgendwie fünf Zeichen und das erste hat eine große Wahrscheinlichkeiten,
das fünfte hat eine kleine und ich habe jetzt eine Permutation,
wo ich das quasi umtausche, wo also das erste jetzt,
also die den entsprechenden Zahlenwert hat und das mit der Wahrscheinlichkeit von dem fünften Zeichen austausche
In dieser Formel, wo ich das dann ja quasi über alle aufsummiere,
gleicht sich das logischerweise aus, dem zuvor gilt,
dort dann eben entsprechend also dieser Satz. So,
wenn ich jetzt, also hier, irgendwie sowas habe,
Entropie ist eben ein Wert, größer, gleiche Null,
Null wird die Entropie eben genau dann,
wenn ich jetzt hier bei meinen Zeichen, also eigentlich nur ein einziges,
die Wahrscheinlichkeit 1 hat alle anderen die Wahrscheinlichkeit, null.
Also auch das ist wieder jetzt ein rein mathematisches Modell.
Also sprich, es wäre ein Zeichen oder Informationen übertragen.
Und ich weiß genau, es kommt immer nur genau diese eine einzige Information an.
Ja gut, dann ist also irgendwie die Überraschung dabei,
also gelinde gesagt, dann auch gleich null.
Gut, dann, wenn ein Zeichen eine Wahrscheinlichkeit null hat,
dann kann ich das also auch weglassen.
Also auch das. Und da wird er intropieren,
hat sich nicht. Nicht als auch das kann man eigentlich
direkt jetzt aus dem mathematischen Ausdruck auch ablesen,
dass das entsprechend gilt
Hier würde jetzt eben gelten,
also hinsichtlich der Anzahl der Zeichen,
das ist also quasi die Entropie mit der Anzahl der Zeichen,
wenn ich jetzt also statt NN plus ein Zeichen habe,
entsprechend immer größer werden würde.
Ja, das geben zufolge dann also quasi haben stetig mit den Argumenten.
Hier ist und aufgrund der Berechnungsvorschrift mit dem Logorithmus gilt eben
quasi diese Additivität,
dass ich das dann eben auch entsprechend in solche Stadtmultiplikationen dann
eben bei den Wahrscheinlichkeiten
solche Teilsummen zerlegen kann
Gut, jetzt waren wir also bislang
immer bei der Auftretenswahrscheinlichkeiten von Zeichen, also sprich Stochastik.
Entschuldigung. Ja. Infos, was soll das sein?
Können wir jetzt sagen? Ja, wobei gut,
also mit dem Null macht dann wieder nur bedingt Sinn.
In dem Fall, also ja, also eigentlich ja,
von der Mathematik her, aber Im Prinzip,
wenn ich hier natürlich jetzt also für eine Zahl irgendwie null ansetze,
muss ich zugeben, habe ich also nicht mal diesen Fall.
Das ist dann also eigentlich gar kein stochhastisches Modell,
weil ich da gar keine Informationsübertragung habe und gar keine Zeichen irgendwie vorhanden sind.
Also von daher muss man auch sagen, okay,
also das sollte ich vielleicht also auch nochmal
irgendwie fürs nächste Mal überarbeiten
Gut, wie gesagt, das war jetzt eigentlich die Mathematik,
die sich also jetzt also aufgrund der Häufigkeiten,
beziehungsweise eben dieser Verteilung von irgendwelchen Symbolen ergibt.
Uns interessiert jetzt natürlich die Sache, okay, ich habe ein technisches System,
ich möchte irgendwelche Informationen übertragen, um diese Informationen zu übertragen,
kodiere ich sie und wie gut oder wie schlecht ist dieser Code.
Und das ist jetzt erstmal etwas,
was Die gleichen Maßeinheiten hat, ähnliche Formeln hat,
was aber eigentlich jetzt eben auf die Art der Kodierung zurückgeht.
Also genau das, was ich ja eben schon so ein bisschen
zu dieser Frage auch gesagt hatte, hinsichtlich dieser Unterschiede,
die da dann mitramse. So, und das,
was er da also schon kennengelernt haben, ist also quasi die,
den Begriff der mittleren Kotwortlänge bzw. das,
was man dann also quasi immer beschreiben kann als möglichen Informationsgehalt.
Formel sieht eben so aus, dass man sagt, was mache ich?
Ich habe meine Auftretenswahrscheinlichkeit PI. Ich habe zur Kodierung
ein konäres Alphabet. Bei uns typischerweise ist Q-Like 2,
also ein wie näheres Alphabet. Und ich habe meine Codes
einer bestimmten Codewortlänge für die jeweiligen Zeichen. So,
und wenn ich jetzt eben quasi die Kodierung eines Zeichens nehme,
mit so und so viel Stellen aus meinem Kunde an Alphabet.
Davon Logaratmostualis bilde und das mit dessen Auftretenswahrscheinlichkeiten multipliziere,
das über alle Zeichen mache, beziehungsweise dann eben aufsummiere,
habe ich dann eben quasi die mittlere Kotwortlänge beziehungsweise dann eben den möglichen Informationsgehalt.
Und das ergibt sich jetzt eben oder geht dann eben,
wie man ja auch in der Definition ansieht,
eben auf die Kodierung zurück und nicht auf das,
was sie sich jetzt also nur aus der Stahastik ergibt
Gut, für Binärcodes habe ich jetzt also Logarhythmus Duales und hier als Basis 2,
also kann ich da natürlich relativ einfach sagen,
das ist einfach die Länge eines Zeichens für meine Codierung,
mal dessen Auftretenswahrscheinlichkeit, das wird über alle Zeichen aufsummiert.
Denn das wäre dann der mögliche Informationsgehalt. So,
wie sieht das bei Blogcodes aus? Das heißt,
alle Worte haben die Wortlänge N und ich habe auch genau Nee,
habe dann eben auch entsprechend zwei Hoch-End-Worte.
Da gilt dann eben auch logischerweise, wenn man das jetzt ausrechnen würde,
dass der mögliche Informationsgehalt dann eben gleich en ist.
Also auch da ist wieder so eine Sache, naja gut,
also ich habe irgendwie einen Block-Code Match, 32 Bit,
also beispielsweise Kodierung von Integer-Zahlen als Beispiel und Wie groß ist der Informationsgrad oder der mögliche Informationsgrad,
wenn ich eine Zahl bekomme?
Nicht in diesem Fall dann eben genau 32 Bit auch.
So, und damit kommen wir jetzt zu dem Begriff der Redundanz.
Und das ist eben genau das, was ich ihm auch schon gesagt habe.
Der Unterschied zwischen der implementierten Codierung und dem,
was also aufgrund der Stohastik bzw. dem Modell dort als Informationsgehalt möglich ist.
Das heißt, die Redundanz R wäre dann eben definiert,
als die Differenz zwischen dem möglichen Informationsgehalt und der Entopie. Ja,
das eben Formel für die Redundanz teilweise wird dann also auch immer noch mit der relativen Redundanz gerechnet,
wo ich das Ganze quasi nehme und dann eben noch also
hier mit dem möglichen Informationen oder durch den möglichen Informationsgehalt teile,
sodass man da dann also quasi dann,
also nachher dann auch bei Werten zwischen 0 und 1 landet.
Gut, für binäre Blockcodes mit Wortlänge N kann man jetzt eben letztendlich folgendes rechnen,
dass ich dann eben sage, wie groß ist die Redundanz?
Einfach formelmäßig, Hanuel mittlerweile Informationsgehalten, wie eines der Entropie.
Also H0-. Hier entsprechend jetzt also die Formel für die Entropie zu nehmen.
Bei einem binären Blockcode ist der mögliche Informationsgehalt Enbit.
Also dem zuvor in plus diesem Ausdruck wäre dann eben
quasi die Redundanz, die sich dort ergibt.
Gut, das zu den Definitionen. Wofür braucht man das jetzt?
Da hatte ich ja als Beispiel immer gesagt, beziehungsweise überhaupt,
wie sind wir also auf diese Sachen mit der ganzen Kodierung gekommen?
Da habe ich ja gesagt, wir möchten Nachrichten oder Informationen übertragen.
Bei der Übertragung habe ich ja eben typischerweise dieses Modell,
was ich also hier auch schon mal aufgelegt hatte,
von so einem Übertragungskanal, das heißt,
ich habe irgendwo meine Information, die wird irgendwo kodiert,
kommt in den Übertragungskanal, wird irgendwo empfangen,
dekodiert und der Empfänger gewinnt da draußen,
also auch auf,
oder hat dann danach hoffentlich auch einen Informationsgewinn
Sondern der Übertragungskanal kann dann eben entsprechend irgendwie gestört sein.
Das heißt, dort können irgendwelche Fehler auftreten. So,
gerade jetzt bei der Nachrichtentechnik spricht man daran eben immer von der Kanalkapazität,
wo letztendlich für diesen Übertragungskanal dann eben auch irgendwelche mathematischen,
beziehungsweise eben auch solche stochassischen Modelle erstellt werden können.
Wie wahrscheinlich sind jetzt eben solche oder das Auftreten von Fehlern.
Und dazu kann man dann eben bestimmen, was letztendlich die Kanalkapazität ist.
Das heißt also für ein gegebenes Übertragungsmedium, ich sah das jetzt,
also wenn ich jetzt hier also irgendwie jetzt das WLAN untersuchen würde oder wenn ich das also jetzt hier irgendwie Kabel gebunden,
also irgendwie mit dem und der Leitung und dem und dem Protokoll mache,
kam man eben jetzt,
also das ganze nachrichtentechnisch dann quasi untersuchen und sagen, okay,
also da habe ich jetzt eben so die und die Störungswahrscheinlichkeiten.
Demzufolge hat dann eben dieses Medium, beziehungsweise die übertragen dann
eben eine bestimmte Kanalkapazität. Das heißt also, das und
das kriege ich an Daten überhaupt nur technisch gesehen übertragen.
In der Regel treten dann aber eben auch noch Störungen auf,
die kann ich dann eben auch wieder stochastisch modellieren.
Und da landet man dann eben bei irgendwelchen Sachen,
wo man sagen kann, okay, angenommen diese Störung,
Trainern auch noch auf,
wie muss ich meine Kodierung an den Kanal anpassen,
dass der Empfänger das dann eben noch
vernünftig dekodieren kann
So, das eigentlich nur noch mal so zu dem Hintergrund von dem Ganzen.
Und demzuvor gelandet man dann eben bei dieser Nachrichtübertragung,
beziehungsweise bei den Kanälen dann eben auch,
dass man sagen kann,
also ich habe jetzt in dem Kanal letztendlich für beispielsweise,
wenn ich jetzt eine Binärstelle übertrage,
dann eben einen maximal möglichen Informationsgehalt,
den ich übertragen kann
Im Idealfall mich letztendlich ein Bitch. Andererseits gibt es dann eben,
ähnlich wie Werder, bei diesem stohassischen Modell zu den Symbolhäufigkeiten
dann eben für die Fehler wie Häufigkeiten dann eben auch so eine Entropie-Beschreibung.
Und das wäre dann eben letztendlich davon abzuziehen. Kleines theoretisches Beispiel war,
wie gesagt, also richtige Beispiele durchzurechnen,
geht dann also irgendwie dann sehr stark in Letztendlich die physikalischen Grundlagen,
die man dann eben in solchen Modelle mit einarbeiten müsste.
Deswegen jetzt also angenommen, wir sagen jetzt nur, okay,
wir haben wieder die beiden Symbole, 0 und 1,
die zu übertragen sind. Und ich habe eben eine Wahrscheinlichkeit,
dass beide Übertragung aus dem Symbol der Null eine Eins wird.
Und umgekehrt, auch da kann man dann sagen, okay,
die Wahrscheinlichkeit eines Fehlers an einer Stelle, I ist unabhängig von den Auftreten eines Fehlers an anderen Stellen. Nicht,
dass es also auch genau das Gleiche,
was eigentlich bei dem bei der Idee der Informationsübertragung drin ist,
die Wahrscheinlichkeit des Auftretens eines Zeichens,
AI ist unabhängig von der Wahrscheinlichkeit eines anderen Zeichens, BI,
weswegen wir dann irgendwann bei diesem Logarithmus Duales gelandet sind,
war ich dann ja sonst immer für die Aneinanderfügung von zwei Ereignissen,
AI mal BI rechnen müsste und dann eben bei einer multiplikativen Größe lande.
Gut, für die Fehler oder die es fehlerfallen,
kann ich dann eben sagen, die Entropie wäre dann eben P mal,
Logarithmus Duales von 1, Puss, P plus Dann eben dem Gegenereignis, dass kein Fehler auftritt.
Und wenn man das jetzt nimmt und dann eben auch hier so mit Gnuprot einmal irgendwie in Formel fasst und aufplotten lässt,
sieht man, dass es also letztendlich nichts anderes,
was es ja so auch formelmäßig ist,
eins minus HF als das, was wir vorher hatten,
quasi einmal gespiegelt, wobei ich dann eben sage kann,
bei einer Bitfiedler-Wahrscheinlichkeit von 0,5 ist halt die Kapazität des Kanals bzw. das,
was ich dort empfange, quasi als Information dann nämlich gleich null,
weil ich kann dann nämlich nicht mehr unterscheiden,
ist das ein richtig empfangendes Zeichen oder ist das jetzt irgendwas Gestörtes,
wenn die Bitfiehler-Wahrscheinlichkeit kleiner wird,
habe ich dann eben Hier eine bestimmte Anzahl von Binärstelle,
die ich quasi als richtig empfange, erhalte.
Auf der anderen Seite kann man auch sagen,
wenn die Wahrscheinlichkeiten eines Fehlers wieder größer werden,
was da also erstmal ein rein akademischer Fall ist,
steigt die Kanalkapazität auch wieder an, weil dann kann man eben sagen,
na gut, also wenn die Wahrscheinlichkeit,
dass ein Zeichen kippt bei der Übertragung, 0,8 ist,
wenn ich dann sage, okay, alles,
was ich empfange, invertiere ich einfach das Bit,
weil das ist ja schon mal relativ wahrscheinlich,
dass es sich geändert haben wird.
Gut, also das hier dann eben auch noch mal als Formel,
jetzt eben, wie man die Kanalkapazität letztendlich beschreiben kann. Gut,
das kann man, wie gesagt, ein bisschen etwas ungünstiges Beispiel,
das kann man dann eben mal wirklich für reale Kanäle dann also entsprechend untersuchen,
was sich dort also letztendlich an Informationsübertragung ergibt,
was hier vielleicht also auch noch ganz interessant ist,
also jetzt also einfach nur mal um jetzt so ein Diagramm oder diese Grafik richtig zu lesen.
Also angenommen, ich übertrage jetzt einzelne Bits über diesen Kanal,
habe eine Bitfehlerwahrscheinlichkeit von 0,05, also vorausgesetzlich so,
dass jetzt mal irgendwie Erziehung irgendwie so hier auf dieser Kurve sein,
das heißt, wenn ich ein Bit empfange,
kann ich eben sagen, hinsichtlich des Informationsgehalts 0,7 Bit davon sind richtig.
Das heißt, wenn ich jetzt also wirklich meine Informationen sicher durch diesen Kanal bringen möchte,
muss ich dann eben dafür sorgen, dass ich also hier irgendwo,
also pro übertragenen Bit irgendwie, also irgendwie auf die Eins komme.
Also die Bits, die Propinärstelle drin sind. Das heißt,
ich muss meine Codierung vor der Übertragung so umbauen oder so anpassen,
dass ich beispielsweise das übertragene Zeichen In der Kodierung länger mache,
als es eigentlich sein sollte, dass ich also künstlich irgendwelche Redundanzen einbaue,
um dafür zu sorgen, dass,
wenn ich jetzt also diese Kanal oder diese Bittfehlerwahrscheinlichkeit habe, dass ich dann eben mein Zeichen richtig senden kann.
So, die Möglichkeiten, die es daran eben quasi gibt,
jetzt über solche gestörten Kanäle zu kommunizieren, dass es dann eben das,
was Letztendlich dann also dann gleich noch in Bezug also auf diese Fehlererkennung und Fehler korrigierenden Codes folgen wird,
die eben quasi dadurch motiviert sind,
dass ich in meinem Übertragungskanal eben letztendlich durch diese Störung Informationen verliere.
Gut, bislang hatte ich jetzt ja nur diese Theorie vorgestellt,
die liefert jetzt natürlich immer noch keinen Hinweis,
wie man also quasi jetzt so eine fehlerfreie Übertragung hinbekommt,
rein praktisch
Dazu wird dann letztendlich immer zitiert, beziehungsweise findet man dann immer,
also quasi das berühmte Theorien des Herrn Claude Channel,
der quasi als Shanotheorium aufgestellt hat,
dass falls die Übertragungsrate er kleiner ist als C von P,
das ist also quasi die Kanalkapazität unter einer bestimmten Störwahrscheinlichkeit,
dann findet man eben zu jedem Äbsel ein größer 0 einen Code mit der Übertragungsrate,
er, die quasi jetzt kleiner ist, als die Kanalkapazität,
dass die Fehlerkodierwahrscheinlichkeit kleiner als dieses Epstilon wird.
So, was heißt das Ganze rein praktisch,
wenn die Übertragungsrate klein ist, als der Kanalkapazität,
existieren kurz, die beliebig zuverlässig sind. Beliebig zuverlässig eben,
sieben Epstilon Großanol, egal wie klein ich das mache,
kriege ich einen Code hin, wo das dann eben entsprechend noch passt.
Und wo die Signalübertragungsraten eben letztendlich auch beliebig nah an der Kanalkapazität liegen.
So, damit wissen wir jetzt natürlich immer noch nicht,
wie das Ganze wirklich rein praktisch funktioniert. Und das,
was also dann häufig bei den vergleichsweise effizienten Codes also auch passiert,
ist dann, also sagen wir mal, doch wieder so aufwendig,
dass man darüber dann also eigene Vorlesungen halten kann.
Wird ihn dann also vielleicht später im Studium also noch entsprechend begegnen.
Wie gesagt, das, was ich jetzt hier vorstelle,
sind eben vergleichsweise einfache,
triviale Verfahren
Letztendlich wichtig ist aber einfach, dass man erstmal nur weiß,
okay, Channel-Theorie eben sagt,
wenn ich unter dieser Kanalkapazität bleibe mit der Übertragungsrate,
kann ich quasi beliebig zuverlässig Zeichen übertragen, beziehungsweise kann überhaupt erst mal Zeichen übertragen.
Das heißt, angenommen, ich habe jetzt eine sehr,
sehr, sehr schlechte Übertragung und das ist also wirklich so schlecht,
dass sie das nur minimal von irgendwelchen statistischen Rauschen unterscheidet.
Wenn ich den Code nur lang genug mache und mein einzelnes Zeichen,
was weiß ich, Also als trivialen Code einfach so ein Wiederholungscode nehme.
Ich möchte einen einzelnen, also sende ich nicht eine eins,
sondern 10.000 Einsen. Und die zählen dann einfach beim Empfänger
, wie viele habe ich empfangen?
Und wenn diese Zahl groß genug ist, interpretiere ich das als eins.
Dann kann ich eben auch sagen,
also selbst wenn 3.000 von diesen Einsen verfälscht worden sind,
bei der Übertragung, wenn ich jetzt eben als Schranke gesetzt habe,
über 6.000 werden als eins interpretiert,
habe ich dann also auch sicher eine Einzelnempfang
So eine Kodierung ist natürlich nicht effizient, weil man hat hinsichtliche Übertragungsrate.
Nicht, weil man hat also Vereins zu übertragenes Zeichen,
10.000 Zeichen übertragen. Kann dann aber sagen,
also ich habe eben eine vergleichsweise hohe oder kann eben eine
vergleichsweise hohe Fehlerkapazität in den Kanal dann eben tolerieren und damit ausgleichen.
Gut, das wäre jetzt also ein Dova-Code,
da gibt es also deutlich bessere und deutlich effizientere,
nicht aber nur als Beispiel,
was man sich jetzt eigentlich
darunter vorstellen muss
Gut, dann würde ich jetzt an dieser Stelle
ausnahmsweise mal ohne überziehen, einfach Schluss machen.
Und hurra! Am Freitag dann eben mit diesen etwas einfacheren
Beispielen sagen, wie kriegt man Fehlererkennung beziehungsweise Fehlerkorrektur hin,
im Falle solcher einfachen Kurz.
So,
jetzt aber wirklich