Danke für die Veranstaltung auf jeden Fall.
War sehr nett bisher. Ich muss nämlich dazu sagen,
ich habe dieses Leid, die habe ich noch nie gemacht.
Also ich mache zum ersten Mal einen Vortrag tatsächlich zu diesem Thema.
Deswegen verzeiht es mir bitte, wenn wir vielleicht die nächstes Leid nicht direkt einfällt.
Die Slides sind auf Englisch, das ist aber deswegen,
weil wenn die danach hochgeladen werden und die irgendwie geshared werden,
ist es mir immer lieber, wenn sie auf Englisch sind,
dann ist es einfach für ein paar mehr Leute noch erreichbar.
Ich mache den Vortrag auf Deutsch,
also verzeiht es mir bitte auch, wenn ich,
es ist schon mal passiert,
dass ich das in der Konstellation gemacht habe und dann habe ich ständig die Sprachen geswitcht,
weil ich so, normalerweise mache ich meine Vorträge auf Englisch.
Wenn man mir einfach ein komisches Zeichen gibt,
dass ich wieder die Sprache wechselt,
das wäre schön
Genau, erstmal ein ganz paar Worte zu mir nur. Ich bin 25,
wir hatten diese Woche 26, komme ich aus Hamburg,
das ist mein Twitter-Handle und ich habe das sogenannte Greylock 2-Projekt 2009 gestartet.
Das habe ich gestartet, vielleicht ganz interessant,
bei Jimdo, wo ich damals gearbeitet habe,
da sitzen ein paar Leute auch im Publikum,
der zweite Speaker arbeitet da ja im Moment auch tatsächlich.
Ich mache es, ich werde es wenig auf Joylock 2 fokussieren,
was ich heute sage. Also alles, was ich sage,
kann man damit auch machen. Ich finde nur immer,
in solchen Locations und so ist mir immer ein bisschen unangenehm,
so einen reinen Produkttalk irgendwie zu machen.
Deswegen mache ich das, das relativ wenig.
Das kann man auch damit machen. Es gibt davon aber
verschiedenste Tools irgendwie auf dem Markt.
Mir geht es heute wirklich nur um die Prinzipien.
Und ich versuche so ein bisschen auf die, auf das einzugehen,
was ich so in meiner täglichen Arbeit irgendwie gelernt habe,
nämlich wirklich um Sachen aus der Praxis.
Das kommt gleich, das kommt gleich hin.
Da geht es nämlich gleich nochmal darum. Und zwar habe ich
nämlich 2012 habe ich eine Firma hinter diesem Projekt gegründet.
Grelock 2 ist ein Open-Source-Projekt. Das wurde mit der Zeit
irgendwie immer erfolgreicher und immer mehr Firmen eingesetzt.
Dann habe ich mich mit meinem damaligen Chef bei Xing,
wo ich da gearbeitet habe, dazu entschieden,
eigentlich mal eine Firma hinterzugründen.
Das haben wir
dann 2012 gemacht
Dazu gleich auch noch eine ganz kurze Slide.
Was kommt denn jetzt? Genau. Das ist so ein
bisschen Buzzword-mäßig, muss ich zugeben. Das ist aber so,
wir haben uns mal überlegt, wie man das am besten beschreiben kann,
was Grey Lock 2 eigentlich ist, weil spätestens,
weil ich diese Firma gegründet habe, fragt mich natürlich meine Mutter immer,
was denn das eigentlich ist, was wir machen.
Und jedes Jahr zu Weihnachten kriege ich es wieder nicht erklärt.
Ich glaube, das würde sie auch relativ wenig verstehen,
aber so kann man es entwicklern oder irgendwie technischen Leuten vielleicht ein bisschen beibringen.
Also das erste ist, Free and Open Source Analysis of
Any Machine Data Rhythm in your Data Center.
Also erstmal ganz wichtig, das Produkt ist Open Source
Und man kann damit irgendwie Daten analysieren,
die im eigenen Datacenter so anfallen. Ich beschränke deswegen,
dass heute auch auf Soldaten aus dem Datacenter,
das kann man aber alles auch auf alle möglichen anderen Daten anwenden später.
Und das Ganze läuft in der JVM,
also es ist Java, läuft in der Javavirtual Machine.
Und das ist ganz wichtig im eigenen Environment.
Also das ist kein Software-as-a-Service oder irgendwas,
sondern das installiert man sich auf seinen eigenen Servern.
Das ist ein ganz normales Java-Projekt, legt man runter,
hat einen Java irgendwo auf seinen Maschinen installiert und dann kann
man das sofort starten, damit sofort loslegen.
Und da ist für mich dann der wichtige Punkt,
man ist nicht mit irgendwelchen Lizenzen limitiert.
Das Ganze ist eine, ist unter der GPL lizenziert.
Das heißt, man kann damit am Ende wirklich eigentlich machen,
was man möchte.
Warum das noch wichtig ist,
da komme ich gleich noch drauf
Genau, ganz kurz noch noch zu der Firma, die wir gegründet haben.
Wir entwickeln damit Grey Lock 2. Das hier erwähne ich,
dass wir so ein Seed Funding bekommen haben im letzten Jahr,
weil ich glaube,
dass wir inzwischen so ein ganz klassisches... Also man kann,
glaube ich, sagen, dass wir ein Start-up sind jetzt.
Und das ist vielleicht relativ interessant. Viele Leute fragen uns,
warum wir bestimmte Sachen so machen, warum wir sie machen. Das ist,
wenn man sich unsere Milestones und unsere Planung so anguckt,
es ist vielleicht ganz wichtig zu wissen,
gerade auch ganz wichtig zu wissen, wenn man irgendwie den Leuten,
die es benutzen, gegenüber ehrlich sein möchte.
Das hat natürlich gewisse Implikationen,
wenn hinter so einem Open-Source-Projekt
plötzlich plötzlich Risikokapital steckt
Wir sind allerdings wirklich committed darauf, dass das Ganze weiter Open Source bleibt.
Alle Investoren auch, es haben alle erkannt,
dass das eigentlich einer der großen Faktoren für den Erfolg ist.
Dazu aber gleich nochmal mehr. Und wir könnten es auch
gar nicht einfach so ändern, weil es GPL ist.
Das ist jetzt Open Source. Wir könnten höchstens anfangen,
jetzt Dinge dazu vielleicht zu entwickeln, die Closed Source sind.
Aber das bleibt sowieso um Source, weil wir es gar nicht mehr ändern können.
Wir sind bald, also ich überlege gerade,
wann ich glaube im Juni stellen wir die zehnte Person ein
und arbeiten hier aus dem Büro in Hamburg.
Wir sind, glaube ich, noch relativ unbekannt,
wenn ihr irgendwie User Groups oder so hosten möchtet,
die haben das Büro ein bisschen danach ausgesucht,
dort einen User geposten kann.
Wir hatten zum Beispiel dieses, dass Big Data Meetup hatten
wir schon mal da. Wenn ihr irgendwie Platz braucht,
zum Beispiel auch die Mongo, die wir User gibt,
kommt immer gerne auf uns zu.
Das machen wir mal sehr gern. Jetzt aber genug davon
. Ja. Das Büro? 35 bis 50,
je nachdem wie viel stehen wollen. Würde ich sagen.
Ja. Dann kommt daher nochmal auf dich zu. Jetzt
habe ich dieses Zitat und ich habe mich so darauf gefreut,
dass ich mir jetzt schon gestohlen worden bin
Also ganz auf Englisch nochmal. Also Big Data als Lack Teenage,
sechs everybody talks about it nobody really knows how to do it,
everybody things, everybody else is doing it,
so everybody claims, they are doing it.
Das stimmt auch ein bisschen. Das drückt einfach so ein
bisschen aus, dass es wirklich so ein Buzzword ist.
Gerade in so Management-Ebenen wird häufig behauptet, natürlich macht man Big Data.
Ich sage immer, also ich sage sogar,
ich fühlte mich so ein bisschen, als ich die Einladung bekomme,
so ein bisschen Fehl am Platz bei einem Big Data Meetup,
weil wir eigentlich immer sagen,
wir machen eher so ein Medium Data.
Also was so Big Data ist, die Bereiche kommen wir noch relativ selten.
Also in so einem Bereich ist es irgendwie mehrere Peterbyte oder so analysiert.
Das machen wir einfach nicht. Weil was Grey Lock 2
macht, ist, dass es dass es Daten annimmt.
Ich zeige nachher noch ein bisschen was zu der Architektur davon,
wie das Ganze aussieht. Dass es Daten übers Netzwerk annimmt,
also Lockmeldungen aus den Applikationen von den Servern. Das Einfachste ist einfach,
dass man irgendwo einen SISLOG-Server stehen hat und der sendet seine Informationen
an den Greylock 2-Server und da wird das gepasst, wird gespeichert,
liegt dann in den Elastic Search und wird über ein Web-Interface durchsuchbar gemacht.
Da zeige ich ganz zum Schluss auch nochmal zwei Screenshots,
wie das dann am Ende aussieht.
Ist ansonsten alles Greylock 2.org, wenn man sich das weiter angucken möchte,
macht man das da am besten.
Ja. Genau. Ich sage es,
ich kann Keynote nicht bedienen und ich sage es so lange
an diesen einzelnen Dingern
So war es so ein bisschen, wie man
es früher gemacht hat. Ich kann nicht genau sagen,
wann früher war und wann früher aufgehört hat,
weil das ein bisschen so ein fließender Prozess ist und das
sehr lange oder bis heute eigentlich noch viele Leute machen.
Wenn wir in so eine Firma reinkommen,
die sich irgendwie für das Produkt interessieren,
das kommt häufig vor, wirklich große Firmen,
die man kennt, die immer noch sowas machen.
Und zwar sieht es da so aus, dass man ganz, ganz viele Server.
Dass man ganz, ganz viele Server stehen hat,
dass da drauf Applikationen laufen, dann hat man Firewalls,
Router, irgendwie ganz, ganz viele Geräte,
die haben die in seinem Data Center so laufen.
Und sehr, sehr lange haben die
einfach lokal auf ihre Festplatten irgendwelche Informationen geschrieben.
Ihre Log-Informationen
Als ich mal angefangen habe mit diesen ganzen Computersachen,
war das auch noch, also da war,
das ist halt das erste Mal, wenn man in Kontakt kam,
da hat man dann irgendwie seine PHP-Anwendungen auf einem Apachi laufen
lassen und der hat immer ein Bar-Lock-Apachi und dann Apachi.lock oder so geschrieben,
bis man ihn umprogrammiert hat oder unkonfiguriert hat.
Und die schreiben einfach so die Log-Informationen auf die Fettplatte,
irgendwo lokal weg. Das führt natürlich zu ziemlich vielen Problemen,
wenn man Sinn aus diesen Daten ziehen möchte.
Der allereinfachste Fall ist eigentlich,
und so ist es mal bei Jimdo entstanden, Simdo hat,
als ich dazugekam, das war 200 Neun muss das noch gewesen sein.
Da passen die Entwickler noch an einen kleinen Tisch.
Inzwischen habe ich gehört, dass dieses ganze Gebäude dort gemietet haben.
Also die sind sehr, sehr, sehr stark gewachsen.
Da war es so, da wurden immer mehr Server dazu gestellt.
Die haben immer mehr Daten geschrieben, die lagen alle lokal auf einer Platte.
Und dann stehst du da und kriegst vom Support irgendwie die Anfrage,
hier dieser User, hat versucht, seine Seite zu speichern,
hat einen Fehler bekommen, Seite hat sich nicht verändert.
Was soll er jetzt machen? Und dann stehst du als Entwickler
da und fragst dich natürlich, was war denn die Fehlermeldung?
Der hat aber nur eine normale, hat nicht geklappt,
Fehlermeldung bekommen. Und dann musste man rausfinden,
nach welchem Server liegt denn eigentlich
dieser User
Sich also erst mal in so ein Interface gehen,
wo das dann halt so stand,
musste sich da einloggen, da reingehen, User-ID rausfinden,
User suchen, E-Mail-Adresse hin und her mappen.
Und dann fand man irgendwann raus, aus welchem Server denn dieser User eigentlich liegt.
Da hat man sich mit SSH auf diesen Server eingeloggt
und musste da dann noch die richtige Log-File finden,
weil da nämlich auch zig User-Seiten drauf lagen,
musste da dann mit so normalen Linux-Unix-Tools durchgehen und dann mit
Grab und Less und AWK und Z und so irgendwie durchgehen und versuchen,
diese Fehlermeldung zu finden.
Und da haben wir gedacht, das kann man doch eigentlich
irgendwo auch zentralisieren, dass man einen zentralen Punkt hat,
in dem man diese Daten schreibt, die man dann durchsuchbar macht.
Das wäre doch viel einfacher,
wenn ich irgendwie einen Curry machen könnte, sowas wie User-ID,
Equels und dann die User-ID und dann vielleicht noch Type is Acception und Severity
ist höher als Info und das Subsystem ist Publishing zum Beispiel.
Und da findet man diese Fehlermeldung natürlich sehr schnell,
gerade wenn man es dann noch auf den Zeitraum eingrenzen kann.
Man kann die dann mit Kollegen sharen,
man kriegt einfach einen Link, gibt den Kollegen,
der guckt drauf, das ist irgendwie alles viel, viel einfacher.
Und damals dachte ich mir, das ist ja schnell zu bauen.
Heute stehe ich immer noch, ja. Anderes Problem ist,
dass man praktisch keine Korrelation so ohne weiteres hinkriegt,
weil es liegt alles auf physikalischen Maschinen untereinander.
Man kann irgendwie nicht proaktiv auf Ereignisse reagieren, so richtig.
Und es ist wirklich schwer, da ein automatisches Reporting draufzubauen
Stattdessen, jetzt kommen meine Pfeile. Stattdessen könnte man ja wirklich
das einfach zentralisieren irgendwo hin. Und dieser Teil hier...
So, von jetzt hier. Also, Senver Storage.
Central Storage und UI ist eigentlich das, was Greylock 2 macht.
Und das bringt dann nämlich folgende Vorteile.
Und es ist nämlich die Nachteile umgedreht eigentlich.
Man muss sich nur noch an eine Stelle einloggen.
Das ist nämlich das Webinterface. Man geht einfach nur mit
seinem Browser auf Greylock 2 und kriegt dann eine Query-Maske,
zeigt nachher noch zwei Screenshots, kriegt ja eine Query-Maske,
kann einfach genau die Lockzeilen suchen, die man gesucht hat.
Man kann anfangen, die Daten zu korrelieren,
also einfach zu sich anzugucken, ob sich vielleicht die durchschnittliche Datenbank,
Tablescan-Zeit irgendwie gleichmäßig verhält oder irgendwie zusammen mit der Response-Zeit verhält.
Da kannst du dann irgendwie erkennen, okay,
wir haben hier ein Release gemacht und plötzlich in die Data-Base-Zeit hoch und die Response-Zeit auch.
Das bedeutet, hat irgendjemand vergessen, Index zu setzen,
höchstwahrscheinlich. Da steht man ziemlich lange, wenn man sich
überall lineloggen muss und einfach nur so einen großen Textwirser vor sich hat.
Man kann proaktives Alerting machen, das zeige ich auch noch gleich.
Und vor allem kann man sehr, sehr einfaches,
automatisches Reporting dazu machen. Also Playlock 2 macht einem Rest
APIs auf. Tatsächlich ist die einzige Schnittstelle wie das Webinterface
mit dem ganzen Teil dahinter kommuniziert, ist nur eine Rest-API.
Also man kann sich alles, was dieses Web-Interface macht, auch selber bauen.
Da kann man sich zum Beispiel ein einfaches Reporting obendrauf bauen,
da hast du ja irgendwie einen Cron-Job,
der sucht einmal in der Nacht nach allen Acceptions,
teilt die ein bisschen auf und schickt das einmal an die Entwickler raus und dann kannst du halt sehen, so
hm, eure, eure Acceptions in diesem Bereich sind irgendwie
zehnmal höher, als sie es letzte Woche noch waren.
Habt ihr da irgendwie was gemacht? Guckt euch das mal genauer an.
Das Country, so Compliance-Fälle auch sehr wichtig sein. Also,
dass man, dass man zum Beispiel regelmäßig irgendwelche Einbruchsversuche,
SSH, Brootforces oder so anfängt wegzuschreiben und dann
an Leute rauszuschicken
Genau. Dann stehen nämlich einige Challenges, würde ich sagen,
wenn man sowas machen möchte in seinem Unternehmen. Ich glaube,
das Offensichtlichste ist tatsächlich, dass man so unglaubliche Datenmengen hat,
die man speichern und verwalten muss. Verwalten heißt da nämlich zum Beispiel auch,
die liegen da nicht nur statisch,
sondern Grey Lock 2 in den neueren Versionen fängt auch an,
diese Daten untereinander herumzuschieben, um sie halt zu optimieren,
weil man nicht, das ist dann nämlich schon der dritte Punkt,
die Cost Efficiency, also weil man meistens sucht man immer nur,
wenn man die meiste Zeit nur in den Daten aus den letzten zwei Tagen sucht,
dann reicht es,
wenn nur diese Daten auf den schnellen Festplatten liegen
Den ganzen anderen Kram kann man auf die langsamen Festplatten legen.
Da dauert dann vielleicht eine Suche fünf Minuten.
Aber das macht man eh nur nur einmal in der Woche.
Dann kann man sich nämlich auch ganz schön viel Geld für SSDs zum Beispiel sparen.
Also man muss diese Daten auch noch ein bisschen managen,
wenn man das ein bisschen kosteneffizient machen möchte.
Und es ist, ich würde sagen, die meiste Zeit,
die bis jetzt in die Graillock 2 Entwicklung reingegangen ist,
geht wirklich darum, diese Daten effizient anzunehmen und effizient zu speichern.
Wir haben einen Kunden, das ist eine Regierungsbehörde aus Dänemark,
die speichert, die schreibt in einen einzigen Graillock 2 Servernote 100.000 Nachrichten pro Sekunde.
Die Leute, die haben nach zehn Sekunden schon eine Million
neue Nachrichten da drin. Das ist natürlich ein ganz schöner Aufwand,
da muss man echt ein bisschen Engineering reinstecken,
um das irgendwie verwaltbar zu machen
Dann natürlich, man hat irgendwie verschiedenste Typen von Datenformaten.
Also alle sagen immer, dass ihr Gerät Sislock unterstützen würde.
Meistens ist das was, irgendwas, wie das Log aussieht,
was aber eigentlich kein Sislock ist.
Also gerade Cisco ist da sehr gut drin, in jedem neuen Gerätetypen,
den sie haben, eine andere Art Sislock einzubauen,
die am Ende aber wieder niemand passen kann.
Da kann man versuchen, das alles zu erschlagen.
Wir sind da ein bisschen anderen Weg gegangen und lassen den User
ein bisschen mehr die Daten dann parsen, wenn das ein Format ist,
was wir nicht out of the box können.
Aber das stellt er natürlich vor Problemen
Dann kommen so Dinge wie, na gut, jetzt speichern wir
das alles an einen zentralen Ort. Wie verhindere ich denn jetzt,
dass zum Beispiel der Praktikant irgendwelche Kreditkarten oder, na gut,
die sollte man sowieso von vornherein nicht speichern,
aber irgendwelche E-Mail-Adressen oder so zum Beispiel in seinen Logseed.
Das war zum Beispiel bei Xing immer ein großes Problem. Xing tut nämlich nicht nur so,
als wenn es irgendwie großen Wert auf Datenschutz liegt,
die machen die als Entwickler richtig das Leben schwer,
weil es da genau um sowas geht,
dass dort zum Beispiel nur eine Handvoll ausgewählter Leute im Unternehmen überhaupt E-Mail-Adressen sehen durften,
damit man nicht zurückverfolgen kann, wer wem irgendwann vielleicht mal eine Private Message in den letzten Stunden geschrieben hat.
Das bedeutet, da kam das so ein bisschen her,
dass man dass man eine Assess-Control drin hat,
also dass bestimmte Leute einfach bestimmte Daten nicht sehen dürfen,
aber gleichzeitig in allen suchen müssen können.
Das ist was, was sehr, sehr schnell,
je größer die Firma ist, in die man kommt,
so früher wird nach Assess-Control eigentlich gefragt. Dann ganz wichtig,
dass man das sehr mächtig für technische Leute macht,
also dass die wirklich ihre komplizierten Analysen darauf fahren können,
gleichzeitig aber auch für nicht-technische Leute, dass immer noch einfach genug bedienbar hält.
Also ganz, ganz viele Leute benutzen sowas,
die Produktmanager sind zum Beispiel, die sind häufig schon sehr technisch,
sind aber auch immer sehr glücklich,
wenn andere Leute ihnen schon so Queries und Reports zusammengebaut haben,
dass sie sich da ein bisschen durchklicken müssen und nicht
diese Curry Language irgendwie immer ausführen müssen
Das kann auch so eine Herausforderung sein, dann möglichst real time zu sein.
Da sind wir zum Glück tatsächlich relativ gut. Wir benutzen intern
die sogenannte Disruptor-Library. Hat die schon mal jemand gehört zufällig?
Unbedingt mal angucken. Die ist auch Open Source. Java,
das muss sie haben, wie sie benutzen, ist auch Assource.
Reines Java und kommt vom LMAX. Und der LMAX ist so
ein Highspeed-Trading-Exchange aus London. Die müssen halt innerhalb von wirklich
den untersten Millisekunden-Bereich auf Order reagieren, die reinkommen.
Das bedeutet, die haben so ein Ring-Buffer-System geschrieben,
was man, wenn man das richtig durchoptimiert,
ich habe es selber noch nicht ausprobiert,
aber es gibt halt einen Talk von einer von den Entwicklerinnen
Hat diesem Talk gesagt, dass sie ein Setup wirklich so durchoptimiert haben,
dass sie sagten, es ist dieser Ring-Buffer,
theoretisch nur noch im L3-Cash vom Prozessor lag.
Das bedeutet, dass es wirklich unglaublich schnelle Zugriffe die ganze Zeit gab.
Das kann man sich so durchtun, wenn man das nicht so durchtun,
es ist immer noch extrem schnell, was für uns wichtig ist,
weil die Nachrichten möglichst schnell durchfließen sollen und sich nicht im Heat irgendwie aufstauen sollen.
Deswegen haben wir auch einen relativ niedrigen Memory-Foodprint, glaube ich.
Ja, es gibt nämlich, es gibt ein Produkt,
was Lockdaten sammelt von einem großen amerikanischen Hersteller von Virtualisierungslösungen. Die hatten,
inzwischen kann das Produkt das auch ganz gut,
die ersten Versionen, die sie hatten, da gab es Setups,
da hast du Daten reingeschrieben und wenn du die das erste Mal wieder auf die zugreifen wolltest,
dann konntest du bis zu vier Tage dauern,
bis die alle analysiert waren.
Und dann waren natürlich die Daten schon wieder völlig uninteressant,
wenn du einfach genug Daten reingeschrieben hast.
Das ist natürlich auch sehr wichtig. Also bei uns ist es so,
dass wenn die Nachricht ankommt vorne im Input,
mäßig durchsuchbar ist, bewegt sich unter 50 Millisekunden in der Regel.
Das ist, glaube ich, Hügeltank genug.
Und ich glaube, das Allerwichtigste ist, dass man irgendwelche dämlichen Lizenzmodelle vermeidet.
Es gibt da einen sehr großen Player, der dafür bekannt ist,
dass er sehr teuer ist, hat ein hervorragendes Produkt, macht Logmanagement-Datenanalyse.
Die haben allerdings wie so viele da draußen das Lizenzmodell auf Datenmenge
Gesetzt. Das bedeutet, man kauft sich eine Lizenz und kann dann
damit 250 Gigabyte-Daten analysieren. Und wenn du da drüber isst,
dann geht das Word-Interface aus und sagt so, hier ist unsere Sales-Nummer.
Leider bist du über deiner Lizenz, kauf mal eine neue.
Wir nehmen weiter Daten an, du kannst sie aber nicht mehr durchsuchen.
Und das führt zu den wildesten Projekten in manchen Firmen.
Also wir haben schon davon gehört, dass es in Firmen Projekte gab,
wo Manager durchgegangen sind durch die Abteilungen und versucht haben,
rauszufinden, wo sie die Logmengen reduzieren können.
Wobei eigentlich im Jahr 2014 musst du zusehen,
wo kannst du sie erhöhen, du willst immer mehr loggen,
du willst immer alles loggen, weil zum Zeitpunkt,
in dem du lockst, weißt du noch gar nicht,
Was du damit später machst.
Das heißt, es ist eigentlich völlig, um möglich,
da reinzugehen und zu sagen,
das sollten wir nicht loggen und das sollten wir nicht loggen.
Dann trauen Sie Entwickler nicht Ihre De-Bug-Logs anzuschalten,
weil dann kommt der arme Teamlied,
der die Lizenz gekauft hat, nämlich runter und sagt,
du hast schon wieder die Lizenz gesprengt und jetzt müssen wir da wieder beim Sales anrufen,
dass die uns wieder freischalten.
Das ist alles sehr, sehr kontraproduktiv. Es gibt dann noch andere,
also das Verrückteste, was ich wirklich mal gehört habe,
war die Lizenzierung nach IP, die in einem Monat mal reingeschrieben hat.
Was natürlich, wenn man irgendwas einigermaßen Dynamisches macht,
die zum Beispiel Amazon oder irgendwas Virtualisiertes und da ist halt ein Host,
der halt nur mal für zehn Minuten da ist,
dann kostet der wieder
einen Lizenzsatz mehr praktisch
Das ist sogar noch schlimmer, glaube ich, als nach Volumen zu lizenzieren.
Da sollte man wirklich ganz, ganz vorsichtig sein.
Das klingt erstmal sehr sinnvoll und sehr offensichtlich und das kann man ja super planen.
Führt aber zu den allergrößten Problemen. Und das ist
auch einer der Gründe, warum viele diesen großen Player,
den es da so gibt, gerade ablösen.
Weil das Produkt ist wirklich super, das funktioniert 1A,
aber die Leute sind nicht mehr bereit, dieses Lizenzmodell mit denen einzugehen.
Die erste Reaktion, die sie gemacht haben,
die haben sie gesehen, da kommt irgendwie so eine andere Software,
die uns irgendwie was vom Markt abgerät.
Die haben erstmal die Preise um die Hälfte gesenkt.
Und das konnten sie
ohne weiteres machen
Genau, da gibt es viele Use-Cases. Einer der einfachsten ist der,
den ich schon ganz am Anfang besprochen habe, ist,
ich suche einfach irgendeinen Fehler, den ich mir genauer angucken will.
Man kann sich automatisiert Alerts schicken lassen, wenn es
irgendwie mehr Acceptions auf der Plattform gibt als normalerweise.
Alles mögliche Security related, also reingehende Pakete,
geblockte Pakete, solche Sachen, aber auch physikalisch tatsächlich.
Es machen viele Leute, die halt,
die für Korrelation zum Beispiel da reinloggen,
wenn irgendjemand mit seiner ID-Karte das Datacenter betreten hat.
Aber das kann interessant sein, wenn fünf Minuten,
nachdem ein Kollege X das Datacenter betreten hat,
das ganze System zusammenbricht.
Das kann schon
eine interessante Information sein
Zum Beispiel, das war ein Use-Case by Xing in
der Public API, das man dort rausfinden wollte,
welche API-Calls eigentlich noch in Benutzung sind und welche nicht.
Das war nur ein Curry. Da sucht man einfach nach,
zeigt mir alle Calls aus diesem Controller und dieser Action in den letzten sieben Tagen.
Und wenn da keiner rauskam oder nur eine Hand voll,
dann wussten wir, ja gut, dann können wir den Call wahrscheinlich wegschmeißen,
können wir deep precaten. Man kann zum Beispiel,
das macht ein großer Software-as-a-Service-Anbieter aus den USA,
der guckt sich damit einfach auf so Live-Dashboards an,
welche von deren gehosteten Applications gerade die meisten Zugriffe kriegen,
welche die meisten Fehler kriegen, so generelle Statistiken,
ein großer deutscher Kunde macht damit, so ein Self-Service wie Firewallogs,
also die für viele andere große deutsche Unternehmen wiederum, ihre Infrastruktur.
Und die haben immer das Problem, naja,
dann kommen die da anrufen, wollen eine neue Firewall-Regel,
sagen, funktioniert immer noch nicht,
dann müssen die in ihre Logs gucken, müssen das zurücksagen,
doch, müsste eigentlich funktionieren, stellt sich raus,
haben die falsche IP genommen.
Solche Geschichten, die greifen über die Greylock 2 Rest-APIs einfach auf die Daten zu,
die sie schon gesammelt haben und geben praktisch in ihrem bestehenden
Admin-Interface den Kunden einfach Zugriff auf ihre eigenen Daten.
Oder das habe ich jetzt ehrlich gesagt von diesem Big Player auf so
einen Werbespot geklaut, aber das ist ein sehr schöner Use-Case auch.
Welcher, wenn man so eine Franchise-Pizza-Kette hat in den USA zum Beispiel,
dann kann man damit auch einfach so ganz normale Business-Daten extrahieren.
Ganz einfach aus den Bab-Requests irgendwie, da gab es ein Request auf die Order-Action.
Man lockt irgendwie die Parameter mit und dann kann man daraus wieder nur,
das ist meine Salami-Pizza und kann sich dann irgendwie auf einer USA-Karte oder auf einer Weltkarte einfach mappen,
wo gerade die meisten Pizzen bestellt werden,
wieder die durchschnittlichen Response-Zeiten sind, die durchhin in Lieferzeiten,
solche Sachen.
Also man kann da auch wirklich sehr, sehr gute Business-Metflix raus.
Und bei Xing zum Beispiel haben wir darüber gemessen,
welche Consumer die aktivsten sind, also die iPhone-App,
die Android-App, irgendwelche Outleo-Konnektoren,
das baust du halt einfach on the fly
dann aus
Genau, jetzt kommen wir auch bald zum Ende.
Das ist so unsere grundlegende Architektur. Da gehe ich jetzt
nicht so im Detail drauf ein. Interessant ist,
glaube ich, dass das Web-Interface mit Rest kommuniziert,
mit den Greylock 2-Servern, kann man sich beliebig viele hinstellen,
dass wir die Daten alle in Inlastic Search speichern und dass
wir noch ein Mongo-Debüt brauchen für ein paar Metadaten,
die wir so speichern.
Ansonsten ist das, glaube ich, alles einigermaßen straightforward.
Die alte Version war ein bisschen bekannt dafür,
dass sie relativ schwierig zu installieren war.
Wir haben im Februar eine komplett neue Version rausgebracht.
Die ist jetzt bekannt dafür, dass sie
sehr einfach zu installieren ist
Wenn ihr zum ersten Mal davon hört, ist alles gut.
Wenn nicht, vergesst die Alte einfach.
Genau, das ist so die grundlegende Architektur.
Genau. Diese Streams behandle ich nur ganz, ganz grundlegend.
Ich habe immer ein Problem damit, die zu erklären,
weil sie häufig erst Sinn ergeben, nachdem ich alles erklärt habe.
Also wenn der Anfang noch nicht so viel Sinn ergibt,
wartet erst mal auf das Ende. Und zwar ist es so,
dass man, dass man, dass man in,
das ist tatsächlich ein reines Graillock 2 Feature jetzt,
dass man dort in, dass man dort Regeln definieren kann,
die auf eingehende Nachrichten ausgeführt werden.
Also ich kann zum Beispiel so Sachen machen wie,
Ich erstelle mir einen Stream und nenne den zum Beispiel SSH-Logins.
Und dann stelle ich Regeln, die auf diese Nachricht gematcht werden,
also zum Beispiel die Regular Expression, irgendwas muss auf die Message matchen.
Und der Host muss so und so sein oder
das Level muss größer oder kleiner so und so sein,
worüber ich also diese Nachricht identifizieren kann, die ein SSH-Login widerspiegeln.
Und dann landen alle diese Nachrichten in einem sogenannten Stream,
die können auch in mehreren liegen.
Und da kann ich dann so Alerts draufsetzen. Also dann
kann ich zum Beispiel sowas sagen wie Set mean a learned when
the standard deviation of the response time in Application irgendwas,
was higher the 100 in the last 10 minutes.
Also ich kann noch auf Feldwerte, die zurück aggregiert werden,
auf ein paar Minuten im Hintergrund auch noch ein paar Stunden, wenn man will.
Das heißt, ich kann da wirklich proaktiv auf Dinge reagieren. Kann die allerdings gleichzeitig auch forewarden,
also einfach weiterleiten und sagt dann so, mhm,
alle Business Intelligence Related Logs schicke ich jetzt mal weiter an irgendein anderes System,
weil ich die vielleicht mit Grey Lock 2,
da legt es irgendwie nicht so den Fokus drauf,
kann ich damit nicht so schön analysieren,
schicke ich in so ein anderes System,
was vielleicht ein ganz furchtbares Lizenzmodell hat,
wo ich allerdings dann nur noch so wenig reinschicken muss für die paar Analysen,
die ich mit Grey Lock 2 nicht machen kann und spare dann einfach eine Menge Lizenzkosten.
Das ist auch ein ganz, ganz normales Vorgehen,
was man
so machen kann
Ja, das ist so ein Screenshot, so sieht dieses Web-Interface dann aus.
Das habe ich eben gerade noch gemacht. Ich wundere mich
über die, über die Uhrzeiten, das ist von vorhin.
Was habe ich hier gemacht? Ich habe eine Suche gemacht.
Ich habe mich eingeloggt oder da oben eine Suche gemacht und habe einfach angegeben,
get and and and and and took underscore MS größer als 115.
Was das bedeutet? Das Gap bedeutet, ich habe
eine Volltextsuche über alles gemacht. Da sieht man auch...
Was hat hier gematcht? Und dann habe ich auch noch gesagt,
und das sogenannte Feld, took MS,
die kann man sich ausdenken, diese Feldnamen,
die definiert man entweder eine Nachricht oder in sogenannten Extraktoren.
Wenn die Nachricht reinkommt, das ist in dem Fall,
wie lange der Request gedauert hat, soll größer als 115 Sekunden sein.
Und man sieht auch alle, die hier irgendwie drin sind,
Die sind doch alle größer als 115 Sekunden.
Und man sieht da rechts, auch das läuft alles auf meinem
lokalen MacBook Air. Und man sieht, dass er in,
da sind immer so um die 20 Millionen Nachrichten drin.
Und er hat sich dann 79.6076 Nachrichten, 149 Millisekunden rausgeholt und die angezeigt.
Das ist also schon ganz schön schnell am Ende auch.
Man sieht ja, wir haben so eine Microsecond Resolution,
was interessant sein kann, wenn man danach sortieren möchte,
was eigentlich wann passiert ist, in welcher Reihenfolge.
Und sehen dann da, da haben wir dann so eine Analyse drauf gemacht,
ich habe ganz unten auf dieses Feld Tuck MS-Analyse gemacht.
Und da kriege ich dann so, ja,
das ist irgendwie der, die Standardabweichung da,
630 ist
Minenwert, 27,48. Alles in diesem Result-Set. Also ich habe
da oben gesagt, suche in den letzten acht Stunden.
Da kann ich auch andere Filter angeben und sowas sagen,
sie von hier bis hier oder vom letzten Montag oder vom letzten Vollmond oder so.
Das kann man also da oben die Zeit eingrenzen.
Da habe ich noch so ein genanntes Quick-Value-Breakdown gemacht. Habe dann gesagt,
zeig mir mal die Werte mit ihrer Häufigkeit im Feld,
HTTP Response Code. Und dann sieht man,
dass 96, 7, 9 Prozent aller Nachrichten,
die länger als 115 Millisekunden gedauert haben und dann Get Request waren,
in den letzten acht Stunden der 200er Response Code waren.
Dass man so als zum Beispiel,
was man damit machen kann, habe ich noch einen Screenshot
und dann bin ich
auch durch
Ich kann mir dann diese Werte auch charten. Also wenn ich mal,
ach du, da, dann braucht ihr ja auch.
Generate Chart, dann kann er mir über zum Beispiel hier,
habe ich mir jetzt dreimal drei Durchschnittswerte aus dem Feld,
Tuk Millis Seconds geholt. Einmal für alle,
einmal von denen, die länger als 110 Millisekunden gedauert haben,
einmal die länger als 125 Millisekunden gedauert haben.
Das ist jetzt natürlich ein relativ sinnloser Chart am Ende,
weil ich weiß ja schon, was ich sehen möchte eigentlich,
wenn ich so ein Firry mache,
da kann man aber sowas machen wie,
zeig mir mal die Response-Zeit von allen App-Servern verglichen mit den
Response-Zeiten von allen Web-Servern zum Beispiel und kann die dann so ineinander merchen und kann dann da Sachen vergleichen.
Das sind wirklich nur so ein paar Basisfunktionen. Man sieht
da oben, da gibt es noch deutlich mehr Punkte,
die man so machen kann. Es bedeutet am besten,
wenn man da wie Interesse dran hat, einfach runterladen, ausprobieren.
Eine sehr aktive Community-Mailinglist, IRC, uns auf Twitter
auch immer erreichbar eigentlich. Da sollte man also,
glaube ich, ganz schnell einen Start mit haben.
Und das war's. Gibt es dazu denn noch Fragen?
Ja, warum? Keylocke 2. Gibt es noch schneller.
Ja, das gab es mal.
Also das gab es mal
Das war diese erste Version, von der ich behauptet habe,
dass ich die in zwei Wochen fertig hätte.
Die hatte ich auch in zwei Wochen fertig,
aber die war so grausam, dass ich mich dann irgendwann,
also die ist komplett bei Jimdo entstanden.
Dann habe ich das angefangen mit allem,
was ich da praktisch draus gelernt habe.
Und habe mir gedacht, ich mache das irgendwie nochmal alles anders.
Und das dann auch als ein reines Feierabendprogramm.
Eigentlich wollte ich nur mal Mongo.de lernen,
da ist dann das irgendwie draus entstanden am Ende.
Genau. Warum ist Grey Lockheiß, wissen wir auch nicht
mehr genau. Wir haben es schon versucht zu reproduzieren.
Das ist damals auf diesem Jimdo-Balkon mal entstanden mit viel Kuba-Libre.
Und alle Anwesenden wissen nicht mehr, warum es so heißt.
Also ich weiß es wirklich auch nicht mehr.
Es ist häufig gefragt, wir wissen es nicht mehr
Noch mehr fragen. Ja. Keine Frage. Gibt es tatsächlich irgendwelche Firmen,
die sich irgendwie scheuen, solche Auswertungsklients zu benutzen,
so mit den Stolpernsteinen? Ich würde nicht sagen,
weil die, also nicht aus dem Grund,
also wir haben es ein paar Mal erlebt,
dass sich dort Entwickler ein bisschen gescheut haben,
weil die Angst hatten,
so jetzt können plötzlich alle in meine Fehler reingucken und was ich irgendwie den ganzen Tag so für Sachen produziere.
Das lässt sich aber, ich glaube,
das ist ein generelles Kulturproblem in der Firma dann.
Das lässt sich relativ einfach dadurch erschlagen, dass sich diese Fehler
ihm auch einfach viel einfacher lösen lassen und auch gar nicht erst passieren.
Ansonsten ist es natürlich häufig so, dass das größte Problem ist,
dass man natürlich, wenn man wirklich richtig viele Daten hat.
Also wir haben mehrere Kunden, die inzwischen in 20,
30, 40 Milliarden Nachrichtenbereich irgendwie agieren.
Die müssen natürlich entsprechend viel Hardware dahinstellen. Das kann sein
am Anfang, dass den Leuten nicht gleich bewusst ist,
was sie daraus bekommen am Ende auch.
Das lässt sich einfach dadurch lösen, dass man einfach
mit zum Proof of Concept anfängt, mit einer Applikation.
Oder vielleicht sogar, wir haben einen Mongo-DB-Adapter,
mit dem man den Mongo, die Profiler da reinschalten kann.
Das machen wir dann vor Ort teilweise. Wir sagen so,
jetzt machen wir aus eurem Testsystem, mach den mal an,
wir hier mal rein. Und jetzt zeige ich euch mal
alle eure langsam Curies, innerhalb von drei Minuten.
Zeuf Bier, da, da, da. So,
hier hast du einen Index vergessen. So, das lässt
sich noch relativ schnell relativ einfach erklären, glaube ich.
Man muss natürlich ein bisschen Geld in die Hand nehmen für die Hardware, natürlich.
Wenn man es groß macht, hört man mehr Hardware.
Zwei. Das ist so einfach zu installieren.
Wie sagt man, das Leben hinter? Du wachst raus.
Dann installierst du die Lestic Search Mongo, die B-Nacht.
Also Mongo DB ist sehr einfach zu installieren,
wenn du auf irgendeinem Linux bist.
Die haben ganz wunderbare Pakete. Das geht wunderbar schnell weg
. Elastic Search ist inzwischen auch sehr einfach zu installieren.
Also gerade du kriegst wirklich sehr, sehr schnell
ein einfaches Setup
Du musst dich dann natürlich, wenn du wirklich richtig viele Daten da reinschreibst,
ein bisschen damit auseinandersetzen, wie du Elastic Search zum Beispiel skalierst.
Da gibt es aber sehr, sehr viel Hilfe in der Community
auch zu und Elastic Search selber ist da auch sehr,
sehr hilfreich und hat sehr gute Docs dazu.
Also man hört, das ist ganz interessant,
wenn man irgendwie in Hamburg auf solchen Events ist oder so,
dass dann erst Leute mitkriegen,
dass irgendwie wir hinter diesem Produkt stecken und aus Hamburg kommen und irgendwie die Straße runter sind,
weil die gar nicht mit uns als Entwickler irgendwie Kontakt kommen.
Die haben damals die Readme benutzt und die Docs und dann läuft das
da halt irgendwie seit zwei Jahren und funktioniert ganz wunderbar.
Also man zieht sie da auch wieder auf, wie viel du zum Brainock 2 Ehrlich?
Hast du auch das, was man die Frage jetzt hier mal verfragt?
Weil so lange zieht er ja nicht darauf,
ein bisschen in der Art von Worte sitzen,
für mich halt immer Interesse,
dass direkt heute Abend können wir ausprobieren und scheut sich vielleicht,
das zu probieren, weil man vielleicht irgendwo stehen bleibt,
weil man das irgendwie nicht weiß, wo die Antwort ist.
Das ist jetzt nachher auch zu probieren, mit zwei Beinen
, ganz vorsichtig. Also ich stelle mir die Frage,
wie wichtig ist die Daten reingekommen, was ich da mit
so Social NG benutzen?
Kannst du, du kannst nicht
hier kommen
Also, es kommt ein bisschen darauf an, was du machen möchtest.
Wenn du das Allereinfachste, wie die meisten Leute auch anfangen,
ist tatsächlich irgendein Sislock-Demon, den haben die allermeisten schon,
also ein Ersislock oder ein Sislock and G oder so zum Beispiel,
den stellst du einfach nur auf den UDP-Endpunkt,
der dann Greylock 2 ist.
Die kommt dann rein und die werden in der Regel auch richtig gepasst.
Wir haben für R-Saison, haben wir auch einfach einen Guide,
das hier ist das beste Loggy-Format, was man so nehmen kann dafür.
Das hat dann auch Microsecond Resolution und so Spiele.
Das funktioniert sehr einfach. Seine Cisco-Router oder irgendwelche Router da reinzubekommen,
man kriegt die Daten sehr schnell rein,
um sie auch schön formatiert zu bekommen,
müsste man dann auf unsere Extractor-Directories nochmal zugreifen,
da gibt es dann so Regeln praktisch,
kann man sich einfach runterladen und reinspielen und dann kann das Ding auch diese bestimmte Cisco-Serie.
Aus der eigenen Applikation heraus, wir haben ein eigenes Logformat,
nennt sich Galf, Süd für Greylock, Extended, Logformat.
Das klingt sehr wichtig, ist aber eigentlich nur ein Jason am Ende.
Das kann man machen, da kannst du direkt strukturiert aus deiner Anwendung herausschicken.
Da gibt es inzwischen, glaube ich, über 35 Libraries,
die das machen, also zum Beispiel einfach ein Log4J-Appender.
Was du hier, das ist mein Greylock 2-Host, alles,
was ein Log4J-Logge, geht strukturiert raus an Greylock 2 automatisch.
Das ist auch sehr einfach,
wenn man lokale Files hat, die man irgendwie noch,
also die müsste man irgendwie tailen und dann mit Netnet oder irgendwas Wildes,
macht man am besten mit Logstash.
Das ist ein anderes Open-Source-Tool, logstash.net
Das funktioniert ganz wunderbar, um so lokale Files zu lesen.
Wir hatten Greylock 2 Output, schreibt dann ein Greylock 2 weiter.
Bis wir unseren eigenen Demon dafür haben, der vielleicht bald kommt.
Ja, genau. In der Kunde.
Gut, dann vielen Dank