Tackelberz

Tackelberz header image 1

Mapping in Elastic

25. Februar 2016 · Keine Kommentare

Lädt man Daten nach Elastic (indizieren) um dann bspw. in Kibana die Daten zu visualisieren, werden die Typen der Variablen des Datensatzes von Elastic per Default bestimmt. Das ist auch in vielen Fällen sehr gut so, doch manchmal kann die Default-Einstellung auch für das gewünschte Ergebnis nachträglich sein. Bspw. werden in Elastic per Default alle Stringvariablen analysiert, das bedeutet, dass die Schlüsselwörter extrahiert werden. In einigen Fällen möchte man das nicht, sondern will mit den Nennungen – wie sie sind – analysieren.
Folgend eine Beschreibung wie ein solches Mapping durchgeführt wird.
Die vorliegende Big Data-Plattform besteht aus Spark (Version 1.4.1) und Elastic (Version 2.1.0)

Um das Mapping zu bewerkstelligen muss ein neuer Index angelegt werden:
curl -XPUT ‘http://iasv0218:9200/k_info_kenn’

checken dieses Indexes
curl -XGET “http://iasv0218:9200/k_info_kenn”

Auch als Information – sollte man jetzt nicht machen – aber, wenn man mal einen Index entfernen möchte:
curl -XDELETE ‘http://iasv0218:9200/k_info_kenn/’

Dann nur für jene Variablen das Mapping bestimmen, die nicht im Standard-Mapping ok für mich sind:
curl -XPUT http://iasv0218:9200/k_info_kenn/kenn/_mappings -d ‘
{
“kenn”: {
“properties”: {
“FALLART”: {
“type”: “string”,
“index”: “not_analyzed”
},
“ABDAT”: {
“type”: “date”,
“format”: “yyyyMM”
}
}
}
}’

-> “kenn” ist hier der spezielle Typ des Mappings. “k_info_kenn” eben der Index.

Nun müssen die Daten (in Elastic werden diese Dokumente genannt) in den vorbereiteten Index eingefügt werden.
Ich beschreibe nun den Weg über Spark-SQL, weil unsere ETL-Tools die Daten gleich in ein Data Frame-Format transformieren.
Natürlich kann man Daten auch direkt in die Spark-Shell laden, dass soll aber ein andermal das Thema sein.
-> Eingabe der folgenden Befehle müssen aber in der Spark-Shell abgegeben werden.

Die Daten aus Spark-SQL wieder in die Spark-Shell laden:
val info = sqlContext.read.parquet(“/data/warehouse/s_db2_info_kenn”)

(Wenn das nicht auf Anhieb geht, dann in Spark-SQL einfach den Datensatz nochmals als Parquet unter anderem Namen speichern)
create table s_db2_info_kenn
using org.apache.spark.sql.parquet as
Select * from s_db2_apl_ikom_ikenn;

Dann Benennung der Feldnamen
val fieldNames = info.schema.fieldNames

Dann als Tabelle die Reihen mappen
val infoTable = info.map(row => row.getValuesMap(fieldNames))

Elastic importieren
import org.elasticsearch.spark._

Dann die Daten (Dokumente) in den vorher gemachten Index laden
infoTable.saveToEs(“k_info_kenn/kenn”)

Und nun kann man auf die herkömmliche Weise den Index in Kibana erstellen und die Daten haben die Form wie man sich es im Index definiert hat.

→ Keine KommentareTags: Big Data Technologien

Big Data Technologien

21. Februar 2016 · Keine Kommentare

Nach mehr als 3 Jahren werde ich nun wieder anfangen hier öfter Sachen zu veröffentlichen. Seit einiger Zeit arbeite ich mit Open-Source Big-Data Technologien. Das Schöne daran ist, dass die Vorgehensweise sehr der Arbeit mit R ähnelt, die ich ja schon seit meiner Diss-Tätigkeit gerne pflege. R ist ja sozusagen auch fest im Big Data Thema verankert. Die Beiträge zu Big Data-Technologien sollen in erster Linie als Hilfestellung für meine Kollegen gelten, die sich in die Materie einarbeiten. Aber auch sonst allen die Spark, Elastic und co. Fans sind und gerne damit arbeiten.

Gerne kann auch mit mir Kontakt aufgenommen werden um sich über die Anwendungen auszutauschen. Natürlich nehme ich auch gerne Tipps an.

→ Keine KommentareTags: Big Data Technologien

Im direkten Vergleich

9. Januar 2013 · Keine Kommentare

Es gibt mal wieder was von der Veröffentlichungsfront!

In der neuen Research & Results ist ein Artikel von mir erschienen mit dem Namen: “Im dirketen Vergleich. Online- und Offline-Gruppendiskussionen.”
Der Klappentext ist wie folgend: Viele Marktforschungsunternehmen bieten heute Online-Communities als Alternative zu traditionellen Offline-Gruppendiskussionen an. Martin Zuber hat die beiden qualitativen Forschungsinstrumente miteinander verglichen.

Wenn Interesse daran besteht, dann muss man eben in der neuen Research & Results mal kucken. Was ich besonders witzig finde ist, das Claudia Brözel ein paar Seiten hinter mir auch einen Artikel veröffentlicht hat. Wir haben quasi gameinsam in HN gelehrt und wo anders promoviert.

→ Keine KommentareTags: Allgemein

Dissertation: Anschlusskommunikation in der Blogosphäre

30. August 2012 · 2 Kommentare

Meine Dissertation “Anschlusskommunikation in der Blogosphäre” gibt es ja schon seit geraumer Zeit hier zum runterladen.

Nun kann man Sie aber auch vom Bibliotheksserver Qucosa runterladen. Einfach dieser URL: http://nbn-resolving.de/urn:nbn:de:bsz:14-qucosa-91803 folgen. Diese URL muss dann auch beim Zitieren angegeben werden.

→ 2 KommentareTags: Allgemein

ipi World

9. Mai 2012 · Keine Kommentare

Hallo Zusammen,

bei uns (ipi Instituten www.ipi.de) gibt es jetzt eine Community. Da kann man über krasses Zeug labern (Waschen und Peeling usw.). Da gibt es aber auch immer wieder Aufrufe für Tests bei denen ihr gerne mitmachen könnt…, also würde mich freuen euch dort zu sehen und vielleicht habt ihr ja mal Bock bei einem Test mitzumachen gibt natürlich immer auch was geschenkt,…

Hier die offizielle Einladungs-Mail:

es ist soweit, die ipi Institute für Produkt-Markt-Forschung gehen mit einer eigenen Community online und wir möchten Sie dabei haben! Werden Sie Mitglied in der ipi WORLD – und das erwartet Sie:

-> Spannende Themen und Diskussionen aus der Welt der ipi Institute: diskutieren Sie mit anderen Probanden über unsere Tests und Produkte und sprechen Sie mit Herstellern über deren neue Produkte und Produktideen. Gestalten Sie den Markt mit, noch bevor Neuheiten auf den Markt kommen.
-> Sie sind schon bei uns Testperson und sind es gewohnt, dass wir Ihnen Fragen stellen? In der Online-Community können Sie auch uns und anderen Mitgliedern Fragen stellen oder mit anderen Probanden diskutieren und sich austauschen.
-> Erfahren Sie als Erster von neuen Tests und Studien bei uns im Teststudio Königstraße oder Neckarstraße. Bei manchen Studien können Sie sogar die Vorbefragung direkt online über die Community ausfüllen! – Verpassen Sie keine Gelegenheit mehr, an lukrativen Studien teilzunehmen.

Selbstverständlich ist eine Mitgliedschaft für Sie absolut kostenlos und unverbindlich. Sie können sich jederzeit aus der Community abmelden. Die Richtlinien der Deutschen Marktforschung werden von uns strikt eingehalten.

Als Dankeschön für Ihre Teilnahme verlosen wir alle zwei Monate Geldpreise in Höhe von 150 Euro – mitmachen lohnt sich also.

Wenn Sie Interesse haben, klicken Sie einfach auf den Link und melden Sie sich an

http://www.ipiworld.de/

Sollten Sie Fragen oder Probleme haben, melden Sie sich bitte einfach bei uns unter der Telefonnummer 0711 997939-10
Unser Büro ist von Montag bis Freitag zwischen 8:30 und 17 Uhr besetzt.

Bis bald in unserer Community! Wir freuen uns auf spannende Diskussionen mit Ihnen!

→ Keine KommentareTags: Allgemein

Einer meiner Lieblingstexte…

18. Februar 2012 · 3 Kommentare

Von Fishmob; das Lied heisst: Du, äh du

you can buy a dream or two -
es wurden schon viele schöne frauen auf dieser welt geboren
du bist zwar nicht von hinten wie von vorn
und vielleicht ein bißchen ländlich
doch kommst du in den raum dann schrei’ ich endlich
denn ich find’ dich super schon das erste mal als ich dich sah
war mir klar daß zwischen uns was war
denn es hat zoom gemacht ich war du und die nacht
und hatte mit chemischen drogen aus amerika herumexperimentiert
bis ich das bewußtsein verlor
kaum aufgewacht stand’ste vor mir und hast mich gefragt
“haste noch was übrig?” das fand ich so niedlich
du fütterst mich dann mit valium
hm lecker happa happa einen für mama einen für papa
ich mochte dich gern leiden zeigtes verständnis und viel nackte haut
du warst ‘ne kompakte braut kompakt gebaut und dangerous -
was man empfindet können worte oft nicht sagen
und deshalb haben wir uns öfter auch geschlagen
aber unfair? – von wegen -
du hast immer aufgehört kaum hab’ ich am boden gelegen
du bist von der sorte die nicht soviel worte macht
du bist ‘ne frau zu der man besser nicht torte sagt
typ so’n blöden spruch gebracht
nicht nachgedacht schädelbruch gut’ nacht
oh mann wenn ich nach dieser frau schiele
werd’ ich zappelig wie nur vorm hsv-spiel
seit ich mit ihr zusammen bin jetzt
hab’ ich keinen schiß mehr vor skinheads -
sie hat ‘nen händedruck der hände bricht
‘n gesichtstatoo das bände spricht
ihr rücken ist breiter als vom hafenarbeiter
und beim bizeps-vergleich werd’ ich nur zweiter leider
you can buy a dream or two -
oh baby baby i want you
you can buy a dream or two -
i want you -
du äh du du äh du du äh
du du du du du du du du du du
du bist ‘ne wucht und ich komm kaum aus’m staunen raus
weil du powerfrau genug bist
und auf’m bau zementsäcke wuchtest
trotz alledem aber immer feminin und gut für mich bist
wie die aspirin am morgen baby
wie’n baby im mutterleib fühl’ ich mich geborgen
und ehrlich ich find’ dich so herrlich
vulgär und begehr’ dich noch mehr
wenn du richtig ordinär wärst und sagst
daß ich dein ??? im glück bin
viel geiler als eines dieser püppchen
die modelmäßig aufgestylt auf weißen plateuschuhen
durch die city shoppen gehen und nur stoppen
um zu gucken ob sich jungs umdrehen
nein dich mag’ ich viel lieber bist’n anderes kaliber
abgefuckte wie die queens vom kiez
bist du ein gefallener engel doch für mich das paradies -
heya heya heya heyho die frau guckt gut -
und zusammen sind wir durch dick und dünn gegangen -
haben zusammen mit dem aufhören angefangen -
ja zusammen gingen wir in die disco dancen
und zusammen kannten wir keine dispo-grenzen -
wir haben zusammen miracoli-gewürzmischnungen geklaut -
und zusammen haben wir uns unser leben versaut -
ja zusammen ist uns kein weg zuweit -
zusammen – zu zweit – bis in alle ewigkeit -
so lieber kandiat wer soll jetzt dein herzblatt sein?
ist es dj koze der kompaktgebaute valium-freak aus amerika
der das bewußtsein verliert sobald du in den raum kommst?
oder sven der gesichtstätowierte hafenarbeiter
der dir vor jedem hsv-spiel die hände bricht?
oder ist es cosmic auf weißen plateau-schuhen
zementsäcke auf den kiez schleppt
und für den du ziemlich ‘ne wucht bist?
you can buy a dream or two -
oh baby baby i want you
you can buy a dream or two -
i want you
oh baby baby i want you

→ 3 KommentareTags: Allgemein

Ungarische Volksmusik

26. Januar 2012 · 2 Kommentare

Noch ein kleiner Nachtrag zu Ungarn. Ungarn ist ja noch eine recht junge Demokratie und auch noch gar nicht so lange vom Einfluss der Sowjet Union befreit und somit souvereigner Staat. Da gibt es, wie auch andere Staaten gezeigt haben und zeigen, oftmals stark patriotische und auch nationalistische Tendenzen.
Es ist so eine Art Selbstfindungsprozeß, der eben seine positiven und negativen Auswüchse trägt.
Über die negativen Auswüchse wird viel geredet – eher weniger wird über die positiven Auswüchse gesprochen.
Ungarische Volksmusik ist in Ungarn nämlich total hipp. Und das ist nicht mit der deutschen Schlager Volksmusik zu vergleichen. Die ungarische Volksmusik wird gesamtgesellschaftlich geschätzt. Eine Band die zur Zeit sehr hoch im Kurs steht und tausende in die Hallen bringt ist Csik Zenekar.
Ein besonderes Phänomen an dieser Band ist, dass Sie populäre ungarische Pop-und Rockmusik neu interpretiert. Das Rockbands Themen und Melodien aus der Volksmusik aufnehmen hat es schon lange gegeben – das Ganze aber andersrum habe ich noch nie gesehen.
Hier ein Beispiel:

Von der Band “Kispál és a Borz”

Und hier die Interpretation von Csik Zenekar:

→ 2 KommentareTags: Allgemein

Übungsaufgabe

26. Januar 2012 · 1 Kommentar

ÜbungsaufgabenSS1112 die Übungsaufgaben

→ 1 KommentarTags: Allgemein

Wieder am Start,…

9. Oktober 2011 · 2 Kommentare

Ja. Bin natürlich schon wieder eine ganze Weile in Deutschland und es hat sich schon viel getan. Dazu jedoch später ausführlich mehr.
Ich wünsche allen Studierenden einen guten Start in das WS 11/12 und freue mich auf die zwei Kurse, die ich noch dieses Semester mache.

→ 2 KommentareTags: Allgemein

Bin dann mal weg,…

2. August 2011 · Keine Kommentare

und genieße meinen Urlaub am ungarischen Meer,…

→ Keine KommentareTags: Allgemein

Mobile Technology and Business Travel

25. Juli 2011 · Keine Kommentare

In Kooperation mit netten Kollegen ist ein White Paper entstanden, auf das es sich zu verweisen lohnt:

Gibt es hier zum herunterladen.

→ Keine KommentareTags: Allgemein

“Aurora” Musik-Tanz-Performance

14. Juli 2011 · Keine Kommentare

Liebe Leute! Ein sehr schönes Programmangebot hat mich heute erreicht, durch eine Gaffenberg-Tante, die mit meiner Frau kürzlich bei einer SOS-Gaffenberg-Veranstaltung zusammengearbeitet hat. Ihr Vater hat das Projekt organisiert und schrieb den folgenden Brief, der für sich spricht! Wenn ihr kunstinteressiert und offen seid und am 23. Juli Zeit habt, kommt!!!

Liebe Weggefährten,
Ich möchte Euch / Sie einladen zu etwas nicht alltäglichem, etwas von dem ich jahrelang geträumt habe, und das jetzt am Samstag 23. Juli um 19:30 “geboren” wird.
Die Idee: Fantastische Musik eines großartigen Ensembles zu verbinden mit einer bewegenden Bühnenshow, von Kindern und Jugendlichen, die monatelang nur für diese EINE – einmalige Aufführung geprobt haben.
130 Mitwirkende auf 2 Bühnen, 50 Engagierte “hinter der Bühne”, ein Prozess von Ideen-Entwickeln über mehr als ein Jahr, von Netzwerke bauen, Theater machen lernen, Präsenz zeigen – Fokus! Freeze! Samen sein, von Mutter Erde bedeckt werden, aufblühen, zu Bäumen werden,
Sonnenaufgang sein, den neuen Tag begrüßen und das Wunder des Lebens erahnen.
Mit 38 Viertklässlern, 14 Zehntklässlern, einem gigantischen 65-köpfigen sinfonischen Orchester, mit einer Schulband.
Das Ganze ist noch dazu eine Benefizveranstaltung für Kinder, die Krebs haben oder überstanden haben.
Die Situation im Moment: Es sind jetzt – 10 Tage vor dem Auftritt (!) erst ca 200 Karten von 800 verkauft… Wenn wir bis Dienstag nicht mindestens 500 Karten verkaufen können, kann sein dass wir alles für umsonst gemacht haben und das Konzert abgesagt werden muss…

Meine Große Bitte:
Familienkalender holen, 23.7. abends aufschlagen, überlegen, entscheiden!
Dann: Schreibt mir bitte eine Antwortmail bis Freitag Abend!!!
Christoph Schulz: bindus.achtebacht@googlemail.com

Weitere Infos:
Eintritt: Erwachsene: 10 Euro, Kinder und Jugendliche bis 18 Jahre: 5 Euro
Wann und wo: am Samstag, 23. Juli 2011, 19:30 Uhr in der Horst Haug Halle in Schwaigern.

3 Artikel aus der Heilbronner Stimme von Friedhelm Römer:
Ein Werk wächst zusammen
Erste Schritte zum Gesamtkunstwerk
Schnuppertag im Sportpark

→ Keine KommentareTags: Allgemein

Klausurvorbereitung Statistik SS11

29. Juni 2011 · Keine Kommentare

Also hier nun als erstes die besprochenen Übungsaufgaben (es steht zwar WS1011 drauf, aber es sind die selben die auch vor paar Tagen besprochen wurden):
Übungsaufgaben_WS1011

Und dann die aktuellste Übungsklausur mit Lösungen:
Übungsklausur_Statistik

und

eine alte Klausur mit Lösungen (keine Garantie für die Richtigkeit dieser)

und

eine aktuellere Klausur ohne Lösungen

→ Keine KommentareTags: Allgemein

Gaffenberg Flashmob

31. Mai 2011 · 3 Kommentare

Das Evangelische Walderholungsheim auf dem Gaffenberg ist in Gefahr! Wer kennt diese Zauberwelt nicht, umgeben von Wald und Weinbergen, auf den lieblichen Höhen über Heilbronn, die mittlerweile seit über 80 Jahren eine unausschöpfliche Quelle von Sommerfreuden für tausende Kinder und Jugendliche ist?
Die glücklichen Sommerferien so Vieler sind aber wegen des Verfalls des Freizeitgeländes in ernsthafter Gefahr. Die meisten Gebäude stammen aus der ersten Nachkriegszeit, eine umfassende Renovierung hat bisher nicht stattgefunden.
“S.O.S. Gaffenberg” – unter diesem Titel hat die Heilbronner Bürgerstiftung mit Unterstützung der Heilbronner Stimme eine groß angelegte Spendenaktion für die Deckung des Sanierungsbedarfs gestartet. Eine Reihe besonderer Ereignisse sollen den Erfolg der Kampagne sicherstellen. Weitere Infos hier.

Zu den Veranstaltungen von “S.O.S. Gaffenberg” zählt auch die Erzählstaffel “Heilbronner Legenden – Von Jugendlust und Sommerfreuden” am 9. Juli in der Heilbronner Innenstadt, die um 15:15 mit einem Flashmob auf dem Kiliansplatz losgeht. Wer Lust hat, kann gerne mitmachen!

Flashmobs sind ein Phänomen des Social Webs. Zwar finden Sie offline statt, doch entfalten sie ihre Wirkung erst durch die online Verbreitung im Nachhinein. Ebenso findet vor dem Flashmob auch eine Vorbereitung statt, indem das Ritual, das beim Flashmob vorgeführt wird (häufig ein Tanz), durch die Kanäle des Social Web verbreitet wird.
Hierbei sieht man äußerst anschaulich, dass im Social Web Mundpropaganda rasend schnell verbreitet werden kann und die Botschaft sich nicht nur in einzelnen Netzwerken etabliert, sondern auch über die Netzwerkgrenzen hinausgeht.

→ 3 KommentareTags: Allgemein

Lehrberichte und Evaluationen aus dem WS1011

28. April 2011 · Keine Kommentare

Anbei finden Sie meine Lehrberichte zu dem letzten Semester und die Evaluationen dazu. Ich möchte diese öffentlich machen, da ich finde, dass jeder Studierende das Recht hat erfahren zu können, wie die Kommolitonen die Veranstaltung erlebt haben. Dies kann durch Sichtung der Evaluationen erreicht werden. Die Meinung des Dozenten kann über die Lehrberichte in Erfahrung gebracht werden.
Natürlich kann in den Kommentaren darüber diskutiert werden.

Wissenschaftliche Grundlagen und Datenerhegung:
Evaluation WS10_11-Wiss._Grundlagen_u._Datenerhebung
Lehrbericht Zuber_Grundlagen_WiSe2010_11

Einführung in die Statistik:
Evaluation WS10_11-Einfuehrung_in_die_Statistik
Lehrbericht Zuber_Statistik_WiSe2010_11

Modelle und Methoden der Datenanalyse:
Evaluation WS10_11-Modelle_und_Methoden_der_Datenanalyse
Lehrbericht Zuber_Modelle_WiSe2010_11

→ Keine KommentareTags: Allgemein