Textklassifizierung mit Solr, Hadoop, LibSVM
In der Lucene/Solr Revolution-Sitzung „Textklassifizierung mit Lucene/Solr, Apache Hadoop und LibSVM“ hat Majirus Fansi, SOA- und Suchmaschinenentwickler bei Valtech, zeigt Ihnen, wie Sie mit Apache Lucene/Solr und den libSVM-Bibliotheken einen Textklassifikator erstellen. Sie klassifizieren ihren Korpus von Stellenangeboten in eine Reihe von vordefinierten Kategorien. Jedes indizierte Dokument (ein Stellenangebot) gehört dann zu null, einer oder mehreren Kategorien. Zu den bekannten maschinellen Lerntechniken für die Textklassifizierung gehören das naive Bayes-Modell, die logistische Regression, das neuronale Netzwerk, die Support Vector Machine (SVM) usw..
Sie verwenden Lucene/Solr, um den Merkmalsvektor zu erstellen. Dann verwenden sie die libsvm-Bibliothek, die als Referenzimplementierung des SVM-Modells bekannt ist, um das Dokument zu klassifizieren. Sie konstruieren so viele Eins-gegen-alle-SVM-Klassifikatoren, wie es Klassen in ihrer Umgebung gibt. Anschließend gleichen sie die Ergebnisse der Klassifikatoren mit dem Hadoop MapReduce Framework ab. Das Endergebnis ist ein skalierbarer Mehrklassen-Klassifikator. Abschließend beschreiben sie, wie der Klassifikator verwendet wird, um die grundlegende Solr-Schlüsselwortsuche zu bereichern.
Diese Sitzung für Fortgeschrittene findet am Donnerstag, den 7. November von 1:55-2:40 statt. Klicken Sie hier für weitere Details.
Über den Redner:
Majirus Fansi (@majirus) ist leitender Entwickler bei Valtech Technology Paris. Er integriert Suchfunktionen auf der Grundlage von Apache Lucene/Solr in die Java-Webanwendungen seiner Kunden. Majirus ist auch SOA-Integrator und hilft seinen Kunden, MULE ESB in ihre Architektur zu integrieren. Er spricht auf akademischen Konferenzen und Entwicklertreffen wie der Devoxx France, der ApacheCon und der Lucene/Solr Revolution. Sein Hauptaugenmerk liegt heute auf der Anwendung von Text Mining, um die Anwendungen seiner Kunden für die Stichwortsuche mit semantischen Funktionen zu erweitern. Majirus hat einen Doktortitel in Informatik von der Universität Pau in Frankreich und einen gemeinsamen Executive MBA-Abschluss der Stockholm University School of Business und der Ecole Supérieure de Commerce (ESC) de Pau.
Mehr Details:
- Für weitere Informationen über Lucene/Solr Revolution EU besuchen Sie bitte lucenerevolution.org.
- Für weitere Road to Revolution Beiträge, klicken Sie hier.
- Um die vollständige Agenda der Sitzung einzusehen, klicken Sie hier.
- Um sich für die Konferenz zu registrieren, klicken Sie hier.
- Um die neuesten Nachrichten und Updates zur Konferenz zu erhalten, folgen Sie @LuceneSolrRev auf Twitter.
- Haben Sie eine Frage zur Konferenz? Möchten Sie in die Mailingliste der Konferenz aufgenommen werden? Sind Sie daran interessiert, Revolution zu sponsern? Wenn ja, senden Sie uns bitte eine E-Mail an: info@lucenerevolution.org.
Lucene/Solr Revolution wird präsentiert von Lucidworks, dem kommerziellen Unternehmen für die Open-Source-Suche Apache Lucene/Solr – die Zukunft der Suchtechnologie.