Elasticsearch ist eine Open-Source-Such- und Analyse-Engine, die auf Apache Lucene basiert. Sie ermöglicht es, große Mengen an Daten in Echtzeit zu durchsuchen und zu analysieren. In diesem Artikel werfen wir einen genaueren Blick auf Elasticsearch, erkunden seine wichtigsten Funktionen und zeigen dir anhand von Praxisbeispielen, wie du Elasticsearch in dein Projekt integrieren kannst.

Einführung

In der heutigen datengetriebenen Welt ist die Fähigkeit, Informationen schnell und effizient zu finden, von entscheidender Bedeutung. Elasticsearch bietet eine leistungsstarke Lösung, die es Unternehmen ermöglicht, ihre Daten zu indexieren und in Echtzeit abzufragen. Doch was genau ist Elasticsearch, und warum solltest du es in deinem Unternehmen oder Projekt einsetzen?

Was ist Elasticsearch?

Elasticsearch ist eine verteilte, RESTful Such- und Analyse-Engine, die für ihre Geschwindigkeit und Skalierbarkeit bekannt ist. Sie ermöglicht es, Daten in nahezu Echtzeit zu speichern, zu suchen und zu analysieren. Mit Funktionen wie Volltextsuche, facettierter Suche und Aggregationen ist Elasticsearch eine ideale Lösung für Anwendungen, die große Datenmengen verarbeiten müssen.

Vorteile von Elasticsearch

Elasticsearch bietet zahlreiche Vorteile, sowohl für Entwickler als auch für Unternehmen:

Technische Grundlagen und Funktionsweise

Im Kern basiert Elasticsearch auf Apache Lucene, einer leistungsstarken Such-Engine-Bibliothek. Während Lucene die grundlegende Suchfunktionalität bereitstellt, macht Elasticsearch diese durch eine REST-API und verteilte Architektur wesentlich zugänglicher. Die Anfragesprache von Elasticsearch ist JSON-basiert und ermöglicht sowohl einfache Volltextsuchen als auch komplexe analytische Abfragen. Mit der Query DSL (Domain Specific Language) können Entwickler präzise Suchanfragen formulieren, die von exakten Matches bis hin zu Fuzzy-Suchen reichen.

Hier ein paar Query Beispiele:

// 1. Einfache Volltextsuche
// Sucht nach Dokumenten, die das Wort "elasticsearch" im Feld "description" enthalten
{
  "query": {
    "match": {
      "description": "elasticsearch"
    }
  }
}

// 2. Fuzzy-Suche mit mehreren Bedingungen
// Findet auch Dokumente mit Tippfehlern und kombiniert mehrere Suchkriterien
{
  "query": {
    "bool": {
      "must": [
        {
          "fuzzy": {
            "title": {
              "value": "elastcsearch",
              "fuzziness": "AUTO"
            }
          }
        },
        {
          "range": {
            "price": {
              "gte": 10,
              "lte": 100
            }
          }
        }
      ]
    }
  }
}
// 3. Komplexe Volltextsuche mit Highlighting
// Sucht nach Phrasen und hebt die gefundenen Stellen hervor
{
  "query": {
    "multi_match": {
      "query": "cloud computing",
      "fields": ["title^2", "description"],
      "type": "phrase"
    }
  },
  "highlight": {
    "fields": {
      "title": {},
      "description": {
        "number_of_fragments": 2,
        "fragment_size": 150
      }
    }
  }
}

Um diese Queries zu nutzen, können sie über die Elasticsearch REST API gesendet werden, zum Beispiel: curl -X GET "localhost:9200/my-index/_search" -H "Content-Type: application/json" -d' {query hier einfügen}'

Ein weiteres cooles Feature von Elasticsearch is die Validate API. Mit dieser können Queries vor "richtiger" Ausführung überprüft werden. Genutzt werden kann sie mittels: curl -X GET "localhost:9200/my-index/_validate" -H "Content-Type: application/json" -d' {query hier einfügen}'

Besonders hervorzuheben sind Features wie Autocomplete und Suggestions, die durch spezielle Analyzer und Token-Filter realisiert werden. Die NGram- und Edge-NGram-Token-Filter ermöglichen es, Texte in kleinere Einheiten zu zerlegen, was für Autovervollständigung und Teilwortsuche essentiell ist. Darüber hinaus bietet Elasticsearch fortgeschrittene Funktionen wie Geo-Spatial-Suche, Aggregationen für analytische Zwecke und ein ausgefeiltes Scoring-System zur Bewertung der Suchergebnisse.

Deployment und Konfiguration

Elasticsearch lässt sich in verschiedenen Szenarien deployen, von einzelnen Entwicklungsinstanzen bis hin zu großen Produktivclustern. In Kubernetes-Umgebungen erfolgt das Deployment typischerweise über den Elastic Cloud on Kubernetes (ECK) Operator oder durch managed Services wie Elastic Cloud. Die Konfiguration erfolgt über YAML-Dateien, wobei wichtige Aspekte wie Speicherallokation, Netzwerkeinstellungen und Sicherheitsfeatures definiert werden.

Ein typisches Produktions-Setup umfasst mehrere Nodes mit unterschiedlichen Rollen (Master, Data, Ingest) und redundanter Datenhaltung durch Repliken. Für die Entwicklung eignet sich auch ein lokales Setup mit Docker Compose, das schnell aufgesetzt werden kann und die wichtigsten Features für Entwicklung und Tests bereitstellt.

Integration und Ökosystem

Das Elasticsearch-Ökosystem ist besonders umfangreich. Für Python-Entwickler steht der offizielle elasticsearch-py Client zur Verfügung, der eine intuitive API für alle Elasticsearch-Operationen bietet. Content Management Systeme wie Wagtail integrieren Elasticsearch für leistungsfähige Suchfunktionen in Websites. Die Integration erfolgt dabei meist über den Python-Client und ermöglicht Features wie automatische Indizierung von Inhalten und facettierte Suche.

Für das Monitoring und die Verwaltung stehen verschiedene Tools zur Verfügung. Kibana bietet umfangreiche Visualisierungs- und Management-Funktionen, während Grafana sich besonders für das Monitoring von Performance-Metriken eignet. Beats und Logstash ergänzen das Ökosystem um Datenaggregation und -transformation.

Michael Schilonka

Wir können auch deine Daten mit Elasticsearch durchsuchbar machen.

Jetzt Kontakt aufnehmen

×

Du kannst einen Termin mit unserem Experten vereinbaren

Michael Schilonka

Termin vereinbaren

oder

oder

Formular lädt gerade...

Schließen

Vergleich mit Alternativen

Im Vergleich zu Apache Solr, dem anderen großen Player im Bereich Suchengines, zeichnet sich Elasticsearch durch seine einfachere Handhabung und bessere Unterstützung für verteilte Systeme aus. Während Solr traditionell in Enterprise-Umgebungen stark ist, punktet Elasticsearch besonders bei modernen, Cloud-nativen Anwendungen. OpenSearch, ein Fork von Elasticsearch, bietet eine vollständig Open-Source-Alternative mit ähnlichen Funktionen.

PostgreSQL mit seiner Volltext-Suchfunktionalität kann für kleinere Anwendungen ausreichend sein, bietet aber nicht die Skalierbarkeit und spezialisierten Suchfeatures von Elasticsearch. Meilisearch und Typesense sind neuere Alternativen, die sich auf Benutzerfreundlichkeit und schnelle Integration fokussieren, aber nicht die gleiche Funktionstiefe bieten.

Lizenzen und Kosten

Seit 2021 verwendet Elasticsearch eine duale Lizenzierung: Die grundlegende Version ist unter der Server Side Public License (SSPL) verfügbar, während zusätzliche Features unter der Elastic License stehen. Diese Lizenzänderung hat zur Entstehung von OpenSearch geführt, das unter der Apache 2.0 Lizenz steht. Die Kosten für Elasticsearch variieren je nach Nutzungsszenario: Die Self-Hosted-Version verursacht hauptsächlich Infrastrukturkosten, während die Elastic Cloud als managed Service nach Ressourcenverbrauch abgerechnet wird. Enterprise-Funktionen wie maschinelles Lernen oder erweiterte Sicherheitsfunktionen sind kostenpflichtig.

Praxisbeispiel - Mayan EDMS in Kubernetes

Als Beispiel für die Verwendung von Elasticsearch möchte ich die Verschmelzung mit dem bekannten Mayan EDMS heranziehen. Hier haben wir das EDMS in einem Kubernetes Cluster eingerichtet. Mayan basiert per Standart auf einem lokalen Such-Index, welcher nicht verwendet werden kann wenn verschiedene Pods ins Spiel gebracht werden. Da jeder Pod seinen eigenen Such-Index bekommt funktioniert die Globale Suche im verteilten Kubernetes Mayan nicht mehr. Hier schafft Elasticsearch Abhilfe. Als globaler Index ermöglicht es die Suche nach Dokumenten, auch wenn diese von unterschiedlichen Pods indiziert werden.

Die größte Herausforderung hierbei war die richtige Konfiguration des Elasticsearch Stacks. Da es nur noch veraltete Helm-Charts für Elasticsearch selbst gibt und das Deployment des kompletten ECK-Stacks außer Frage stand, mussten wir den unkonventionelleren Weg gehen. Dieser sieht vor, dass man Elasticsearch als einzelne Node deployed. Der Elasticsearch-Operator wird dann automatisch mit deployed. Diese Methode ist die "unkonventionelle", da man sich selbst um richtiges Resourcen-Management sowie Volume Konfiguration kümmern muss. Nach dem Elasticsearch Setup kann man dann einfach die Mayan Instanz mittels der generierten Zugangsdaten zur Elasticsearch Node verbinden und die Dokumente werden indiziert. Wer sich für die Einrichtung von Elasticsearch als einzelne Node interessiert sollte unbedingt diese Anleitung auschecken.

Fazit

Elasticsearch ist ein unverzichtbares Werkzeug für Unternehmen, die mit großen Datenmengen arbeiten. Es bietet nicht nur eine leistungsstarke Such- und Analyse-Engine, sondern auch eine Vielzahl von Funktionen, die die Datenverarbeitung erheblich erleichtern. Wenn du nach einer effektiven Lösung für die Suche und Analyse deiner Daten suchst, ist Elasticsearch die richtige Wahl.

Wenn du mehr über die Implementierung von Elasticsearch in deinem Projekt erfahren möchtest, kontaktiere uns! Wir helfen dir dabei, Elasticsearch in dein System zu integrieren und maßgeschneiderte Lösungen zu entwickeln, um deine Daten optimal zu nutzen.

Häufige Fragen

1. Wie skaliert man Elasticsearch?

Elasticsearch ist horizontal skalierbar. Du kannst:

2. Was ist ein Index in Elasticsearch?

Ein Index ist eine Sammlung von Dokumenten mit ähnlichen Eigenschaften. Er ist vergleichbar mit einer Datenbank in einer relationalen Datenbank. Jeder Index hat einen Namen und kann in mehrere Shards (Datenblöcke) aufgeteilt werden, um die Skalierbarkeit zu erhöhen.

3. Was sind Shards und Replikate?

4. Welche Arten von Abfragen gibt es in Elasticsearch?

Elasticsearch unterstützt mehrere Abfragetypen, darunter:

5. Was ist der Unterschied zwischen Elasticsearch, Logstash und Kibana (ELK-Stack)?

6. Warum sollten man Elasticsearch wählen?

Elasticsearch hat sich als eine der führenden Suchlösungen etabliert und bietet eine Vielzahl von Funktionen, die es Entwicklern ermöglichen, leistungsstarke Suchanwendungen zu erstellen. Mit der Möglichkeit, große Datenmengen schnell zu verarbeiten und zu analysieren, ist Elasticsearch eine hervorragende Wahl für Unternehmen, die ihre Daten effektiv nutzen möchten.