Cluster OpenSearch
Cluster OpenSearch adalah mesin pencari open-source yang dipimpin oleh komunitas. Ini paling cocok untuk pencarian aplikasi atau kasus analitik log, karena memungkinkan orang untuk dengan mudah mencari, mengagregasi, melihat, dan menganalisis data. OpenSearch menyediakan suite pencarian dan analitik yang aman dan berkualitas tinggi yang dapat dengan mudah dimodifikasi dan diperluas dengan fungsionalitas tambahan.
OpenSearch berasal dari Elasticsearch 7.10.2 yang dilisensikan di bawah Apache 2.0, memungkinkan produk ini digunakan, dimodifikasi, diperluas, dimonetisasi, dan dijual kembali secara bebas.
Panduan ini memberikan informasi tentang:
- Ikhtisar Komponen Cluster OpenSearch
- Instalasi Cluster OpenSearch
- Kinerja OpenSearch vs Elasticsearch
Ikhtisar Komponen Cluster OpenSearch
Platform menyediakan Cluster OpenSearch menggunakan tiga tumpukan bersertifikat yang disatukan menjadi satu solusi auto-clustering:
- OpenSearch - mesin pencari open-source yang dipimpin oleh komunitas yang menyediakan pencarian teks penuh yang terdistribusi dan dapat multi-penyewa
- OpenSearch Dashboards (opsional) - visualisasi untuk data yang disimpan di dalam node OpenSearch (berasal dari Kibana 7.10.2)
- Logstash (opsional) - pemrosesan data
Selain itu, add-on Beats dapat diinstal untuk pengirim data satu tujuan yang mengirim data dari node klien ke Logstash atau OpenSearch.
Dalam solusi seperti itu, data dikumpulkan di node klien oleh Beats Data Shippers, dikirim ke Logstash (yang mengubahnya dengan cara yang diperlukan), dan disimpan di OpenSearch. OpenSearch Dashboard adalah alat visualisasi tambahan.
OpenSearch
Tumpukan OpenSearch adalah komponen inti dan satu-satunya komponen wajib dari cluster. Ini diinisialisasi dalam mode cluster bahkan ketika satu node dibuat, yang membuat skala horizontal lebih mudah, lebih cepat, dan lebih aman.
Setelah dibuat, node OpenSearch tersedia di port 9200 untuk komunikasi internal antara node lingkungan dan port 4848 untuk layanan eksternal melalui load balancer bersama. HTTP basic auth digunakan dalam kedua kasus (kata sandi dapat diatur ulang menggunakan tombol Reset Password).
Tumpukan OpenSearch mendapatkan semua fungsionalitas yang tersedia untuk template bersertifikat lainnya - manajer file dashboard, Web SSH, penampil log dashboard, dll.
Selain itu, fungsionalitas redeploy platform menyediakan proses pembaruan yang sederhana. Namun, hanya redeployment ke versi yang sama atau lebih baru yang diizinkan - downgrade dibatasi.
OpenSearch Dashboards
Node OpenSearch tersedia melalui browser, tetapi hanya menampilkan JSON dengan respons API (diperlukan untuk panggilan API). Alat utama untuk memvisualisasikan data adalah OpenSearch Dashboards (pengganti Kibana). Semua konfigurasi interkoneksi dilakukan secara otomatis - solusi siap digunakan secara out-of-the-box dan tidak memerlukan konfigurasi manual. Akses tersedia dengan kredensial yang sama seperti untuk node OpenSearch.
Setelah login, antarmuka OpenSearch Dashboards ditampilkan. Dashboard menyediakan UI untuk interaksi yang nyaman dengan API OpenSearch dan pengeditan data Anda (setelah membuat pola indeks).
OpenSearch Dashboards bukanlah tumpukan terpisah dan tidak dapat dibuat terpisah dari OpenSearch. Selain itu, terbatas pada satu node karena skala tidak memberikan manfaat tambahan.
Semua fungsionalitas reguler dari template bersertifikat (manajer file dashboard, Web SSH, firewall, log) juga tersedia untuk node ini.
Logstash
Logstash adalah komponen pemroses data dari cluster OpenSearch yang dikonfigurasi secara otomatis oleh platform. Di bawah ini, Anda dapat melihat contoh auto-konfigurasi default untuk /etc/logstash/conf.d/logstash-sample.conf:
Input untuk Beats ditetapkan pada port 5044, dan output OpenSearch ditentukan dengan mengatur host, username, dan password untuk interkoneksi. Plugin untuk jenis input lainnya dapat diinstal dengan alat logstash-plugin, dan konfigurasi dapat ditambahkan ke file yang sama (dengan port lain).
Logstash bukanlah tumpukan terpisah dan tidak dapat dibuat terpisah dari OpenSearch. Anda dapat menambahkan sebanyak mungkin node Logstash yang diperlukan - skala dalam mode stateful untuk menyediakan konfigurasi awal. Namun, setiap node dapat dikonfigurasi ulang untuk transformasi data yang berbeda.
Add-On Beats
Beats adalah platform gratis dan open untuk pengirim data satu tujuan. Mereka mengirim data dari node klien ke Logstash atau OpenSearch.
Anda dapat menginstal add-on Beats di node mana pun (kecuali yang berbasis alpine) yang dibuat di dalam platform dan menentukan kredensial untuk menghubungkan ke cluster OpenSearch atau Docker kustom dengan instance ElasticSearch. Dua versi add-on tersedia:
- 7.12.1 - untuk mengirim data langsung ke OpenSearch (lihat tabel kompatibilitas)
Untuk koneksi langsung, Anda perlu menambahkan baris berikut ke konfigurasi OpenSearch dan me-restart node: 1compatibility.override_main_response_version: true
- latest - untuk mengirim data ke OpenSearch melalui Logstash
Selama instalasi, Anda perlu memberikan data berikut:
- Installed Agents - pilih jenis Beats yang diperlukan:
- Filebeat - meneruskan dan memusatkan log dan file. Pengaturan awal sudah tersedia untuk banyak node bersertifikat: Apache (semua), NGINX (semua), HAProxy, Redis, Postgres, MySQL, MariaDB, Percona, MongoDB. Tomcat/TomEE memerlukan konfigurasi khusus.
- Metricbeat - mengumpulkan metrik dari sistem dan layanan Anda.
- Journalbeat - meneruskan dan memusatkan data log dari systemd journals. Dipasang sebagai agen di server Anda, Journalbeat memantau lokasi jurnal yang Anda tentukan, mengumpulkan peristiwa log, dan meneruskannya ke OpenSearch atau Logstash.
- Packetbeat - memantau lalu lintas jaringan Anda untuk memastikan tingkat kinerja dan keamanan yang tinggi. Packetbeat adalah analizer paket jaringan yang ringan.
- Heartbeat - memantau layanan untuk ketersediaan mereka dengan probing aktif. Ini memeriksa waktu respons dan apakah URL yang diberikan aktif, kemudian mengirimkan informasi ini ke tumpukan lain untuk analisis lebih lanjut.
- Beats OSS Version - pilih versi yang diinginkan dari agen
- OpenSearch Host - masukkan host OpenSearch (atau Elasticsearch)
- Credentials - berikan informasi akses untuk host OpenSearch yang ditentukan (User dan Password)
- OpenSearch Dashboards Host - masukkan host OpenSearch Dashboards (mungkin diperlukan untuk tujuan visualisasi)
- Logstash Host - masukkan host Logstash (jika interkoneksi dilakukan melalui Logstash)
Mengirim data secara bersamaan ke output OpenSearch dan Logstash tidak didukung - hanya satu output yang dapat digunakan sekaligus. Jika Anda ingin melewatkan data melalui Logstash - silakan tentukan hanya host dan port Logstash (data host dan kredensial OpenSearch tidak diperlukan).
- Environment name - pilih
lingkungan target
- Nodes - pilih lapisan target
Pengaturan ini juga dapat diedit untuk add-on yang sudah terpasang menggunakan tombol Configure.
Instalasi Cluster OpenSearch
Pembuatan Cluster OpenSearch di platform adalah proses yang sederhana dan sepenuhnya otomatis yang dapat dilakukan langsung dari wizard topologi.
Pilih tumpukan OpenSearch di bagian database NoSQL.
Tumpukan secara otomatis dikonfigurasi sebagai cluster karena fitur auto-clustering. Selain itu, Anda memiliki opsi tambahan untuk menambahkan komponen OpenSearch Dashboards dan Logstash.
Kinerja OpenSearch vs Elasticsearch
Proyek OpenSearch di-fork dari rilis terakhir ElasticSearch di bawah lisensi Apache 2.0 dan hampir sama dalam fungsionalitas. API-nya sepenuhnya sama.
Di bawah ini, kami membagikan hasil pengujian kinerja pada dua lingkungan Magento dengan topologi yang sama:
- Magento dengan Elasticsearch
- Magento dengan OpenSearch
Seperti yang Anda lihat, OpenSearch menyediakan fungsionalitas dan kinerja yang sama seperti Elasticsearch dan dapat digunakan sebagai pengganti yang sepenuhnya dapat dipertanggungjawabkan.