Solusi Logging Terpusat

Bayangkan Anda memiliki banyak kontainer, dan masing-masing menghasilkan log. Bagaimana Anda menemukan sebuah kesalahan jika kesalahan itu tersebar di ratusan berkas log?

• Log Tersebar: Log berada di server atau kontainer yang berbeda sehingga sulit ditemukan.
• Tidak Ada Wawasan Waktu Nyata: Anda tidak dapat dengan mudah melihat pola atau masalah saat masalah tersebut terjadi.
• Analisis Sulit: Menelusuri log secara manual membutuhkan banyak waktu dan rentan terhadap kesalahan.

Di sinilah pencatatan terpusat berperan!

Pencatatan terpusat adalah praktik mengumpulkan log dari semua aplikasi dan infrastruktur Anda ke satu lokasi pusat.

Bayangkan ini sebagai menara pengawas untuk semua pesan sistem Anda. Alih-alih memeriksa log setiap kontainer secara terpisah, Anda memiliki satu platform untuk:

• Mengagregasikan: Mengumpulkan semua log.
• Menyimpan: Menyimpan log dalam basis data yang teratur dan dapat ditelusuri.
• Menganalisis: Menelusuri, memfilter, dan memvisualisasikan data log untuk memperoleh wawasan.

Hal ini membuat pemecahan masalah jauh lebih cepat dan efisien.

Sistem pencatatan terpusat yang umum melibatkan beberapa bagian utama yang bekerja sama:

• Agen Log: Program kecil yang berjalan di setiap server/kontainer untuk mengumpulkan log.
• Pengagregasi Log: Layanan yang menerima log dari agen, memprosesnya, lalu mengirimkannya ke penyimpanan.
• Penyimpanan Log: Basis data yang dioptimalkan untuk menyimpan dan meminta data log dalam jumlah besar.
• Alat Visualisasi: Dasbor dan antarmuka untuk menjelajahi, menelusuri, dan memvisualisasikan log.

Komponen-komponen ini memastikan log mengalir dengan lancar dari sumber hingga analisis.

ELK Stack adalah rangkaian sumber terbuka yang populer untuk pencatatan terpusat. ELK adalah singkatan dari:

• Elasticsearch: Mesin penelusuran dan analitik.
• Logstash: Alur pemrosesan data.
• Kibana: Dasbor visualisasi data.

Secara bersama-sama, semuanya menyediakan solusi yang andal untuk mengumpulkan, menyimpan, dan menganalisis log dari aplikasi dan infrastruktur Anda.

Elasticsearch adalah inti ELK Stack untuk penyimpanan dan penelusuran data. Elasticsearch merupakan mesin penelusuran teks lengkap terdistribusi yang sangat mudah diskalakan.

Elasticsearch mengambil log yang telah diproses dan menyimpannya dengan cara yang membuatnya sangat cepat untuk ditelusuri dan dianalisis, bahkan dengan data berukuran petabita.

• Menyimpan log dalam dokumen JSON.
• Menyediakan kemampuan penelusuran yang andal.
• Diskalakan secara horizontal untuk kumpulan data berukuran besar.

Logstash berfungsi sebagai alur pemrosesan data. Logstash mengumpulkan data dari berbagai sumber, mengubahnya, lalu mengirimkannya ke 'simpanan' (biasanya Elasticsearch).

Logstash sangat fleksibel dan dapat menangani berbagai format serta sumber log.

• Masukan: Menerima log (misalnya dari berkas, jaringan, atau agen).
• Filter: Mengurai, mengubah, dan memperkaya data log.
• Keluaran: Mengirim data yang telah diproses ke Elasticsearch atau tujuan lainnya.

Kibana adalah jendela Anda menuju data yang disimpan di Elasticsearch. Kibana merupakan alat visualisasi dan pembuatan dasbor yang andal.

Dengan Kibana, Anda dapat:

• Menelusuri & Menjelajahi: Meminta data log Anda dengan mudah.
• Memvisualisasikan: Membuat diagram, grafik, dan peta dari log Anda.
• Dasbor: Membangun dasbor interaktif untuk memantau kesehatan sistem dan perilaku aplikasi secara waktu nyata.

Kibana membantu mengubah data mentah menjadi wawasan yang dapat ditindaklanjuti.

Sebelum log dapat dikumpulkan, log tersebut harus dibuat terlebih dahulu! Sebagian besar aplikasi di dalam kontainer cukup menulis keluarannya ke stdout (keluaran standar) atau stderr (kesalahan standar).

Docker menangkap aliran ini sebagai log kontainer. Cobalah menjalankan perintah sederhana berikut untuk melihat kontainer menghasilkan keluaran:

Berikut adalah alur log yang disederhanakan dalam penyiapan ELK:

1. Aplikasi Anda di dalam kontainer Docker menulis log ke stdout.
2. Agen log (seperti Filebeat, yang sering digunakan bersama ELK) mengumpulkan log tersebut.
3. Agen mengirimkan log ke Logstash untuk diproses.
4. Logstash mengurai dan mengubah log tersebut.
5. Log yang telah diproses dikirim ke Elasticsearch untuk disimpan.
6. Kibana terhubung ke Elasticsearch untuk memvisualisasikan dan menelusuri log.

Hal ini menciptakan jalur yang jelas untuk semua log kontainer Anda.

Pernyataan manakah dari berikut ini yang dengan tepat menjelaskan peran komponen dalam ELK Stack?

Bagus sekali! Anda telah mempelajari dasar-dasar pencatatan terpusat dan ELK Stack.

• Pencatatan terpusat mengagregasikan log dari banyak sumber ke satu tempat.
• Pencatatan terpusat membantu mempercepat pemecahan masalah dan menghasilkan wawasan yang lebih baik.
• ELK Stack (Elasticsearch, Logstash, Kibana) adalah solusi yang populer.
• Elasticsearch menyimpan dan mengindeks log.
• Logstash memproses dan mengubah log.
• Kibana memvisualisasikan dan menjelajahi log.

Kombinasi yang andal ini membantu Anda mengelola dan memahami log kontainer secara efektif.