Menskalakan Infrastruktur Kebolehcerapan

Memasukkan berbilion-bilion peristiwa sesaat ke dalam sistem kebolehcerapan memerlukan saluran paip pengingesan yang terlaras tinggi. Saluran paip ini menimbal, menghala dan sering melakukan prapemprosesan data sebelum penyimpanan.

• Baris Gilir Mesej: Sistem seperti Apache Kafka atau AWS Kinesis bertindak sebagai penimbal berkapasiti tinggi, menyerap lonjakan data dan memisahkan pengeluar daripada pengguna.
• Pengimbang Beban: Mengagihkan data masuk merentasi berbilang tika pengumpul (contohnya, Pengumpul OpenTelemetry dan tika Logstash).
• Pengelompokan: Menggabungkan peristiwa kecil dan berasingan menjadi bahagian yang lebih besar untuk mengurangkan lebihan rangkaian serta meningkatkan kecekapan pemprosesan.

Komponen ini memastikan tiada data hilang semasa beban puncak dan mengekalkan aliran yang stabil.

Data kebolehcerapan mentah sering memerlukan pemprosesan: penghuraian, pengayaan dengan metadata, penapisan atau pengagregatan. Melakukan semua ini pada jumlah data yang sangat besar memerlukan pemprosesan teragih.

• Pemprosesan Strim: Rangka kerja seperti Apache Flink atau Spark Streaming boleh memproses data secara berterusan apabila data tiba, serta melakukan transformasi dan pengagregatan masa nyata.
• Pemproses Khusus: Alat seperti Logstash atau Pengumpul OpenTelemetry direka bentuk untuk dijalankan sebagai perkhidmatan yang boleh diskalakan, dengan mengubah data sebelum dihantar ke storan.

Pemprosesan teragih memastikan transformasi data bergerak seiring dengan pengingesan dan mengelakkan tunggakan.

Walaupun jumlah data mencecah petabait, pengguna menjangkakan respons pertanyaan yang pantas untuk penyahpepijatan dan pemantauan. Pengoptimuman pertanyaan amat penting.

• Pengindeksan Berkesan: Mencipta indeks yang sesuai (seperti dalam Elasticsearch) membolehkan sistem mencari data yang berkaitan dengan pantas tanpa mengimbas segala-galanya.
• Peringkatan Data: Menyimpan data terkini yang kerap diakses pada storan pantas (panas), dan memindahkan data lama yang kurang kritikal ke storan yang lebih perlahan dan murah (sejuk).
• Pra-pengagregatan: Untuk papan pemuka yang lazim, mengira terlebih dahulu dan menyimpan metrik atau ringkasan yang diagregat semasa pengingesan dapat menjimatkan pengiraan ketika pertanyaan dibuat.

Teknik ini mengurangkan kependaman pertanyaan dengan ketara.

Terdapat dua cara utama untuk menskalakan mana-mana infrastruktur, termasuk platform kebolehcerapan:

• Penskalaan Menegak: "Membesar ke atas" – meningkatkan sumber (CPU, RAM, cakera) satu pelayan. Kaedah ini mempunyai had fizikal dan mewujudkan satu titik kegagalan.
• Penskalaan Mendatar: "Membesar ke sisi" – menambah lebih banyak pelayan atau nod yang serupa ke dalam sistem. Kaedah ini menawarkan toleransi terhadap kegagalan yang lebih baik, daya tahan dan kebolehskalaan yang secara teori tiada had.

Platform kebolehcerapan moden kebanyakannya bergantung pada penskalaan mendatar untuk mengendalikan jumlah data yang sangat besar dan sentiasa meningkat.

Dalam persekitaran natif awan, penskalaan automatik melaraskan kapasiti infrastruktur kebolehcerapan anda secara automatik berdasarkan permintaan masa nyata. Ini menyediakan keanjalan.

• Dipacu Metrik: Peraturan ditetapkan untuk menambah nod (skala keluar) apabila metrik seperti penggunaan CPU atau kedalaman baris gilir mesej melebihi ambang. Nod dialih keluar (skala masuk) apabila permintaan menurun.
• Dipacu Peristiwa: Penskalaan juga boleh dicetuskan oleh peristiwa atau jadual tertentu.

Penskalaan automatik mengoptimumkan prestasi (dengan memastikan sumber yang mencukupi) dan kos (dengan hanya membayar perkara yang diperlukan).

Menyimpan semua data kebolehcerapan tanpa had masa amat mahal. Melaksanakan dasar pengekalan data yang bijak amat penting untuk pengurusan kos dan pematuhan.

• Aras Panas: Data terkini (contohnya, 7–30 hari terakhir) disimpan pada storan pantas dan mahal untuk capaian segera.
• Aras Suam/Sejuk: Data lama (contohnya, dari 90 hari terakhir hingga 1 tahun) dipindahkan ke storan yang lebih perlahan dan murah (contohnya, SSD dan storan objek seperti S3).
• Pengarkiban: Data yang sangat lama (contohnya, lebih 1 tahun) dipindahkan ke arkib jangka panjang yang paling murah (contohnya, Glacier) untuk pematuhan, lazimnya dengan capaian pertanyaan terus yang terhad.

Ini mengimbangi keperluan capaian dengan kos storan.

Memantau kesihatan dan prestasi platform kebolehcerapan anda amat penting. Hal ini sering dipanggil "meta-kebolehcerapan" atau "memerhati pemerhati anda."

• Metrik Dalaman: Jejaki petunjuk prestasi utama seperti kadar pengingesan, kependaman pertanyaan, penggunaan cakera serta penggunaan CPU dan memori komponen platform.
• Pemberian Amaran: Sediakan amaran untuk isu seperti tunggakan data, amaran kapasiti storan, kegagalan perkhidmatan atau penurunan kutipan data yang tidak dijangka.
• Log dan Jejak: Platform kebolehcerapan itu sendiri hendaklah menghasilkan log dan jejaknya sendiri, supaya anda boleh menyahpepijat isu dalam platform.

Memastikan sistem kebolehcerapan anda sihat menjamin bahawa anda boleh mempercayai datanya.

Kita telah membincangkan strategi penting untuk menskalakan infrastruktur kebolehcerapan anda bagi mengendalikan jumlah data yang sentiasa meningkat:

• Manfaatkan storan teragih dengan pecahan dan pereplikaan untuk kapasiti serta toleransi terhadap kegagalan.
• Bina saluran paip pengingesan terlaras tinggi yang kukuh menggunakan baris gilir mesej dan pengimbang beban.
• Gunakan pemprosesan teragih untuk transformasi data yang berkesan.
• Optimumkan prestasi pertanyaan melalui pengindeksan, peringkatan data dan pra-pengagregatan.
• Gunakan penskalaan mendatar dan penskalaan automatik untuk keanjalan serta kecekapan kos.
• Laksanakan dasar pengekalan data yang bijak untuk mengurus kos storan.
• Yang paling penting, pantau platform kebolehcerapan itu sendiri bagi memastikan kebolehpercayaannya.

Menguasai konsep ini memastikan kebolehcerapan anda kekal berkesan apabila sistem anda berkembang.