Penyambung Sink untuk Pengeksportan
Terokai cara menggunakan penyambung sink untuk mengeksport data daripada topik Kafka ke pangkalan data, tasik data dan destinasi lain.
Penyambung Sink untuk Pengeksportan ialah pelajaran Asas Apache Kafka & Pemprosesan Aliran percuma di CoddyKit. Ini ialah pelajaran 3 daripada 4. Sebanyak 3 pelajaran dalam laluan pembelajaran ini boleh dibaca sepenuhnya secara percuma — selepas itu, CoddyKit PRO membuka akses kepada semua pelajaran, serta latihan praktikal dengan penyunting kod terbina dalam dan tutor kecerdasan buatan yang tersedia 24/7. Pelajaran ini merupakan sebahagian daripada laluan pembelajaran Asas Apache Kafka & Pemprosesan Aliran, dan kemajuan anda disegerakkan merentas web serta aplikasi CoddyKit. Kursus Asas Apache Kafka & Pemprosesan Aliran merangkumi sejumlah 4 pelajaran.
Mengeksport Data daripada Kafka
Selamat datang ke pelajaran terakhir tentang Kafka Connect! Kita telah mempelajari cara membawa data ke dalam Kafka menggunakan Penyambung Sumber. Sekarang, mari terokai cara mengeluarkan data daripadanya.
Pelajaran ini memberi tumpuan kepada Penyambung Sink, yang penting untuk memindahkan data daripada topik Kafka anda ke sistem luaran seperti pangkalan data, gudang data atau platform analitik.
Mengapa Menggunakan Penyambung Sink?
Bayangkan anda mempunyai data masa nyata yang mengalir ke dalam Kafka, tetapi alat risikan perniagaan atau aplikasi legasi anda memerlukan data itu dalam sistem yang berbeza.
- Integrasi: Sambungkan Kafka kepada hampir mana-mana gedung data.
- Tanpa Kod Tersuai: Elakkan penulisan aplikasi pengguna yang kompleks untuk destinasi biasa.
- Kebolehpercayaan: Toleransi terhadap kegagalan dan jaminan penghantaran terbina dalam.
- Kebolehskalaan: Skalakan eksport data dengan mudah dengan menambahkan lebih banyak tugas penyambung.
Cara Penyambung Sink Berfungsi
Penyambung Sink bertindak seperti pengguna Kafka khusus. Berikut ialah aliran kerja asasnya:
- Penyambung berjalan dalam pekerja Kafka Connect.
- Penyambung melanggan satu atau lebih topik Kafka.
- Penyambung menggunakan mesej daripada topik tersebut.
- Penyambung mengubah (jika dikonfigurasikan) dan menulis data ke sistem luaran sasaran.
- Penyambung mengurus ofset Kafka bagi memastikan data diproses dengan boleh dipercayai.
Destinasi Penyambung Sink Biasa
Kafka Connect menawarkan ekosistem penyambung sink siap bina yang luas untuk pelbagai jenis destinasi. Antara contoh yang popular termasuk:
- Pangkalan Data: PostgreSQL, MySQL, Oracle, SQL Server (melalui JDBC)
- Storan Awan: Amazon S3, Google Cloud Storage, Azure Blob Storage
- Enjin Carian: Elasticsearch, Solr
- Gudang Data: Snowflake, Redshift
- Sistem Lain: HDFS, baris gilir JMS, titik akhir HTTP
Konfigurasi Asas Penyambung Sink
Mengkonfigurasi penyambung sink adalah serupa dengan penyambung sumber. Anda mentakrifkan sifatnya dalam fail JSON atau terus melalui API REST Connect. Sifat utama termasuk:
name: Nama unik untuk penyambung anda.connector.class: Pelaksanaan penyambung khusus (contohnya,JdbcSinkConnector).topicsatautopics.regex: Topik Kafka yang hendak dibaca.key.converter&value.converter: Cara menyahsiri data daripada Kafka.
Contoh: FileStreamSinkConnector
Mari lihat contoh ringkas: FileStreamSinkConnector. Penyambung terbina dalam ini menulis data daripada topik Kafka ke fail setempat. Ia bagus untuk melihat cara penyambung sink berfungsi.
Berikut ialah konfigurasi JSON asas untuknya:
{ "name": "file-sink-connector",
"config": {
"connector.class": "org.apache.kafka.connect.file.FileStreamSinkConnector",
"tasks.max": "1",
"topics": "my_test_topic",
"file": "/tmp/kafka-sink-output.txt",
"key.converter": "org.apache.kafka.connect.storage.StringConverter",
"value.converter": "org.apache.kafka.connect.storage.StringConverter"
}
}Menyebarkan Penyambung Sink
Setelah anda mempunyai konfigurasi penyambung anda (seperti file-sink-config.json di atas), anda menyebarkannya ke kluster Kafka Connect menggunakan perintah curl terhadap API REST Connect:
Perintah ini memberitahu kluster Connect supaya mencipta dan memulakan tika penyambung baharu berdasarkan konfigurasi anda.
curl -X POST -H "Content-Type: application/json" \
--data @file-sink-config.json \
http://localhost:8083/connectorsFormat Data dan Penukar
Apabila penyambung sink membaca data daripada Kafka, ia menggunakan penukar untuk menyahsiri kunci dan nilai mesej. Penukar yang biasa termasuk:
StringConverter: Untuk data teks biasa.JsonConverter: Untuk data berformat JSON.AvroConverter: Untuk data yang disiri dalam Avro (selalunya dengan Schema Registry).
Penyambung kemudian mengambil data yang telah dinyahsiarikan ini dan memformatkannya dengan sewajarnya untuk sistem sasaran (contohnya, pernyataan SQL INSERT untuk sink pangkalan data).
Memastikan Integriti Data
Penyambung sink Kafka Connect direka bentuk untuk kebolehpercayaan:
- Penghantaran Sekurang-kurangnya Sekali: Kebanyakan penyambung sink menjamin bahawa setiap mesej akan dihantar ke destinasi sekurang-kurangnya sekali, walaupun kegagalan berlaku.
- Pengurusan Ofset: Penyambung secara automatik melakukan komit ofset ke Kafka untuk menjejaki data yang telah berjaya diproses.
- Pengendalian Ralat: Penyambung boleh dikonfigurasikan untuk mencuba semula operasi yang gagal atau menghantar mesej bermasalah ke Baris Gilir Surat Mati (DLQ) untuk diperiksa kemudian.
Cabaran Penyambung Sink
Mari uji pemahaman anda tentang Penyambung Sink Kafka Connect!
Imbas Kembali: Penyambung Sink
Syabas! Kini anda telah memahami konsep teras Penyambung Sink Kafka Connect.
- Penyambung Sink mengeksport data daripada topik Kafka ke pelbagai sistem luaran.
- Penyambung ini menyediakan cara yang boleh dipercayai, boleh diskalakan dan tanpa kod untuk mengintegrasikan Kafka dengan ekosistem data anda.
- Konfigurasi melibatkan penentuan kelas penyambung, topik dan sifat khusus destinasi.
- Penyambung ini mengendalikan penyahsirian dan pemformatan data serta memastikan jaminan penghantaran.
Kafka Connect memudahkan pembinaan saluran paip data yang kukuh dengan ketara!
Pelajari Asas Apache Kafka & Pemprosesan Aliran dengan tutor kecerdasan buatan — percuma
Tulis dan jalankan kod sebenar dalam pelayar anda, dapatkan bantuan segera daripada tutor kecerdasan buatan yang tersedia 24/7, dan sambung semula dari tempat anda berhenti di web atau dalam aplikasi.
- Kursus
- 12
- Pelajaran
- 48
Soalan Lazim
Adakah pelajaran “Penyambung Sink untuk Pengeksportan” percuma?
Ya — sebanyak 3 pelajaran dalam laluan pembelajaran Asas Apache Kafka & Pemprosesan Aliran, termasuk “Penyambung Sink untuk Pengeksportan”, boleh dibaca sepenuhnya secara percuma di web ini. Selepas itu, CoddyKit PRO membuka akses kepada semua pelajaran, serta latihan interaktif dengan penyunting kod terbina dalam dan tutor kecerdasan buatan yang tersedia 24/7. Kursus Asas Apache Kafka & Pemprosesan Aliran merangkumi sejumlah 4 pelajaran.
Apakah yang akan saya pelajari dalam “Penyambung Sink untuk Pengeksportan”?
Terokai cara menggunakan penyambung sink untuk mengeksport data daripada topik Kafka ke pangkalan data, tasik data dan destinasi lain. Anda berlatih Asas Apache Kafka & Pemprosesan Aliran menggunakan kod praktikal yang dijalankan terus dalam pelayar, manakala tutor kecerdasan buatan 24/7 menjawab soalan anda semasa anda mengikuti pelajaran.
Adakah saya memerlukan pengalaman untuk memulakan Asas Apache Kafka & Pemprosesan Aliran?
Tiada pengalaman terdahulu diperlukan. Pembelajaran Asas Apache Kafka & Pemprosesan Aliran di CoddyKit disusun untuk pelajar daripada peringkat pemula hingga lanjutan, jadi anda boleh bermula di sini atau dari awal dan belajar mengikut kadar anda sendiri. Ini ialah pelajaran 3 daripada 4.
Berapa lamakah pelajaran “Penyambung Sink untuk Pengeksportan” diambil?
Kebanyakan pelajaran CoddyKit mengambil masa kira-kira 5–10 minit. Setiap pelajaran ringkas dan interaktif, jadi anda boleh membuat kemajuan secara berterusan dan menyambung tepat dari tempat anda berhenti di web atau aplikasi.
Bolehkah saya menulis dan menjalankan kod dalam pelajaran Asas Apache Kafka & Pemprosesan Aliran ini?
Ya. Setiap pelajaran Asas Apache Kafka & Pemprosesan Aliran menyertakan penyunting kod terbina dalam, jadi anda boleh menulis dan menjalankan kod sebenar terus dalam pelayar serta menerima maklum balas kecerdasan buatan serta-merta — tanpa memerlukan persediaan setempat.
Semua pelajaran dalam kursus ini
- Pengenalan kepada Kafka Connect
- Penyambung Sumber untuk Pengingesan
- Penyambung Sink untuk Pengeksportan
- Transformasi Mesej Tunggal (SMT)