Pengoptimuman Kos S3 dan Pemindahan Data

Kos storage Amazon S3 berbeza dengan ketara mengikut storage class dan corak akses. S3 Standard mengenakan caj kira-kira $0.023 bagi setiap GB sebulan — pada skala petabait, jumlah ini menjadi besar. Berita baiknya, S3 menawarkan tujuh storage class yang dioptimumkan untuk kekerapan akses yang berbeza, dengan harga antara $0.023/GB (Standard) hingga $0.00099/GB (Glacier Deep Archive). Kunci pengoptimuman kos S3 ialah memadankan data anda dengan storage class yang sesuai dan mengautomatikkan peralihan menggunakan lifecycle policies.

S3 Intelligent-Tiering mengalihkan objek secara automatik antara access tier berdasarkan corak akses sebenar — tiada retrieval fees dan tiada tempoh minimum untuk frequent tier. Ia memantau akses objek pada peringkat objek: objek yang tidak diakses selama 30 hari dialihkan ke infrequent tier (40% lebih murah), dan selepas 90 hari dialihkan ke archive instant tier (68% lebih murah). Terdapat yuran pemantauan bulanan yang kecil ($0.0025 bagi setiap 1,000 objek). Gunakan Intelligent-Tiering apabila anda tidak dapat meramalkan corak akses atau apabila anda mempunyai data hot dan cold yang bercampur dalam bucket yang sama.

S3 Lifecycle rules mengautomatikkan peralihan dan tamat tempoh objek berdasarkan usia. Anda mentakrifkan rules mengikut prefix atau tag, kemudian menentukan peralihan pada ambang hari tertentu. Contoh lifecycle pengarkiban biasa: Standard → Standard-IA (30 hari) → Glacier Instant Retrieval (90 hari) → Deep Archive (365 hari) → Padam (2555 hari). Ini boleh mengurangkan kos storage bagi setiap GB daripada $0.023 kepada $0.00099 dari semasa ke semasa — pengurangan sebanyak 95% untuk data arkib. Peralihan lifecycle mempunyai saiz objek minimum 128KB untuk IA dan Glacier (objek yang lebih kecil tidak menjimatkan kos untuk dialihkan).

S3 Select membolehkan anda mendapatkan hanya data yang diperlukan daripada objek S3 menggunakan ungkapan SQL, dan bukannya memuat turun keseluruhan objek. Bagi fail CSV bersaiz 10 GB yang hanya memerlukan 100 baris, S3 Select boleh mendapatkan baris tersebut sahaja — sekali gus mengurangkan kos pemindahan data dan masa pemprosesan aplikasi dengan ketara. Glacier Select melakukan perkara yang sama untuk objek dalam Glacier. S3 Select menyokong format CSV, JSON dan Parquet. Ciri ini amat berguna dalam pipeline analitik data apabila banyak pertanyaan hanya mengakses sebahagian daripada setiap fail data.

Untuk muat naik objek besar, S3 Multipart Upload membahagikan objek kepada beberapa bahagian (minimum 5 MB bagi setiap bahagian) yang dimuat naik secara selari, sekali gus meningkatkan throughput dan membolehkan muat naik disambung semula. Bahagian yang gagal boleh dicuba semula tanpa memulakan semula keseluruhan muat naik. Bersihkan multipart upload yang tidak lengkap menggunakan lifecycle rules supaya anda tidak dicaj untuk bahagian yang tidak lengkap. S3 Transfer Acceleration menghalakan muat naik melalui lokasi edge AWS CloudFront untuk mempercepatkan muat naik dari lokasi yang jauh — berguna untuk pengguna yang memuat naik fail besar dari seluruh dunia, tetapi menambah kos (tambahan $0.04-$0.08/GB). Gunakannya hanya apabila acceleration memberikan peningkatan yang boleh diukur.

Kos pemindahan data ialah antara bil AWS yang paling mengejutkan. Peraturan utama: Inbound data transfer (ke dalam AWS) adalah percuma. Outbound data transfer ke internet berharga kira-kira $0.09/GB (10 TB pertama sebulan). Cross-region data transfer berharga kira-kira $0.02/GB. Cross-AZ data transfer dalam region yang sama berharga $0.01/GB bagi setiap arah. Dalam AZ yang sama adalah percuma. Reka bentuk architecture anda untuk meminimumkan pemindahan data cross-region dan ke internet — inilah sebabnya deployment serantau dan CloudFront penting untuk penghantaran kandungan yang menjimatkan kos.

Menghantar kandungan melalui Amazon CloudFront mengurangkan kos pemindahan data dengan ketara melalui dua cara. Pertama, CloudFront mengenakan kadar egress yang lebih rendah berbanding akses internet terus EC2 atau S3 (~$0.0085/GB berbanding $0.09/GB). Kedua, CloudFront menyimpan kandungan dalam cache di lokasi edge, lalu mengurangkan kekerapan data dihantar daripada origin anda — kandungan yang sama berpotensi dihantar berjuta-juta kali daripada cache dengan hanya satu pengambilan daripada origin. Pemindahan data S3 ke CloudFront juga adalah percuma. Ini menjadikan CloudFront alat pengoptimuman kos, bukan sekadar alat prestasi.

Caj pemprosesan data NAT Gateway ($0.045/GB) boleh menjadi kos yang besar apabila instans EC2 dalam subnet private kerap mengakses S3 atau DynamoDB. Sebaliknya, gunakan VPC Gateway Endpoints untuk S3 dan DynamoDB — endpoint ini menghalakan trafik melalui rangkaian teras AWS pada zero cost dan tidak memerlukan NAT Gateway untuk perkhidmatan ini. Selain itu, VPC Interface Endpoints (PrivateLink) untuk perkhidmatan AWS lain menghapuskan yuran pemprosesan NAT Gateway bagi trafik perkhidmatan tersebut, walaupun Interface Endpoints sendiri mempunyai kos setiap jam yang kecil.

S3 mengenakan caj bagi setiap request API selain caj bagi setiap GB yang disimpan. Request PUT, COPY, POST, LIST berharga $0.005 bagi setiap 1,000; request GET, SELECT berharga $0.0004 bagi setiap 1,000. Bagi aplikasi yang membuat berjuta-juta request, kos ini boleh terkumpul. Optimumkan dengan: mengumpulkan objek kecil menjadi objek yang lebih besar (request yang lebih sedikit), menggunakan CloudFront untuk menghantar respons yang dicache (mengurangkan request GET ke origin), mengelakkan operasi senarai apabila boleh (LIST mahal), dan menggunakan S3 Batch Operations untuk operasi pukal dan bukannya berjuta-juta panggilan API individu.

Untuk pemindahan data berskala besar antara premis dan AWS, atau antara perkhidmatan AWS, AWS DataSync lebih menjimatkan kos berbanding menulis kod pemindahan tersuai. DataSync menggunakan protokol yang direka khusus dan mencapai throughput sehingga 10 kali ganda berbanding alatan sumber terbuka, serta merangkumi pengesahan data, penjadualan dan pemantauan terbina dalam. Data yang dipindahkan melalui DataSync ke S3, EFS atau FSx dicaj mengikut kadar pemindahan data AWS standard — namun kecekapan DataSync membolehkan pemindahan diselesaikan dengan lebih cepat, sekali gus mengurangkan masa pengiraan EC2 (dan kos) yang diperlukan untuk migrasi besar.

Amazon S3 Storage Lens menyediakan keterlihatan seluruh organisasi terhadap penggunaan storage S3 dan metrik aktiviti merentas akaun dan region. Ia mengetengahkan peluang pengoptimuman kos seperti mengenal pasti bucket tanpa lifecycle rules, bucket dengan multipart upload yang tidak lengkap atau agihan storage class. Papan pemuka lalai S3 Storage Lens adalah free; papan pemuka metrik lanjutan ($0.20/juta objek) menambah perincian mengikut prefix dan metrik usia data. Gunakan Storage Lens sebagai titik permulaan bagi sebarang usaha pengoptimuman kos S3 untuk mengenal pasti bucket yang memberikan impak terbesar.

Dalam pelajaran ini, anda telah mempelajari bahawa: S3 Intelligent-Tiering dan lifecycle rules mengurangkan kos storage dengan mengalihkan data ke storage class yang lebih murah secara automatik, CloudFront mengurangkan kos pemindahan data dengan ketara berbanding penyampaian terus daripada S3 atau EC2, dan VPC Gateway Endpoints menghapuskan caj NAT Gateway untuk trafik S3 dan DynamoDB. S3 Storage Lens memberikan keterlihatan terhadap peluang pengoptimuman. Seterusnya, kita akan meneroka KMS, ACM dan corak encryption.