Uzun Ön Ekleri Önbelleğe Alma

Her uzun istem, üretimden önce belirteçlerini kodlamak için ön doldurma maliyetine katlanır. Aynı uzun önek birçok çağrıda tekrarlandığında — bir sistem istemi, bir araç belirtimi veya büyük bir başvuru belgesi gibi — istem önbelleklemesi, sağlayıcının yeniden hesaplama yapmak yerine önceden hesaplanmış dikkat durumunu yeniden kullanmasını sağlar.

• Önbellek isabetleri gecikmeyi ve girdi maliyetini büyük ölçüde azaltır.
• Tasarruf, önek boyutu ve yeniden kullanım sıklığıyla artar.

Önbellekler, istemin başlangıcından itibaren tam belirteç öneki eşleşmesine göre anahtarlanır. Önbelleğe alınan bölüm, başlangıçtan ilk ayrışma noktasına kadar sürer. Erken kısımdaki herhangi bir şeyi değiştirirseniz, ondan sonraki her şey önbelleği kaçırır.

Sonuç olarak, isabetleri en üst düzeye çıkaran yerleşim en kararlı içeriği başa, en değişken içeriği sona koyar.

İçeriği en kararlıdan en az kararlıya doğru düzenleyin: önce değişmez sistem kuralları ve araç tanımları, ardından büyük ve kararlı başvuru materyali, sonra oturum boyunca sabit kalan bağlam, en sonda da isteğe özgü değişken girdi ve soru.

• Kararlı -> önde (önbelleğe alınabilir).
• Değişken -> arkada (yeniden hesaplanan tek bölüm).

Bu tek sıralama ilkesi, önbellekleme kazanımlarının çoğunu sağlar.

Bazı sağlayıcılar açık önbellek kesme noktaları işaretlemenize izin verir. Sistemin o noktaya kadar önbelleğe alabilmesi için bunları her kararlı bölümün sonuna yerleştirin. En büyük kararlı bloğu (başvuru derlemesini veya uzun sistem istemini) önbelleğe alınabilir olarak işaretleyin.

Açık işaretçiler olmasa bile yapıyı kararlılık sırasına göre düzenleyin; böylece örtük önek eşleştirmesi yine de yardımcı olabilir.

İnce ve istem dışı değişiklikler önbelleğe almayı sessizce bozabilir: sistem istemindeki bir zaman damgası, erken eklenen isteğe özgü bir kimlik, yeniden sıralanan araç tanımları veya belirlenimci olmayan JSON anahtar sırası. Bunların her biri öneği kaydırır ve tam yeniden hesaplamayı zorunlu kılar.

Öneğinizi, çağrılar arasında değişen her şey açısından denetleyin ve bunları önbelleğe alınan bölgenin sonrasına taşıyın.

Önbellekler, sağlayıcının tanımladığı bir yaşam süresinin ardından sona erer ve çoğu zaman her isabette yenilenir. Çağrılar çok seyrekse soğuk ıskalamalar tekrarlanır. Ani ve yüksek frekanslı iş yüklerinde önbelleğe alma işe yarar; nadir ve dağınık çağrılarda önbelleğin kullanım aralarında süresi dolabilir.

Trafik düzeninizi TTL ile eşleştirin ve değerli ön ekler için canlı tutma sinyallerini değerlendirin.

Önbellek girdisini yazmak genellikle küçük bir ek ücret gerektirir, okumak ise büyük bir indirim sağlar. Ekonomik açıdan yeniden kullanım avantajlıdır: birçok okumaya yayılan tek bir yazma işlemi net tasarrufu büyük ölçüde artırır; yalnızca yazma yapan tek bir kullanım biraz daha pahalıya mal olabilir.

• Yüksek yeniden kullanım -> Önbelleğe agresif biçimde alın.
• Tek kullanımlık ön ekler -> Önbelleğe alma maliyetini karşılamayabilir.

Sistem isteminizi ve araç belirtimlerinizi belirlenebilir ve sürüme sabitlenmiş hâle getirin. Araç tanımlarını kurallı biçimde sıralayın, dinamik verileri gömmekten kaçının ve bunları yalnızca planlı sürümlerde değiştirin. Kararlı bir sistem bloğu, tüm istekler arasında paylaşılan, uzun ömürlü ve yüksek isabet oranına sahip bir önbellek girdisine dönüşür.

Önbelleğe alınan ön eki, gelişigüzel değiştirdiğiniz bir dize olarak değil, sürümü olan bir ürün olarak ele alın.

Ajan döngülerinde büyüyen konuşma doğal bir önbellek görevi görür: her tur, sonraki turun yeniden kullanacağı bir ön eki genişletir. Yeni turları kuyruğun sonuna ekleyin ve önceki turları asla yeniden yazmayın; böylece önceki önbellek geçerliliğini korur.

Sıkıştırma yapmanız gerektiğinde, eski ön ekleri tekrar tekrar değiştirmek yerine sonraki turlar için yeni ve kararlı bir ön ek oluşturacak şekilde yapın.

Ölçüm ekleyin. Çoğu sağlayıcı her çağrı için önbelleğe alınmış ve önbelleğe alınmamış girdi belirteçlerini bildirir. İsabet oranını izleyin; düşükse ön ekteki kaymaları inceleyin. İsabet oranındaki gerileme genellikle istemin başlarına yakın zamanda eklenmiş dinamik bir değere işaret eder.

• Önbelleğe alınan belirteçleri / toplam girdi belirteçlerini günlüğe kaydedin.
• Bir yayına alımdan sonra isabet oranı düştüğünde uyarı verin.

Uzun ön eklerde maliyeti kontrol etmek için içeriği kararlılığına göre sıralayın, en büyük kararlı bloğu bir önbellek kesme noktası olarak işaretleyin, gizli kaymaları ortadan kaldırın, sistem ve araç bloklarının sürümünü sabitleyip sürümlerini yönetin, ajan döngülerinde yalnızca sona ekleme yapın ve isabet oranını izleyin. Amaç, yeniden kullanılabilir tek bir büyük ön ek ile her çağrıda yeniden hesaplanan küçük ve değişken bir son bölüm oluşturmaktır.

Her gün binlerce sorguda 100 bin belirteçlik bir başvuru derlemini yeniden kullanıyorsunuz, ancak önbellek isabet oranınız sıfıra yakın.

İstem önbelleğe alma, tam ve kararlı bir ön ekin ön doldurma aşamasını yeniden kullanarak yeniden kullanım sık olduğunda gecikmeyi ve girdi maliyetini büyük ölçüde azaltır. İçeriği en kararlı olandan başlayacak şekilde sıralayın, büyük kararlı bloğu bir kesme noktası olarak işaretleyin ve tüm değişkenliği sona taşıyın. Gizli kaymaları ortadan kaldırın, sistem ve araç bloklarının sürümünü sabitleyip sürümlerini yönetin, ajan döngülerinde yalnızca sona ekleme yapın ve isabet oranını izleyin; böylece bir gerileme, başlarda değişkenlik gösteren yeni bir değeri ortaya çıkarır.