Veri Akışları ve İş Hacmi için Adlandırılmış Borular

sort file.txt > tmp.txt && uniq tmp.txt > result.txt gibi komutları zincirlediğinizde gizli bir bedel ödersiniz: disk yazma işlemleri, disk okuma işlemleri ve ilk aşama tamamen bitene kadar işlem hattının durması.

Akış işlem hatları bu bedeli ortadan kaldırır. Veriler, aşamadan aşamaya, doğrudan üreticiden tüketiciye bellek üzerinden eşzamanlı olarak akar. Unix kanallarının temel fikri budur; adlandırılmış kanallar (FIFO'lar) bu yaklaşımı daha da ileri taşır.

• Anonim kanal (|): aynı kabuk satırındaki bitişik iki komutu birbirine bağlar.
• Adlandırılmış kanal (FIFO): ilgisiz işlemlerin birbirine akış göndermesini sağlayan özel bir dosyadır.
• İşlem ikamesi: bir komutun, başka bir komutun çıktısını dosyaymış gibi ele almasını sağlar.

Bu derste, gerçek dünyadaki Bash iş akışlarında işlem hacmini en üst düzeye çıkarmak için bu üç yöntemi nasıl uygulayacağınızı göreceksiniz.

Anonim bir kanal, bir işlemin stdout'unu sonraki işlemin stdin'ine bağlar. Çekirdek, her iki işlemi de sabit boyutlu bir bellek içi arabellekte (Linux'ta genellikle 64 KB) aynı anda çalışır durumda tutar.

Temel fikir şudur: işlem hattı en yavaş aşaması kadar hızlıdır. Üretici daha hızlıysa dolu bir arabellekte bekler. Tüketici daha hızlıysa boş bir arabellekte bekler. Bu geri basınç, ücretsiz ve otomatik akış denetimidir.

Aşağıdaki örnek, hiç geçici dosya yazmadan büyük bir erişim günlüğündeki benzersiz IP adreslerini sayar. Her aşama eşzamanlı çalışır:

Adlandırılmış kanal (FIFO — First In, First Out), mkfifo ile oluşturulur. Dosya sisteminde normal bir dosya gibi görünür; ancak içine yazılan veriler diskte saklanmaz, doğrudan okuyan işleme akar.

Hatırlamanız gereken temel davranışlar:

• FIFO'ya yapılan yazma işlemi, bir okuyucu onu açana kadar engellenir; bunun tersi de geçerlidir.
• FIFO girdisi dosya sisteminde kalıcıdır; işiniz bittiğinde rm ile silmeniz gerekir.
• Birden çok yazıcıya izin verilir; ancak bunlar arasındaki sıralama garanti edilmez.

Aşağıda bir üretici verileri bir FIFO'ya sıkıştırırken bir tüketicinin bunları aynı anda S3'e yüklediği gösterilmektedir; geçici dosyaya gerek yoktur.

İşlem ikamesi, <(command) veya >(command) söz dizimini kullanır. Bash arka planda bir FIFO (veya /dev/fd/N dosya tanımlayıcısı) oluşturur ve yolu dış komuta aktarır.

Bu yöntem, stdin yerine dosya adı bağımsız değişkeni bekleyen bir araç için güçlüdür. İşlem ikamesi olmadan geçici bir dosyaya ihtiyaç duyardınız; işlem ikamesiyle verileri doğrudan akıtırsınız.

• <(cmd) — dış komut, cmd'nin çıktısından okur.
• >(cmd) — dış komut, cmd'nin girdisine yazar.

tee, stdin'den okur ve verileri hem stdout'a hem de bir veya daha fazla dosyaya yazar. İşlem ikamesiyle birlikte kullanıldığında tek bir akışı, diske hiç dokunmadan birden çok işlem hattına aynı anda dağıtabilirsiniz.

Bu kalıp, örneğin ham verileri günlüğe kaydetmek ve aynı anda işlemek istediğinizde kullanışlıdır.

Tek bir veri kaynağının birden çok bağımsız tüketiciyi beslemesi gerektiğinde, tee komutunu birden çok >() işlem ikamesiyle birleştirin. Her tüketici akışın tamamını alır ve eşzamanlı çalışır.

Bu yöntem, kaynak dosyanın birden çok kez okunmasını önler. 10 GB'lık bir dosyada fark çok büyüktür: N okuma yerine tek bir disk okuması yapılır.

Dağıtmanın tersi birleştirmedir: birden çok bağımsız kaynak tek bir tüketiciye akış gönderir. Adlandırılmış FIFO'lar bunu kolaylaştırır.

Yaygın bir kullanım alanı, birkaç sunucudan gelen günlük akışlarını gerçek zamanlı olarak birleştirmek veya paralel çalışanların kısmi sonuçlarını toplamaktır.

Birden çok yazıcı olduğunda tüketicinin iç içe geçmiş bir çıktı göreceğini unutmayın. Bu, her satırın kendi içinde anlamlı olduğu satır tabanlı veriler için uygundur; ancak sıra önemliyse sıralamayı kendiniz yönetmeniz gerekir.

FIFO'ların en pratik kullanım alanlarından biri paralel sıkıştırmadır. pigz (paralel gzip) veya pbzip2 gibi araçlar bir akış okur; sıkıştırılmamış bir dosyayı geçici olarak oluşturmadan ham verileri doğrudan yönlendirebilirsiniz.

Aşağıdaki kalıp bir dizini arşivler, tüm CPU çekirdekleriyle sıkıştırır ve sonucu aynı anda uzak bir ana bilgisayara aktarır:

Kanalların bir çekirdek arabelleği vardır (genellikle 64 KB). Arabellek dolduğunda yazıcı engellenir; boş olduğunda okuyucu engellenir. Genellikle istediğiniz davranış budur, ancak bazı durumlarda engelleme kilitlenmeye neden olur.

Kilitlenme riski: A işlemi FIFO1'e yazıp FIFO2'den okurken B işlemi FIFO2'ye yazıp FIFO1'den okursa, her ikisi de diğerinin önce tüketmesini beklerken engellenebilir.

Çözümler:

• Kabuğu engellememesi için en az bir tarafı arka planda (&) çalıştırın.
• Aşamalar arasına daha büyük bir bellek içi arabellek eklemek için mbuffer veya pv kullanın.
• İşlem hacmindeki ani artışları yumuşatmak üzere 128 MB'lık bir arabellek eklemek için pv -q -B 128m kullanın.

Eksiksiz ve gerçekçi bir kalıp şöyledir: birden çok günlük dosyasını izlemek, akışları adlandırılmış bir kanaldan birleştirmek, hataları filtrelemek ve canlı bir özet yazmak; tüm bunları ara dosyalar olmadan ve bütün aşamaları paralel çalıştırarak yapmak.

Bu tür bir işlem hattı, üretim sunucusunda arka planda çalışan bir izleme betiği olarak kullanılabilir.

time kullanarak akış yaklaşımı ile geçici dosya yaklaşımı arasındaki gerçek işlem hacmi farkını ölçebilirsiniz. İşlem hattı yaklaşımı büyük veri kümelerinde daha iyi sonuç verir; çünkü:

• Aşamalar eşzamanlı çalışır; CPU ve G/Ç işlemleri örtüşür.
• Ara veriler için disk G/Ç'si yapılmaz; yalnızca nihai çıktı diske yazılır.
• Bellek kullanımı girdi boyutundan bağımsız olarak sabit kalır (arabelleğe almak yerine akış kullanılır).

Her iki yaklaşımı karşılaştırmak için basit bir ölçüm:

Aşağıdaki betiği düşünün:

mkfifo /tmp/mypipe
echo 'hello' > /tmp/mypipe
echo 'done'

Bu betik, arka planda çalışan hiçbir işlem veya okuyucu olmadan çalıştırıldığında ne olur?

Bu derste, ara dosyalar kullanmadan işlemler arasında verileri verimli bir şekilde nasıl taşıyacağınızı öğrendiniz:

• Anonim borular (|) bitişik komutları birbirine bağlar ve otomatik geri basınçla tüm aşamaları eşzamanlı olarak çalıştırır.
• Adlandırılmış borular (mkfifo), ilgisiz veya arka plandaki işlemlerin birbirleriyle veri akışı gerçekleştirmesini sağlayan bir FIFO dosya sistemi girdisi oluşturur — bir okuyucu hazır olana kadar yazma işlemleri bekler.
• İşlem ikamesi (<(cmd), >(cmd)), dosya adı bekleyen komutların veri akışlarını şeffaf biçimde tüketmesini veya üretmesini sağlar.
• tee + >(), kaynağı yeniden okumadan tek bir veri akışını birden çok eşzamanlı tüketiciye dağıtır.
• Birleştirme, paylaşılan bir FIFO aracılığıyla birden çok üreticinin çıktısını tek bir tüketicide birleştirir.
• Geri basınç ve bloklama hata değil, özelliklerdir — ancak kilitlenmeyi önlemek için bir FIFO çiftinin en az bir tarafını her zaman arka planda çalıştırın.
• Aşamalar ani veri kümeleri hâlinde çalıştığında daha büyük arabellekler eklemek ve aktarım hızını izlemek için pv veya mbuffer kullanın.

Bu teknikler, yüksek aktarım hızlı Bash veri mühendisliğinin temelini oluşturur: GB ölçeğindeki verileri sabit bellek kullanımıyla ve en yüksek CPU/IO paralelliğiyle işleyin.