Zookeeper’lı ve KRaft’lı Kafka Kurulumu
Bu yazım içerisinde Kafka’nın kurulumu ve iyi uygulamalarından bahsedeceğim eğer Kafka nedir ve Kafka’nın terminolojisini öğrenmek istiyorsanız bir önceki yazımı okuyabilirsiniz.
Bu yazıdan kurulum olarak hem Zookeeper’lı Kafka kurulumu hem de Kafka 2.8 versiyonu itibariyle Zookeeper’a alternatif olarak Kafka’ya dahil ettiği KRaft’lı kurulum yönergelerinide paylaşacağım. Bunların kurulum adımları haricinde Kafka’nın kapasite planlaması, Kafka kümesinin kurulması, performans testleri, güvenlik ayarları ve farklı Kafka kümeleri arasında veri transferi konularında ciddi bir değişiklik olmamaktadır.
Senaryo:
Senaryo olarak iki farklı veri merkezine 3’er adet Kafka broker kurup veri merkezleri arasında senkronizasyonu sağlamaycağız. Tabii bunu yaparken Kafka’ların hem kendi veri merkezleri içerisinde yedekli olmasını garanti altına almak istiyor hem de Kafka üzerinde ACL, SSL gibi güvenlik önlemlerini almak istiyoruz.
Bu yazıda Kafka’nın kurulumunu tamamlayıp bir sonraki adımdaysa SSL kurulumu, SCRAM ayarları, MirrorMaker 2 ve performans testlerine odaklanıyor olacağım.
Son olarak Kafka’yı 3 adet Zookeeper ve sadece 2 adet Broker ile kurmak mümkün ama daha gerçekci bir senaryo oluşturabilmek için 3 adet Broker kurulumu yapıyor olacağım. Bunun iki sebebi var birincisi kümeleri planlarken birden fazla node’un devre dışı kalma ihtimaline göre planlama yapmak öbürüyse min-ISR değerini 2 yaptığınız taktirde tek bir node’u kaybettiğinizde kümeniz duracak, min-ISR 1 yaptığınız taktirde de veri yedekliliğini kullanamayacaksınız.