Apache NiFi nedir? Ne için kullanılır?

 NiFi, gerçek zamanlı (real-time) veriyi bir yerden bir yere aktarma işlemlerini yöneten,  her türden veriyi çeşitli kaynaklardan okuyabilen, veri üzerinde çeşitli işlemler yapmaya imkan veren ve verinin farklı kaynağa depolanmasına olanak sağlayan bir veri akış aracıdır. (data flow tool)

NiFi’nin genel özelliklerini incelemeye başlamadan önce aşağıdaki iki terminolojik terimi bilmek önemlidir.

1-) FlowFile (Akış verisi)

Kullanıcının işlem ve dağıtım için NiFi’ye getirdiği her bir veri parçası, FlowFile olarak adlandırılır. Bir FlowFile iki bölümden oluşur: Attiribute(Özellik) ve Content (İçerik).

Content, NiFi’ye gelen kullanıcı verisinin kendisidir.
Attribute, kullanıcı verileri ile ilişkilendirilmiş anahtar / değer(key/value) çiftleridir.

2-) Processor (İşlemci/İşlem yapan)

FlowFile’ları oluşturma, gönderme, alma, dönüştürme, yönlendirme, bölme, birleştirme ve işleme işlemlerinden sorumlu olan bir NiFi bileşenidir.

Veri akışlarını oluşturmak için NiFi kullanıcılarının kullanabileceği en önemli yapı taşıdır.

NiFi, bir Java Virtual Machine (JVM) içinde yürütülür.

JVM içindeki ana bileşenler ise ;

Web Server: Web sunucusunun amacı, NiFi’nin HTTP tabanlı komut ve kontrol API’sini barındırmaktır.

Flow Controller: Akış kontrolörü, NiFi operasyonlarının beyinleridir. Extension’ların çalışabilmesi için iş parçaları oluşturur ve extension’ların yürütülecek kaynakları almasının zamanlamasını yönetir.

Extensions: FlowFile Repository: NiFi’nin anlık akışta aktif olan belirli bir FlowFile hakkında bildiklerinin durumunu takip ettiği ve bu bilgilerin depolandığı yerdir.

Content Repository: Belirli bir FlowFile öğesinin gerçek içerik baytının yaşadığı yerdir.

Provenance Repository: Tüm kaynaklarla ilgili olayların depolandığı alandır. Hangi kaynaktan hangi hedefe veri akışı olmuş vs. bilgileri bu kaynakta tutulur.