“現(xiàn)在AI和數(shù)據(jù)處理密不可分，80%的企業(yè)可以利用Apache NiFi輕松解決復(fù)雜的數(shù)據(jù)問題，快速完成場(chǎng)景建設(shè)。猶如花上百來塊錢在家享受一頓不亞于五星級(jí)西餐廳的法式大餐。對(duì)于全棧式的數(shù)據(jù)分析師或者數(shù)據(jù)應(yīng)用的Java研發(fā)工程師，NiFi讓其擺脫復(fù)雜的數(shù)據(jù)工程，而是將精力放在分析和應(yīng)用的創(chuàng)新之上。而NiFi的GUI也著實(shí)令人賞心悅目！”

1.Apache NiFi

說到數(shù)據(jù)平臺(tái)，很多人的第一反應(yīng)要么是ETL/ELT，要么是Spark或Hadoop，要么是Flink，要么是各式各樣的湖倉技術(shù)，例如Delta Lake。小編多年來根據(jù)不同的業(yè)務(wù)場(chǎng)景規(guī)劃落地不少數(shù)據(jù)平臺(tái)，很清楚的明白維護(hù)一套數(shù)據(jù)處理套件成本不菲。先不說調(diào)度引擎、運(yùn)算引擎、數(shù)據(jù)治理引擎和存儲(chǔ)引擎，光是數(shù)據(jù)質(zhì)量和產(chǎn)出效益就讓很多企業(yè)管理者頭疼，況且現(xiàn)代化的技術(shù)體系都依托云原生，這也是不小的一塊投入。就算下定決心建設(shè)數(shù)據(jù)平臺(tái)，技術(shù)路線抉擇和人才儲(chǔ)備則是另一大難題。要知道如何選擇最合適的技術(shù)至關(guān)重要，和2B產(chǎn)品線的生死掌握在靠譜的產(chǎn)品經(jīng)理手中一樣。

現(xiàn)在AI時(shí)代已經(jīng)到達(dá)，如何快速且以較低的成本進(jìn)行數(shù)據(jù)處理和微治理則十分重要。畢竟現(xiàn)在的節(jié)奏越來越快，從商業(yè)的角度，小投入，快應(yīng)用，螺旋式的加大投資成為很多人的選擇?；仡欉^去十年，加之最近在數(shù)據(jù)領(lǐng)域的咨詢量增加，小編認(rèn)為是時(shí)候介紹一下NiFi，讓它能夠得到最對(duì)等的尊重。回顧這十年，NiFi走得很穩(wěn)，正如它的官網(wǎng)所介紹的一樣，NiFi是強(qiáng)大、可靠、簡(jiǎn)單易用的處理和分發(fā)數(shù)據(jù)的系統(tǒng)。

Apache NiFi是Apache軟件基金會(huì)的一個(gè)軟件項(xiàng)目，旨在自動(dòng)化軟件系統(tǒng)之間的數(shù)據(jù)流。它利用提取、轉(zhuǎn)換、加載 （ETL） 的概念，基于美國(guó)國(guó)家安全局 （NSA） 之前開發(fā)的“NiagaraFiles”軟件，該軟件也是其現(xiàn)在名稱的一部分——NiFi 的來源，它在2014年NSA技術(shù)轉(zhuǎn)讓計(jì)劃的開源的清單里面。

簡(jiǎn)單而言Apache NiFi是一款開源的數(shù)據(jù)流處理工具，提供了強(qiáng)大的數(shù)據(jù)采集、傳輸、轉(zhuǎn)換和處理能力。它可以幫助用戶輕松地構(gòu)建可擴(kuò)展、高度可配置的數(shù)據(jù)流處理管道，支持從各種來源（包括本地磁盤、網(wǎng)絡(luò)、傳感器等）獲取數(shù)據(jù)，并將其路由、轉(zhuǎn)換、過濾和聚合后輸出到各種目標(biāo)（包括 Hadoop、HDFS、Kafka、Solr等）。同時(shí)，Apache NiFi 還提供了直觀的可視化界面，幫助用戶快速構(gòu)建和管理數(shù)據(jù)流處理任務(wù)。

Apache NiFi的體系結(jié)構(gòu)基于可插拔的Processor、Controller Service和自定義Extension，使其能夠快速適應(yīng)不同的場(chǎng)景和需求，同時(shí)保持高性能和可靠性。NiFi的里層還依托Java虛擬機(jī)，建立在Spring基礎(chǔ)上。根據(jù)處理流量的大小，決定了其對(duì)系統(tǒng)資源的占用情況以及是否需要硬件支持。

如上圖所示，NiFi支持單機(jī)和集群模式。在分布式部署的情況下，ZK作為分布式一致性的中間件。每個(gè)節(jié)點(diǎn)都建立在JVM的基礎(chǔ)上，中間是各種處理數(shù)據(jù)的Processor，底層則是NiFi的數(shù)據(jù)存儲(chǔ)倉庫以及數(shù)據(jù)監(jiān)管機(jī)制。

上圖為數(shù)據(jù)流工程的一部分，可以進(jìn)行分領(lǐng)域設(shè)計(jì)。簡(jiǎn)單、干凈和高可靠。

2.數(shù)據(jù)模型

NiFi的整體框架下，數(shù)據(jù)模型被建模為FlowFile，請(qǐng)記住這個(gè)術(shù)語。它由內(nèi)容（Content）和屬性（Attribute）兩部分組成。畢竟在物理世界，任何的數(shù)據(jù)消息都是由消息體和頭部信息組成。一系列的處理組件在相同的規(guī)范下互相連接形成處理管道。數(shù)據(jù)會(huì)沿著管道進(jìn)行流動(dòng)形成數(shù)據(jù)流。同時(shí)，NiFi的組件很豐富，截止到1.27的版本已經(jīng)接近400+。<不夠用，沒問題，可以自己定義。>

每個(gè)組件都是FlowFile進(jìn)，F(xiàn)lowFile出。每份數(shù)據(jù)都會(huì)從流的開始傳輸?shù)搅鞯慕Y(jié)束。默認(rèn)情況下，它使用已NiFi的存儲(chǔ)介質(zhì)作為機(jī)制，例如本地磁盤，因此NiFi對(duì)于I/O的要求比較高。

FlowFile Content存儲(chǔ)著數(shù)據(jù)主體信息，可以理解為文本內(nèi)容，可以是Json格式，也可以是二進(jìn)制文件等等。而FlowFileAttribute則是添加到每個(gè)FlowFile文件上面的Key-Value對(duì)，也即為鍵值對(duì)。

這些屬性的有一部分是NiFi系統(tǒng)給每個(gè)FlowFile加上（例如FlowFile創(chuàng)建時(shí)間、FlowFile大小、uuid等等），也可以使用戶自行添加的屬性對(duì)，還可以是由Processor（每個(gè)處理節(jié)點(diǎn)）自己設(shè)置，用來標(biāo)明這些數(shù)據(jù)的特定屬性或狀態(tài)。

每個(gè)流的數(shù)據(jù)都可以在NiFi GUI可視化直觀的跟蹤和顯示，尤其可以追溯每份數(shù)據(jù)處理的鏈路圖，比如源頭和處理的組件，類似數(shù)據(jù)的血緣追蹤。

本文轉(zhuǎn)載自??魯班模錘??，作者： 龐德公 ????