Apache NiFi｜讓你輕鬆建立Data Pipeline

作者：蘇揮原

書號： ACD022900

出版日： 2023/03/22

ISBN： 9786263244160

EAN： 9786263244160

紙本書價格： 580

附件：無

電子書：

已出版

試讀

博客來

金石堂

天瓏

MOMO

Google Play

博客來

團體購書

回頁首

‧精簡的設定和範例介紹，快速掌握Apache NiFi核心精髓
‧整合當今主流的資料工程架構與相關服務說明
‧掌握資料流設計的特性與重點，踏出資料工程第一步

本書介紹Apache NiFi這套服務工具，讀者可以於該服務設計自動化處理資料流(Data Pipeline)。所有的設計與設定都是以No Code與WEB UI方式處理，具備強大的操作互動性和易用性。另外支援大多數的資料載體，如：Relational Database、Document DB、Column-Based、DataWarehouse 、Message Queue等對接處理，並支援目前主流的三大雲平台-AWS(Amazon Web Service)、GCP(Google Cloud Platform)和Microsoft Azure，涵蓋大部分企業使用到的應用與服務，都可透過Apache NiFi做到一站式整合與資料流設計，確保資料處理邏輯以及流入和流出的方向和目的地。同時在面對大量資料處理時也可以運用高擴展的特性來平行執行，也能更細節地去追蹤資料的變化與狀態，最後做到完整的流程與錯誤控制以避免產生資料遺漏的窘境。

本書會介紹當今在資料工程常見的架構，接著介紹Apache NiFi的架構與元件、建置流程與設定、操作方式、與外部服務的整合和應用、資料追蹤等各個資料工程常見的應用處理。最後會提及資料工程領域的發展和重點分析，讓對於這塊領域較陌生或有興趣的讀者們，除了可以在本書學到Apache NiFi的核心價值之外，也能意識到該領域的後續發展與重點，給予讀者具體方向進行未來的發展和準備。

回頁首

蘇揮原 Mars Su
畢業於國立臺灣科技大學資管所，目前於趨勢科技(TrendMicro)擔任Staff Data Engineer，參與過Streaming Data Pipeline架構設計與開發，以及NLP應用處理，熱衷於資料工程和機器學習等領域的研究與探索。
過往曾獲得iTHome 2021鐵人賽AI&Data組冠軍以及擔任過PyCon APAC 2022講者。

回頁首

第1章 Data Pipeline 的重要性
　1.1 何謂 Data Pipeline？
　1.2 何謂 Streaming 和 Batch？
　1.3 何謂 Lambda、Kappa 和 Delta 架構？
　1.4 為什麼需要使用 Apache NiFi？
　1.5 小結

第2章 Apache NiFi 的架構與建置
　2.1 Apache NiFi 架構與規格
　2.2 Apache NiFi Data Flow 的版控 - NiFi Registry
　2.3 如何建置 Apache NiFi & NiFi Registry
　2.4 小結

第3章 Apache NiFi Componenet 介紹
　3.1 FlowFile 的概念與操作
　3.2 Processor 的概念與操作
　3.3 Connection 的概念與操作
　3.4 Processor Group 的概念與操作
　3.5 Controller Service 的概念與操作
　3.6 Templates、Label 和 Funnel 的概念與操作
　3.7 NiFi Registry 的概念與操作
　3.8 小結

第4章 Apache NiFi 的語法
　4.1 Variables 和 Parameters 的範圍與差異
　4.2 何謂 NiFi Expression Language？
　4.3 小結

第5章 Apache NiFi 和 DB 對接與實務
　5.1 何謂 RDB 和 DocumentDB？
　5.2 如何對 MySQL 對接與操作？
　5.3 如何與 MongoDB 對接與操作？
　5.4 小結

第6章 Apache NiFi 和 Message Queue 對接與實務
　6.1 什麼是 Message Queue？
　6.2 什麼是 Apache Kafka？
　6.3 如何對 Apache Kafka 對接與操作？
　6.4 小結

第7章 Apache NiFi 和 Cloud 對接與實務
　7.1 如何串接 AWS 服務？
　7.2 如何串接 GCP 服務？
　7.3 小結

第8章 Apache NiFi 監控與追蹤邏輯
　8.1 訂定適當的監控指標
　8.2 Apache NiFi 的 Reporting Task 和整合應用
　8.3 Apache NiFi 的基本偵錯 Alert 機制
　8.4 小結

第9章資料工程的重要性與未來
　9.1 資料工程是什麼？為何重要？
　9.2 未來資料工程的變化與趨勢

回頁首

AI開發的機器學習系統設計模式 Software Architecture in Practice中文版第四版資料科學輕鬆學