問題導(dǎo)讀

1．什么是Pulsar？

2．Pulsar都有哪些概念？

3．Pulsar有什么特點？

4．Flink未來如何與Pulsar整合？

Apache Flink和Apache Pulsar的開源數(shù)據(jù)技術(shù)框架可以以不同的方式集成，以提供大規(guī)模的彈性數(shù)據(jù)處理。在這篇文章中，我將簡要介紹Pulsar及其與其他消息傳遞系統(tǒng)的差異化元素，并描述Pulsar和Flink可以協(xié)同工作的方式，為大規(guī)模彈性數(shù)據(jù)處理提供無縫的開發(fā)人員體驗。

Pulsar簡介

Apache Pulsar是一個開源的分布式pub－sub消息系統(tǒng)，由Apache Software Foundation管理。Pulsar是一種用于服務(wù)器到服務(wù)器消息傳遞的多租戶，高性能解決方案，包括多個功能，例如Pulsar實例中對多個集群的本地支持，跨集群的消息的無縫geo－replication，非常低的發(fā)布和端到端 － 延遲，超過一百萬個主題的無縫可擴(kuò)展性，以及由Apache BookKeeper等提供的持久消息存儲保證消息傳遞。現(xiàn)在讓我們討論Pulsar和其它pub－sub消息傳遞框架之間的主要區(qū)別：

第一個差異化因素源于這樣一個事實：雖然Pulsar提供了靈活的pub－sub消息傳遞系統(tǒng)，但它也有持久的日志存儲支持 － 因此在一個框架下結(jié)合了消息傳遞和存儲。由于采用了分層架構(gòu)，Pulsar提供即時故障恢復(fù)，獨立可擴(kuò)展性和無平衡的集群擴(kuò)展。

Pulsar的架構(gòu)遵循與其他pub－sub系統(tǒng)類似的模式，因為框架在主題中被組織為主要數(shù)據(jù)實體，生產(chǎn)者向主體發(fā)送數(shù)據(jù)，消費者從主題（topic）接收數(shù)據(jù)，如下圖所示。

Topic是Pulsar的核心概念，表示一個“channel”，Producer可以寫入數(shù)據(jù)，Consumer從中消費數(shù)據(jù)（Kafka、RocketMQ都是這樣）。

Topic名稱的URL類似如下的結(jié)構(gòu)：

｛persistent｜non－persistent｝：／／tenant／namespace／topic

persistent｜non－persistent表示數(shù)據(jù)是否持久化（Pulsar支持消息持久化和非持久化兩種模式）

Tenant為租戶

Namespace一般聚合一系列相關(guān)的Topic，一個租戶下可以有多個Namespace

Pulsar的第二個區(qū)別是該框架是從一開始就考慮多租戶而構(gòu)建的。這意味著每個Pulsar主題都有一個分層的管理結(jié)構(gòu)，使得資源的分配以及團(tuán)隊之間的資源管理和協(xié)調(diào)變得高效和容易。借助Pulsar的多租戶結(jié)構(gòu)，數(shù)據(jù)平臺維護(hù)人員可以在沒有摩擦的情況下加入新團(tuán)隊，因為Pulsar在屬性（租戶），命名空間或主題級別提供資源隔離，同時數(shù)據(jù)可以在集群中共享以便于協(xié)作和 協(xié)調(diào)。

下圖中Property即為租戶，每個租戶下可以有多個Namespace，每個Namespace下有多個Topic。

Namespace是Pulsar中的操作單元，包括Topic是配置在Namespace級別的，包括多地域復(fù)制，消息過期策略等都是配置在Namespace上的。

最后，Pulsar靈活的消息傳遞框架統(tǒng)一了流式和排隊數(shù)據(jù)消費模型，并提供了更大的靈活性。如下圖所示，Pulsar保存主題中的數(shù)據(jù)，而多個團(tuán)隊可以根據(jù)其工作負(fù)載和數(shù)據(jù)消耗模式獨立使用數(shù)據(jù)。

Pulsar提供了靈活的消息模型，支持三種訂閱類型：

Exclusive subscription：排他的，只能有一個Consumer，接收一個Topic所有的消息

Shared subscription：共享的，可以同時存在多個Consumer，每個Consumer處理Topic中一部消息（Shared模型是不保證消息順序的，Consumer數(shù)量可以超過分區(qū)的數(shù)量）

Failover subscription：Failover模式，同一時刻只有一個有效的Consumer，其余的Consumer作為備用節(jié)點，在Master Consumer不可用后進(jìn)行替代（看起來適用于數(shù)據(jù)量小，且解決單點故障的場景）

Pulsar對數(shù)據(jù)的看法：分段數(shù)據(jù)流

Apache Flink是一個流優(yōu)先計算框架，它將批處理視為流的特殊情況。Flink對數(shù)據(jù)流的看法區(qū)分了有界和無界數(shù)據(jù)流之間的批處理和流處理，假設(shè)對于批處理工作負(fù)載，數(shù)據(jù)流是有限的，具有開始和結(jié)束。

對于數(shù)據(jù)層，Apache Pulsar與Apache Flink的觀點相似。該框架還使用流作為所有數(shù)據(jù)的統(tǒng)一視圖，而其分層體系結(jié)構(gòu)允許傳統(tǒng)的pub－sub消息傳遞用于流式工作負(fù)載和連續(xù)數(shù)據(jù)處理或分段流的使用以及批量和靜態(tài)工作負(fù)載的有界數(shù)據(jù)流。

使用Pulsar，一旦生產(chǎn)者向主題（topic）發(fā)送數(shù)據(jù)，它就會根據(jù)數(shù)據(jù)流量進(jìn)行分區(qū)，然后在這些分區(qū)下進(jìn)一步細(xì)分 － 使用Apache Bookkeeper作為分段存儲 － 以允許并行數(shù)據(jù)處理，如下圖所示。這允許在一個框架中組合傳統(tǒng)的pub－sub消息傳遞和分布式并行計算。

當(dāng)Flink ＋ Pulsar整合

Apache Flink和Apache Pulsar已經(jīng)以多種方式集成。在接下來的部分中，我將介紹框架之間的一些潛在的未來集成，并分享可以一起使用框架的現(xiàn)有方法的示例。