kafka 學習紀錄(架構名詞解說)

參考 Kaggle的解題挑戰 - Kafka簡介

參考 真的，關於 Kafka 入門看這一篇就夠了

Kafka: 分散式的訊息處理系統

Zookeeper: 底層的數據儲存

Broker: 接收來自 Producer 的訊息，交 Zookeeper 儲存，並回應 Consumer 的資料請求

Kafka Cluster: 由數個 Broker 組成

Producer: 訊息生產者，負責發布訊息到 kafka

Consumer: 訊息消費者，將訊息由 kafka 讀出

Topic: 訊息的種類，可視為 Producer 和 Consumer 的 Queue

Partition: Topic 分為數個 Partitions，同一個 Topic 的 Partition, 可以不在一個機器上

Retention: 設定存放在磁碟的時間

Multiple Clusters: Kafka 支援 Multiple Cluster，主要可以提高可用性和安全性

Consumer Group: 是由一個或多個消費者實例（Consumer Instance）組成的羣組，具有可擴展性和可容錯性的一種機制。消費者組內的消費者共享一個消費者組 ID，這個 ID 也叫做 Group ID，組內的消費者共同對一個主題進行訂閱和消費，同一個組中的消費者只能消費一個分區的消息