Kafka 万字精讲|工作五年这些你都知道吗?
前言
本文以
Kafka 官方文档
的内容为基石,结合参考文献处文章和笔者自身实践凝练而成,涵盖内容全面,详略得当。
这也是《一文搞懂》系列的第一篇技术长文,期待您的关注。
一、Kafka 简介
Apache Kafka 是一个开源的分布式事件流平台,被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。
1.1 事件流平台
什么是事件流
:
从技术上讲,事件流是以事件流的形式从数据库、传感器、移动设备、云服务和软件应用程序等事件源实时捕获数据的实践;持久存储这些事件流以供以后检索;实时和回顾性地操作、处理事件流并对其做出反应;并根据需要将事件流路由到不同的目标技术。
因此,事件流可确保数据的连续流动和解释,以便正确的信息在正确的时间出现在正确的地点。
事件流可以做什么
:
- 实时处理支付和金融交易,例如在证券交易所、银行和保险中。
- 连接、存储并提供公司不同部门生成的数据。
- 作为数据平台、事件驱动架构和微服务的基础。
- 收集客户互动和订单并立即做出反应,等等。
Apache Kafka
作为一个事件流平台有什么功能:- 发布(写入)和订阅(读取)事件流,包括从其他系统持续导入/导出数据。
- 根据需要持久可靠地存储事件流
。 - 在事件发生时或回顾性地处理事件流。