当前位置 博文首页 > Shockang的博客:为什么使用 Kafka?

    Shockang的博客:为什么使用 Kafka?

    作者:[db:作者] 时间:2021-08-23 22:10

    前言

    本文隶属于专栏《1000个问题搞定大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!

    本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系

    正文

    可扩展性

    能够高速处理大量数据。

    能实现每秒数百 MB 的处理速度,以及 TB 级的吞吐量。

    分布式

    Kafka 采用了分布式设计,具有如下分布式功能。

    1. 副本:副本功能是任何分布式技术都需要使用的默认功能,也是 Kafka 的内置特性。
    2. 分区能力:同理,分区能力也是分布式架构天然需要的特性之一。

    高速

    对这个特性的评价是相对主观的。

    一般来说,在市面上, Kafka 被认为是一款高性能的组件。

    能够支持各种消费者组件

    然而,由于消费者组件经常配置,需要执行大量处理工作,用户认为它们要慢一些。

    天然的缓冲能力

    为了适配各种消费者组件, Kafka 内置有缓冲能力。

    发布/订阅特性

    异步的发布/订阅集成模式。

    这是消息传输技术的关键特征之一。

    接近数据库的可靠性

    所有发送给 Kafka 的数据都是有序的,默认条件下是持久存储的。

    容错性

    基于分布式特性和副本, Kafka 内置有容错功能。

    cs