首页
学习
活动
专区
圈层
工具
发布

#kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。

21 张图图解 Kafka 为什么吞吐量大,速度快?

码哥字节

你好,我是《Redis 高手心法》作者,可以叫我码哥,手拿菜刀砍电线,一路火花带闪电的靓仔。

11810

Kafka 租户隔离全攻略:五种生产级方案实战与选型指南

lyb-geek

最近公司业务线面临一个棘手问题:核心消息队列Kafka需要支持多租户数据隔离,但Kafka原生并未提供开箱即用的租户机制。想象一下:多个业务线数据混杂在同一个集...

10710

别再乱排查了!Kafka 消息积压、重复、丢失,根源基本都是 Rebalance!

程序员小富

相比丢数据,kafka Rebalance 导致的重复消费更普遍,核心原因都是 offset 提交滞后于消息处理。

23210

Kafka分区设计

编程小白狼

在大数据与实时流处理领域,Apache Kafka 已然成为事实上的消息中枢和数据 backbone。当我们谈论Kafka的高吞吐量、水平扩展和并行处理能力时,...

16610

架构师之kafka总结报告

紫风

总结了一下kafka的关键技术点,以及与spring boot的集成应用,形成一个总结报告,一个是为了指导新手从哪些方面入手,另外是技术人员熟悉关键技术点,用来...

12010

Kafka 为什么具有高吞吐量的特性?

SmileNicky

在面试中,Kafka 的高吞吐量设计是高频考点,核心需围绕“架构设计”“存储优化”“网络效率”“资源利用”四个维度展开,以下是结构化总结:

12210

Kafka Broker 核心原理全解析:存储、高可用与数据同步

SmileNicky

Kafka 作为高性能的分布式消息队列,其 Broker 节点的设计是支撑高吞吐、高可用的核心。本文将从存储结构、消息清理、高可用选举、数据同步四个维度,解析 ...

12510

Kafka生产者原理深度解析

SmileNicky

在分布式消息系统中,Kafka凭借其高性能、高可靠性和可扩展性,成为了众多企业的首选。而Kafka生产者作为消息发送的核心组件,其内部机制一直是开发者关注的重点...

10910

nginx 反向代理 kafka, 顺便实践了下nginx ip白名单知识点

Python运维开发

我们有一个 Kafka 测试环境集群,部署在完全隔离的内网环境中,内网其他网络无法直接访问。

16510

SpringCloud 项目阶段十:kafka实现双端信息同步以及ElasticSearch容器搭建示例

varin

13910

SpringCloud 项目阶段九:Kafka 接入实战指南 —— 从基础概念、安装配置到 Spring Boot 实战及高可用设计

varin

topic分区中消息只能由消费者组中的唯一一个消费者处理,所以消息肯定是按照先后顺序进行处理的。但是它也仅仅是保证Topic的一个分区顺序处理,不能保证跨分区...

24610

千亿消息“过眼云烟”?Kafka把硬盘当内存用的性能魔法,全靠这一手!

poemyang

Apache Kafka是一个开源的分布式消息队列,由LinkedIn公司开发并于2011年贡献给Apache软件基金会。Kafka被设计用来处理千亿量级的实时...

20010

Kafka消费者组消费异常的排查与解决实践

用魔法才能打败魔法

Kafka消费者组消费异常的排查与解决实践

36510

Kafka生产者消息丢失的排查与解决:一次真实开发中的踩坑记录

用魔法才能打败魔法

Kafka生产者消息丢失的排查与解决:一次真实开发中的踩坑记录

24210

史上最强之安装Kafka并启动Zookeeper和Kafka

贺公子之数据科学与艺术

现在,Kafka和Zookeeper已经启动成功。完美,可以使用Java代码进行Kafka相关的操作。

15110

【消费多实例Kafka千万级数据的案例分析】

贺公子之数据科学与艺术

高吞吐量场景下消费Kafka消息需要解决分区分配、负载均衡、并行处理等问题。典型案例如电商秒杀系统:10个消费者实例处理100个分区的订单消息,日均处理量超过2...

20110

HBase + Kafka:构建高可靠实时数据管道的架构设计与实践

用户6320865

随着数字化转型的深入,企业对数据处理的需求已从传统的批处理模式逐步转向实时化、高并发的场景。无论是金融风控、电商交易、物联网监控还是社交网络分析,毫秒级的响应与...

26010

Kafka 如何实现零停机迁移

深度学习与Python

文章导读 随着越来越多企业将 Kafka 迁移至云原生架构,AutoMQ 正逐渐成为 Kafka 用户的云端优选。💡 作为兼容 Apache Kafka 协议...

23010

Elasticsearch如何零改造对接Kafka、Logstash?

gavin1024

21610

谁才是Kafka、Pulsar通吃的流计算王者?

gavin1024

22610
领券