Producer新旧对比
新版本:
- 发送过程被分为两个线程,一条消息发送后经用户主线程进入内存缓冲区,
Sender I/O
线程将缓冲区中的数据分批发给Kafka broker - 完全异步发送消息,通过
Future
或Callback
来通知发送者 - 分批机制,提升整体吞吐量
- 轮询方式对无
key
消息分区,更加均匀 - 底层使用Selector
旧版本:
- 无分批发送,吞吐量差
- 消息发送完全同步,吞吐量差
- 无key消息在一段时间内发给固定分区,容易造成数据倾斜
Consumer新旧对比
新版本:
- 消息offset由Kafka内部topic处理,不受限于Zookeeper性能瓶颈
- 消费者组由集中式协调者管理,不再由Zookeeper管理
- 底层使用Selector,单线程设计,简化实现
旧版本:
- offset和消费者组由Zookeeper处理
- 提供
low-level consumer
和high-level consumer
,前者提供的功能更少,但给了你更多定制化的选择,后者功面向用户提供更高级的功能(比如消费者组),但你没法高度定制
磁盘规划
未完…
原文地址:http://www.cnblogs.com/lilpig/p/16820682.html
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,请务用于商业用途!
3. 如果你也有好源码或者教程,可以到用户中心发布,分享有积分奖励和额外收入!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
7. 如遇到加密压缩包,默认解压密码为"gltf",如遇到无法解压的请联系管理员!
8. 因为资源和程序源码均为可复制品,所以不支持任何理由的退款兑现,请斟酌后支付下载
声明:如果标题没有注明"已测试"或者"测试可用"等字样的资源源码均未经过站长测试.特别注意没有标注的源码不保证任何可用性