站长蚂蚁论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

搜索
热搜: 活动 交友 discuz
楼主: gydtep2002
打印 上一主题 下一主题

腾讯云2860元代金券领取及使用说明

[复制链接]

4

主题

1440

帖子

5781

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5781
391#
 楼主| 发表于 2023-8-26 10:01:04 | 只看该作者
e.g. Kafka 事务消息,但是在结果的存储方式上各有所不同,下面我们来看一看目前业界主流的几个流计算引擎的设计考量。
回复

使用道具 举报

4

主题

1440

帖子

5781

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5781
392#
 楼主| 发表于 2023-8-28 15:23:11 | 只看该作者
Kafka Streams 中的「结果」也以事务的方式批量持久化,但和 Flink 不同的是,这些结果是被写入不同的消息队列中:
回复

使用道具 举报

4

主题

1440

帖子

5781

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5781
393#
 楼主| 发表于 2023-8-29 19:34:11 | 只看该作者
又如,使用 Flink 处理 CDC(Change Data Capture) 的场景,如果下游是 MySQL,在 Flink 2PC 完成之前,
回复

使用道具 举报

4

主题

1440

帖子

5781

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5781
394#
 楼主| 发表于 2023-8-30 19:44:31 | 只看该作者
更进一步,当把仅有确定性计算(幂等输出)的 Spark Streaming 和 仅有确定性计算(幂等输出)的的 Flink 进行对比时,会发现二者非常相似。
回复

使用道具 举报

4

主题

1440

帖子

5781

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5781
395#
 楼主| 发表于 2023-8-31 17:19:30 | 只看该作者
延迟数据的处理策略、底层计算节点的通信容错等,这些问题多多少少也会影响数据的一致性,考虑到文中篇幅,这里就不一一展开了,感兴趣的同学可以选择一个主题做深入研究。
回复

使用道具 举报

4

主题

1440

帖子

5781

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5781
396#
 楼主| 发表于 2023-9-1 10:26:23 | 只看该作者
然而在实际使用过程中,许多人对可观测性的关注,主要集中在系统上线之后。这当然是没有问题的,但实际上
回复

使用道具 举报

4

主题

1440

帖子

5781

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5781
397#
 楼主| 发表于 2023-9-2 09:29:28 | 只看该作者
依赖规则,缺乏智能:质量监控比较依赖于人的经验,很大程度上受限于人为设定的规则和阈值,无法做到数据自适应
回复

使用道具 举报

4

主题

1440

帖子

5781

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5781
398#
 楼主| 发表于 2023-9-3 14:20:38 | 只看该作者
运维成本高:完整的质量系统需要数个甚至十多个软件的协同,从而也带了极高的运维成本。
回复

使用道具 举报

4

主题

1440

帖子

5781

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5781
399#
 楼主| 发表于 2023-9-6 07:43:49 | 只看该作者
第二个数字,2009年的订单创建峰值是400笔/秒,去年将近60万笔/秒,这是1500倍的增长;
回复

使用道具 举报

4

主题

1440

帖子

5781

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5781
400#
 楼主| 发表于 2023-9-7 14:30:40 | 只看该作者
三个非常大的变化是互联网,移动互联网不仅从根本上改变了消费者购物的体验,让消费者可以随时随地购物,而且重构了整个商业
回复

使用道具 举报

关闭

站长推荐上一条 /1 下一条

QQ|Archiver|手机版|小黑屋|站长蚂蚁-站长之家 ( 赣ICP备15000807号

GMT+8, 2024-5-15 02:03

Powered by 蚂蚁站长论坛

© 2007-2024 bbs.jzmayi.com

快速回复 返回顶部 返回列表