免费领取阿里云大礼包3150元+新客享0.26折起优惠

gydtep2002

我们将条件退化为可以通过事务的方式进行批量存储，这是因为事务的 ACID 特性能保证结果能以原子提交的方式作用于下游算子或者是外部的消息系统/数据库，在保证了结果（状态）一致性的前提下，能达到较高的吞吐率。

gydtep2002

将结果输出纳入快照生成的 2PC 后，端到端一致性数据处理语义的充分必要条件在这里也得到了满足：在流计算过程中，定期（epoch）以事务（2PC）的方式进行批量存储结果

gydtep2002

如果稍微回顾一下 Flink 一致性的实现逻辑，会发现这两者有很多相似点，因此 Kafka Streams 的输出结果也会存在一定的端到端延迟。

gydtep2002

但太小的间隔将导致吞吐下降，因此吞吐量与端到端处理延迟之间需要有一个折衷。

gydtep2002

如果 Spark Streaming 存在非确定性的计算，则不能实现端到端一致，原因是

gydtep2002

上面的充分必要条件还可以进一步简化，即实时存储结果或定期事务，均可以视为当前处理逻辑单元（算子或最终存储）对上游的输入（引擎状态+输出结果）进行的幂等化处理

gydtep2002

在整个质量观测的生命周期中，除了各种各样的数据，我们也会涉及到各种各样的系统，例如 GitLab、sonarqube、Allure、JMeter、Jenkins、Travis CI、Argo CD 等等。这些不同的系统作用于不同的阶段，

gydtep2002

但太多的选择也不见得是好事，在这种情况下，可观测性数据的管理又给我们带来了如下几个痛点：

gydtep2002

基于上述统一的数据存储和查询分析，我们可以非常轻松地实现统一的可视化和监控。

gydtep2002

监控自适应：可以基于历史数据自动学习和进化，进行动态的阈值判断，从而让告警更加精准。另外对数据的学习也是实时的，可以更加快速地发现异常问题。