站长蚂蚁论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

搜索
热搜: 活动 交友 discuz
楼主: gydtep2002

腾讯云2860元代金券领取及使用说明

[复制链接]

4

主题

1331

帖子

5368

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5368
 楼主| 发表于 2022-11-4 08:49:43 | 显示全部楼层
则需定期以事务的方式进行批量存储。对于每一个 O(t) 存储后, 恢复函数 R 的实现就简单多了:任务恢复时,将 O(t) 重新加载,使用 F 执行重算操作。
回复

使用道具 举报

4

主题

1331

帖子

5368

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5368
 楼主| 发表于 2022-11-4 20:03:25 | 显示全部楼层
MillWheel 使用了一种名为「Strong production」的机制将每个算子的输出在发送至下游之前都进行了持久化存储,一旦发生了故障,当需要恢复时,引擎可以直接将存储后的结果发出去。
回复

使用道具 举报

4

主题

1331

帖子

5368

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5368
 楼主| 发表于 2022-11-5 16:54:54 | 显示全部楼层
更进一步地,Kafka Streams 需要数据输入源和输出均为 Kafka 消息队列。

Kafka Streams 中的「结果」也以事务的方式批量持久化,但和 Flink 不同的是,这些结果是被写入不同的消息队列中:
回复

使用道具 举报

4

主题

1331

帖子

5368

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5368
 楼主| 发表于 2022-11-6 08:53:59 | 显示全部楼层
同传统的批处理系统类似,流处理中也是以 RDD 构建出整个的数据血缘,当发生 FailOver 时,则重新计算整个 RDD 就可以了。如果 Spark Streaming 存在非确定性的计算
回复

使用道具 举报

4

主题

1331

帖子

5368

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5368
 楼主| 发表于 2022-11-7 08:30:38 | 显示全部楼层
下图比较概括地描述了一个系统的质量观测完整生命周期,大体上可以分为如下四个阶段,并且在每个阶段都有需要特别关注的一些数据和指标:
回复

使用道具 举报

4

主题

1331

帖子

5368

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5368
 楼主| 发表于 2022-11-9 08:27:00 | 显示全部楼层
第二个非常大的变化是AI。这12年以深度学习为代表的技术,慢慢从理论变成非常实用的技术,进入商业的各个环节,提升商业每一个环节的效率、质量。
回复

使用道具 举报

4

主题

1331

帖子

5368

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5368
 楼主| 发表于 2022-11-10 07:27:54 | 显示全部楼层
多模态知识图谱的应用场景十分广泛,它极大地帮助了现有自然语言处理和计算机视觉等领域的发展。多模态结构数据虽然在底层表征上是异构的,
回复

使用道具 举报

4

主题

1331

帖子

5368

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5368
 楼主| 发表于 2022-11-10 17:03:19 | 显示全部楼层
模态缺失和模态噪声是两个挑战(主要是文本和图片的缺失和噪声),这将严重降低多模态信息学习的性能。在真实的电子商务场景中,
回复

使用道具 举报

4

主题

1331

帖子

5368

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5368
 楼主| 发表于 2022-11-11 07:58:55 | 显示全部楼层
K3M在淘宝4千万商品上训练,其中每个商品包含一个标题,一张图片和一组相关的三元组。我们设置不同的模态缺失和噪音比率,在商品分类、
回复

使用道具 举报

4

主题

1331

帖子

5368

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5368
 楼主| 发表于 2022-11-12 07:48:16 | 显示全部楼层
在设计数据库时,我们假设数据库可能在任何时刻,由于如硬件故障,软件Bug,运维操作等原因突然崩溃。这个时候尚未完成提交的事务可能已经有部分数据写入了磁盘
回复

使用道具 举报

关闭

站长推荐上一条 /1 下一条

QQ|Archiver|手机版|小黑屋|站长蚂蚁-站长之家 ( 赣ICP备15000807号

GMT+8, 2024-3-29 07:11

Powered by 蚂蚁站长论坛

© 2007-2024 bbs.jzmayi.com

快速回复 返回顶部 返回列表