站长蚂蚁论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

搜索
热搜: 活动 交友 discuz
楼主: gydtep2002
打印 上一主题 下一主题

免费领取阿里云大礼包3150元+新客享0.26折起优惠

[复制链接]

4

主题

1406

帖子

5658

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5658
411#
 楼主| 发表于 2023-7-14 09:48:30 | 只看该作者
PolarDB MySQL是因云而生的一个数据库系统, 除了云上OLTP场景,大量客户也对PolarDB提出了实时数据分析的性能需求。
回复

使用道具 举报

4

主题

1406

帖子

5658

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5658
412#
 楼主| 发表于 2023-7-16 10:05:26 | 只看该作者
来服务不同的查询负载是一个易于实施的方案。典型的如TiDB,其从TiDB4.0开始,在一个Raft Group中的其中一个副本上,使用列式存储(TiFlash)来响应AP型负载,
回复

使用道具 举报

4

主题

1406

帖子

5658

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5658
413#
 楼主| 发表于 2023-7-17 14:18:15 | 只看该作者
因此在低延时在线事务处理和高性能实时数据分析两大前提下,行列混合存储结合内存计算是唯一方案。
回复

使用道具 举报

4

主题

1406

帖子

5658

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5658
414#
 楼主| 发表于 2023-7-18 15:19:24 | 只看该作者
列索引采用列压缩存储,其存储空间消耗会远小于行存格式。默认列索引会全部常驻内存以实现最大化分析性能,但是当内存不够时也支持将其持久化到共享存储上。
回复

使用道具 举报

4

主题

1406

帖子

5658

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5658
415#
 楼主| 发表于 2023-7-19 07:54:14 | 只看该作者
优化器会同时对行存执行计划和列存执行计划做代价估算,并选中代价交代的执行计划。
回复

使用道具 举报

4

主题

1406

帖子

5658

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5658
416#
 楼主| 发表于 2023-7-20 08:54:18 | 只看该作者
列存数据默认压缩格式存储在磁盘上,并可以使用In-Memory Columbia Store Area来做缓存加速并加速查询,传统的行格式依然保存在BufferPool中供OLTP性负载使用。
回复

使用道具 举报

4

主题

1406

帖子

5658

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5658
417#
 楼主| 发表于 2023-7-21 07:06:35 | 只看该作者
采用这种数据组织方式一方面满足了分析型查询按列进行批量扫描过滤的要求。
回复

使用道具 举报

4

主题

1406

帖子

5658

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5658
418#
 楼主| 发表于 2023-7-21 20:52:38 | 只看该作者
专用分析型数据库产品选项众多,一个可选方案是使用两套系统来分别满足的OLTP和OLAP型需求,在两套系统中间通过数据同步工具等进行数据的实时同步。
回复

使用道具 举报

4

主题

1406

帖子

5658

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5658
419#
 楼主| 发表于 2023-7-22 09:59:29 | 只看该作者
但是其缺点也是显而易见的。首先,在技术上需要维护两套不同技术体系的数据库系统,其次由于两套系统处理机制的差异,维护上下游的数据实时一致性也非常具有挑战。
回复

使用道具 举报

4

主题

1406

帖子

5658

积分

成年蚂蚁

Rank: 8Rank: 8

积分
5658
420#
 楼主| 发表于 2023-7-23 08:58:07 | 只看该作者
IBM在2013年发布的10.5版本(Kepler)中,增加了DB2 BLU Acceleration组件,通过列式数据存储配合内存计算以及DataSkipping技术,大幅提升分析场景的性能。
回复

使用道具 举报

关闭

站长推荐上一条 /1 下一条

QQ|Archiver|手机版|小黑屋|站长蚂蚁-站长之家 ( 赣ICP备15000807号

GMT+8, 2024-5-3 14:47

Powered by 蚂蚁站长论坛

© 2007-2024 bbs.jzmayi.com

快速回复 返回顶部 返回列表