金仓数据库上线某直辖市健康码平台
来源:榕城网 发布时间:2022-12-02 11:24:18

今年8月,随着原有数据库被成功切换至金仓分析型数据库KADB,某直辖市健康码平台日志分析系统的无感升级工作全部顺利完成。本次改造使得该系统总体性能得到大幅提升、数据服务的可用性显著提高,进一步筑牢疫情防控屏障。

TIPS:健康码平台日志分析系统用于记录全市所有公共场所二维码扫码情况及对应人员信息,并对以上基础数据进行分析生成流调数据,进而为疫情发生时判定密接、次密接人员、时空密接者以及风险区域划定提供准确的数据支撑。

随着该市疫情常态化防控的推进,及社会经济活动的持续复苏,目前日均扫码量超3000万次,累计扫码数据数百亿条,日志分析系统原有数据库服务器CPU占用超过80%,已用存储空间超60%,服务器长期处于高负荷运行状态,数据库系统的性能与稳定性受到极大挑战。

数据持续增长

挑战一:数据写入效率

在原数据库系统上,每小时扫码数据的平均写入耗时约为40分钟,在此情况下,社会活动高峰时段存在数据无法及时入库的风险,从而导致数据积压、日志分析业务时效性持续延后甚至雪崩的后果。

挑战二:数据分析性能

疫情爆发2年多以来,随着防控数据的持续累积,相关数据已达数百亿条,原数据库的分析性能也随着数据量的增长不断下降,其中最重要的某业务数据分析响应时延超过2分钟。因疫情风险结果数据的时效性直接影响传播扩散的范围,原数据库分析性能已经无法满足系统针对疫情风险防控的总体设计要求。

挑战三:数据库可用性

原数据库从数据存储到服务接入,各个层级均采用单点建设模式。当前系统持续高负荷运转,数据可靠性、服务连续性受到极大挑战,数据库部署架构亟需进行高可用加固。

KADB全面提升系统性能与可用性

热数据缓存加速

针对健康码平台日志分析系统历史留存数据量大、实时数据持续写入负载高的特点,本次部署的KADB采用了冷热数据分离存储的架构,数据写入性能整体提升3倍。

历史数据采取列存并进行压缩的方式进行存储,以支撑海量数据少列查询的场景下快速响应。历史冷数据的压缩比达12:1以上,显著提升集群整体的数据容量。

实时数据采取行存的方式以提高数据导入速度和实时查询效率,同时通过热数据缓存技术实现数据快速加载,本系统单小时场所码扫码数据加载耗时由原来的40分钟缩短至15分钟以内。通过配置热数据生命周期相关参数,数据库支持对冷热阶段的数据进行存储方式的自动转换。

全并行计算

KADB基于多物理节点、节点内多虚拟实例、CPU众核多线程以及指令向量化执行四级全并行计算,实现了一套高效能的分布式引擎。结合百节点以上超大规模部署、并行CBO优化器、流水线执行引擎、数据高效压缩技术、热数据高速缓存等10大技术特性,充分利用集群中各节点资源,发挥并行计算的极致性能。在该直辖市健康码平台日志分析系统中,流调信息相关分析业务平均响应时延由150秒降至40秒以内,总体查询分析效率提升6倍以上。

高可用部署

KADB数据库支持全栈高可用部署,所有组件无单点故障,所有数据均提供副本存储,从架构整体上确保数据不丢失、服务持续可用。

本次在数据存储层采用了双副本架构,即每个数据分片都有一份实时一致的热备副本,主副本故障后热备副本即刻拉起,可在数据节点宕机数量不超过半数时持续提供服务。此外,在数据访问层也部署了主备管理节点,支持节点故障的秒级无感切换,进一步确保数据库服务持续可用。

随着各地常态化防控的深入推进,面对突发疫情的发现、响应、分析与处置越来越科学、迅速、有效。在这其中,基于海量数据的健康码大数据平台发挥了巨大作用。人大金仓作为数据库领域的国家队,已先后在多个省级健康码平台完成了数据实时灾备方案的落地实施及流调分析等系统的数据库升级。

在未来,人大金仓将继续勇担使命,以数字化支撑精准防控、助力科技战“疫”。

标签:

猜你喜欢

金仓数据库上线某直辖市健康码平台

今年8月,随着原有数据库被成功切换至金仓分析型数据库KADB,某直辖市健康码平台日志分析系统的无感...更多

2022-12-02 11:24:18

践行“健康中国”战略:蟠桃汇APP“医养管”护航国

没有全民健康、就没有全面小康。党的十八大以来,始终坚持以人民健康为中心,亲自谋划和推动全民健身...更多

2022-12-02 11:14:50

从瑞幸咖啡到元气森林,东极定位解读新消费破局关

2022已悄然进入尾声,双11的开启及双12的预备为消费市场带来了一丝暖流。今年国内市场的新消费市场...更多

2022-12-02 11:08:34

求美路上:北京黄寺医疗美容乳房外科吴开泉主任“

35载的乳房美容外科临床经历,背后有着怎样鲜为人知的故事。作为一名享誉业界的资深乳房美容外科专...更多

2022-12-02 10:58:23

久阳不愈,看阿兹夫定如何力挽狂澜——病例分享阿

导读新型冠状病毒肺炎疫情暴发以及新冠病毒变异株的不断出现,是对人类生命健康和医疗资源的巨大挑...更多

2022-12-02 10:55:23

麦田房产:受疫情影响11月北京二手房成交不及预期

根据北京住建委官网数据显示,11月北京二手房成交10750套,环比下跌4 1%,同比下跌9 3%,其中上半...更多

2022-12-02 10:31:15

孙宇晨参加“对话港府 布局未来”主题直播 期望

12月1日,波场TRON创始人,火必Huobi全球顾问委员会成员,格林纳达常驻世界贸易组织(WTO)代表、特命...更多

2022-12-02 10:28:47

连花清瘟为何不姓“莲”?以岭药业:是连翘金银花

今年3月,《新型冠状病毒肺炎诊疗方案(试行第九版)》明确推荐,连花清瘟胶囊(颗粒)可用于部分医学观...更多

2022-12-02 10:27:08

展望2023年投资趋势 平安大讲堂探讨资产配置新风向

11月30日,中国平安举办平安大讲堂·投资趋势与资产配置策略会,围绕2023年宏观投资趋势变化、投资...更多

2022-12-02 10:19:02

解决供应痛点,华强电子网集团为供应商保驾护航

在传统产业模式下,电子元器件供应商在产品销售的过程中,面临着线上推广、获客能力弱,缺乏成熟系...更多

2022-12-02 10:16:36