【技术工场】巨龙信息大数据服务总线技术揭秘
来源:中研网 发布时间:2022-03-24 17:38:42

产品介绍

大数据服务总线是云计算平台内平台服务层的核心支撑组件,承载着可提供的数据服务资源,并对服务提供者和使用者搭建一个可交互共享的服务中介平台,兼容适配异构多云,解决分布式数据访问和不同应用间访问调用的差异问题,将跨地域、跨层级、跨部门的应用系统及数据有机地联系与整合在一起,实现了全网分布式信息共享和资源综合利用。

总体技术架构示意图

通过建设大数据服务总线,提供统一化、标准化和规范化的数据服务及应用服务的接口管理与调度,屏蔽应用直接访问数据带来的风险,屏蔽应用直接访问服务接口带来的不可管控与审计,降低信息共享的难度,从而实现服务入口统一、服务智能调度、服务策略可管控,服务情况可追朔,构建上下级联、横向贯通、安全可控的服务共享交换体系。

技术浅析

传输可观察

提供可观察性,实现传输过程的可见、透明、白盒化

●日志采集+解析:指标度量、分布式链路、结构化日志、传输账单

●标准数据格式和上报API

●开放数据格式和采集API

高可靠传输

网络可靠:检测-重传机制

●差错检测:数据摘要/指纹→错误重传

●丢包检测

●发送方检测:定时检查等待的确认→超时重传

●接收方检测:协商连续编号/数据清单→选择重传

●重复检测:唯一性数据标识/摘要指纹→冗余过滤

●顺序检测:时间戳/有序编号→重新排序

节点可靠性

●本地持久化缓冲,支持断电保护、异常恢复

●滚动WAL和异步落盘,降低持久化影响

●节点HA集群

对账支持

●输出边界账单,供外部对账

可靠与性能的平衡

高性能传输

并发模型

●非阻塞异步IO:epoll多路复用、Reactor线程模型

协议效率

●七层HTTP  四层TCP

●减少报文冗余,支持二进制格式(压缩透传)

大报文:超过发送缓冲区大小

●分块并发:切分参数支持静态配置、动态统计更新

●流水线并发、多链路并行、多核心并行

●内部编号,确保接收端的可靠拼装

●断点续传

文件系统

●零拷贝

●小文件合并:拼包,对齐MTU;减少新建连接数

适应性传输

根据功能、部门及业务等因素动态构建差异化、隔离的专用虚拟通道

●绑定资源池( CPU、线程、内存、网络、磁盘)、传输策略(优先级、可靠性等)

适应不同优先级、可靠性、安全要求、传输策略的精准、平衡需要

●高可靠 vs. 高吞吐

●大报文&大文件传输 vs. 普通请求服务

应用场景

逻辑上把请求过程和响应过程分成异步的两部分,但在具体的物理协议适配上:

●对于HTTP这种同步请求响应的协议,在节点侧同步阻塞响应,保持物理的同步调用

●对于PCI这种异步请求响应的协议,就原生支持了;当然目前提供的PCI Client API的封装版本rbsp api,有实现应用侧的异步仿真同步。

标签: 大数据服务

上一篇:

下一篇:

猜你喜欢

【技术工场】巨龙信息大数据服务总线技术揭秘

产品介绍  大数据服务总线是云计算平台内平台服务层的核心支撑组件,承载着可提供的数据服务资源...更多

2022-03-24 17:38:42

《大侦探》暂停播出 为什么?2022综艺节目行业发

《大侦探》暂停播出为什么?MU5735飞机坠毁,面对如此严重的灾难性事件,娱乐圈中的很多娱乐性节目...更多

2022-03-24 16:08:28

2022年汽车维修产业调研报告 汽车维修行业市场趋

2022年汽车维修产业调研报告汽车维修行业市场趋势如何据统计,我国的汽车后市场规模已达万亿,如此...更多

2022-03-24 16:24:42

医疗机器人行业现状 医疗机器人未来发展趋势

医疗机器人行业现状近年来,随着人工智能的发展、技术的突破及应用领域的逐渐广泛化,医疗作为民生...更多

2022-03-24 16:07:56

牙线市场机会怎么样 牙线行业发展前景分析2022

牙线市场机会怎么样牙线行业发展前景分析2022大家普遍的一个误区是“使用牙线会不会导致牙缝变大”...更多

2022-03-24 16:21:05

米粉经济规模分析 2022米粉行业发展趋势怎么样

米粉经济规模分析2022米粉行业发展趋势怎么样以米粉促经济,带动餐饮业线上化、零售化升级。一方面...更多

2022-03-24 16:06:42

水轮机行业市场深度调研 水轮机行业现状如何?

水轮机是把水流的能量转换为旋转机械能的动力机械,它属于流体机械中的透平机械。早在公元前100年前...更多

2022-03-24 16:46:56

云集创始人肖尚略的创业秘籍——保持年轻

成功创业,可能是智慧的功劳,可能有运气的成分,但创业者的状态,绝对占领主导地位。每一个成功创业的...更多

2022-03-24 16:21:03

2022军用飞机行业市场现状及军用飞机行业市场趋势

军用飞机是直接参加战斗、保障战斗行动和军事训练的飞机的总称。是航空兵的主要技术装备。主要包括...更多

2022-03-24 16:41:32

中国公募基金总规模达3.53万亿美元 中国公募基金

中国公募基金总规模达3 53万亿美元美国投资公司协会于当地时间3月22日公布了全球开放式公募基金最...更多

2022-03-24 15:10:50