DTrans数据融合平台架构
DTrans数据融合平台架构整体包含数据源、数据集成、API服务、数据资产、系统管理六大模块,以及最终可以实现的效果,为企业构建数据湖。 其中,数据源模块支持业务应用系统的数据采集,支持常见关系型、非关系型数据采集,支持API接口数据采集,支持Excel文件的同步采集。通过元数据追溯库表的血缘关系,从而贯穿整个企业的业务数据流程。 数据集成模块是平台的核心,也是打通数据孤岛的核心。支持多种数据源的数据ETL过程,支持多个ETL任务组成任务流任务,支持任务日志的查看,支持任务的出错报警。API服务是平台的数据服务部分。 API服务将库表数据以API方式对外提供服务,支持第三方调用平台自建接口发送数据、接收数据到目标库。最终,用户可通过DTrans数据融合平台搭建企业自身的数据湖,实现企业的业务梳理与数据资产沉淀。
支持第三方调用平台自建接口发送数据源数据、接收数据到目标库,并提供接口安全访问控制限制
支持定时自动更新的数据库表与API接口的时间增量调度,抽取特定时间段内的数据,优化性能
任务组件包含数据同步任务、文件同步任务组件。支持任务间任意配置依赖关系,支持批量任务的创建及管理
支持南大通用、武汉达梦、人大金仓等国产数据库;支持常见关系型,非关系型,NoSQL型数据库;支持API接口;支持消息服务型数据库Kafka;支持Excel、Csv数据源;支持图片视频等非结构化文件数据源
全流程的任务元数据管理包括对数据源、目标数据的结构、转换规则以及过程的依赖关系等的管理,利于企业数据的梳理,利于数据ETL过程的维护
拖拽式界面设计,降低使用门槛,为用户带来良好的操作体验,让数据随心而动,实现数据快速融合