星河大数据

2020-03-26 15:59

产品架构


   





项目中心


平台实现多租户管理机制,项目中心是对当前项目工程的管理和维护操作。

其中可管理当前项目角色、用户以及项目所需的配置信息(如:预警群维护 等)。

同时项目管理员还可以对项目中所有作业交接情况进行管理和维护。









数据集成


数据任务开发

数据任务开发主要是常规类型数据开发。开发任务时,系统自动解析任务血缘关系。当任务开发完成,可在工作流中进行任务依赖关系配置。


调度管理

依赖可夸集群,夸项目间进行依赖关系配置。任务调度既是对任务周期运行进行的配置。

   

   






数据服务


数据录入

数据录入可通过平台自行创建录入表,并将外部数据上传录入,数据录入可通过平台自行创建录入表,并将外部数据上传录入。


数据导出

可将平台数据通过执行sql语句的方式将数据导出。


数据保留策略

是对平台中分区表中数据进行保留天数的配置。


作业补数功能

通过配置保留天数,系统将自动清理范围之外的数据。


   






数据管理


技术元数据

其中技术元数据,主要是对设备、应用以及库表间关系的管理。同时通过对任务的关联,可以获得任务血缘关系。


业务元数据管理

主要是对业务条线、指标、维度等口径进行记录。


星河大数据4.jpg


   




实时计算


作业开发 I 任务列表

实时计算集成Flink相关特效,将Kafka、RDBMS源抽象成流表。通过查询流表来实现实时计算过程。

使用户只需关注业务实现即可。同时实时计算还支撑Scale、Java 等编程开发。


   






产品优势









应用场景



工艺流水线优化

星河大数据平台基于自身成熟稳定的大数据分析处理技术,沉淀焊装、尺寸和力矩的最优模型,通过调度配置,实现模型自动化调度运行,

使用算法优化工艺参数,为汽车的研发和制造过程提供优化解决方案,缩短研发周期,提高研发效率。







精准营销

基于星河平台搭建精准化营销平台,将所有日志,用户行为数据在平台上进行离线调度和分析,

在上亿用户人群里面,精确的找到目标人群,进行资源营销策略。