爱可生大数据平台是一套基于Hadoop、Spark等开源架构设计开发的一体化大数据管理平台。提供了从数据集成、处理、治理、存储到数据服务化的数据管控机制,同时,也支持利用分析挖掘与机器学习再次挖掘数据潜在价值。可以有效帮助企业构建统一的数据治理体系,实现企业级的数据资产统一管控,挖掘企业数据的潜在价值,辅助客户创造更大的商业价值。
数据集成 支持多源异构数据的采集同步,可以实现结构化数据、半结构化数据以及非结构化数据的接入,可以实时、准实时、定时、不定时地通过主动抽取、变化推送、人工导入等方式从关系型数据库、NO-SQL数据库、文件系统、REST服务、API接口、互联网等采集集成数据。 数据处理 支持离线处理与实时处理两种数据处理方式。离线处理方式自助构建处理模型、开发处理任务,利用平台提供的资源调度机制与批量计算能力运行处理任务,实现数据的离线处理;实时处理方式利用平台提供的缓存队列与流式处理框架,设计开发实时处理模型对不断流入平台的数据进行不间断处理,实现数据的实时处理。 数据治理 通过平台辅助企业建立自己的数据标准体系,从数据的标准性、完整性、一致性、唯一性等多个层面实现对企业数据的全面监控,把控数据全生命周期的数据质量,同时,建立企业各个数据对象之间的关联关系,进而构建企业级的数据血缘视图,辅助企业有效把握数据资产状况。 数据存储 提供统一的数据存储服务,可以存储任意结构化数据、半结构化数据以及非结构化数据,支持分布式文件存储、数据仓库、列式数据存储、索引数据存储、时许数据存储、分布式数据缓存等多种数据存储方式,能够完全满足企业多种异构数据的存储要求。 | 数据服务 支持数据服务化,通过服务定制,将数据对象映射转换为服务对象,再将服务对象发布到服务总线上,实现服务的安全控制、路由网关、运行监控、负载均衡等统一管控,帮助企业标准化数据交互机制,加速数据使用效率,减少数据使用成本。 分析挖掘 基于各种分析挖掘算法与模型,为客户提供各种建模机制,辅助客户迅速构建适合自身业务特点的分析挖掘算法模型,利用平台强大的计算能力实现数据的快速分析,挖掘数据潜在的巨大价值,辅助企业精准决策。 机器学习 提供了一套机器学习框架,该框架兼容支持Tensorflow等流行机器学习框架,依托该框架,客户可以快速构建自己所需的机器学习模型,并方便的完成模型训练、模型评估以及模型发布,可以辅助企业深度挖掘数据资产的潜在价值,为企业创造更大的商业价值。 |
一站式数据管控 平台从数据采集、处理、治理、存储到服务化,最终到分析挖掘以及基于机器学平台的数据深度再利用,都提供了完整丰富的解决方案以及产品模块,可以通过平台实现一站式数据管控。 丰富的数据种类 平台支持多种异构数据,包括结构化数据、日志、文档、图片、音频、视频、对象、文件以及各种自定义格式数据,针对这些不同种类的数据,平台都有对应的采集、处理、治理以及存储策略。 多样化数据存储 平台支持分布式文件存储、数据仓库、列式数据存储、索引数据存储、时许数据存储、分布式数据缓存等多种数据存储方式,能够完全满足多源异构数据的存储,并能够根据数据的存取要求提供灵活的数据存储支持。 | 组件化弹性扩展 平台采集模块化组件化设计,客户可以根据自己的实际需求选择平台所提供的模块中一个或者多个进行组合搭配;此外,整个平台以及所有模块都采用可扩展架构设计开发,客户可以根据自己的数据需求灵活进行弹性水平扩展。 安全可靠易使用 平台的设计遵循高可用的原理架构,每一个模块和组件都采用了分布式机制,任意模块都有多个冗余进行负载均衡与备用替代;数据的传输以及处理过程,在进行了严格权限控制的同时,还提供了多种加密措施保障数据安全行。 完美地兼容开源 整个平台基于标准Hadoop、Spark进行设计,组件与模块的接口也都严格按照通用标准进行设计开发,能够完美兼容各种开源组件,在为客户提供各种功能的同时,可以最大限度的减少客户的成本。 |