1.为满足某基金公司内部数据分析和监管机构的监管数据要求。
掌数建议某基金公司全面提升数据服务能力,充分挖掘数据价值,全面提升数据资源管理水平和数据资产综合应用能力,促进业务“用数据说话”,为业务发展提供不竭的内生动力,持续推动业务创新、服务创新、管理创新。
2.统筹规划、顶层设计、共享复用、分步实施。
借助埃森哲咨询公司,掌数与该基金公司内部各部门达成共识,构建企业级大数据平台,实现数据资源统一管理。打通该公司内部的数据孤岛,通过数据治理,提升企业数据质量,提高数据利用价值。
1.数据平台方面
掌数基于该基金公司业务数据结构,首先淘汰Hadoop平台,其次结合该公司技术团队情况,考虑到学习成本,可扩展性,技术支持等,倾向于MPP数据库产品。对比Greenplum与Vertica,如下表所述:
掌数根据该基金公司情况,最终从技术支持、厂商品牌、行业使用案例及后续扩容成本及风险考虑,选择Greenplum产品作为新一代综合数据平台的数据库。
2.ETL工具
1)Informatica
Informatica PowerCenter用于访问和集成几乎任何业务系统、任何格式的数据,它可以按任意速度在企业内交付数据,具有高性能、高可扩展性、高可用性的特点。Informatica PowerCenter包括4个不同版本,即:标准版,实时版,高级版,云计算版。同时,它还提供了多个可选的组件,以扩展Informatica PowerCenter的核心数据集成功能,这些组件包括:数据清洗和匹配、数据屏蔽、数据验证、Teradata双负载、企业网格、元数据交换、下推优化(Pushdown Optimization)、团队开发和非结构化数据等。
2)Kettle
Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定,提供丰富的SDK,并开放源代码,便于二次开发包装。
掌数基于该基金公司业务数据需求,通过Kettle就能满足,Kettle免费并且技术门槛较低,因此最终选择使用Kettle做ETL工具。
3.报表平台方面
主要考虑国产软件,在多款国产软件中进行选择,最终在POC和后期服务支持中,帆软的技术人员给该基金公司留下了深刻的影响,他们的技术精湛,能够非常快速的实现我们提出的需求,在功能、用户案例、技术和影响力方面也处于国内领先地位,进行综合考虑后,最终选择了帆软作为企业统一报表中心平台。
1.应用方面:
目前投研、营销、风控、监管、运营已经投入实际使用,支撑了该基金公司几大重要的业务。
报表方面:通过统一的企业报表中心平台,精简报表,剔除无效或重复报表。由原2000左右的报表,精简至150余张。不仅提高业务部门与IT部门工作效率,也达到节省资源的目的。通过报表中心平台的即席查询,满足了各业务部门的灵活报表需求。
2.数据方面:
1)公司领导充分重视,在掌数的建议下成立了数据治理工作小组;当前已经打通企业的数据通道,实现了企业数据的标准化。
2)通过新一代综合数据平台实现了除年报以外的报表在秒级(最大的报表15s,大部分在微秒级)完成。
3)当前数据价值的利用还比较浅,主要满足当前的业务报表需求,后期将在数据分析、领导驾驶舱、数据挖掘等方面进行尝试,进一步挖掘数据的价值。通过数据视图、数据集市及统一指标库等让星罗棋布的数据资源实现最大程度的整合,实现企业数据化运营。
企业数据中心平台的成功建设,为企业数据分析、数据决策、数据挖掘及机器学习、人工智能等奠定了数据基础。