【企业人物专访 • 第一期】海富通DIP数据中心项目建设之路
2018-06-13
采访背景
掌数科技是Pivotal 在中国大陆地区证券和基金行业的战略合作伙伴和核心分销商，2017年掌数科技以协作开发的模式与海富通基金一起在4个月内完成了GP平台新一代数据中心的顺利上线。
探索篇 | 摸索建设企业级大数据平台
1.满足内部数据分析和监管机构的监管数据要求。
提升数据服务能力，充分挖掘数据价值，提升数据资源管理水平和数据资产综合应用能力，促进业务“用数据说话”，为业务发展提供持续的内生动力，推动业务创新、服务创新、管理创新。
2.统筹规划、顶层设计、共享复用、分步实施。
借助埃森哲咨询公司，客户公司内部各部门达成共识：构建企业级大数据平台，实现数据资源一体化管理。打通公司内部的数据孤岛，通过数据治理，提升企业数据质量，提高数据利用价值。
践行篇 | 创新提升企业竞争力和生产力
1.数据平台方面
基于自身业务数据结构，首先淘汰Hadoop平台，其次结合公司技术团队情况，考虑到学习成本，可扩展性，技术支持等，倾向于MPP数据库产品。最终从技术支持、厂商品牌、行业使用案例及后续扩容成本及风险考虑，选择Greenplum产品作为新一代综合数据平台的数据库。2.ETL工具
1）Informatica
Informatica PowerCenter用于访问和集成各类业务系统、各类格式的数据，它可以按定义速度在企业内交付数据，具有高性能、高可扩展性、高可用性的特点。Informatica
PowerCenter包括4个不同版本，即：标准版，实时版，高级版，云计算版。同时，它还提供了多个可选的组件，以扩展Informatica
PowerCenter的核心数据集成功能，这些组件包括：数据清洗和匹配、数据屏蔽、数据验证、Teradata双负载、企业网格、元数据交换、下推优化(Pushdown
Optimization)、团队开发和非结构化数据等。
2）Kettle
Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定，提供丰富的SDK,并开放源代码，便于二次开发包装。
基于公司业务数据需求，通过Kettle就能满足，Kettle免费并且技术门槛较低，因此最终选择使用Kettle做ETL工具。
3.报表平台方面
主要考虑国产软件，在多款国产软件中进行选择，最终在POC和后期服务支持中，国内某大型报表厂商的技术人员给我们留下了深刻的影响，他们的技术先进，能够非常快速的实现我们提出的需求，在功能、用户案例、技术和影响力方面也处于国内先进地位，进行综合考虑后，我们最终选择了国内某大型报表厂商作为我们企业报表中心平台。
成果篇 | 数据中心平台建设奠定企业数据基础
1.应用方面
目前投研、营销、风控、监管、运营已经投入实际使用，支撑了公司几大重要的业务。
2.报表方面
通过企业报表中心平台，精简报表,剔除无效或重复报表。由原2000左右的报表，精简至150余张。不仅提高业务部门与IT部门工作效率，也达到节省资源的目的。通过报表中心平台的即席查询，满足了各业务部门的灵活报表需求。
3.数据方面
1）公司领导充分重视,成立了数据治理工作小组;当前已经打通企业的数据通道，实现了企业数据的标准化。
2）通过新一代综合数据平台实现了除年报以外的报表在秒级（大的报表15s，大部分在微秒级）完成。
3）当前数据价值的利用还比较浅，主要满足当前的业务报表需求，后期将在数据分析、领导驾驶舱、数据挖掘等方面进行尝试，进一步挖掘数据的价值。通过数据视图、数据集市及指标库等让星罗棋布的数据资源实现很大程度的整合，实现企业数据化运营。
企业数据中心平台的成功建设，为企业数据分析、数据决策、数据挖掘及机器学习、人工智能等奠定了数据基础。
掌数科技
1.拥有多名Pivotal高级认证架构师，有丰富的Pivotal产品运维、开发、管理和性能调优经验；
2.可提供丰富的Greenplum大数据服务，包括产品咨询、架构与设计、开发实施、运维管理与监控、性能调优及高级培训等Greenplum高级支持服务。
