不同部分的岗位,都面临着需要拿数据的时候,即便拿到了数据,但又常常出错,若出现这样的场景,说明需要该改造一下你们的数据平台了。本文总结了如何搭建高效的数据平台的步骤,希望对你有所帮助。
作为产品经理,你刚上线一个功能,想让研发帮你把数据拉出来进行分析,却被告知需要排期。
作为数据研发,每天有查不完的数据和写不完的表,工作能力没有任何提升。
作为数据分析师,你每天被业务的老大催着要各种报表和看板。
作为业务部门,你需要的数据迟迟拿不到,即使拿到了也经常出现错误。
在公司,你是否有遇到过这样的场景?如果有,说明是时候该改造一下你们的数据平台了。
那什么又是数据中台呢?数据中台顾名思义就是把数据进行统一管理的平台。它是把公司所有的数据,包括业务运行产生的数据、用户的行为数据、以及外部第三方的数据,进行统一的、规范的、完整的、准确的采集、存储、加工、管理,并且为前台业务提供数据服务的平台。可以把它理解为仓库的货架,而数据就是货架上的货物,被分门别类的摆放在货架之上。
那它又有什么价值呢?第一,打通数据孤岛,一般企业都会有多条业务线,不同业务线数据存储在不同数据库。
第二,降低数据开发成本,数据中台的可拓展性强和维护成本低。
第三,数据统一规范管理后,数据的准确性和时效性都会得到极大的提升。
第四,数据资产得到沉淀,可发挥的价值和潜力无限。如用户画像、标签体系、个性化推荐、趋势预测等等。
如果你们公司要准备搭建数据中台,又该如何下手呢?首先我们需要知道数据中台由哪几个部门组成,通常我们会说数据中台是负责数据的“采、存、管、用”,即数据的采集、存储、管理和应用。
其次,作为产品经理应如何开展工作。
第一步:先明确目前公司的数据现状,存在哪些问题?是时效性低还是数据准确性低?或者又是业务量日益增长,当下数据应用为业务赋能有限?根据当前的问题确定这次数据中台建设的目标。
第二步:调研公司目前的业务范围,涉及到哪些数据范围?可以根据业务类型进行分类,划分成相对独立的数据模块,如流量域、交易域、商品域等。一般是以源系统为切入点,从常用的系统入手如CRM系统、ERP系统、订单系统等,通过对各系统的数据梳理,完成总体结构的划分。
第三步:寻找数据规则来源,很多系统没有标准的数据文档,就只能去找系统的负责人、产品经理或者开发人员对接,询问相关的数据规则正确性。另一方面,还需要在这个过程中明确数据服务的相关业务方,以便同步数据规则与业务逻辑的一致性。
第四步:进行数据逻辑的规划,这是数据体系的核心内容,也是数据建模的主要内容,需要通过数据模型完成各数据主题与数据表之间的关系设计。
一般主流数据建模的方法有两种。
一种是E-R建模,即实体、属性、关系三元组建模,常用于OLTP数据库建模,缺点是需要全面梳理公司所有业务和数据,周期长,人员要求高;
另一种是纬度建模,是面向分析场景而生,主要用于数据仓库构建喝OLAP引擎底层数据模型,优点不需要完整的梳理业务流程和数据,实施周期根据数据主题边界而定,容易快速实现demo。
第五步:完善数据信息,确定数据范围和逻辑模型之后,还需要明确数据字典中个数据的基础定义、统计口径与业务定义,从而让数据字典成为标准的执行文档。
金融行业:
泛零售行业:
政务行业:
技术与业务共同驱动数据中台走向云原生,但很多所谓的“云原生”仍是对传统单体架构的改造,实现资源完全弹性扩展仍有待提高。存算分离是大数据低成本落地的保障,并将是真正云原生的显著特征。数据中台中的重要组件将遵循存算分离架构,云原生技术具有天然的对象体系、容器化编排、CI/CD、跨云多域数据治理等特性,可以满足企业客户对数据安全、合规数据合作技术等需求,推动数据中台走向云原生。
趋势二:数智融合数智融合是构建数据治理和AI开发的统一底座,让数据和人工智能相互作用。其中,Data for AI 通过对元数据统一管理,打通数据分析与AI模型引擎,实现基于一份数据多模分析,提升数据驱动决策的准确性和可信性;AI for Data 将人工智能算法模型的能力植入到数据治理,实现自动发现数据管理的规则。这种数据与AI的结合方式能够有效提升数据治理的智能化水平,并降低数据治理门槛。
趋势三:泛中台化5G时代的到来,人工智能、物联网等创新技术不断发展。随着多设备接入、多系统数据融合互联互通,形成新的数据孤 岛,对企业的智能用数发起新的挑战。
值此时刻,数据中台的理念体系逐渐完善,相关产品、规范以及标准也趋向统一, 落地经验也得到积累,大数据项目纷纷与数据中台结合,数据中台开始从概念热点向项目起点转变。随着企业对中台认知 的增强,业务场景需求的解决方案/产品也趋于“中台化”: IoT中台、算法中台、研发中台、组织中台、AI中台等中台 产品体系不断丰富。
以IoT中台为例,是相对数据中台层次更上的抽象和高级,包含了采集平台、通信中台和数据中台的 全部特性,支持除数据分析、处理、交易等抽象业务服务外的采集和通信能力,相对数据中台更加贴合企业业务场景,为 未来智慧城市建设提供更加深入和精细化的基础能力。
数据中台是一个非常庞大的系统,每一个部分单独拿出来讲都可以讲很多,而这遍文章只是抛砖引玉,是对过去学习到的关于数据中台知识的简单总结,对于想要知道数据中台大概是什么、解决什么问题有个整体的初步了解,关于数据建模、数据指标体系建设、数仓搭建、BI可视化等后面可以再详细展开写一写。
本文由 @Glee smile 原创发布于人人都是产品经理,未经许可,禁止转载
题图来自 Unsplash,基于 CC0 协议
该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。