数据中台的设计原则是什么-创新互联-成都创新互联网站建设

关于创新互联

多方位宣传企业产品与服务 突出企业形象

公司简介 公司的服务 荣誉资质 新闻动态 联系我们

数据中台的设计原则是什么-创新互联

创新互联长期为千余家客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为屯溪企业提供专业的成都网站建设、成都网站制作,屯溪网站改版等技术服务。拥有10年丰富建站经验和众多成功案例,为您定制开发。

数据中台是整个数据分析系统的灵魂与核心:

对下要对接每个业务系统以及外部数据;

对上要为企业整体决策分析服务,还要为其他业务系统提供数据服务;

对内要服务于企业内的每一个人;

对外服务于上级单位甚至供应链上下游伙伴。

这就对数据中台提出了很高的要求,包括但不限于:

1、数据准确性与可靠性

2、数据统一性:无论是内部还是外部数据是统一的,在不同的时间查询某一特定时间的数据是一致的;

3、数据安全性:严格的权限管理,保证数据安全没有外泄风险;

4、数据可追溯:一旦发生数据错误,能够快速定位错误发生来源,并且知道错误影响范围,包括影响哪些报表,影响哪些人员,哪些人员已经看到了错误数据并做出了决策;

5、良好的解耦性:对于大中型企业,企业的管理相对固定,一般半年到一年有一次变化,但是信息化系统及数据随时可能发生变化;对与中小型企业信息化系统及数据相对固定,但是管理模式及需求随时可能变化,这就要求数据的变化与管理的变化互相不干扰,这才能保证数据分析服务能时时为管理提供“贴身”服务;

6、平滑的可扩展性 :数据对企业越来越重要,但是企业内数据种类越累越多,数据量越来越大,这就要求数据中台一直处于扩充状态,每次扩充都要在原来基础上实现,而不会对原有架构与业务产生影响。

7、易维护性 :现代企业对数据依赖性越来越高,已有很多企业报表与分析动辄在几千张,而一般传统企业往往在IT投入很有限,这就要求数据中台必须很容易被维护,比如1-2人维护几千人几千张报表的使用。

因此,数据中台的设计必须遵循一定的原则,否则数据中台的作用无法体现出来,将把数据中台系统建设成为数据仓库系统或者报表系统。

设计原则如下:

1、扁平性原则

传统数据仓库的显著特点是面向主题的,比如财务主题、客户主题、商品主题,其优势在于同一主题内进行数据分析非常方便且查询效率非常高;劣势在于不同主题之间数据分析非常不方便且查询效率很低,因此现实中为了跨主题使用数据,往往会使得一份数据在不同主题内多次存储,造成了存储资源的浪费与系统维护的复杂度,也使得不同主题内的数据可能无法保持同步。

比如企业想实现客户分析(时间、客户、地区、商品、要求运送方式、实际运送方式、订单单据数量、订货数量、订货金额、发货数量、开票金额、回款金额)、商品分析(时间、商品、订货数量、发货数量、商品成本、毛利)。

如果用数据仓库实现,表设计如下:

客户分析_Fact(时间、客户、地区、商品、要求运送方式、实际运送方式、订单单据数量、订货数量、订货金额、发货数量、开票金额、回款金额)

商品分析_Fact(时间、商品、订货数量、发货数量、商品成本、毛利),可以明显看出,在两个Fact内,订货数量、发货数量是重复的。

如果用数据中台实现,表设计如下:

订单业务表(时间、订单号、地区、客户、商品、要求运送方式、订货数量、订货金额)

发货业务表(时间、订单号、发货单号、客户、商品、实际运送方式、发货数量)

开票业务表(时间、订单号、发票号、客户、开票数量)

回款业务表(时间、订单号、发票号、客户、开票数量)

成本业务表(时间、商品、商品成本)

其中订单业务表、发货业务表是商品分析与客户分析公用内容,所有业务分析表是平行关系,最后模型层会引用这些业务表。

2、唯一性原则

有三层含义:一是数据抽取脚本的唯一性,比如订单业务表,需要从原有销售系统中抽取数据,这是数据分析不可避免的,但是所有涉及到订单的抽取脚本只能有唯一一份,这样当原有销售系统升级或者其他原因导致数据库变化,进而需要更改抽取脚本时,只需要修改一处即可;二是数据存储的唯一性,比如订单业务表,所有跟订单相关的数据都存储在该表内,在空间、查询效率、维护成本上做了很好的平衡(如果表内数据量太大,可以用分布式存储);三是指标的唯一性,比如订货数量,所有模型内应该只有一份订货数量,所有需要使用订货数量的报表都要引用该指标,如果确实需要有多个指标,比如预订货数量,一定在指标名称上明确区分,以避免使用者之间产生混淆与分歧。

3、数据历史与当前并存原则

数据中台与数据仓库很大的一点不同就是对历史数据的处理,一旦数据进入数据仓库,则数据一般不能发生变化;但是数据中台不同,既要保留历史状态,又要保证当前有变化可以对历史数据产生影响,比如前文提到的参照处理方式,数据仓库是在抽取时处理,数据中台是在查询时处理。

4、细粒度原则

数据中台一要把所有分析打平,又要考虑以后的平滑扩展性,因此数据中台建设时更多是考虑原有系统的数据支撑,而不仅仅是当前需求,粒度一般到单据行(同时要考虑数据量问题),这样才能保证能支撑企业以后的深入分析。

5、计算分层原则

由于所有分析打平,所以数据中台不能把所有计算都在数据中台内实现(有的模型需要计算,有的模型不需要计算,而且计算方式可能有差别),而是要进行分层计算。

第一层数据抽取时计算,比如某个订单内某种商品的成本,这要根据采购、库存和成本累积方式进行计算得出;

第二层模型计算,比如订单单据数量,直接在模型上设置公式计算即可;

第三层应用服务器计算,比如某个客户(购买了多个订单,多种商品)在2019年一年内购买商品的所有成本总和,报表计算引擎就会在应用服务器上自动计算得出;

第四层报表前端计算,比如产品利润(收入-成本),报表前端自动计算得出。这样会给予分析展现高的计算效率,同时又能支持应用服务器分离、数据库服务器支持分布。

6、统一数据原则

所有进入数据中台的数据都要进行统一处理。但是数据统一时既要考虑原业务部门需要,又要考虑集团需要。

比如科目体系,集团有标准财务科目体系,各子公司有自己的科目体系,那么集团进行分析时会使用标准科目体系分析,各子公司自己分析时,将使用自己的科目体系,标准科目体系与各子公司科目体系之间存在映射关系。

7、非档案性维度处理原则

有些维度不是档案,而是随着业务进行不断增加,但是实际分析时又需要按照这个维度来进行分析,需要进行特殊处理。

比如要求运送方式、实际运送方式,要求运送方式可能是:空运、陆运、快递-顺丰、邮政、快递-中通;

实际运送方式为:空运、陆运、快递-顺丰、邮政、京东,也可能会随着订单有更多的运送方式出现。

要求运送方式实际上以字符的形式存储在订单业务表内,实际运送方式实际上以字符方式存储在发货业务表内。则需要设计一张维度表,运送方式维度(运送方式编码、运送方式名称),其内容为:

此表内容为所有相关业务表内内容的全集(去掉重复的),相关业务表内由存储运送方式名称转为存储运送方式编码,这样才能保证查询时的高效率。

维度表的维护在数据抽取前后程序自动生成与维护,比如按照运送方式查询订单数量与发货数量:

如果用原有方式,查询脚本如下:订单业务表 关联 发货业务表,其中订单业务表有千万行数据、发货业务表有千万行数据,而且关联条件是通过运送方式名称(字符)关联,这个查询效率是很低的;

如果采用新增维度方式,查询脚本如下:订单业务表 关联 运送方式表,还有发货业务表 关联 运送方式表,这样查询效率会高很多。

互联互通社区


互联互通社区专注于IT互联网交流与学习,关注公众号:互联互通社区,每日获取最新报告并附带专题内容辅助学习。方案打造与宣讲、架构设计与执行、技术攻坚与培训、数据中台等技术咨询与服务合作请+微信:hulianhutongshequ


网站名称:数据中台的设计原则是什么-创新互联
文章网址:http://kswsj.cn/article/dcdgde.html

其他资讯