终于有人把数据仓库、大数据平台和数据中台彻底讲清楚了-天天热闻
IT圈儿的科技热词每年都层出不穷,例如:
(资料图片仅供参考)
技术层面:人工智能、机器学习、深度学习、数字孪生、AI、云计算…… 平台层面:数据仓库、数据湖、湖仓一体、大数据平台、数据中台、低代码…… 企业层面:信息化、数字化、智能化、数智化、数据化……总之就是你方唱罢我登场,各种概念满天飞。
这些概念的层出不穷主要还是各大厂商想要卖服务、卖产品、卖技术。广大企业要想不被这些厂商忽悠得腿瘸了,就需要全部理清这些概念,明白他们的区别。
今天的这篇文章就先帮大家分清楚数据仓库、大数据平台和数据中台这三个概念。
什么是数据仓库呢?
数据库的概念,大家应该都不陌生,而数据仓库其实就是数据库概念的升级版。
数据仓库是为了解决数据库负载有限、满足企业新增的分析需求而被设计出来的。 如果数据想要从各个数据库迁移到统一数据仓库中,就需要经历抽取、转化、加载(ETL),最终变身成可以直接被业务人员分析的结构化/半结构化的数据。 在数据仓库后面,企业常用BI分析数据,产生报表,辅助决策。
用一个 蔬菜储存的例子 来简单理解一下:
如果我们把地里的蔬菜看作是数据,那么土地就是数据库。在蔬菜成熟后,我们需要把蔬菜从地里摘下来放在地窖,那么地窖就是数据仓库。
在把蔬菜放到地窖需要拔菜、择菜、放菜这三个步骤,这三步就是ETL。存放到地窖里的都是干净健康的蔬菜,这些干净健康的蔬菜就是结构化/半结构化的数据。
一块地一般只种植一种蔬菜,但是一个地窖可以存放各种各样的蔬菜,所以数据仓库可以储存来自于多个数据源的数据。后续我们需要从地窖里拿蔬菜去做菜,这个做菜的过程就是用BI进行分析,做好的成品就是分析报表。
总而言之,数据仓库就是一个“为企业实现数据模型构建”的产品。
什么是大数据平台呢?
说到大数据平台,那必定要说说另一个和它一字之差的概念“数据平台”。
什么是数据平台?
前面讲了数据仓库存储的是结构化和半结构化的数据,那非结构化的数据该由谁来储存呢?对,就是数据平台。 数据平台是为了解决数据仓库不能处理非结构化数据和报表开发周期长的问题而产生的 ,它先是将企业所有格式的数据都抽取出来放到一起,形成一个大的数据集,再根据业务需求,单独提取其中的小数据集提供给数据应用。
那什么是大数据平台呢?
大数据平台是数据平台在大数据时代的概念衍生,其功能要远胜于数据平台。 大数据平台是一个以处理海量数据存储、计算以及流数据实时计算等场景为主的技术堆栈 ,包括数据采集、数据存储、数据计算、数据应用和任务调度,最典型的是基于Hadoop生态构建的大数据平台。 在非结构数据、实时数据和海量数据的计算和存储压力下,企业才选择从数据仓库转向大数据平台 。
用一个 汽车工厂的例子 来简单理解一下:
如果我们把汽车工厂生产汽车的过程看作是企业利用数据决策的过程,那么各种原材料就是数据,工厂中的设备就是大数据平台,工厂设备运作所必须的水和电就是大数据平台的框架Hadoop。Hadoop提供大数据生产所必须的计算和存储资源,大数据平台使得数据开发人员具备对数据的加工和处理能力,类比汽车工厂就是设备让工人具备了对原材料的加工能力。
总而言之,大数据平台就是一个“为企业解决海量、实时数据存储和计算问题”的技术平台。
什么是数据中台呢?
要理解“数据中台”,我们要先理解“中台”。
中台是相对于“前台和后台”来讲的 。前台直接和用户打 交道,包括用户直接交互的界面,比如手机app,还有服务端响应用户请求的业务逻辑,比如商品查询。后台虽然用户看不见摸不着,但是不可或缺,包括面向内部运营人员的管理系统、配置系统。后台为前台提供配置。
如果按照传统”前台-后台“架构,企业业务的增多会导致n多前台和n多后台产生。但实际上,在这么多的前台中,其实 有很大一部分模块或功能是重复的 。为了不重复造轮子,为了提高开发效率,就需要一个统一的平台来承接共性的功能模块,作为n多前台和n多后台的桥梁,于是中台就出现了。
中台这个概念最先起始于“鼻祖”阿里的“大中台、小前台”概念,随后业界又衍生出业务中台、技术中台、数据中台、安全中台、算法中台等等。这其中,最通用、最热门、最具行业共性的就是“数据中台”。数据中台的出现很好地解决 了企业数据后台开发无法快速跟上前台业务需求变化、业务系统数据孤岛且数据繁杂 这两大难题,帮助企业打通各业务系统的数据,让数据真正变成资产并服务于业务。
用一个 制作菜品的例子 来简单理解一下:
如果我们把成品饭菜看作是前台,那么做饭的厨房就是后台,各种蔬菜和调料就是数据。
一家饭店专门卖凉面、凉皮、凉粉等,这些菜用的调味汁是同样的调味料按照同样的比例调制而成的,为了更快出餐,饭店决定用一大桶调制好的调味汁代替一餐一次调味。这里调制一桶调味汁的过程就相当于构建了一个数据中台。因为一桶调料汁的完成,饭菜从厨房原材料到成品给到客户的速度加快了,这说明数据中台可以加速企业从数据到业务价值的过程,为业务提供速度更快的服务。
总而言之,数据中台就是一套可持续的“让企业的数据用起来”的机制。
小结
最后,给大家做个总结。数据仓库算产品,大数据平台算平台,数据中台算机制。相比数据仓库和大数据平台,数据中台离业务更近。数据中台的开发和建设既可以建立数据仓库基础上,也可以建立在大数据平台基础上,区别就在于企业的数据应用场景是否多元化。
关键词:
-
终于有人把数据仓库、大数据平台和数据中台彻底讲清楚了-天天热闻
2023-06-23 -
世界即时看!陕西电力网上营业厅电话_陕西电力网上营业厅
2023-06-23 -
世界今亮点!中方代表在人权理事会敦促日本就核污染水问题正视国际社会关切
2023-06-23 -
当前要闻:什么是经济学中的消费分散性_什么是经济学
2023-06-23 -
年终感恩客户的一封信_年终给客户的感谢信
2023-06-23 -
每日看点!半糖主义/cln(半糖主义是什么意思)
2023-06-23 -
绘威墨盒怎么样_绘威MLTD1053S
2023-06-22 -
要闻:翔子来啦㊴|这可能是我上班以来划水最猛的一期
2023-06-22 -
广西增开荔枝专线航班助“荔”运输 抢“鲜”出发-全球快看点
2023-06-22 -
前沿资讯!一问到底丨“烧烤”模式频发 厄尔尼诺如何搅动全球气候?
2023-06-22 -
山东东营开发区:贴心服务让企业安心“扎营”_全球实时
2023-06-22 -
一个中国孩子的呼声课文内容_一个中国孩子的呼声课文 每日快看
2023-06-22 -
教育部要求规范做好高校毕业生去向登记 这几点需注意 今头条
2023-06-22 -
神勇飞虎霸王花
2023-06-22 -
视讯!建筑装饰设备
2023-06-22 -
世界今热点:产后类风湿是怎么引起的_风湿是怎么引起的
2023-06-22 -
奥特曼之母是怪兽(奥特之母和怪兽h)
2023-06-22 -
储能日报·速览【6月21日】
2023-06-22 -
抗生素药有哪些_抗议无效|环球热讯
2023-06-22 -
热消息:5000万元养老钱如数追回!这起案件公开宣判!
2023-06-22 -
人教版小学数学电子课本2022_人教版小学数学电子课本
2023-06-22 -
环球快资讯丨捕鱼达人攻略大全_捕鱼达人千炮版成群的小鱼捕捉技巧分享
2023-06-22 -
梦幻西游:曲阜孔庙ZZM给12技谛听改书,秋杀买珍宝阁5轮车谛听
2023-06-22 -
金元素的测定_金元素-环球热议
2023-06-22 -
每日速递:查允元_关于查允元概略
2023-06-22 -
短讯!河北高考分数段院校排名 如何查询河北省高考成绩在全省排名
2023-06-22 -
隆鑫通用:6月21日融券卖出4.44万股,融资融券余额5.53亿元
2023-06-22 -
76场演出、12个夏令营、3个音乐马拉松等你来 全球快报
2023-06-22 -
2023晋中学院招生专业有哪些 晋中学院优势专业有哪些
2023-06-22 -
凡普信贷2020起诉案例_凡普信贷官网
2023-06-22
-
守住网络直播的伦理底线
2021-12-16 -
石窟寺文化需要基于保护的“新开发”
2021-12-16 -
电影工作者不能远离生活
2021-12-16 -
提升隧道安全管控能力 智慧高速让司乘安心
2021-12-16 -
人民财评:提升消费体验,服务同样重要
2021-12-16 -
卫冕?突破?旗手?——武大靖留给北京冬奥会三大悬念
2021-12-16 -
新能源车险专属条款出台“三电”系统、起火燃烧等都可保
2021-12-16 -
美术作品中的党史 | 第97集《窗外》
2021-12-16 -
基金销售业务违规!浦发银行厦门分行等被厦门证监局责令改正
2021-12-16 -
保持稳定发展有支撑——从11月“成绩单”看中国经济走势
2021-12-16