>>分享SPSS,Hadoop等大数据处理技术,以及分布式架构以及集群系统的构建 书籍支持  卫琴直播  品书摘要  在线测试  资源下载  联系我们
发表一个新主题 开启一个新投票 回复文章 您是本文章第 24878 个阅读者 刷新本主题
 * 贴子主题:  数据仓库的两种建模方法 回复文章 点赞(0)  收藏  
作者:zhangzl419    发表时间:2024-05-03 00:39:48     消息  查看  搜索  好友  邮件  复制  引用

数据仓库的两种建模方法


一、范式建模
Inmon提出的集线器的自上而下(EDW-DM)的数据仓库架构。操作型或事务型系统的数据源,通过ETL抽取转换和加载到数据仓库的ODS层,然后通过ODS的数据建设原子数据的数据仓库EDW,EDW不是多维格式的,不方便上层应用做数据分析,所以需要通过汇总建设成多维格式的数据集市层。优势:易于维护,高度集成;劣势:结构死板,部署周期较长
范式建模应用在EDW层
一个符合第三范式的关系必须具有以下三个条件:
1. 每个属性的值唯一,不具有多义性;
2. 每个非主属性必须完全依赖于整个主键,而非主键的一部分;
3. 每个非主属性不能依赖于其他关系中的属性,因为这样的话,这种属性应该归到其他关系中去。
但是由于EDW的数据是原子粒度的,数据量比较大,完全规范的3范式在数据的交互的时候效率比较低下,所以通常会根据实际情况在事实表上做一些冗余,减少过多的数据交互。

二、维度建模
Kimball提出的总线式的自下而上(DM-DW)的数据仓库架构。同样的,操作型或事务型系统的数据源,通过ETL抽取转换和加载到数据仓库的ODS层,然后通过ODS的数据,利用维度建模方法建设一致维度的数据集市。通过一致性维度可以将数据集市联系在一起,由所有的数据集市组成数据仓库。优势:构建迅速,最快的看到投资回报率,敏捷灵活;劣势:作为企业资源不太好维护,结构复杂,数据集市集成困难。
星型模型(推荐)和雪花模型


在复合式的数据仓库架构中,操作型或事务型系统的数据源,通过ETL抽取转换和加载到数据仓库的ODS层,然后通过ODS的数据,利用范式建模方法,建设原子数据的数据仓库EDW,然后基于EDW,利用维度建模方法建设数据集市。





程序猿的技术大观园:www.javathinker.net
  Java面向对象编程-->类的生命周期
  JavaWeb开发-->JSP技术详解(Ⅱ)
  JSP与Hibernate开发-->映射一对多关联关系
  Java网络编程-->客户端协议处理框架
  精通Spring-->Vue CLI脚手架工具
  Vue3开发-->虚拟DOM和render()函数
  一套可复用的方法论!从0-1搭建数据团队,看这篇就够了
  30岁女IT工程师感叹:靠这工具,把报表做成养老工作,月薪快...
  mongodb与redis与Hbase比较
  playbook自动安装kafka集群
  TiDB在360的落地及实战干货
  Hadoop安装过程
  Hadoop 之 HDFS
  Spark RDD转换成DataFrame的两种方式
  Spark SQL常见4种数据源(详细)
  快速部署DBus体验实时数据流计算
  kafka作为流式处理的上一层,为什么吞吐量那么大?
  最常用的四种大数据分析方法
  SDN网络IPv6组播机制支持实时视频业务海量用户扩展
  大数据处理的基本流程
  Hadoop的安装和基本操作命令
  更多...
 IPIP: 已设置保密
树形列表:   
不要轻易把梦想寄托在某个人身上,也不要太在乎身旁的耳... mikhop 2024-05-03 00:39:48
1页 1条记录 当前第1
发表一个新主题 开启一个新投票 回复文章


中文版权所有: JavaThinker技术网站 Copyright 2016-2026 沪ICP备16029593号-2
荟萃Java程序员智慧的结晶,分享交流Java前沿技术。  联系我们
如有技术文章涉及侵权,请与本站管理员联系。