>>分享SPSS,Hadoop等大数据处理技术,以及分布式架构以及集群系统的构建 书籍支持  卫琴直播  品书摘要  在线测试  资源下载  联系我们
发表一个新主题 开启一个新投票 回复文章 您是本文章第 30368 个阅读者 刷新本主题
 * 贴子主题:  数据仓库的两种建模方法 回复文章 点赞(0)  收藏  
作者:zhangzl419    发表时间:2025-04-24 11:22:59     消息  查看  搜索  好友  邮件  复制  引用

数据仓库的两种建模方法


一、范式建模
Inmon提出的集线器的自上而下(EDW-DM)的数据仓库架构。操作型或事务型系统的数据源,通过ETL抽取转换和加载到数据仓库的ODS层,然后通过ODS的数据建设原子数据的数据仓库EDW,EDW不是多维格式的,不方便上层应用做数据分析,所以需要通过汇总建设成多维格式的数据集市层。优势:易于维护,高度集成;劣势:结构死板,部署周期较长
范式建模应用在EDW层
一个符合第三范式的关系必须具有以下三个条件:
1. 每个属性的值唯一,不具有多义性;
2. 每个非主属性必须完全依赖于整个主键,而非主键的一部分;
3. 每个非主属性不能依赖于其他关系中的属性,因为这样的话,这种属性应该归到其他关系中去。
但是由于EDW的数据是原子粒度的,数据量比较大,完全规范的3范式在数据的交互的时候效率比较低下,所以通常会根据实际情况在事实表上做一些冗余,减少过多的数据交互。

二、维度建模
Kimball提出的总线式的自下而上(DM-DW)的数据仓库架构。同样的,操作型或事务型系统的数据源,通过ETL抽取转换和加载到数据仓库的ODS层,然后通过ODS的数据,利用维度建模方法建设一致维度的数据集市。通过一致性维度可以将数据集市联系在一起,由所有的数据集市组成数据仓库。优势:构建迅速,最快的看到投资回报率,敏捷灵活;劣势:作为企业资源不太好维护,结构复杂,数据集市集成困难。
星型模型(推荐)和雪花模型


在复合式的数据仓库架构中,操作型或事务型系统的数据源,通过ETL抽取转换和加载到数据仓库的ODS层,然后通过ODS的数据,利用范式建模方法,建设原子数据的数据仓库EDW,然后基于EDW,利用维度建模方法建设数据集市。





程序猿的技术大观园:www.javathinker.net
  Java面向对象编程-->内部类
  JavaWeb开发-->访问数据库(Ⅰ)
  JSP与Hibernate开发-->映射一对多关联关系
  Java网络编程-->RMI框架
  精通Spring-->CSS过渡和动画
  Vue3开发-->Vue简介
  一套可复用的方法论!从0-1搭建数据团队,看这篇就够了
  大数据存储单位介绍(TB、PB、EB、ZB、YB有多大)
  demo2 Kafka+Spark Streaming+Redis实时计算整合实践 foreac...
  实时统计每天pv,uv的sparkStreaming结合redis结果存入mysql供...
  kubernetes之Ingress部署
  Hadoop配置项整理(hdfs-site.xml)
  Hadoop 之 HDFS
  MySQL 每秒 570000 的写入,如何实现
  Spark Thrift JDBCServer应用场景解析与实战案例
  Hadoop入门——初识Hadoop
  浅谈 Spark 应用程序的性能调优
  大数据系统发展的技术路线
  大数据处理的基本流程
  深入剖析Hadoop HBase
  深入理解MapReduce的架构和原理
  更多...
 IPIP: 已设置保密
楼主      
该用户目前不在线 mikhop 
  

威望: 0
级别: 侠客
魅力: 210
经验: 210
现金: 1176
发文章数: 22
注册时间: 0001-01-01
 消息  查看  搜索  好友  邮件  复制  引用


不要轻易把梦想寄托在某个人身上,也不要太在乎身旁的耳语,因为未来是你自己的,只有你自己能给自己最大的安全感。
福彩双色球走势图澳洲幸运20走势图幸运飞艇走势图
发文章时间 2025-04-24 11:22:59
 IPIP: 已设置保密 1 楼     
1页 1条记录 当前第1
发表一个新主题 开启一个新投票 回复文章


中文版权所有: JavaThinker技术网站 Copyright 2016-2026 沪ICP备16029593号-2
荟萃Java程序员智慧的结晶,分享交流Java前沿技术。  联系我们
如有技术文章涉及侵权,请与本站管理员联系。