cms下载官方网站,上海三凯建设管理咨询有限公司网站,网站开发三层结构,中国新闻社百度百科一、数据库、数据仓库、数据湖 1.什么是数据库 (Database, DB)
数据库是指长期储存在计算机中的有组织的, 可共享的数据集合 就是存储数据的仓库 数据库有三个特点: 永久存储, 有组织, 可共享
数据库是一种结构化数据存储技术#xff0c;用于存储和管理有组织的数据。数据库…一、数据库、数据仓库、数据湖 1.什么是数据库 (Database, DB)
数据库是指长期储存在计算机中的有组织的, 可共享的数据集合 就是存储数据的仓库 数据库有三个特点: 永久存储, 有组织, 可共享
数据库是一种结构化数据存储技术用于存储和管理有组织的数据。数据库通常使用关系型模型来组织数据并使用SQL来查询和操作数据。数据库是用于处理事务性数据的最常见类型的存储适用于需要高度结构化和规范化的应用场景例如企业管理系统、电子商务平台等。
2.什么是数据仓库Data Warehouse
数据仓库是一个面向主题的、集成的、非易失的、随着时间变化的,用于支持管理人员决策的数据集合。 数据仓库是一种专门用于分析和报告的大型结构化数据存储技术。与传统数据库不同数据仓库通常包含历史记录和大量冗余信息以便支持复杂的分析查询。它们通常是企业级解决方案用于从各种源中采集和存储数据以便进行分析和报告。通常使用数据仓库ETL工具将数据从多个源中提取并转换为通用格式然后将其加载到数据仓库中并使用OLAP工具进行多维分析。
将数据经过数仓建模形成 ODS、DWD、DWS、DM 等不同数据层每层都需要进行清洗、加工、整合等数据开发ETL工作并最终加载到关系型数据库中。
3.什么是数据湖
数据湖是一种存储理念用于存储各种原始数据。 数据湖是一种非结构化或半结构化大型数据存储技术用于存储各种类型和格式的原始或未处理的数据。数据库、数据仓库和数据湖的区别之一在于数据湖通常不需要预定义模式或架构并且可以在需要时进行灵活地查询和分析。数据湖也可以从多个源中采集和存储数据但它们通常不会在数据加载之前对其进行转换。由于其灵活性和可扩展性数据湖适用于大规模数据分析和机器学习等应用场景。
数据湖三种格式 Iceberg、Hudi和Delta是三个用于大数据存储和处理的开源项目。它们都旨在提供更可靠、高效和可扩展的数据管理和分析解决方案。
4.数据仓库与数据湖的区别 【注】写入型schema” v.s.“读取型schema”其实本质上来讲是数据schema的设计发生在哪个阶段的问题。 “写入型schema”背后隐含的逻辑是数据在写入之前就需要根据业务的访问方式确定数据的schema然后按照既定schema完成数据导入带来的好处是数据与业务的良好适配但是这也意味着数仓的前期拥有成本会比较高特别是当业务模式不清晰、业务还处于探索阶段时数仓的灵活性不够。 数据湖强调的“读取型schema”背后的潜在逻辑则是认为业务的不确定性是常态我们无法预期业务的变化那么我们就保持一定的灵活性将设计去延后让整个基础设施具备使数据“按需”贴合业务的能力。
二、关系型数据库与非关系型数据库 1.关系型数据库
1.1概念
关系型数据库指采用了关系模型来组织数据的数据库。 关系模型指的就是二维表格模型而一个关系型数据库就是由二维表及其之间的联系所组成的一个数据组织。 ● 关系一张二维表每个关系都具有一个关系名也就是表名。 ● 元组二维表中的一行在数据库中被称为记录。 ● 属性二维表中的一列在数据库中被称为字段。 ● 域属性的取值范围也就是数据库中某一列的取值限制。 ● 关键字一组可以唯一标识元组的属性数据库中常称为主键由一个或多个列组成。 ● 关系模式指对关系的描述。其格式为关系名 (属性 1属性 2 … … 属性 N)在数据库中成为表结构。
1.2.优势与不足
优势
容易理解二维表结构是非常贴近逻辑世界的一个概念关系模型相对网状、层次等其他模型来说更容易理解使用方便通用的 SQL 语言使得操作关系型数据库非常方便易于维护丰富的完整性 (实体完整性、参照完整性和用户定义的完整性) 大大减低了数据冗余和数据不一致的概率 不足网站的用户并发性非常高往往达到每秒上万次读写请求对于传统关系型数据库来说硬盘I/O是一个很大的瓶颈。网站每天产生的数据量是巨大的对于关系型数据库来说在一张包含海量数据的表中查询效率是非常低的。在基于 web 的结构当中数据库是最难进行横向扩展的当一个应用系统的用户量和访问量与日俱增的时候数据库却没有办法像web server和app server那样简单的通过添加更多的硬件和服务节点来扩展性能和负载能力。当需要对数据库系统进行升级和扩展时往往需要停机维护和数据迁移。性能欠佳在关系型数据库中导致性能欠佳的最主要原因是多表的关联查询以及复杂的数据分析类型的复杂 SQL 报表查询。为了保证数据库的 ACID 特性必须尽量按照其要求的范式进行设计关系型数据库中的表都是存储一个格式化的数据结构。 数据库事务必须具备ACID特性ACID分别是Atomic原子性Consistency一致性Isolation隔离性Durability持久性。
1.3.当下流行的关系型数据库
● Oracle ● Microsoft SQL Server ● MySQL ● PostgreSQL ● DB2 ● Microsoft Access ● SQLite ● Teradata ● MariaDBMySQL 的一个分支 ● SAP
2.非关系型数据库
1.1概念 非关系型数据库指非关系型的分布式的且一般不保证遵循ACID原则的数据存储系统。 非关系型数据库结构 非关系型数据库以键值对存储且结构不固定每一个元组可以有不一样的字段每个元组可以根据需要增加一些自己的键值对不局限于固定的结构可以减少一些时间和空间的开销。 1.2.优点与不足 优点
用户可以根据需要去添加自己需要的字段为了获取用户的不同信息不像关系型数据库中要对多表进行关联查询。仅需要根据id取出相应的value就可以完成查询。适用于SNS(Social Networking Services)中例如 facebook微博。系统的升级功能的增加往往意味着数据结构巨大变动这一点关系型数据库难以应付需要新的结构化数据存储。由于不可能用一种数据结构化存储应付所有的新的需求因此非关系型数据库严格上不是一种数据库应该是一种数据结构化存储方法的集合。 不足只适合存储一些较为简单的数据对于需要进行较复杂查询的数据关系型数据库显得更为合适。不适合持久存储海量数据。 1.3.分类键值数据库Redis、Memcached、Riak列族数据库Bigtable、HBase、Cassandra文档数据库MongoDB、CouchDB、MarkLogic图形数据库Neo4j、InfoGrid
三、OLAP与OLTP
数据处理大致可以分成两大类联机事务处理OLTPon-line transaction processing、联机分析处理OLAPOn-Line Analytical Processing。 OLTP是传统的关系型数据库的主要应用主要是基本的、日常的事务处理例如银行交易。 OLAP是数据仓库系统的主要应用支持复杂的分析操作侧重决策支持并且提供直观易懂的查询结果。 OLTP 系统强调数据库内存效率强调内存各种指标的命令率强调绑定变量强调并发操作 OLAP 系统则强调数据分析强调SQL执行市场强调磁盘I/O强调分区等。
1.什么是OLAP
OLAPOn-Line Analytical Processing联机分析处理 也称为面向交易的处理过程其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理并在很短的时间内给出处理结果是对用户操作快速响应的方式之一。应用在数据仓库使用对象是决策者。OLAP系统强调的是数据分析响应速度要求没那么高。 A是可分析性(Analysis)指用户无需编程就可以定义新的专门计算将其作为分析的一部 分并以用户所希望的方式给出报告M是多维性(Multi—dimensional)指提供对多维视图和分析I是信息性(Information)指能及时获得信息并且管理大容量信息。
2.什么是OLTP
OLTPOn-Line Transaction Processing联机事务处理 它使分析人员能够迅速、一致、交互地从各个方面观察信息以达到深入理解数据的目的。它具有FASMI(Fast Analysis of Shared Multidimensional Information)即共享多维信息的快速分析的特征。主要应用是传统关系型数据库。OLTP系统强调的是内存效率实时性比较高。
3.OLTP与OLAP之间的比较
总得来说 联机分析处理OLAP,On-line Analytical Processing数据量大DML少。使用数据仓库模板。 联机事务处理OLTP,On-line Transaction Processing数据量少DML频繁并行事务处理多但是一般都很短。使用一般用途或事务处理模板。 决策支持系统DDSDecision support system)典型的操作是全表扫描长查询长事务但是一般事务的个数很少往往是一个事务独占系统。 四、数据源、数据元、元数据
1.数据源
数据源Data Source数据源是指存储和提供数据的地方或系统。数据源可以是数据库、文件系统、API、传感器、网络服务等。它是数据的来源提供了访问和读取数据的接口。数据源可以是结构化的数据库也可以是非结构化的文件或流式数据。常见的数据源包括关系型数据库如MySQL、Oracle、分布式文件系统如HDFS、Amazon S3以及实时流处理系统如Apache Kafka等。 如dlink中
2.数据元
据元Data Element数据元是指数据的基本单元通常是指数据的最小、不可再分的组成部分。数据元可以是一个数据项、字段、属性、列或其他类似的概念。例如在关系型数据库中数据元可以是表的一列字段在文本文档中数据元可以是一个单词或一个字符。数据元是组成数据的基本单位它们的组合和关联形成了更复杂的数据结构。 数据元一般来说由三部分组成 ● 对象类思想、概念或真实世界中的事物的集合它们具有清晰的边界和含义其特征和行为遵循同样的规则。 ● 特性对象类中的所有成员共同具有的一个有别于其它的、显著的特征。 ● 表示它描述了数据被表达的方式
3.元数据
概念元数据Metadata元数据是关于数据的描述信息它提供了关于数据的定义、结构、属性、关系和其他相关信息的数据。元数据可以包括数据的名称、类型、大小、创建时间、更新时间、所有者、数据源、数据质量等。 数据的作用可总结一下包括描述、检索、选择、定位和关联分析等
五、物理备份与逻辑备份
物理备份和逻辑备份是两种常见的数据备份方法用于保护和恢复数据
1.物理备份
定义物理备份是指直接备份存储在磁盘或存储介质上的原始数据副本。
它是对数据的二进制级别的备份包括数据文件、操作系统文件、系统配置等。物理备份是一个底层备份方法通常由数据库管理系统如MySQL、Oracle等提供的工具或第三方备份工具执行。
使用场景 物理备份速度快适用于大规模的数据恢复和灾难恢复但对于特定的数据库或应用程序进行单独恢复或数据提取相对困难。使用工具物理备份通常使用如 xtrabackup、RMAN等工具
2.逻辑备份
定义逻辑备份是指将数据导出为可读的逻辑格式如SQL语句、CSV文件等并备份到文件系统或存储介质中。
使用场景逻辑备份灵活适用于特定的数据恢复和迁移需求。它可以选择性地备份特定的表、数据集、视图等也可以进行数据转换和格式转换。常用的工具有 mysqldump、pg_dump
3.二者区别 六、思考
1.数据库从同构转化为异构或者从异构转化为同构如何实现MySQL-Mysql mysql-oracle 2.大数据量的数据备份迁移怎么做如何选择备份策略如何保证数据一致性 3.数据检验的方式方法
