大数据时代
三次信息化浪潮
| 信息化浪潮 | 时间 | 标志 | 解决的问题 |
|---|---|---|---|
| 第一次信息化浪潮 | 1980 | 个人计算机 | 信息处理 |
| 第二次信息化浪潮 | 1995 | 互联网 | 信息传输 |
| 第三次信息化浪潮 | 2010 | 大数据、云计算、互联网 | 信息爆炸 |
大数据的技术支撑
1. 存储设备容量不断增加 2. CPU处理能力大幅提升 3. 网络带宽不断增加数据产生方式
1. 运营式系统阶段 2. 用户原创内容阶段 3. 感知式系统阶段 大数据概念
数据量大
“大数据摩尔定律”：人类产生的数据以每年50%的速度增长。数据类型多
结构化数据占10%，非结构化数据占90%处理速度快
秒级响应价值密度低
价值密度远远低于传统关系型数据库大数据的影响
四种科学研究范式
1. 实验科学2. 理论科学3. 计算科学：现提出理论，再收集数据，通过计算机验证4. 数据密集型科学 ：现有大量数据，通过计算得出未知理论大数据关键技术
1. 数据采集与预处理2. 数据存储与管理3. 数据处理与分析4. 数据安全和隐私保护大数据计算模式
| 计算模式 | 解决问题 |
|---|---|
| 批处理计算 | 针对大规模数据的批量处理 |
| 流计算 | 针对大数据的实时计算 |
| 图计算 | 针对大规模图结构数据（或网络的形式）的处理 |
| 查询分析计算 | 大规模数据的存储管理和查询分析（实时、准实时响应） |
大数据产业
1. IT基础设施层2. 数据源层3. 数据管理层4. 数据分析层5. 数据平台层6. 数据应用层大数据与云计算、物联网
三者相辅相成，既有联系又有区别
云计算
通过网络提供可伸缩的、廉价的分布式计算能力，以虚拟化技术为核心、以低成本为目的、动态可拓展的网络应用基础设施。
三种服务模式
* 基础设施即服务（IaaS）
* 平台即服务（PaaS）
* 软件即服务（SaaS）
关键技术
* 虚拟化
* 分布式存储
* 分布式计算
* 多租户
云计算数据中心
云计算应用
云计算产业……
物联网
四层
1. 感知层
2. 网络层
3. 处理层
4. 应用层
关键技术
1. 识别感知技术（二维码、RFID标签、传感器）
2. 网络与通信技术（NFC、蓝牙、RFID、互联网、移动网络、卫星通信网络）
3. 数据挖掘与融合技术
大数据、云计算、物联网关系
1.物联网是大数据的重要来源，为云计算技术提供应用空间2.大数据技术为物联网数据分析提供支撑，大数据为云计算机提供用武之地3.云计算为大数据提供了技术基础，为物联网提供了海量数据存储能力