架构大数据 大数据技术及算法解析pdf

架构大数据 大数据技术及算法解析 作者：赵勇

架构大数据 大数据技术及算法解析 出版社：电子工业出版社

架构大数据 大数据技术及算法解析 内容简介

本书从大数据架构的角度全面解析大数据技术及算法，探讨大数据的发展和趋势。不仅对大数据相关技术及算法做了系统性的分析和描述，梳理了大数据的技术分类，如基础架构支持、大数据采集、大数据存储、大数据处理、大数据展示及交互，还融合了大数据行业的新技术进展和大型互联网公司的大数据架构实践，努力为读者提供一个大数据的全景画卷。

架构大数据 大数据技术及算法解析 目录

第1章 大数据技术概述

第2章 大数据基础支撑——数据中心及云计算

第3章 云计算先行者——Google的三驾马车

第4章 云存储系统

第5章 数据采集系统

第6章 Hadoop与MapReduce

第7章 Spark——大数据统一计算平台

第8章 Storm 流计算系统

第9章 SQL、NoSQL与NewSQL

第10章 大数据与数据挖掘

第11章 深度学习

第12章 电子商务与社会化网络大数据分析

第13章 大数据展示与交互技术

第14章 大数据安全与隐私

第15章 大数据技术发展趋势

第16章 知名企业大数据架构简介

架构大数据 大数据技术及算法解析 精彩文摘

云计算提供的不同层次服务使开发者、服务提供商、系统管理员和用户面临许多挑战。图2.2对此做出了归纳概述。底层的物理资源经过虚拟化转变为多个虚拟机，以资源池多重租赁的方式提供服务，提高了资源的效用。核心中间件起到任务调度、资源和安全管理、性能监控、计费管理等作用。一方面，云计算服务涉及大量的调用第三方软件及框架和重要数据处理的操作，这需要有一套完善的机制，以保证云计算服务安全有效地运行；另一方面，虚拟化的资源池所在的数据中心往往电力资源耗费巨大，解决这样的问题需要设计有效的资源调度策略和算法。在用户通过代理或者直接调用云计算服务的时候，需要和服务提供商之间建立服务等级协议（Service LevelAgreement，SLA），那么必然需要服务性能监控，以便设计出比较灵活的付费方式。此外，还需要设计便捷的应用接口，方便服务调用。而用户在调用中选择什么样的云计算服务，这就要设计合理的度量标准并建立一个全球云计算服务市场以供选择调用。

2.2.5小结

云计算是基于多种技术的新兴计算模式，随着现代软件应用和商务处理的全球化、信息化和自动化，必将为云计算的研究发展提供广泛的市场和应用背景。云计算不仅是虚拟化资源的集合，也不仅是在此之上的平台和应用实体的集合，而且是一种集虚拟化技术、网络技术、信息安全、效用计算、逻辑推理、软件工程、商务智能等技术为一体的新兴计算应用模式。无论是工业界还是学术界都提出了一系列实施技术和改进策略，并从理论和实际应用的角度进行了阐述。

由上面的讨论分析可知，应用向云计算模式的转变引发了一系列开放的问题，有待解决。

①用户在选择使用众多云计算服务时，如何选择需要的服务应用，通过什么标准度量云计算服务特征，避免选择的主观性。

②以往Web服务定义的WSDL接口和XML数据类型方便用户的调用和信息的传输，需要考虑云计算的接口，数据类型怎样制定，采取何种具体的标准加强云计算供应商和用户问的互操作尚不明确。

③随着云计算模式的大量应用，是否所有的软件应用和开发都适合转向云计算的平台，这就需要考虑建立软件应用属性到云计算服务属性的映射，以判定云计算的属性是否适合软件应用的关键属性。

④如何划分SaaS层次上云计算基本服务粒度，以便应用能够进行类似Web服务编排的服务组合，提高软件的重用性。

⑤云计算是一种分布式的计算模式，其地理位置、存储和扩展能力对用户均是透明的。无论是云计算开发者、提供商还是用户，如何追踪分析云计算服务应用的控制流和数据流，以判定云计算应用的行为和状态，是问题的关键。建立何种合适的模型，使云计算模型标准化、统一化，为测试、成本计算、性能提供标准依据，也是一个重要的问题。