基于云计算的大数据处理技术研究

摘 要:在信息技术不断发展的今天,各类信息泛滥,人们每天的生活、工作都会接触到海量数据,已然进入了大数据
摘要

论文写作指导请加QQ 229366758

  摘 要:在信息技术不断发展的今天,各类信息泛滥,人们每天的生活、工作都会接触到海量数据,已然进入了大数据时代。对于海量数据信息,如果采用传统的数据处理办法,很难保证数据信息传输的安全性、快速性。云计算的出现为大数据存储、传输提供了便利,也为数据处理提供了重要保障。文中首先对大数据与云计算之间的关系进行分析,然后探讨了云计算及其关键技术,最后提出云计算背景下的大数据处理技术,希望能够为相关人员提供参考。
下载论文网
  关键词:云计算;大数据;处理技术;海量数据
  中图分类号:TP274 文献标识码:A 文章编号:2095-1302(2017)06-00-02
  0 引 言
  在计算机网络技术、通信技术不断发展的今天,人们获取信息资源的渠道更多,信息传播的形式也更加多元化、便捷化,将现阶段称之为信息大爆炸时代也不为过。此外,在信息传播过程中,对数据处理体系提出了更高的要求。据预测,到2020年,世界数据量会超过35亿GB,而针对大数据随机性、庞大性、离散性、爆发性的特点,还需要选择更加强大的数据处理技术。云计算的出现为数据处理革新提供了基础,基于此,加强对云计算背景下大数据处理技术的研究具有十分现实的意义。
  1 大数据和云计算之间的关系
  云计算技术指采用集中式远程计算资源池,按照需求进行分配,为终端用户提供计算服务技术,且这种服务成本低、效果好。云计算属于数据处理方式,具有以下技术特点:
  (1)透明性。从物理角度分析,资源池对所有终端用户都是透明的;
  (2)云计算能够为任何行业提供无限能力的计算机服务;
  (3)快捷性。云计算能够根据终端用户的要求为其订制服务,同时服务技术具有很强的伸缩能力;
  (4)云计算数据在获取方面较为简单,能够促进资源共享,且成本较低。
  现阶段,云计算是最为强大的数据处理、运用、存储平台,是大数据处理的首选技术。云计算能够为大数据提供的存储空间、处理能力是无限的,可满足超级容量数据的存储及传输,而这也是传统数据处理技术无法实现的。此外,云计算相对于其他技术更侧重计算与处理,即云计算是大数据处理的工具,而大数据是处理的对象。
  2 云计算及其关键技术概述
  在并行技术、分布式计算及网格计算等基础上,云计算技术的形成与发展可通过网络连接技术,集中数据计算、存储等功能,构建能够为用户提供无限服务的资源池。
  2.1 数据存储技术
  信息存储的安全性、数据读写的高效性是保证云计算技术实施的基础,利用分布式存储技术将海量数据存储于服务器集群中,还能够实现对数据的备份处理,提高数据的安全性。此外,通过数据加密技术、冗余存储模式等,可有效避免数据信息泄漏或遭到威胁。其中,Hadoop团队开发的GFS与Google非开源的GFS都是在云计算系统中被广泛运用的存储系统。
  2.2 数据管理技术
  云计算能够通过分布式处理及分析为用户提供高效服务,但对数据管理技术的管理能力有较高的要求。其中,开源数据管理模块HBase以及BigTable数据管理技术是现阶段主要的数据管理技术。云服务平台管理如图1所示。
  2.3 虚拟化技术
  虚拟化技术是云计算系统中存储、计算的基础,主要通过相关方式将真实环境中的计算机系统、组件等转移到虚拟环境中,然后结合操作系统、硬件资源、软件应用程序等组成虚拟化层结构。一般虚拟层可以分为上中下三层,通过中间层连接上下两层结构,为其提供类似的功能,保证其运行在虚拟化环境中。虚拟化技术的运用能够实现对相关系统功能的整合,保证资源利用的最大化。
  3 云计算背景下大数据处理技术
  传统数据管理以收集、存储为主,而云计算背景下,大数据管理方式得到了改变与创新,侧重点在于数据的分析、挖掘,为相关人员决策提供依据。
  3.1 大数据采集技术
  根据采集形式的不同,可将大数据采集分为两类,即集中式采集与分布式采集。这两种采集方式各具优劣,我们以优点为例进行说明。集中式采集能够掌控全局数据,而在灵活性方面,采用分布式采集模式的优势更为明显。在大数据采集过程中,既包括对企业内部数据的采集,也包括采集企业之间的信息数据,通过分布式并行计算模式,将几种采集模式混合使用,提升数据采集的整体效率。即在大数据采集过程中,对于企业内部采用集中采集模式,而企业之间采用分布式采集模式。在每一个企业内部都设置多个中心服务器,将企业共享的信息数据进行存储。对于中心服务器间的组织则采用分布式数据采集模式。
  根据结构类型的不同,可将大数据分为结构化数据、半结构大数据及非结构化数据。在数据采集过程中,应该先对数据类型进行分析,根据不同类型,通过云计算的扩展、容错等优势,实现对数据的同构化,实现各结构数据对接。
  3.2 大数据存储技术
  大数据的一大特点是“大”,如果采用传统数据存储技术,将难以满足大数据的储存需求。原因如下:
  (1)在大数据时代背景下,数据量迅速增长,传统以单结点为主的数据仓库在海量数据面前显得力不从心。
  (2)按行存储是传统数据仓库的主要形式,但在视图、索引等维护上需要花费过大的成本。
  在云计算背景下,大数据存储以列式存储为主。这种方式主要根据数据的属性存储,与按行存储相反,将每一个属性按照一列进行存放。在数据投影过程中,只能对涉及到的属性列进行访问,大大提升系统输入/输出的效率。由于相邻列?稻堇嘈拖嗨贫雀撸?因此采用这种存储模式能够提升数据的压缩率,压缩后更能减少数据传输的成本。大数据存储发展如图2所示。
  3.3 大数据联机分析技术
  联机分析处理技术是大数据仓库系统中的关键内容,复杂的数据分析过程,其重点在决策性分析,为用户提供实际结果。采用联机分析手段,从综合数据分析出发,建立多维模型,得到全面数据分析结果,为决策者提供参考依据。联机分析处理的一个特点就是数据分析,将数据仓库与联机分析技术相结合,不仅能够计算海量数据,还能够分析数据。   3.4 大数据挖掘技术
  采用联机分析技术,往往只能够获取表层的知识信息,但对于数据信息潜在的联系却知之甚少。但在云计算背景下,利用数据挖掘技术能够获悉数据本身,并将数据之间潜在的联系想明白,利用概念、规律或模式等将其表示出来。目前,大数据挖掘技术主要为并行模式,在大规模数据处理中具有较大优势。以往串行数据挖掘处理的数据规模较小,花费时间较长,而采用分布式并行数据挖掘技术,利用分布式系统,采用集群、拆分等多种方式,提升数据计算的效率。此外,云计算背景下的数据挖掘技术能够发挥并行挖掘优势,与其他串行方式相比,并行挖掘技术能够通过机器集群拆分分布式系统中的并行任务,将任务进行拆分后再处理,由更多的机器进行分任务的处理,提升数据处理效率,可在一定程度上节约数据处理的成本。
  3.5 大数据可视化技术
  通过数据挖掘技术可实现对大数据多维度、深层次的分析,便于获取更多有效信息。在云计算平台基础上就能够实现可视化技术,将上述信息具体化,使其更形象的展示出来,将数据信息之间的关系更直观的展示给用户,便于用户理解。
  可视化技术是指在数据存储空间中,用图形图像的方式将数据库以及数据库中的相关数据表示出来,同时,在展示过程中利用某些手段,将图像中蕴藏的相关隐藏信息挖掘出来。传统的数据处理过程仅仅基于数据本身,对数据中蕴含的信息进行观察与分析。但借助云计算可视化技术,不仅能够实现对非空间数据多维度图像的显示,同时还能在图形显示过程中实现直接的检索过程,帮助用户更好地挖掘数据信息、理解数据信息,提升信息检索效率。
  4 结 语
  通过上述分析可知,在信息技术不断发展的今天,人们进入了大数据时代,对于海量大数据的处理与分析,传统的数据处理技术已明显出现颓势。而云计算的出现正好解决了这一问题,为大数据处理提供了可能,通过大数据采集、存储、分析与挖掘,实现对大数据的合理运用,为客户提供更高质量的数据服务。
  参考文献
  [1]任磊.基于电力行业云计算的大数据架构研究[J].科技与企业,2015(2):94.
  [2]龚旭.基于云计算的大数据处理技术探讨[J].电子技术与软件工程,2015(10):198.
  [3]张兰.基于云计算的电子商务数据缓存处理的研究[J].电脑知?R与技术,2016,21(1):87-88.
  [4]任梁.试论云计算技术下的大数据处理系统[J].电子技术与软件工程,2014 (16):27.
  [5]郭群.基于云计算下大数据在医疗领域的应用研究[J].福建电脑,2016,32(6):131-132.
  [6]孙刘忻.基于云计算的大数据融合系统关键技术研究[J].数字通信世界,2016 (1):62-63.
  [7]刘小铭,李宗辉.云计算环境下大规模数据处理技术研究[J].湖南城市学院学报(自然科学版),2016(2):135-136.
  [8]丁伶敏,吕建友.探讨云计算中大数据的MapReduce处理方法[J].物联网技术,2014,4(9):86-88.

中国IDC资讯网,是IDC产业最具权威性新闻报道中心,我们会在第一时间报道云计算、数据中心、大数据技术应用、云信息安全、IDC服务商,IDC机房,IDC行业分析、IDC主机托管等行情资讯。
Copyright © 2012-2019 IDC311.COM. IDC资讯网 版权所有        网站地图