旗下网站:   使用帮助 | 免费注册 | 登录 | 会员中心
当前位置:微淘资讯 > 正文
 
洞悉大数据:Hadoop和云分析七大误解
发布时间:2014-01-09 09:25:17
分享到:
第1页:七大误解:大数据与hadoop

  对于hadoop技术而言,可以说是开源领域的传奇,然而如今业界还伴随着一些流言,这些流言可能会导致it高管们带着“有色”的观点去制定策略。

  从idc分析师报告中2013年数据存储上的增长速度将达到53.4%,at&t更是声称无线数据的流量在过去的5年内增长200倍,从互联网内容、电子邮件、应用通知、社交消息以及每天接收的消息都在显著的增长,这也是众多大企业都聚焦大数据的原因所在。


  毫无疑问,hadoop成为解决大数据需求的主要投资领域之一,而类似facebook等互联网巨头在都公开的吹捧hadoop上取得的成功,同样初入大数据领域的公司也必先着眼于hadoop。但对于hadoop技术而言,是一个多维的解决方案,可以通过不同的方式进行部署和使用。下面就了解一些关于hadoop和大数据的七大错误理念:

  1.大数据仅仅是容量

  对大数据来说,除了指体积之外,还经常提到variety(多样)、variability(可变)、velocity(速度)和value(价值)。关键点在于大数据并不是体积上的增长,更多是未来的实时分析、结构化和非结构化数据的发展,并被企业cio用于更好的决策。

    综上所述,并不是只有分析大数据才会获得价值。举个例子,存储和分析1pb的超时限数据的价值可能比不上实时分析1gb的数据,而从“新鲜”的数据上获得价值比解剖过时的数据更具价值。

  2.传统sql不能在hadoop上使用

  众多厂商在hadoop上投入精力,布局市场战略时,十分清楚hdfs和mapreduce受限于处理类似sql语言的能力,这也是hive、pig和sqoop最终得以推广的原因。更多企业通过hadoop和sql兼容来管理大量的数据,pivotal hd是结合sql并行处理资料库与hadoop 2.0,针对企业资料分析需求而优化的hadoop强化版本。 

   3.hadoop是唯一的新it数据平台

  谈到数据平台,大型机在it投资组合里有是一个长期投资,与erp、crm和scm这些系统一样演变至今。而面对大数据时代,大型机不想被架构遗弃,必须展示在现有it投资环境中的价值,而许多客户遇到速度、规模和成本的问题,通过vfabric sqlfire这样的内存大数据网络去解决高速数据存取,促进大型机批处理或实时分析报告这些问题。


第2页:七大误解:虚拟化与hadoop关系

  4.虚拟化会导致性能下降

  hadoop最初的设计只是运行实体服务器上,然而随着云计算发展,许多企业都希望能作为云数据中心提供服务。之所以虚拟化hadoop,企业首先要考虑管理基础设施的扩展性,认识到扩展计算资源,比如虚拟hadoop节点在数据和计算分开时会对性能有所帮助,否则如果你关闭某个hadoop节点将丢失上面的所有数据或者添加一个没有数据的空节点。

  5.hadoop只可以在数据中心运行

  对于在saas云服务解决方案,许多云服务允许云端运行hadoop、sql,这无疑可以帮助企业省下数据中心建造投资的时间和金钱。特别是对于公有云情况下,java开发者可以从spring data for hadoop以及一些其它的github用例中获益。

  6.hadoop对虚拟化无经济价值



hadoop对虚拟化无经济价值

  hadoop被很多人认为,尽管在商用服务器上运行,添加一个虚拟层在带来额外支出的同时并不会有额外的价值收益,但其实这个说法并没有考虑到数据和数据分析事实上都是动态的。虚拟化基础设施同样可以减少物理硬件数量,让capex(资本支出)直接等于商用硬件成本,而通过自动以及高效利用共享基础设施同样可以减少opex(运营成本)。

  7.hadoop不能运行在san或nas上

  尽管hadoop在本地磁盘上运行,对于中小型集群一样可以在一个共享的san环境下体现良好的性能表现,而高带宽比如10gb以太网、poe以及iscsi对性能同样有很好的支持。

    由此,大数据成为行业追逐的热点,以上七大有关大数据“误解”问题的客观看待。如同不同项目需求不同,hadoop是一个工具来帮助企业更好的应对大数据问题。无论是面对数据网格的gemfire 或sqlfire,还是面向消息的rabbitmq中间件,一个完整saas解决方案如今比在hadoop环境更容易实现

 
最新资讯
更多>> 
分享到: