从云计算运营的角度分析大数据类应用的部署

2013 年 4 月 1 日1,6000

本站主要内容均为原创,转帖需注明出处www.alexclouds.net

        首先要说的,我把云计算和大数据扯上关系不为别的,其实是为了讲清楚时下主流的大数据云计算服务提供商对大数据应用类的服务提供了怎样的运营基础支持。以往我们在云计算里部署的是典型应用,而非大数据分析。现在和将来,我们要在云计算里部署大数据分析类应用,我们该怎么办?这也正好接着我以往的文章讲述云计算运营与大数据之间的联系。

        云计算需要的不只是简单的安装一些虚拟化软件和提供虚拟机。如此,这不过是云计算的一个应用。增加不同类型的工作负载,如CLOUD DESKTOP、企业应用、DEVELOPMENT ENVIROMENT后,应当思索的是使它变得更加复杂后应当如何管理的问题。

        大数据分析作为一类特殊的应用,需要云计算环境里各个方面的配合,有如下方面需要慎重考虑:

1、安全。从目前业界的情况看,尤其是NOSQL类,KV类数据库的安全性还没有真正提上日程,现在都在考虑的是易用性。传统IT环境里数据库的安全性是有各种手段予以保障的,这点不累述。当云计算环境里跑了NOSQL之类的数据库时,还要求云环境有相应的安全手段确保数据的安全性。

2、计算架构。大数据环境其实主要是计算类应用,而非存储,因此需要大量运行计算任务的节点,还要确保这些节点稳定的工作,节点越多处理的越快。对于计算架构,必须能够满足扩展需求,不让运行在云环境中的应用缺乏计算能力。这可能是云计算复杂的一个领域,包括计算资源的动态分配、计算资源池的管理,计算容量管理等等。即使做好计划,最终还是要面对有限的资源。

3、网络架构。大数据类应用对带宽也有要求,大数据运行中会受带宽所限,运行在相同主干网络的其他应用也有受影响的可能。实现虚拟网络和服务质量确保关键应用为大数据方案服务非常重要。同样的,网络还需要支持数据移动到处理环境以便有效处理。
 
4、存储架构。大数据方案里有各式各样的,有使用内存、闪存、普通存储也有SATA、SAS、FC结构等。在这种容量可以到PB级别的环境中,在可负担的情况下实现可伸缩的存储是当前最复杂的工作之一。另外,今天的云计算运营中的存储架构也依赖于网络架构,所以如果没有采用适当的网络架构,即使采用了高速存储环境,数据也不能快速的流入流出,达到大数据分析的要求。

5、运营服务管理。它是达到上述几点的一个主要组件。服务管理包括容量管理、配置管理、监控、自动化、编配、供给、运营与支持在内的过程和方法。没有合适的服务管理,环境会随时间面临性能的降低,导致用户或消费者不满。另外,需要开发服务目录,由其定义服务层次并使服务保持可用状态。

        下面这幅图是老外画的,很清楚的表明了我上面叙述的文字的意思。

        安全里面分系统安全、数据安全、基础设施安全。存储里面有SAN也有NAS,甚至还有MEMORY,WHO KNOWS?  服务管理里面包括运营管理、服务管理、容量管理。当然运作的公司也要考虑COST、VALUE等。

bigdataapplication 

 
          从上面看出,这就是为什么云计算公司要有服务运营部门,在美籍专家PETER WANG的带领下,我曾经管理服务运营部门,亲历服务目录管理、服务管理,也曾经探索过DevOps模式,就是将工程和运营间联合起来协作交付的方法。作为电信运营服务出身的我来说,这是人身阅历上不可多得的经历。这里还是要记录下来,感谢我的前一任老板 PETER WANG,谢谢!

0 0