当前位置:主页 > 虚拟主机 > 正文

大数据和云计算_企业级_kafka大数据

时间:2021-04-08 23:40 来源:埃里克云 编辑:埃里克云

核心提示

当你在一个企业软件产品的工程团队中工作时,会发生一件有趣的事情,那就是你和很多人(潜在客户、面试的候选人、你的妈妈)读过公司的营销材料,但不了解产品的实际功能。...

大数据和云计算_企业级_kafka大数据

当你在一个企业软件产品的工程团队中工作时,会发生一件有趣的事情,那就是你和很多人(潜在客户、面试的候选人、你的妈妈)读过公司的营销材料,但不了解产品的实际功能。他们在信息传递中迷失了方向:"好吧,你说这有助于我减少10%到50%的应用程序开发时间。。。但它是如何工作的?"作为我们云工程团队的一员,我想研究几个具体的用例,在这些用例中,Delphix可以唯一地帮助您将工作负载迁移到公共云,避免云锁定,并在此过程中保持敏感数据的安全。在每个用例中,我将包括体系结构图,这些图总结了这样一个解决方案的工作方式。克服数据惯性移动数据的困难是将工作负载迁移到云中的一个典型障碍,也是大多数组织将其新应用程序建立在公共云中的架构基础上,而将其旧应用程序的很大一部分保留在内部的主要原因。问题通常不是与云中的基础设施存在硬件或软件级别的不兼容性,而是数据移动对于拥有数百个应用程序的组织来说是一个挑战。你不能关闭你的数据中心来移动它,所以你必须上传备份,然后发送增量更新,直到云中的副本与原始数据非常匹配。然后,您必须继续应用增量更新,直到运行过多的测试,其中许多测试可能需要自己的数据副本,以避免修改最终将用于故障转移到公共云的数据。手动完成这个练习非常耗费人力(阅读:昂贵),而且容易出错。如果您的数据存储在关系数据库中,那么您将需要一个DBA(或他们的团队)来运行这些任务——他们的专业知识对于确保传输在没有数据丢失或损坏的情况下执行是必要的。即使数据只是来自企业应用程序框架(如Oracle电子商务套件)的平面文件,我们看到的简单制作可用副本的剧本也超过50页(非常密集)。随着数据源变得越来越复杂,自动化围绕数据源的流程变得比以往任何时候都重要,但这些产品的市场却出人意料地有限,即使在今天这个以DevOps为中心的世界中也是如此。为了创建Delphix产品,我们的工程团队在文件系统快照技术的基础上,开发了与所有主要RDBMS平台(Oracle、Microsoft SQL Server、PostgreSQL、SAP/Sybase ASE,以及很快的MySQL和IBM DB2)和最流行的企业应用程序框架(Oracle EBS)的全面集成。快照本身是一项很好的技术,因为创建数据副本是一项廉价/快速的操作,但我们面向细节的数据自动化将快照从"在Linux中任何人都可以免费获得的好东西"转变为"将应用程序交付时间缩短一半的产品"实际上,我们已经花了数年时间学习各种存储和日志记录机制,如何为每种机制创建一致的快照,以及我们支持的平台的各种版本、功能和修补程序之间的差异,以便使用Delphix对数据进行完整或增量备份,而无需手动干预。随着我们对数据库行为的深入了解,最简单的数据移动用例已经处理好了——在公共云中放置一个DelphixVM,然后使用它通过VPN连接将数据备份到本地基础设施一旦您有了流式更新的数据黄金备份,您就可以轻松创建虚拟数据库来运行测试工作负载,从而确保云迁移成功,并在问题上快速迭代(如果不是):需要注意的是,一旦您将生产备份到您的云上,那么通过Delphix为非生产拷贝制作虚拟数据库要比将现有的测试/开发实例复制到Delphix以迁移它们要好得多(更容易,但也更节省空间和时间)。使用Delphix创建非生产拷贝允许您随意刷新生产中的虚拟数据。这也意味着,对于您迁移的每个生产环境,在非生产环境中都有3-10个拷贝,您根本不必迁移这些副本!是的您可以在这里停下来,在云中的虚拟数据库上运行test/dev,使用Delphix永久性地将生产数据复制到云中,以允许您刷新test/dev实例。但假设您最终也希望将生产迁移到云中。一旦您在一次性虚拟拷贝上运行了一些预演迁移,就可以使用我们的虚拟到物理(V2P)功能将数据库的完整物理副本导出到云中的虚拟机,从等式中删除Delphix并创建一个新的"生产就绪"数据库。此时,您就可以从现场生产数据库故障切换到新的云,但还有最后一步——您必须手动将云数据库同步到实时本地版本。(让这一步自动化是我对Delphix未来特性的一个愿望,特别是对于这个用例)一旦完成,将应用层指向新的云实例并关闭本地副本。您只需一个手动数据步骤就可以将数据库(及其所有副本)迁移到云中!避开云锁定迁移到公共云的企业面临的另一个主要问题是选择哪种云对他们来说最具成本效益。Amazon Web Services是迄今为止最根深蒂固的供应商,但它的许多竞争对手对特定的用例提供了更低的费率,而且每个人对其服务的收费也略有不同。此外,像微软和甲骨文这样的公司,如果你在他们的云中运行他们的数据库或应用软件,他们会提供更有利的许可。为了实现云供应商提供的节约,在第一时间选择合适的云是至关重要的——如果你不这样做,你将不得不重新迁移数据,这将导致另一个巨大的迁移费用。因为云供应商在帮助您迁移方面没有既得利益,他们为这些云到云工作流提供的工具并不存在。这些工具的第三方市场围绕着这样一种能力:要么根据对虚拟机的描述在新的云中重建虚拟机(像Chef和Puppet这样的产品),要么将虚拟机复制到新的云(如果您的源和目标受支持)(如VMware vRealize Automation和Dell cloud Manager,或特定于云的迁移)工具)。不管是哪种情况,如果您还没有使用这些工具,那么采用这些工具需要相当长的时间,而且在一天结束时,支持您的应用程序的数据仍将保留在旧的云中,因此在简单的东西被迁移之后没有前进的路径。Delphix目前支持最流行的企业云(AWS、VMWareOnPremise、带KVM的本地OpenStack,以及--即将推出的--VMware vCloud Air),因此我们处于理想的位置,可以支持云中或云之间的迁移。(我们还不支持的最后一个大型云架构是Azure,我们目前正在计划如何应对它。)利用我们几乎可以在任何地方运行的能力,我建议的第二个云架构使用Delphix复制。一旦您在Delphix的任何位置创建了数据的黄金拷贝,就可以使用Delphix复制将数据源的加密、压缩、增量更新流发送到完全不同的delphixvm。一旦您发送了数据的第一个副本,发送增量更新以保持副本的最新状态将按照您定义的时间表自动进行。因为它可以大量压缩数据(通常约为4倍,但这取决于有效负载),并且使用文件系统差异计算仅发送更改的块(而不是基于传送所有事务日志的复杂特定于数据库的备份协议),所以复制使用较少的带宽来移动数据,这可以减少移动的成本和时间云之间的数据。此外,我们构建复制的方式保证了复制源永远不会领先于复制目标而无法完成复制(这不是大多数特定于数据库的备份协议可以声明的),因此使用复制通过低带宽连接复制高更改率数据通常可以很好地工作。最后,如果您的云之间的连接不稳定,或者您需要暂停复制以暂时为另一个使用者打开一些带宽,则可以通过单击按钮来暂停并恢复复制。这些属性实际上使复制成为从本地数据中心迁移到公共云的一种好方法: Delphix复制还有更多额外的奖励:复制可以加密它通过网络发送的所有数据,我们目前正在为复制添加功能,以穿越更复杂的网络边界,如SOCKS代理。这意味着,如果使用复制,则不需要创建VPN来将云连接到生产数据。(当然,使用VPN还是有可能的——但是如果你这样做了,记住不要对你的数据进行双重加密)。您可以指定要复制的特定数据库,也可以复制所有内容。您可以复制一对多、多对一,甚至执行循环复制,为数据移动和协调提供了无与伦比的灵活性。这可以(例如)允许您一次测试多个云,以便在提交完整迁移之前,将成本降到最低。更具推测性的是,我们正在考虑为许多公共云提供的"脱机导入/导出"功能添加复制支持。这就产生了极高的延迟、极高的吞吐量"网络连接"。基本上,您将要传输的数据写入一个备用磁盘,通过联邦快递将磁盘发送给公共云提供商,提供商将您的数据复制到云和

  • 企业云_哪里买_大数据网站 企业云_哪里买_大数据网站

    Delphix最近与AWS合作,帮助人们和团队加快并确保迁移到业界领先的Amazon Web服务云平台。AWS市场上的Delphix结合了AWS,加快了重要的迁移项目,并将时间从几周、几个月缩短到几天。客...

  • 云存储服务器_网站_云存储文件上传 云存储服务器_网站_云存储文件上传

    数据操作帮助人们与数据连接的方式因技术、用户和用例的不同而有很大差异。例如,数据民主化一直是分析界的话题,专注于为非技术用户提供回答关键问题和推动业务新见解所需...

  • 带宽和网速的关系_如何租用_工业大数据 带宽和网速的关系_如何租用_工业大数据

    在大多数人可能会做噩梦,梦到上班时忘了穿裤子,数据库管理员(DBA)的噩梦围绕着出现在工作中,被告知生产系统出现严重故障或其他高影响情况,而完全不知道。监控和警觉是...

  • 阿里服务器_如何选_物联网开发套件 阿里服务器_如何选_物联网开发套件

    几天前,在旧金山的纳斯达克中心,我见到了首席信息官Ken Piddington先生,他也是首席信息官的执行顾问。Ken说:"我和首席信息官和IT部门的首要任务是数据转换。"事实上,他经常听...

  • 阿里服务器_阿里云_国内物联网操作系统 阿里服务器_阿里云_国内物联网操作系统

    "对创新的需求正在增长,而且增长迅速,"埃森哲的吉滕德拉·卡瓦特卡尔(Jitendra Kavathekar)最近在旧金山举行的Delphix数据活动上评论道我们需要将人们与技术联系起来,推动全球的...

  • <strong>香港cn2服务器_什么是_大数据分析软件有</strong> 香港cn2服务器_什么是_大数据分析软件有

    数据的使用应该是无摩擦的,让数据消费者能够看到和访问所有版本的授权数据,而不必考虑位置、云平台或存储供应商。为了确保这些能力,企业实施解决方案,在管理数据的运营...

  • 数据云_怎么购买_云服务器哪便宜 数据云_怎么购买_云服务器哪便宜

    上周,我们的一个主要合作伙伴给我发了一封信,帮助他了解在Oracle和SQL Server上实现Delphix的方式之间的差异。如果您不熟悉Delphix动态数据平台(DDP),那么在您阅读完Oracle的支持和...

  • 负载均衡_如何租用_人工智能用的什么技 负载均衡_如何租用_人工智能用的什么技

    德尔菲斯工程和支持是非常了不起的人。他们继续寻求解决方案,不管需要多少时间,也不管他们面临支持异构环境、硬件配置和客户需求的复杂挑战。这篇文章是为了支持我们的团...

  • 大宽带服务器_海外_关系型数据库和非关 大宽带服务器_海外_关系型数据库和非关

    大家好!我又回到了"演示马鞍"上,来展示将数据从一个云复制到另一个云是多么容易。数据摩擦比比皆是,很少有地方像云迁移项目那样感受到数据摩擦。将数据传输到云中可能是一...