当前位置:主页 > 物联网IoT > 正文

大数据和云计算__数据库云服务器

时间:2021-04-09 00:20 来源:埃里克云 编辑:埃里克云

核心提示

去年,在Oracle Open World 2013中,我发布了一项研究,证明使用Delphix,组织可以将其在线事务处理(OLTP)应用程序的性价比提高10倍。我运行了26个虚拟数据库(VDB),每个数据库每分钟...

大数据和云计算__数据库云服务器

去年,在Oracle Open World 2013中,我发布了一项研究,证明使用Delphix,组织可以将其在线事务处理(OLTP)应用程序的性价比提高10倍。我运行了26个虚拟数据库(VDB),每个数据库每分钟35000个事务,从一个Delphix引擎获得的总负载为每分钟910000个事务。运行26个VDB的原因是,为了运行更多的VDB,我在实验室的CPU马力(服务器)用完了。几个月前,我们为Delphix发布了一个AWS端口。在AWS中有了一个功能齐全的实验室,我现在有了无限的计算资源可供使用——当然是要付出代价的。事实上,我可以在短时间内添加大量的计算,而不必支付大量的前期费用,这是不可抗拒的。我想重做去年的实验,看看能不能把分数提高一点。从AWS的早期研究中,我知道,对于运行高性能的数据库应用程序,为存储配置足够数量的IOPS是至关重要的。因此,如果我重新运行我的研究,在AWS中通过DE每分钟驱动一百万个事务,这将在存储和(几乎70000)调配的IOPS上花费大量资金。少花钱多办事Delphix与存储无关,但我们需要底层存储有能力维持所有预期虚拟化数据库的总负载。我们不断地投入资金,使Delphix能够更有效地利用资源来处理存储不尽如人意的实例。Delphix缓存技术就是这样一个特性,它允许Delphix用更少的资源做更多的事情。在去年的实验中,我使用了一个全闪存阵列作为Delphix的后端存储。我想说明Delphix能够充分利用底层存储的潜力并保持高IOPS。对于当前的实验,我想展示我们的缓存,以支持VDB的高IOPS,即使后端存储只能维持这些IOPS的一小部分。但单纯的缓存是不够的。许多大型数据库的聚合工作集在内存中缓存的成本将高得惊人。内存虚拟化Delphix为提高缓存效率而采用的另一项关键技术是内存虚拟化——在缓存中存储一个块的单个副本,即使有多个VDB在读取它。在前面的一篇博客文章中,我展示了内存虚拟化技术如何帮助节省从数据库应用程序加载所需的总IOPS的成本。此功能有两个主要优点:当从Delphix缓存处理负载时,我只需要购买应用程序所需IOPS的一小部分。在Delphix缓存中运行IO与在后端存储上运行相同的负载相比,消耗更少的Delphix CPU。对于这个实验,我使用了一个带有32个CPU的EC2实例,并将Delphix缓存限制为64GB。我发现64GB足够处理80%的工作集。我还希望保持Delphix缓存与数据库大小的合理比例,以便结果可以转化为更大的应用程序。这种折衷允许我维持80%的缓存读取,让后端存储处理其余的。敏捷云在将我所有的本地实验室环境迁移到AWS之后,我已经准备好了1tboltp数据库。我所需要的只是创建26个数据库的副本来将负载驱动到Delphix上。如果您认为克隆1TB Oracle数据库很困难,请尝试克隆其中26个数据库同步到同一时间点。坦白说,我甚至不知道如何开始这样做。如果没有Delphix,即使是在AWS中,对于每个新的DB,此任务包括几个步骤:克隆新的EC2实例为新实例创建弹性块存储(EBS)卷:将EBS卷附加到实例;预热EBS卷将数据库克隆到新实例上在新数据库上应用日志以同步到特定时间点在AWS上使用Delphix后的几个小时内,我就可以建立26个vdb,所有这些vdb都配置到一个时间点。这项任务非常简单,只需克隆一个EC2实例并在其上配置一个VDB。每个新的VDB只需几分钟。使用Delphix,我不需要创建更多的存储或执行任何存储管理,也不需要任何Oracle魔力来应用日志和检查数据是否同步到同一点等等。本博客中包含的视频说明了我能够以何种速度应对所有环境并准备好运行加载。缩放交易率当我开始在26个VDB中驱动负载并对其进行调整后,事情变得非常有趣。正如预期的那样,与去年相比,Delphix上的CPU利用率更低—80%的负载是由Delphix缓存提供的。由于Delphix引擎有多余的容量,我又增加了4个VDB。即使有30个VDB运行OLTP负载,大约每分钟30000个事务,Delphix引擎上的网络和CPU上仍有将近50%的空闲容量。瓶颈是Oracle节点上的CPU—我可以很容易地在AWS中扩展这个资源。在超过了去年实验的性能之后,我研究了这个装置的成本。去年我们演示了,对于需要大量IOPS的高性能OLTP应用程序,传统的旋转磁盘存储变得非常昂贵。Delphix通过VDB的精简配置减少了工作负载的总存储空间,并使全闪存阵列能够为工作负载提供服务。我们证明了Delphix和闪存的结合在性价比上提高了10倍。对于本研究的云计算部分,我希望进一步降低成本并可能增加负载。利用Delphix缓存和内存虚拟化技术,我能够将IOPS的需求进一步降低7倍。与传统设置相比,性价比提高了15倍,与使用全闪存阵列的内部设置相比提高了5倍。请注意,即使有这样的负载,我在Delphix引擎上也有将近50%的备用容量。结论随着Delphix在AWS上的运行,我有机会重新尝试去年的一个大型复杂的实验。我能够证明,依赖OLTP应用程序的组织可以在云中使用Delphix实现与他们的内部环境类似的性能。但好处不止于此。我们还看到,使用Delphix缓存和内存虚拟化技术,组织可以看到在云中安装OLTP的性价比提高了15倍。主要的好处是减少了对AWS昂贵的sla的依赖,在本例中提供了IOPS。

  • 企业云_哪里买_大数据网站 企业云_哪里买_大数据网站

    Delphix最近与AWS合作,帮助人们和团队加快并确保迁移到业界领先的Amazon Web服务云平台。AWS市场上的Delphix结合了AWS,加快了重要的迁移项目,并将时间从几周、几个月缩短到几天。客...

  • 云存储服务器_网站_云存储文件上传 云存储服务器_网站_云存储文件上传

    数据操作帮助人们与数据连接的方式因技术、用户和用例的不同而有很大差异。例如,数据民主化一直是分析界的话题,专注于为非技术用户提供回答关键问题和推动业务新见解所需...

  • 带宽和网速的关系_如何租用_工业大数据 带宽和网速的关系_如何租用_工业大数据

    在大多数人可能会做噩梦,梦到上班时忘了穿裤子,数据库管理员(DBA)的噩梦围绕着出现在工作中,被告知生产系统出现严重故障或其他高影响情况,而完全不知道。监控和警觉是...

  • 阿里服务器_如何选_物联网开发套件 阿里服务器_如何选_物联网开发套件

    几天前,在旧金山的纳斯达克中心,我见到了首席信息官Ken Piddington先生,他也是首席信息官的执行顾问。Ken说:"我和首席信息官和IT部门的首要任务是数据转换。"事实上,他经常听...

  • 阿里服务器_阿里云_国内物联网操作系统 阿里服务器_阿里云_国内物联网操作系统

    "对创新的需求正在增长,而且增长迅速,"埃森哲的吉滕德拉·卡瓦特卡尔(Jitendra Kavathekar)最近在旧金山举行的Delphix数据活动上评论道我们需要将人们与技术联系起来,推动全球的...

  • <strong>香港cn2服务器_什么是_大数据分析软件有</strong> 香港cn2服务器_什么是_大数据分析软件有

    数据的使用应该是无摩擦的,让数据消费者能够看到和访问所有版本的授权数据,而不必考虑位置、云平台或存储供应商。为了确保这些能力,企业实施解决方案,在管理数据的运营...

  • 数据云_怎么购买_云服务器哪便宜 数据云_怎么购买_云服务器哪便宜

    上周,我们的一个主要合作伙伴给我发了一封信,帮助他了解在Oracle和SQL Server上实现Delphix的方式之间的差异。如果您不熟悉Delphix动态数据平台(DDP),那么在您阅读完Oracle的支持和...

  • 负载均衡_如何租用_人工智能用的什么技 负载均衡_如何租用_人工智能用的什么技

    德尔菲斯工程和支持是非常了不起的人。他们继续寻求解决方案,不管需要多少时间,也不管他们面临支持异构环境、硬件配置和客户需求的复杂挑战。这篇文章是为了支持我们的团...

  • 大宽带服务器_海外_关系型数据库和非关 大宽带服务器_海外_关系型数据库和非关

    大家好!我又回到了"演示马鞍"上,来展示将数据从一个云复制到另一个云是多么容易。数据摩擦比比皆是,很少有地方像云迁移项目那样感受到数据摩擦。将数据传输到云中可能是一...