当前位置:主页 > 大数据 > 正文

cdn业务资质_海外_阿里图片云服务器

时间:2021-04-09 01:14 来源:埃里克云 编辑:埃里克云

核心提示

在我上一篇博文中,我写了关于ZFS write throttle的文章,以及我们如何看待它导致客户系统的病态延迟变化。Matt Ahrens,ZFS的联合创始人,我和我打算在OpenZFS中修复它。虽然我们得到的...

cdn业务资质_海外_阿里图片云服务器

在我上一篇博文中,我写了关于ZFS write throttle的文章,以及我们如何看待它导致客户系统的病态延迟变化。Matt Ahrens,ZFS的联合创始人,我和我打算在OpenZFS中修复它。虽然我们得到的解决方案似乎很明显,但我们只是在一个开放的解决方案空间中稍作徘徊,才达到目的。ZFS写节流阀根本上有缺陷——数据永远支持这个诊断。治疗方法远没有那么明确。核心问题涉及到实际的节流机制,允许许多快速写入,而有些写入几乎不受限制地暂停,有些人为延迟写入表面上是为了缓和着陆。此外,该机制依赖于对后端吞吐量的精确计算——这本身就是一个问题,但我们将暂时搁置一旁。在真空中的无摩擦表面上。。。即使在最严格设计、最可预测的情况下,旧的写节流阀也会在写入延迟方面产生很大的差异。考虑一个后端,它可以处理毫不动摇的100MB/s(或者1GB/s或10GB/s——选择您的数字)。对于一个有10个线程执行8KB异步写入(同样为了简单起见)达到100MB/s的客户机,平均延迟大约为780us,这不是不合理的。下面是在假设事务组完全静止并同步的情况下,使用旧的write throttle(您可能需要参阅我上一篇博客文章,以了解有关机制和一些数字的更新)。以5秒为目标写出其内容,当前打开的事务组将被限制为500MB。回想一下,在消耗了该限制的7/8之后,旧的写节流阀开始插入10毫秒的延迟,因此前437.5兆字节的数据将以平均780秒的延迟到达,但剩余的写入平均至少10毫秒(调度延迟可能会导致这一点更高)。在这个人为稳定的速率下,延迟将在进入5秒窗口的过程中发生7/8,剩下的是总数的1/8。因此,在还剩5/8秒,平均延迟为10ms的情况下,客户端将只能写入额外的500KB数据。更简单地说:数据在大部分时间内以100MB/s的速度流动,其余时间以低于1MB/s的速度流动。在这个例子中,系统插入了太多的延迟——实际上,不需要延迟。在另一种情况下,它很容易插入太少。考虑一个我们需要限制写入程序的情况。这一次,假设客户机有1000个线程,而且——因为它现在是相关的——假设我们限制在1GB/s的乐观10GbE速度。在这种情况下,客户端将在不到一秒钟内达到7/8。每10毫秒写入8KB的1000个线程仍然以800MB/s的速度推送数据,因此我们只需几秒钟就可以达到硬限制。配额用完后,所有1000个线程将阻塞大约4秒。一个可以处理100MB/s×5秒=500MB=64000×8KB的后端;64000次写入的延迟是这样的:55000次超高速,8000次在10ms,1000次在4秒。请注意,吞吐量仅略高于上一个示例中的吞吐量;平均延迟约为1000倍,这是最佳和预期的。在这个例子中,我们延迟的太少了,付出了巨大的4秒离群值的代价。如何节流一致性比平均值更重要。一家大型零售商的系统副总裁最近告诉我,他几乎总是采用较高的平均值来降低方差。我们对OpenZFS的目标是在不降低平均值的情况下保持一致的延迟(如果我们可以提高平均值,那就更好了)。考虑到总工作量,我们需要加上一定的延迟。ZFS write throttle这样做是不平等的。我们的工作是把所有的写作都推迟一点,而不是很多。我们的第一个想法是根据测量的吞吐量延迟。与上面的例子一样,假设后端的吞吐量是100MB/s,如果事务组已经打开了500ms,到目前为止我们已经累积了55MB,那么下一次写入将延迟50ms,这足以将平均值降低到100MB/s。把它想象成一条从时间零点的0MB到事务组末尾的最大大小(比如500MB)的一条对角线。当累积的数据超出这一行时,随后的写入将相应地延迟。如果我们达到了每个事务组的数据限制,那么写操作将像以前一样延迟,但只要我们准确地测量了后端吞吐量,这种情况就不太可能发生了。这个解决方案有两个问题。首先,不可能精确计算后端吞吐量。由于多租户存储阵列上的写入位置、介入的同步活动(如读取)或甚至其他工作负载,性能可能会出现显著波动。但是,即使我们能够正确地计算它,ZFS也不能把所有的时间都花在编写用户数据上;必须花一些时间来编写元数据和做其他的内务处理。大小无关紧要为了消除白板,我们添加了一个约束,放松了另一个约束:不要依赖后端吞吐量的估计,也不要太担心事务组持续时间。我们不会将事务组限制为特定的大小,而是限制在任何给定时间内可能脏(修改)的系统内存量。当内存填满超过某一点时,我们将开始按比例延迟写入。OpenZFS没有跟踪未完成的脏数据的机制。添加它是非常重要的,因为它需要跨越逻辑(DMU)和物理(SPA)边界的通信,以便在物理IOs完成时平滑地消除脏数据。给定数据冗余的逻辑操作(镜像、RAID-Z和dito块)具有多个关联的物理IO。等待它们全部完成将导致未完成的脏数据的度量出现混乱。相反,每次物理IO完成时,我们都会将逻辑大小的一小部分作废。通过使用相同的未完成脏数据度量,我们发现我们可以解决在ZFS中观察到的一个看似无关但长期存在的问题,即所谓的"纠察围栏",即ZFS向其磁盘发出的写操作的极端突然性。ZFS向设备发出的并发未完成的IOs数量固定。相反,新的IO调度程序将发出与脏数据量成比例的可变写入次数。当数据以涓涓细流方式传入时,OpenZFS会将数据以滴流方式传输到后端,一次发出一个IO。随着传入数据速率的增加,IO调度程序将更加努力地工作,调度更多的并发写入以跟上(达到固定的限制)。如上所述,如果OpenZFS不能跟上传入数据的速度,它将插入与未处理脏数据量成比例的延迟。结果目标是在不增加平均潜伏期的情况下提高一致性。我们的测试结果不言而喻(log-log-scale)。注意OpenZFS的单模式分布与来自ZFS的高度不同的结果相比。从虚线可以看出,我们设法稍微改善了平均延迟(1.04ms vs.1.27ms)。OpenZFS现在在客户端写入延迟和后端写入操作的一致性方面比ZFS有了显著的改进。此外,在调优方面,新的IO调度器改进了ZFS。旧的write throttle中神秘的神奇数字和难以捉摸的可调参数已被可理解的旋钮所取代,并且可以更直接地与观察到的行为联系起来。在本系列的最后一篇文章中,我将研究如何优化OpenZFS write throttle。

  • 企业云_哪里买_大数据网站 企业云_哪里买_大数据网站

    Delphix最近与AWS合作,帮助人们和团队加快并确保迁移到业界领先的Amazon Web服务云平台。AWS市场上的Delphix结合了AWS,加快了重要的迁移项目,并将时间从几周、几个月缩短到几天。客...

  • 云存储服务器_网站_云存储文件上传 云存储服务器_网站_云存储文件上传

    数据操作帮助人们与数据连接的方式因技术、用户和用例的不同而有很大差异。例如,数据民主化一直是分析界的话题,专注于为非技术用户提供回答关键问题和推动业务新见解所需...

  • 带宽和网速的关系_如何租用_工业大数据 带宽和网速的关系_如何租用_工业大数据

    在大多数人可能会做噩梦,梦到上班时忘了穿裤子,数据库管理员(DBA)的噩梦围绕着出现在工作中,被告知生产系统出现严重故障或其他高影响情况,而完全不知道。监控和警觉是...

  • 阿里服务器_如何选_物联网开发套件 阿里服务器_如何选_物联网开发套件

    几天前,在旧金山的纳斯达克中心,我见到了首席信息官Ken Piddington先生,他也是首席信息官的执行顾问。Ken说:"我和首席信息官和IT部门的首要任务是数据转换。"事实上,他经常听...

  • 阿里服务器_阿里云_国内物联网操作系统 阿里服务器_阿里云_国内物联网操作系统

    "对创新的需求正在增长,而且增长迅速,"埃森哲的吉滕德拉·卡瓦特卡尔(Jitendra Kavathekar)最近在旧金山举行的Delphix数据活动上评论道我们需要将人们与技术联系起来,推动全球的...

  • <strong>香港cn2服务器_什么是_大数据分析软件有</strong> 香港cn2服务器_什么是_大数据分析软件有

    数据的使用应该是无摩擦的,让数据消费者能够看到和访问所有版本的授权数据,而不必考虑位置、云平台或存储供应商。为了确保这些能力,企业实施解决方案,在管理数据的运营...

  • 数据云_怎么购买_云服务器哪便宜 数据云_怎么购买_云服务器哪便宜

    上周,我们的一个主要合作伙伴给我发了一封信,帮助他了解在Oracle和SQL Server上实现Delphix的方式之间的差异。如果您不熟悉Delphix动态数据平台(DDP),那么在您阅读完Oracle的支持和...

  • 负载均衡_如何租用_人工智能用的什么技 负载均衡_如何租用_人工智能用的什么技

    德尔菲斯工程和支持是非常了不起的人。他们继续寻求解决方案,不管需要多少时间,也不管他们面临支持异构环境、硬件配置和客户需求的复杂挑战。这篇文章是为了支持我们的团...

  • 大宽带服务器_海外_关系型数据库和非关 大宽带服务器_海外_关系型数据库和非关

    大家好!我又回到了"演示马鞍"上,来展示将数据从一个云复制到另一个云是多么容易。数据摩擦比比皆是,很少有地方像云迁移项目那样感受到数据摩擦。将数据传输到云中可能是一...