当前位置:主页 > 大数据 > 正文

哪种云存储好用_怎么选_云计算平台优势

时间:2021-04-08 22:53 来源:埃里克云 编辑:埃里克云

核心提示

大约一年前,我有机会与同事Matt Ahrens和Frank Salzmann一起为OpenZFS zinject命令做一个小的扩展,当时我们在Delphix工程范围内的一个hackathon活动中。现在它正在登陆上游的OpenZFS存储库,我...

哪种云存储好用_怎么选_云计算平台优势

大约一年前,我有机会与同事Matt Ahrens和Frank Salzmann一起为OpenZFS zinject命令做一个小的扩展,当时我们在Delphix工程范围内的一个hackathon活动中。现在它正在登陆上游的OpenZFS存储库,我想花点时间来展示一下。为了描述新功能,我将参考帮助消息:$zinject-h... <;snip>。。。zinject-d设备-d延迟:车道池为特定的IO请求添加人工延迟设备,以便请求占用最小的"延迟"毫秒完成。每个延迟都有一个"车道数"用于定义并发的数量可以处理的IO请求。例如,单车道延迟为10毫秒(-D 10:1),设备只能处理单个IO请求每次每次请求需要10毫秒才能完成。所以,如果每10毫秒只提交一个请求,则平均延迟为10毫秒;但如果有多个请求每10毫秒提交一次,平均延迟会更大10毫秒以上。类似地,如果10 ms的延迟被指定为具有两个车道(-d10:2),那么设备就可以服务了一次两个请求,每个请求的最小延迟为所以,如果每10毫秒提交两个请求,那么平均延迟超过10毫秒请求每10毫秒提交一次,平均延迟将超过10毫秒。还要注意,这些延迟是累加的。所以两次祈祷of'-d10:1',大致相当于一次调用'-D的10:2'。这也意味着,可以指定多个具有不同目标延迟的车道。例如,一个调用"-D 10:1"后接"-D 25:2"将在设备上创建3个通道;一个通道具有延迟10毫秒,两个通道,延迟25毫秒。... <;snip>。。。有了这个解释,让我们深入研究并用几个例子来试驾一下。设置和基线首先,让我们从一个基本示例开始,使用一个具有单个磁盘的池:#zpool创建水箱c1t1d0#zfs创建tank/foo现在让我们对池执行一些IO操作,并使用dtrace检查请求的延迟,以获得对此池的写入IO延迟的基准预期值。在一个终端上运行时,我有一个简单的、单线程的写工作负载在无限循环中运行。这将不断地将一些随机数据复制到池中的一个文件中,删除该文件,然后重复。#dd if=/dev/urandom of=/tmp/urandom cache bs=1M count=1024&>;/dev/null#虽然是真的;做>;cp/tmp/urandom缓存/tank/foo/urandom缓存>;同步>;客房/储物罐/食品/铀存储>;同步完成现在,让我们看看文件系统使用dtrace向磁盘发出的写请求的延迟(请参阅此处以获取此dtrace脚本的源代码):#dtrace-qs-zio-rw延迟。d-c'sleep 60'坦克写入延迟直方图(us):值--------分布--------计数128 | 0256 | 248512@@@@62041024;@@@@@@@@@@@@@@@@@@@@@@@@@@@262182048年,130704096|@@24748192 | 41616384 | 5632768 | 765536 | 0平均延迟(us)STDEV(us)iops吞吐量(KB/s)2025年1609 811 99623这是一个柱状图,显示了在特定时间间隔内提交并完成到池中的所有写入操作的延迟。此外,它还向我们显示了所有请求的延迟的平均值和标准偏差、每秒发出和完成的请求数以及这些写入所实现的吞吐量。这设置了我们期望从这种存储配置中获得的基准性能;大多数请求的服务时间不到8毫秒,平均约为2毫秒,标准偏差约为1.5毫秒。第一个实验:单圆盘,单通道现在我们已经有了一些比较的基线数字,让我们使用新的zinject功能来减慢请求的速度。假设我们希望延迟所有请求,以便它们至少需要10ms才能完成。记住,我们在上一节中使用一个名为c1t1d0的磁盘创建了这个池,我们可以将这个磁盘的最小延迟设置为所需的10ms:#zinject-d c1t1d0-d 10:1储罐添加了具有以下属性的处理程序1:水池:水池vdev:c138fa4fbf3d8f2为了再次检查这是否是在我们的池中注册的唯一延迟,我们可以在不使用任何参数的情况下运行zinject来转储所有注册延迟的列表:#津尼特ID池延迟(毫秒)通道GUID--- --------------- --------------- --------------- ----------------1罐10 1 c138fa4fbf3d8f2"lanes"列描述每个注册延迟可以同时处理的请求数;因此,这个延迟指定一次只能处理一个请求,每个请求至少需要10ms才能完成。现在,有了这个延迟,上一节中的相同写工作负载仍然在运行,我们可以再次使用dtrace来检查写请求延迟、IOPs和吞吐量值。考虑到这种延迟,我们预计不会在10毫秒内完成任何请求,因此,IOPs和吞吐量将受到严重影响:#dtrace-qs-zio-rw延迟。d-c'sleep 60'坦克写入延迟直方图(us):值--------分布--------计数4096 | 08192 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@417716384 |@@@@@89432768 |@@@@80765536 | 1131072 | 0平均延迟(us)STDEV(us)iops吞吐量(KB/s)17080 12448 97 12518万岁!这符合我们的期望!实际上,我们不能用16M的范围来判断,因为我们不能用16M的范围来区分。等等,平均延迟呢?在这一点上,您可能会看到上一个实验的平均延迟输出,并想知道为什么它比我们的目标延迟10毫秒要大得多。如果没有延迟,大多数请求将在8毫秒内完成,那么为什么延迟延迟的平均延迟没有接近所需的10毫秒?请记住,当我们创建延迟时,我们将其指定为具有单个"车道"。这意味着一次只能处理一个请求。如果每10ms向底层磁盘提交多个写入操作,则每个新的写入请求都将由任何现有请求进行备份。换句话说,每个通道代表一个FIFO队列。当提交新的IO请求时,将选择等待时间最短的FIFO队列(例如,如果有多个通道可供选择),然后将请求放入队列中,等待轮到它处理并最终完成。因此,在上面的例子中,如果在当前正在处理另一个请求的同时提交了一个请求,并且还有7ms的时间要完成,那么这个新请求的延迟将至少为17ms;等待前一个请求被处理所花费的时间是7ms,而自己处理的时间是10ms。由于OpenZFS问题的写入方式,肯定会同时提交多个请求,因此这种情况很常见,并解释了之前实验中的平均延迟。第二个实验:单盘,多通道如果前面描述的行为实际上不是我们想要的,我们可以模拟一个实现,在这个实现中,请求不关注先前的请求,方法是添加一个具有足够通道的延迟,以便始终有一个开放的通道来接受新的请求。作为一个例子,让我们创建一个与之前相同的10ms最小延迟的延迟,但是我们将创建16个通道,而不是1个通道:#zinject-c全部已删除所有注册的处理程序#zinject-d c1t1d0-d 10:16罐添加了具有以下属性的处理程序2:水池:水池vdev:c138fa4fbf3d8f2#津尼特ID池延迟(毫秒)通道GUID--- --------------- --------------- --------------- ----------------2罐10 16 c138fa4fbf3d8f2假设幻数16足以防止新请求堆积在旧的正在进行的请求之后,我们现在应该看到平均延迟趋势更接近指定的10ms:#dtrace-qs-zio-rw延迟。d-c'sleep 60'坦克写入延迟直方图(us):值--------分布--------计数4096 | 08192;@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@883616384 | 3932768 | 1165536 | 1131072 | 1262144 | 0平均延迟(us)STDEV(us)iops吞吐量(KB/s)10261 3022 148 18463很 完美!正如预期的那样,平均延迟现在已经接近我们期望的10ms

  • 企业云_哪里买_大数据网站 企业云_哪里买_大数据网站

    Delphix最近与AWS合作,帮助人们和团队加快并确保迁移到业界领先的Amazon Web服务云平台。AWS市场上的Delphix结合了AWS,加快了重要的迁移项目,并将时间从几周、几个月缩短到几天。客...

  • 云存储服务器_网站_云存储文件上传 云存储服务器_网站_云存储文件上传

    数据操作帮助人们与数据连接的方式因技术、用户和用例的不同而有很大差异。例如,数据民主化一直是分析界的话题,专注于为非技术用户提供回答关键问题和推动业务新见解所需...

  • 带宽和网速的关系_如何租用_工业大数据 带宽和网速的关系_如何租用_工业大数据

    在大多数人可能会做噩梦,梦到上班时忘了穿裤子,数据库管理员(DBA)的噩梦围绕着出现在工作中,被告知生产系统出现严重故障或其他高影响情况,而完全不知道。监控和警觉是...

  • 阿里服务器_如何选_物联网开发套件 阿里服务器_如何选_物联网开发套件

    几天前,在旧金山的纳斯达克中心,我见到了首席信息官Ken Piddington先生,他也是首席信息官的执行顾问。Ken说:"我和首席信息官和IT部门的首要任务是数据转换。"事实上,他经常听...

  • 阿里服务器_阿里云_国内物联网操作系统 阿里服务器_阿里云_国内物联网操作系统

    "对创新的需求正在增长,而且增长迅速,"埃森哲的吉滕德拉·卡瓦特卡尔(Jitendra Kavathekar)最近在旧金山举行的Delphix数据活动上评论道我们需要将人们与技术联系起来,推动全球的...

  • <strong>香港cn2服务器_什么是_大数据分析软件有</strong> 香港cn2服务器_什么是_大数据分析软件有

    数据的使用应该是无摩擦的,让数据消费者能够看到和访问所有版本的授权数据,而不必考虑位置、云平台或存储供应商。为了确保这些能力,企业实施解决方案,在管理数据的运营...

  • 数据云_怎么购买_云服务器哪便宜 数据云_怎么购买_云服务器哪便宜

    上周,我们的一个主要合作伙伴给我发了一封信,帮助他了解在Oracle和SQL Server上实现Delphix的方式之间的差异。如果您不熟悉Delphix动态数据平台(DDP),那么在您阅读完Oracle的支持和...

  • 负载均衡_如何租用_人工智能用的什么技 负载均衡_如何租用_人工智能用的什么技

    德尔菲斯工程和支持是非常了不起的人。他们继续寻求解决方案,不管需要多少时间,也不管他们面临支持异构环境、硬件配置和客户需求的复杂挑战。这篇文章是为了支持我们的团...

  • 大宽带服务器_海外_关系型数据库和非关 大宽带服务器_海外_关系型数据库和非关

    大家好!我又回到了"演示马鞍"上,来展示将数据从一个云复制到另一个云是多么容易。数据摩擦比比皆是,很少有地方像云迁移项目那样感受到数据摩擦。将数据传输到云中可能是一...