当前位置:主页 > 物联网IoT > 正文

ecs服务器_如何选_人工智能商务智能

时间:2021-04-09 00:51 来源:埃里克云 编辑:埃里克云

核心提示

OpenZFS的流行催生了一个由用户、系统管理员、架构师和开发人员组成的社区,他们提供了大量关于如何配置ZFS的建议、技巧和技巧以及经验法则。总的来说,这是ZFS社区的一个很好的...

ecs服务器_如何选_人工智能商务智能

OpenZFS的流行催生了一个由用户、系统管理员、架构师和开发人员组成的社区,他们提供了大量关于如何配置ZFS的建议、技巧和技巧以及经验法则。总的来说,这是ZFS社区的一个很好的方面,但是我想借此机会提出一条关于每个RAID-Z组中放置多少个磁盘的错误建议(术语:"zpool create tank raidz1 A1 A2 A3 A4 raidz1 B1 B2 B3 B4"有2个RAIDZ组或"vdev",每个组有4个磁盘或"4宽")。为此,让我们先来看看哪些关注点在组宽度的选择中起作用。TL;DR:根据您的IOPS需求和您愿意用于奇偶校验信息的空间量选择RAID-Z条带宽度。如果您需要更高的IOPS,则每个条带使用较少的磁盘。如果您需要更多的可用空间,请在每个条带上使用更多的磁盘。在几乎所有情况下,尝试根据精确的数字优化RAID-Z条带宽度是不相干的。要在随机IOPS上获得最佳性能,请在每个RAID-Z组中使用少量磁盘。E、 g、3宽RAIDZ1、6宽RAIDZ2或9宽RAIDZ3(在使用大块的理想情况下,所有这些都使用总存储空间的…)进行奇偶校验。这是因为RAID-Z将每个逻辑块分布在所有设备上(类似于RAID-3,而不是RAID-4/5/6)。为了获得更好的性能,请考虑使用镜像。为了获得最佳的可靠性,请使用更多的奇偶校验(例如RAIDZ3而不是RAIDZ1),并设计组以匹配存储硬件。E、 g,如果你有10个架子,每个架子有24个磁盘,你可以使用24个RAIDZ3组,每个架子有10个磁盘,每个架子上有一个。这可以容忍任何3个完整的架子死亡(或任何1个完整架子死亡加上任何2个其他磁盘死亡)。RAIDZ1奇偶校验信息使用的空间为了获得最佳的空间效率,请在每个RAID-Z组中使用大量磁盘。宽条纹不会影响空间效率。(在某些特殊情况下,至少使用5个、6个或11个磁盘(分别用于RAIDZ-1、2或3)-请参见下文了解更多详细信息。)在权衡这些问题时,了解改变参数有多大帮助是很有用的。对于随机IOPS的性能,每个RAID-Z组的性能大约相当于组中单个磁盘的性能。要使写入IOPS翻倍,需要将RAID-Z组中的磁盘数量减半。要使读取IOPS翻倍,您需要将RAID-Z组中的"数据"磁盘数量减半(例如,使用RAIDZ-2,从12个磁盘增加到7个磁盘)。请注意,流式读取性能与RAIDZ配置无关,因为只读取数据。流写性能与空间效率成正比。为了提高空间效率,通常将"数据"磁盘的数量翻一番将使每MB数据的奇偶校验量减半(例如,使用RAIDZ-2,从7个磁盘减少到12个磁盘,奇偶校验信息量将从40%减少到20%)。RAID-Z块布局[/caption]RAID-Z奇偶校验信息与每个块相关,而不是与RAID-4/5/6中的特定条带相关联。以5宽的RAIDZ-1为例。3扇区块将使用一个奇偶校验扇区加上3个数据扇区(如第2行左边的黄色块)。11扇区块将使用1个奇偶校验+4个数据+1个奇偶校验+4个数据+1个奇偶校验+3个数据(例如,第9-12行左边的蓝色块)。请注意,如果有几个块共享传统上被认为是单个"条带"的内容,那么"条带"中将有多个奇偶校验块。RAID-Z还要求每个分配都是(p+1)的倍数,这样当它被释放时,它不会留下一个太小而无法使用的空闲段(即,太小,甚至不能容纳一个单独的数据扇区加上p个奇偶校验扇区——例如,第8-9行左边的浅蓝色块,其中有1个奇偶校验+2个数据+1个填充)。因此,RAID-Z比RAID-4/5/6需要更多的空间用于奇偶校验和开销。由于对这种开销的误解,一些人建议使用"(2^n)+p"磁盘,其中p是奇偶校验"磁盘"的数量(即RAIDZ-2为2),n是一个整数。这些人会声称,例如,9宽(2^3+1)的RAIDZ1比8宽或10宽要好。这通常不是真的。这个建议的主要缺陷是它假定您使用的是2的幂次方的小块。虽然有些工作负载(例如数据库)确实使用4KB或8KB的逻辑块大小(即recordsize=4K或8K),但这些工作负载从压缩中受益匪浅。在Delphix,我们使用LZ4压缩存储Oracle、MS SQL Server和PostgreSQL数据库,通常可以看到2-3倍的压缩比。这种压缩比任何RAID-Z大小调整都更有好处。由于压缩,物理(分配)块大小不是2的幂次方,而是奇数大小,如3.5KB或6KB。这意味着我们不能依赖(压缩)块大小与RAID-Z组宽度的任何精确匹配。为了帮助理解这些(通常是不正确的)建议的来源,以及如果将recordsize=8K和compression=off与不同的RAID-Z组宽度一起使用,那么假设的好处是什么,我创建了一个电子表格,其中显示了在不同块大小和RAID-Z组宽度的情况下,奇偶校验+填充所用的空间有多大,对于RAIDZ1、2或3。您可以看到,在某些情况下,如果使用512b扇区磁盘设置一个小的记录大小,而不使用压缩,那么使用(2^n+p)磁盘所占用的空间要比少一个磁盘少很多。但是,RAID-Z组中的磁盘越多,空间效率就越低。RAIDZ1奇偶校验信息使用的空间,磁盘数量和块大小各不相同其中包括完整的RAIDZ2电子表格(包括谷歌RAIDZ3)RAIDZ1奇偶校验信息使用的空间,磁盘数量和块大小各不相同(点击查看完整的谷歌文档电子表格,包括RAIDZ2和RAIDZ3)请注意,使用4KB扇区设备设置较小的recordsize会导致普遍的低空间效率--对于recordsize=4K或8K,RAIDZ-p并不比p-way mirrors更好。基于块与条带的精确拟合,最有效的建议如下:如果您将RAID-Z用于recordsize=4K或8K和compression=off(但您可能希望compression=lz4):使用RAIDZ1时至少使用5个磁盘;使用RAIDZ2时至少使用6个磁盘;使用RAIDZ3时至少使用11个磁盘。总结一下:使用RAID-Z。不要太宽。启用压缩。有关RAID-Z的进一步阅读:Jeff Bonwick谈RAID-Z的设计(2005)adamleventhal对双奇偶校验RAIDZ2(2006)和RAIDZ3(2009)的需求背后的数学。

  • 企业云_哪里买_大数据网站 企业云_哪里买_大数据网站

    Delphix最近与AWS合作,帮助人们和团队加快并确保迁移到业界领先的Amazon Web服务云平台。AWS市场上的Delphix结合了AWS,加快了重要的迁移项目,并将时间从几周、几个月缩短到几天。客...

  • 云存储服务器_网站_云存储文件上传 云存储服务器_网站_云存储文件上传

    数据操作帮助人们与数据连接的方式因技术、用户和用例的不同而有很大差异。例如,数据民主化一直是分析界的话题,专注于为非技术用户提供回答关键问题和推动业务新见解所需...

  • 带宽和网速的关系_如何租用_工业大数据 带宽和网速的关系_如何租用_工业大数据

    在大多数人可能会做噩梦,梦到上班时忘了穿裤子,数据库管理员(DBA)的噩梦围绕着出现在工作中,被告知生产系统出现严重故障或其他高影响情况,而完全不知道。监控和警觉是...

  • 阿里服务器_如何选_物联网开发套件 阿里服务器_如何选_物联网开发套件

    几天前,在旧金山的纳斯达克中心,我见到了首席信息官Ken Piddington先生,他也是首席信息官的执行顾问。Ken说:"我和首席信息官和IT部门的首要任务是数据转换。"事实上,他经常听...

  • 阿里服务器_阿里云_国内物联网操作系统 阿里服务器_阿里云_国内物联网操作系统

    "对创新的需求正在增长,而且增长迅速,"埃森哲的吉滕德拉·卡瓦特卡尔(Jitendra Kavathekar)最近在旧金山举行的Delphix数据活动上评论道我们需要将人们与技术联系起来,推动全球的...

  • <strong>香港cn2服务器_什么是_大数据分析软件有</strong> 香港cn2服务器_什么是_大数据分析软件有

    数据的使用应该是无摩擦的,让数据消费者能够看到和访问所有版本的授权数据,而不必考虑位置、云平台或存储供应商。为了确保这些能力,企业实施解决方案,在管理数据的运营...

  • 数据云_怎么购买_云服务器哪便宜 数据云_怎么购买_云服务器哪便宜

    上周,我们的一个主要合作伙伴给我发了一封信,帮助他了解在Oracle和SQL Server上实现Delphix的方式之间的差异。如果您不熟悉Delphix动态数据平台(DDP),那么在您阅读完Oracle的支持和...

  • 负载均衡_如何租用_人工智能用的什么技 负载均衡_如何租用_人工智能用的什么技

    德尔菲斯工程和支持是非常了不起的人。他们继续寻求解决方案,不管需要多少时间,也不管他们面临支持异构环境、硬件配置和客户需求的复杂挑战。这篇文章是为了支持我们的团...

  • 大宽带服务器_海外_关系型数据库和非关 大宽带服务器_海外_关系型数据库和非关

    大家好!我又回到了"演示马鞍"上,来展示将数据从一个云复制到另一个云是多么容易。数据摩擦比比皆是,很少有地方像云迁移项目那样感受到数据摩擦。将数据传输到云中可能是一...