当前位置:主页 > 虚拟主机 > 正文

云服务器优惠_美国_大数据存储平台

时间:2021-04-09 02:21 来源:埃里克云 编辑:埃里克云

核心提示

给出气体动力学和大气的描述,你很难预测龙卷风。涌现一词是指复杂系统中出现的令人惊讶的行为现象,现代存储系统是复杂的,并且充满了突发行为,使得预测应用程序的I/O性能...

云服务器优惠_美国_大数据存储平台

给出气体动力学和大气的描述,你很难预测龙卷风。涌现一词是指复杂系统中出现的令人惊讶的行为现象,现代存储系统是复杂的,并且充满了突发行为,使得预测应用程序的I/O性能变得异常困难。在与凯尔·海利、亚当·列文塔尔和其他人的合作中,我学会了一些如何做出准确的I/O性能预测的经验法则,同时我也学会了一路走来所能想到的每一个耙子。对于那些还希望预测应用程序将获得的存储性能的人,本文总结了一些经验教训。当我开始评估存储性能时,我有一个天真的想法,这个过程应该是这样的:我很快发现实际的过程更像这样:在经历这个过程的过程中,我汇编了大量的性能异常,如果您与各种存储平台交互,您可能会遇到这些异常情况,以及一些异常的解释性说明。下面是一些设计I/O仿真或测试的方法,以避免它们。I/O性能异常异常名称特征Notes缓存不可能有好的性能:比连接到存储所能提供的吞吐量更高延迟意味着比光更快地通过电缆传输到存储器通常操作系统和底层存储阵列将具有大内存缓存。驱动程序也会倾向于缓存少量数据。这主要发生在读测试期间,但根据应用程序的不同,写语义也可能在写测试期间发生。共享驱动器性能不一致在存储系统中,通常从存储池中分配LUN或文件系统,这些存储池由与其他LUN共享的大量物理驱动器组成。到存储的共享连接性能不一致,尤其是:高吞吐量测试具有1 GB以太网连接的NAS存储对于在一个VM中进行的存储测试,同一物理服务器上的其他VM可以与您的测试争用对存储的访问。I/O请求整合有点自相矛盾,比预期的延迟和吞吐量都要高。特别是对于小的顺序非同步写入,各种I/O层可以将应用程序发出的多个I/O组合在一起,然后再将它们发送到存储或较低层。I/O请求碎片比预期的延迟更高,吞吐量更低,尤其是对于大型I/O或基于NFS的NAS存储,大型应用程序I/O请求可以分解为多个更小的I/O,这些I/O请求由中间层连续发出。预读不太可能有好的顺序读取性能意外的低随机I/O性能测试中途发生巨大变化的性能许多层可能会决定提前读取,也就是说,如果需要的话,乐观地获取与请求的数据相邻的数据。如果您有顺序读取工作负载,则预读将大大提高性能。如果您有随机读取工作负载,则预读可确保存储子系统组件将执行大量可能降低性能的不必要的工作。最后,一些系统将尝试识别工作负载的随机性或连续性,并动态地启用/禁用预读。这可能导致不一致的行为,例如,顺序读取测试可能会启动缓慢,然后在预读启动后加速。分层存储迁移的性能出乎意料地糟糕,尤其是在对高性能SAN(如EMC VMAX)进行初始测试时,某些存储系统巧妙地将高性能闪存驱动器、快速硬盘和速度较慢的大容量硬盘混合使用。这些系统根据其访问模式在这些层之间动态移动数据。通常,为测试而新创建的数据最初会位于速度较慢的高容量磁盘上—我曾看到过,在这些"高性能"企业级存储系统上进行初始测试时,8 kB的随机读取延迟平均约为20毫秒,峰值约为100毫秒。第一次写入惩罚—写入性能异常糟糕,尤其是在测试早期发生且不可复制时—许多存储系统、卷管理器和某些文件系统将使用某种形式的精简配置。在这些系统中,当初始写入发生在某个区域时,需要额外的开销,例如调整一些元数据和格式化该区域。对同一区域的后续写入将更快。例如,VMware上的精简配置VMDK在第一次写入时必须归零—因此,1 kB的应用程序写入可能会触发对整个VMFS块(1 MB或更大)的写入。在未写入的原始设备或区域上,Elided reads意外地具有良好的读取性能某些文件系统和存储系统知道某个区域是否已写入。尝试从未初始化的区域进行读取会导致软件提供的立即响应:"给你,全是零!"-根本不需要使用磁盘硬件。VMFS和ZFS都将执行此操作,具体取决于配置。压缩的I/O出乎意料,甚至难以置信的好的读写性能有些文件系统会压缩数据。如果I/O测试写出的模式压缩效果很好(例如所有0或所有1),则提交到物理存储并从物理存储读取的I/O量将是测试预期I/O工作负载的一小部分。存储维护—性能异常差—当我在获得不可接受的性能结果后与存储管理员交谈时,我了解到当时正在进行某种维护,例如将数据迁移到另一个存储池,重建RAID配置等。测试时避免异常以下是如何避免这些异常的总结,详情如下:尽可能使用真实的工作负载在模拟时,一定要模拟实际的应用程序工作负载使用直方图而不是平均值来评估潜伏期验证你的性能测试给出了可重复的结果在生产应用程序运行的同时运行测试,并持续足够长的时间确保测试数据与应用程序将使用和生成的数据相似尽可能使用真实的工作量。不幸的是,这通常是不可能的。例如,当新的ERP系统正在构建时,您可能无法确定月末结账时的确切工作负载,此时您需要设计和选择存储。当您必须模拟时,一定要模拟应用程序在I/O方面的实际操作。这意味着要了解读写混合、I/O大小和速率,以及发出的I/O的语义。例如:写操作是同步还是同步,是否使用直接I/O?fio是一个用于执行I/O模拟和测试的令人惊叹的工具,它可以再现大多数应用程序工作负载,具有良好的平台支持,以及活跃的开发和用户社区。在测量I/O性能时,一定要使用直方图来评估延迟,而不是只看平均值。柱状图显示异常的存在,并且可以澄清缓存的存在以及磁盘提供的实际I/O性能。例如,请参阅客户系统上实际测试中的这两个图像:首先运行顺序读取I/O测试,然后运行随机读取I/O测试。如果我们只看平均值,我们会发现顺序读取延迟大约为4毫秒,相当不错。但是,从直方图分布来看,很明显我们得到的是10-20毫秒的磁盘延迟和0.5-2毫秒的延迟,大概来自缓存。在随后的随机I/O测试中,我们看到了不太可能的好性能,平均1毫秒,I/O范围低至100微秒。我们可以很容易地看到,如果没有缓存的话,我们可以很容易地看到缓存在磁盘上的10毫秒的延迟使用第95个百分位延迟作为存储如何响应我们的测试的指导原则。同样,fio是一个很好的I/O测试工具,可以报告延迟直方图信息。多次运行测试以验证再现性。如果第二次和第三次测试运行显示的结果与第一次不同,则没有一个好的基础来预测最终的应用程序性能。如果在以后的测试中性能有所提高,则很可能您的数据正在被缓存。如果性能上下波动,则很可能是在共享基础架构上。由于共享基础结构是常见的,因此在运行关键工作负载的同时至少运行一个测试。在共享基础设施上,在实际应用程序性能很重要的时候进行测试是很重要的。例如,在应用程序的高峰负载时间进行测试,而不是在夜间或周末。顺便说一句,我偶尔会被客户错误地告知基础设施不是共享的,只是后来才知道它是共享的。对于读测试,请确保测试数据大小与最终应用程序数据的大小相当,或者至少比任何中间缓存大得多。例如,如果您正在开发1 TB OLTP系统,请尝试测试超过1 TB的数据文件。典型的SAN在多个用户之间共享10 GB的缓存。许多操作系统(特别是Linux和Solaris)倾向于使用所有可用的系统RAM作为读缓存。这意味着100GB将是绝对最小的测试数据大小,不会看到大量缓存。运行测试足够长的时间,这样就不会对结果产生实质性的影响。在实践中,我通过反复运行测试工作负载来找到一个足够的持续时间,同时逐步将持续时间加倍,直到得到两次性能相差不多的运行。使用与应用程序将使用的类似的数据初始化测试文件。这样可以避免fir

  • 企业云_哪里买_大数据网站 企业云_哪里买_大数据网站

    Delphix最近与AWS合作,帮助人们和团队加快并确保迁移到业界领先的Amazon Web服务云平台。AWS市场上的Delphix结合了AWS,加快了重要的迁移项目,并将时间从几周、几个月缩短到几天。客...

  • 云存储服务器_网站_云存储文件上传 云存储服务器_网站_云存储文件上传

    数据操作帮助人们与数据连接的方式因技术、用户和用例的不同而有很大差异。例如,数据民主化一直是分析界的话题,专注于为非技术用户提供回答关键问题和推动业务新见解所需...

  • 带宽和网速的关系_如何租用_工业大数据 带宽和网速的关系_如何租用_工业大数据

    在大多数人可能会做噩梦,梦到上班时忘了穿裤子,数据库管理员(DBA)的噩梦围绕着出现在工作中,被告知生产系统出现严重故障或其他高影响情况,而完全不知道。监控和警觉是...

  • 阿里服务器_如何选_物联网开发套件 阿里服务器_如何选_物联网开发套件

    几天前,在旧金山的纳斯达克中心,我见到了首席信息官Ken Piddington先生,他也是首席信息官的执行顾问。Ken说:"我和首席信息官和IT部门的首要任务是数据转换。"事实上,他经常听...

  • 阿里服务器_阿里云_国内物联网操作系统 阿里服务器_阿里云_国内物联网操作系统

    "对创新的需求正在增长,而且增长迅速,"埃森哲的吉滕德拉·卡瓦特卡尔(Jitendra Kavathekar)最近在旧金山举行的Delphix数据活动上评论道我们需要将人们与技术联系起来,推动全球的...

  • <strong>香港cn2服务器_什么是_大数据分析软件有</strong> 香港cn2服务器_什么是_大数据分析软件有

    数据的使用应该是无摩擦的,让数据消费者能够看到和访问所有版本的授权数据,而不必考虑位置、云平台或存储供应商。为了确保这些能力,企业实施解决方案,在管理数据的运营...

  • 数据云_怎么购买_云服务器哪便宜 数据云_怎么购买_云服务器哪便宜

    上周,我们的一个主要合作伙伴给我发了一封信,帮助他了解在Oracle和SQL Server上实现Delphix的方式之间的差异。如果您不熟悉Delphix动态数据平台(DDP),那么在您阅读完Oracle的支持和...

  • 负载均衡_如何租用_人工智能用的什么技 负载均衡_如何租用_人工智能用的什么技

    德尔菲斯工程和支持是非常了不起的人。他们继续寻求解决方案,不管需要多少时间,也不管他们面临支持异构环境、硬件配置和客户需求的复杂挑战。这篇文章是为了支持我们的团...

  • 大宽带服务器_海外_关系型数据库和非关 大宽带服务器_海外_关系型数据库和非关

    大家好!我又回到了"演示马鞍"上,来展示将数据从一个云复制到另一个云是多么容易。数据摩擦比比皆是,很少有地方像云迁移项目那样感受到数据摩擦。将数据传输到云中可能是一...