TACC牧场技术升级改善了宝贵的数据存储

高级计算的用户可能会参与其中。数据的指数级增长对其可靠存储的努力提出了严峻挑战。12年多来，德克萨斯高级计算中心(TACC)的Ranch系统为从天体物理学到气候科学再到粒子物理学的研究数据提供了长期存档。硬件和软件的新升级为TACC牧场长期海量数据存储系统的52000多名用户带来了好消息。

这些文件对于那些想要利用这些数据来帮助重现先前研究的测量结果和结果的科学家来说非常有用。计算再现性是更大的科学再现性概念的一部分，它构成了科学方法的基石。

TACC承诺全力支持科学家的数据需求。踩踏2和Lonestar等本地计算系统提供暂存空间，专门用于临时存储数据。下一个阶梯是堆料场和畜栏的正向数据采集系统，可以通过高速网络连接或iRODS数据网格直接访问50 PB的组合存储。另一方面，Ranch允许将数据长期归档几个月。

截至2019年4月，Ranch已经存储了超过70PB，即7000万千兆字节的科学数据。超过52，000名用户在正在升级的旧牧场图书馆上传了近17亿个计算机文件。假设Ranch的新升级可以将其存储空间扩展到令人难以置信的exabyte，即1,000 PB。

“对于用户来说，更多的数据将更容易获得，其磁盘缓存比以前的Ranch系统多15倍，”TACC高级计算系统主管Tommy Minyard说。TACC超级计算机(如screened 2、Lonestar或Maverick)生成的新数据首先在Ranch的旋转磁盘和闪存驱动器上进行，然后传输到磁带上。

Ranch已升级为DataDirect Networks、DDN SFA14K DCR提供的数据块存储系统，提供30 PB旋转磁盘缓存，只需在硬件上更换其中两个即可。“这意味着我们将能够在磁盘上保留更多的数据，以便更快地检索，并且您不必从磁带中调用它，”Minyard补充道。

Ranch的另一个流行变化来自Quantum Company，它提供了Scalar i6000磁带库和Quantum StorNext归档文件系统，可以协调磁盘和磁带存储。“我们选择量子系统是基于它的功能和灵活性，”TACC先进计算系统集团的高级系统管理员和大型系统经理Junseong Heo说。

“具体来说，Quantum提供了一个配额控制机制，使TACC能够根据分配为用户提供项目区域，”Heo补充道。这意味着用户可以更容易地访问数据和监督资源的使用。“基于项目的配额曾经是用户的愿望清单，”Heo说。

产品高级总监Eric Bassier表示：“TACC专注于持续创新，创造了一个给存储带来巨大压力的环境，Quantum长期以来一直站在管理满足可靠性、可访问性和大规模可扩展性等最极端要求的解决方案的最前沿。营销，量子。标量磁带和StorNext数据管理功能的结合创造了一个HSM(分层存储管理)解决方案，可以在TACC环境的恶劣条件下提供

Minyard补充说：“新系统为我们提供了一些额外的功能，使我们能够比旧系统更好地处理项目数据和存储层。对于大量使用Ranch的用户来说，这是一个特别好的消息，因为他们的任务可能会经常变化。当前归档系统中最重的100个用户的组合超过了20 PB。

用户将注意到的一个主要变化是采用了社区企业操作系统(CentOS)环境，它取代了以前的Solaris环境。当用户浏览CentOS将他们的文件迁移到新的Ranch图书馆时，TACC将在12个月内提供对旧图书馆数据的只读访问，直到2020年3月31日。用户应该以适当的数据大小检查和迁移数据。对于磁带归档，单个文件的大小最好大于100千兆字节。

“存档数据没有吸引力，但它是必要的，”明亚德说。“我不知道我们有多少次有人因为不小心删除文件而感到恐慌，TACC可以从Ranch召回文件。从他们的角度来看，Ranch是一个拯救生命的人，”Minyard说。

标签：