Pallelcluster

介绍

AWS ParallelCluster是一个AWS支持的开源集群管理工具,可帮助您在 AWS 云 。建立在开源 CfnCluster 项目的基础上,AWS ParallelCluster可让您快速在AWS。它自动设置所需的计算资源和共享文件系统。您可以使用AWS ParallelCluster与批处理调度程序,例如AWS Batch和Slurm。AWS ParallelCluster有助于快速入门概念验证部署和生产部署。您也可以在 AWS ParallelCluster 基础之上构建更高级别的工作流程,例如 Genomics 门户(它可自动完成整个 DNA 排序工作流程)。

最佳实践

最佳实践:主实例类型选择

虽然主节点不执行任何作业,但其功能和大小对于群集的整体性能至关重要。

在选择用于主节点的实例类型时,您希望评估以下项目:

集群大小:主节点协调集群的扩展逻辑,并负责将新节点附加到调度程序。如果您需要向上和向下扩展大量节点的集群,那么您希望为主节点提供一些额外的计算容量。

共享文件系统:在使用共享文件系统在计算节点和主节点之间共享工件时,请考虑主节点是公开 NFS 服务器的节点。因此,您希望选择具有足够网络带宽和足够专用 Amazon EBS 带宽的实例类型来处理您的工作流程。

最佳实践:网络性能

有三个提示涵盖了改善网络通信的所有可能性。

  1. 置放群组:集群置放群组是单个可用区中的实例的逻辑分组。有关置放群组的更多信息,请参阅置放群组中的适用于 Linux 实例的 Amazon EC2 用户指南. 您可以将集群配置为使用自己的置放群组placement_group = your-placement-group-name或让AWS ParallelCluster使用"compute"策略placement_group = DYNAMIC. 有关更多信息,请参阅 。placement_group用于多个队列模式,placement_group用于单队列模式。

  2. 增强联网:考虑选择支持增强型联网的实例类型。有关更多信息,请参阅 。Linux 上的增强联网中的适用于 Linux 实例的 Amazon EC2 用户指南.

  3. 实例带宽:带宽随实例大小而扩展,请考虑选择更适合您需求的实例类型,请参阅Amazon EBS 优化的实例和Amazon EBS 卷类型中的适用于 Linux 实例的 Amazon EC2 用户指南.

登录 ParallelCluster

pcluster list

输出

wrf4-c6g  CREATE_COMPLETE  2.11.2

列出 PallelCluster 实例列表

pcluster instances wrf4-c6g

输出

MasterServer         i-0160a9bc6eb015faa
ComputeFleet         i-0886667ea5711a8e6