Pallelcluster
介绍
AWS ParallelCluster是一个AWS支持的开源集群管理工具,可帮助您在 AWS 云 。建立在开源 CfnCluster 项目的基础上,AWS ParallelCluster可让您快速在AWS。它自动设置所需的计算资源和共享文件系统。您可以使用AWS ParallelCluster与批处理调度程序,例如AWS Batch和Slurm。AWS ParallelCluster有助于快速入门概念验证部署和生产部署。您也可以在 AWS ParallelCluster 基础之上构建更高级别的工作流程,例如 Genomics 门户(它可自动完成整个 DNA 排序工作流程)。
最佳实践
最佳实践:主实例类型选择
虽然主节点不执行任何作业,但其功能和大小对于群集的整体性能至关重要。
在选择用于主节点的实例类型时,您希望评估以下项目:
集群大小:主节点协调集群的扩展逻辑,并负责将新节点附加到调度程序。如果您需要向上和向下扩展大量节点的集群,那么您希望为主节点提供一些额外的计算容量。
共享文件系统:在使用共享文件系统在计算节点和主节点之间共享工件时,请考虑主节点是公开 NFS 服务器的节点。因此,您希望选择具有足够网络带宽和足够专用 Amazon EBS 带宽的实例类型来处理您的工作流程。
最佳实践:网络性能
有三个提示涵盖了改善网络通信的所有可能性。
-
置放群组:集群置放群组是单个可用区中的实例的逻辑分组。有关置放群组的更多信息,请参阅置放群组中的适用于 Linux 实例的 Amazon EC2 用户指南. 您可以将集群配置为使用自己的置放群组placement_group = your-placement-group-name或让AWS ParallelCluster使用"compute"策略placement_group = DYNAMIC. 有关更多信息,请参阅 。placement_group用于多个队列模式,placement_group用于单队列模式。
-
增强联网:考虑选择支持增强型联网的实例类型。有关更多信息,请参阅 。Linux 上的增强联网中的适用于 Linux 实例的 Amazon EC2 用户指南.
-
实例带宽:带宽随实例大小而扩展,请考虑选择更适合您需求的实例类型,请参阅Amazon EBS 优化的实例和Amazon EBS 卷类型中的适用于 Linux 实例的 Amazon EC2 用户指南.
登录 ParallelCluster
pcluster list
输出
wrf4-c6g CREATE_COMPLETE 2.11.2
列出 PallelCluster 实例列表
pcluster instances wrf4-c6g
输出
MasterServer i-0160a9bc6eb015faa
ComputeFleet i-0886667ea5711a8e6