使用 Fujitsu Open MPI

Simcenter STAR-CCM+ 支持具有 Tofu 互连的 A64FX 群集的 Fujitsu Open MPI 变体。

为了利用 Fujitsu A64FX 系统上的 Tofu 互连功能:

  1. 在 Fujitsu 系统上针对 Fujitsu Open MPI 编译 MPIwrapper 库,并相应地设置 MPITRAMPOLINE_LIB(有关更多信息,请参见使用自定义 MPI 实施)。
  2. 设置 OPENMPI_DIR 环境变量以指向 Fujitsu Open MPI 安装目录。
  3. 通过向 starccm+ 命令添加 -mpi fujitsu,选择 Fujitsu Open MPI。

Fujitsu Open MPI 通常与 Fujitsu 的技术计算套件 (TCS) 一起安装。

在 Fujitsu A64FX 系统上运行 Simcenter STAR-CCM+ 的示例可能是:

export MPITRAMPOLINE_LIB=/path/to/libmpiwrapper.so
export OPENMPI_DIR=/opt/FJSVxtclanga/tcsds-1.2.35/
/path/to/star/bin/starccm+ -mpi fujitsu -np 48 -noconnect <options> example.sim

Simcenter STAR-CCM+ 一起分发的常规 Open MPI 不支持 Tofu 互连,不能在多节点环境中使用。

有关详细信息,请参见使用 Open MPI、Fujitsu A64FX 系统上的 MPI 用户指南和 Open MPI 文档。

控制台独占会话

Fujitsu Open MPI 以非标准方式重定向标准输出/错误消息,导致 Simcenter STAR-CCM+ 在多节点环境中的启动问题。如果观察到启动过程中挂起,那么将 -noconnect 选项添加到命令行标志中可指定控制台独占会话并修复启动问题。有关更多信息,请参见命令行参考

远程 Shell

如果系统或用户(通常为 pjrsh)未正确设置远程 Shell,则可能需要通过向命令行标志添加 -rsh /path/to/pjrsh-mpiflags "-mca plm_rsh_agent /path/to/pjrsh" 手动设置它。

Machinefile 和 Host 选择

Fujitsu Open MPI 不支持通过 -on-machinefile 的手动主机选择。请通过作业提交系统选择正确的节点和进程数,并仅使用 -np 选项指定总进程数。

结构选择

Fujitsu Open MPI 不支持结构选择或结构详细说明。它经过调整,以最佳方式利用特殊的 Tofu 网络互连。

在快速文件系统上运行

为了获得最佳性能,Simcenter STAR-CCM+ 安装、模拟文件、批处理宏和其他元素应位于快速并行文件系统中。此文件系统的位置因群集而异。请确保检查本地文档或联系群集管理员,以确定要使用的文件系统。