Mapping ranks evenly across nodes and across resources within nodes with MPI+OMP codes (--map-by Res:PE=n:span is broken)

[drmichaeltcvx]

Is your feature request related to a problem? Please describe.
I am requesting the following mapping objective: map ranks of MPI+OMP codes as evenly as possible across nodes and spread ranks within nodes as evenly as possible over NUMA domains or L3 caches. This is a show-stopper issue for us.

Also, L3cache on AMD Zen4 systems (with 8 cores sharing an L3 cache) is incorrectly treated the same as a memory domain mapping.

Describe the solution you'd like
This is a HPC use case: Memory BW (or L3 cache capacity) limited codes would benefit by spreading the ranks evenly over as many memory controllers (L3 Caches) as possible. Example of these codes are large numerical simulation including finite-difference, finite element or finite volume methods. They traverse large swaths of memory easily overwhelming L3 capacities (thus limiting effectiveness of cache-blocking in loops) and are almost exclusively DRAM BW limited. They would most benefit by spreading ranks over as many memory controllers as available. In this scenario users want to launch MPI OMP ranks onto a subset of the available cores so as not to exceed the BW each controller can server to the ranks mapped to these controller.

Unfortunately, OpenMPI's mapping logic is missing the capability of spreading ranks with OMP threads as evenly as possible over nodes and then over numa domains or L3 caches within nodes. When we use a "--map-by resource:span" or a "--map-by ppr:_N_:resource:span" clause mapping selects the resource in sequence and coreectly allocates 1 core (slot) to each rank. However, when we have MPI+OMP codes we need to allocate as many cores to each rank as OMP threads. The syntax for this would be "--map-by resource:PE=n:span", n OMP threads, but this will bunch up all ranks to the first set of nodes that can satisfy the request as opposed to evenly spreading ranks across nodes.

For instance assume 2 nodes with 176 cores each with 2 sockets and 4 memory domains per node. If we want to map say, 32 ranks evenly over NUMA domains we can use

mpirun $CLIMPIOPTS --map-by numa:span -np 16 hostname
that correctly maps 16 ranks evenly across nodes and NUMA domains:
``
$ mpirun $CLIMPIOPTS --map-by socket:span -np 16 hostname
[ccnpusc4000000.p.ussc.az.chevron.net:103408] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000000.p.ussc.az.chevron.net:103408] MCW rank 1 bound to socket 1[core 88[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000000.p.ussc.az.chevron.net:103408] MCW rank 2 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000000.p.ussc.az.chevron.net:103408] MCW rank 3 bound to socket 1[core 89[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000000.p.ussc.az.chevron.net:103408] MCW rank 4 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000000.p.ussc.az.chevron.net:103408] MCW rank 5 bound to socket 1[core 90[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000000.p.ussc.az.chevron.net:103408] MCW rank 6 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000000.p.ussc.az.chevron.net:103408] MCW rank 7 bound to socket 1[core 91[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000001.p.ussc.az.chevron.net:99972] MCW rank 8 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]

[ccnpusc4000001.p.ussc.az.chevron.net:99972] MCW rank 9 bound to socket 1[core 88[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]

[ccnpusc4000001.p.ussc.az.chevron.net:99972] MCW rank 10 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]

[ccnpusc4000001.p.ussc.az.chevron.net:99972] MCW rank 11 bound to socket 1[core 89[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]

[ccnpusc4000001.p.ussc.az.chevron.net:99972] MCW rank 12 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]

[ccnpusc4000001.p.ussc.az.chevron.net:99972] MCW rank 13 bound to socket 1[core 90[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]

[ccnpusc4000001.p.ussc.az.chevron.net:99972] MCW rank 14 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000001.p.ussc.az.chevron.net:99972] MCW rank 15 bound to socket 1[core 91[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]

``

However, when we have say 2 OMP threads / rank, using

mpirun $CLIMPIOPTS --map-by numa:PE=2:span -np 16 hostname
maps all ranks to the first node :

``
[ccnpusc4000000.p.ussc.az.chevron.net:111912] MCW rank 0 bound to socket 0[core 0[hwt 0]], socket 0[core 1[hwt 0]]: [B/B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000000.p.ussc.az.chevron.net:111912] MCW rank 1 bound to socket 0[core 44[hwt 0]], socket 0[core 45[hwt 0]]: [././././././././././././././././././././././././././././././././././././././././././././B/B/./././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000000.p.ussc.az.chevron.net:111912] MCW rank 2 bound to socket 1[core 88[hwt 0]], socket 1[core 89[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000000.p.ussc.az.chevron.net:111912] MCW rank 3 bound to socket 1[core 132[hwt 0]], socket 1[core 133[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././././././././././././././././././././././././././././B/B/./././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000000.p.ussc.az.chevron.net:111912] MCW rank 4 bound to socket 0[core 2[hwt 0]], socket 0[core 3[hwt 0]]: [././B/B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000000.p.ussc.az.chevron.net:111912] MCW rank 5 bound to socket 0[core 46[hwt 0]], socket 0[core 47[hwt 0]]: [././././././././././././././././././././././././././././././././././././././././././././././B/B/./././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000000.p.ussc.az.chevron.net:111912] MCW rank 6 bound to socket 1[core 90[hwt 0]], socket 1[core 91[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000000.p.ussc.az.chevron.net:111912] MCW rank 7 bound to socket 1[core 134[hwt 0]], socket 1[core 135[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././././././././././././././././././././././././././././././B/B/./././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000000.p.ussc.az.chevron.net:111912] MCW rank 8 bound to socket 0[core 4[hwt 0]], socket 0[core 5[hwt 0]]: [././././B/B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000000.p.ussc.az.chevron.net:111912] MCW rank 9 bound to socket 0[core 48[hwt 0]], socket 0[core 49[hwt 0]]: [././././././././././././././././././././././././././././././././././././././././././././././././B/B/./././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000000.p.ussc.az.chevron.net:111912] MCW rank 10 bound to socket 1[core 92[hwt 0]], socket 1[core 93[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000000.p.ussc.az.chevron.net:111912] MCW rank 11 bound to socket 1[core 136[hwt 0]], socket 1[core 137[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././././././././././././././././././././././././././././././././B/B/./././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000000.p.ussc.az.chevron.net:111912] MCW rank 12 bound to socket 0[core 6[hwt 0]], socket 0[core 7[hwt 0]]: [././././././B/B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000000.p.ussc.az.chevron.net:111912] MCW rank 13 bound to socket 0[core 50[hwt 0]], socket 0[core 51[hwt 0]]: [././././././././././././././././././././././././././././././././././././././././././././././././././B/B/./././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000000.p.ussc.az.chevron.net:111912] MCW rank 14 bound to socket 1[core 94[hwt 0]], socket 1[core 95[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000000.p.ussc.az.chevron.net:111912] MCW rank 15 bound to socket 1[core 138[hwt 0]], socket 1[core 139[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././././././././././././././././././././././././././././././././././B/B/./././././././././././././././././././././././././././././././././././.]

``

Describe alternatives you've considered
The meaningful mapping of MPI+OMP codes for even spreading over all resources should let the
--map-by numa:PE=_n_:span clause allocate n cores per rank and replicate the effect of the same clause with `PE=n' absent.

Additional context
This is a show stopper for us, as we cannot control the placement of the ranks in MPI+OMP codes under to evenly use as many memory controllers as available.

[drmichaeltcvx]

Using --cpu-set cpu number list --bind-to core binds to all cores on the node and not to the specified CPUs in the list

[rhc54]

Yeah, that's not a new feature, just a bug. Could you please tell us what version of OMPI you are using?

[rhc54]

Using --cpu-set cpu number list --bind-to core binds to all cores on the node and not to the specified CPUs in the list

This may just be an older version - here's what I get when testing with a complex topology on my system:

$ mpirun --prtemca hwloc_use_topo_file xxx.xml --runtime-options donotlaunch --display map-devel -n 4 --cpu-set 1,2,3,4 --bind-to core hostname

=================================   JOB MAP   =================================
Data for JOB prterun-Ralphs-iMac-41243@1 offset 0 Total slots allocated 48
Mapper requested: NULL  Last mapper: round_robin  Mapping policy: PE-LIST:NOOVERSUBSCRIBE  Ranking policy: SLOT
Binding policy: CORE  Cpu set: 1,2,3,4  PPR: N/A  Cpus-per-rank: N/A  Cpu Type: CORE
Num new daemons: 0	New daemon starting vpid INVALID
Num nodes: 1

Data for node: Ralphs-iMac	State: 3	Flags: DAEMON_LAUNCHED:LOCATION_VERIFIED:MAPPED:SLOTS_GIVEN
                resolved from Ralphs-iMac.local
                resolved from Ralphs-iMac
        Daemon: [prterun-Ralphs-iMac-41243@0,0]	Daemon launched: True
            Num slots: 48	Slots in use: 4	Oversubscribed: FALSE
            Num slots allocated: 48	Max slots: 0	Num procs: 4
        Data for proc: [prterun-Ralphs-iMac-41243@1,0]
                Pid: 0	Local rank: 0	Node rank: 0	App rank: 0
                State: INITIALIZED	App_context: 0
        	Binding: package[0][core:1-4]
        Data for proc: [prterun-Ralphs-iMac-41243@1,1]
                Pid: 0	Local rank: 1	Node rank: 1	App rank: 1
                State: INITIALIZED	App_context: 0
        	Binding: package[0][core:1-4]
        Data for proc: [prterun-Ralphs-iMac-41243@1,2]
                Pid: 0	Local rank: 2	Node rank: 2	App rank: 2
                State: INITIALIZED	App_context: 0
        	Binding: package[0][core:1-4]
        Data for proc: [prterun-Ralphs-iMac-41243@1,3]
                Pid: 0	Local rank: 3	Node rank: 3	App rank: 3
                State: INITIALIZED	App_context: 0
        	Binding: package[0][core:1-4]

The above was with the head of the PRRTE v3.0 branch, which is in the upcoming OMPI v5.0.x release. Looks like it all worked as expected.

[rhc54]

Likewise, the original concern with the "pe=2:span" modifiers seems to work as well for two nodes:

$ mpirun --prtemca hwloc_use_topo_file xxx.xml --runtime-options donotlaunch --display map-devel --map-by numa:PE=2:span   -np 16 hostname

=================================   JOB MAP   =================================
Data for JOB prterun-Ralphs-iMac-41412@1 offset 0 Total slots allocated 96
Mapper requested: NULL  Last mapper: round_robin  Mapping policy: BYNUMA:NOOVERSUBSCRIBE:SPAN  Ranking policy: SPAN
Binding policy: CORE:IF-SUPPORTED  Cpu set: N/A  PPR: N/A  Cpus-per-rank: 2  Cpu Type: CORE
Num new daemons: 0	New daemon starting vpid INVALID
Num nodes: 2

Data for node: nodeA0	State: 3	Flags: MAPPED:SLOTS_GIVEN
        Daemon: [prterun-Ralphs-iMac-41412@0,1]	Daemon launched: False
            Num slots: 48	Slots in use: 8	Oversubscribed: FALSE
            Num slots allocated: 48	Max slots: 48	Num procs: 8
        Data for proc: [prterun-Ralphs-iMac-41412@1,0]
                Pid: 0	Local rank: 0	Node rank: 0	App rank: 0
                State: INITIALIZED	App_context: 0
        	Binding: package[0][core:0-1]
        Data for proc: [prterun-Ralphs-iMac-41412@1,1]
                Pid: 0	Local rank: 1	Node rank: 1	App rank: 1
                State: INITIALIZED	App_context: 0
        	Binding: package[1][core:24-25]
        Data for proc: [prterun-Ralphs-iMac-41412@1,4]
                Pid: 0	Local rank: 2	Node rank: 2	App rank: 4
                State: INITIALIZED	App_context: 0
        	Binding: package[0][core:2-3]
        Data for proc: [prterun-Ralphs-iMac-41412@1,5]
                Pid: 0	Local rank: 3	Node rank: 3	App rank: 5
                State: INITIALIZED	App_context: 0
        	Binding: package[1][core:26-27]
        Data for proc: [prterun-Ralphs-iMac-41412@1,8]
                Pid: 0	Local rank: 4	Node rank: 4	App rank: 8
                State: INITIALIZED	App_context: 0
        	Binding: package[0][core:4-5]
        Data for proc: [prterun-Ralphs-iMac-41412@1,9]
                Pid: 0	Local rank: 5	Node rank: 5	App rank: 9
                State: INITIALIZED	App_context: 0
        	Binding: package[1][core:28-29]
        Data for proc: [prterun-Ralphs-iMac-41412@1,12]
                Pid: 0	Local rank: 6	Node rank: 6	App rank: 12
                State: INITIALIZED	App_context: 0
        	Binding: package[0][core:6-7]
        Data for proc: [prterun-Ralphs-iMac-41412@1,13]
                Pid: 0	Local rank: 7	Node rank: 7	App rank: 13
                State: INITIALIZED	App_context: 0
        	Binding: package[1][core:30-31]

Data for node: nodeA1	State: 3	Flags: MAPPED:SLOTS_GIVEN
        Daemon: [prterun-Ralphs-iMac-41412@0,2]	Daemon launched: False
            Num slots: 48	Slots in use: 8	Oversubscribed: FALSE
            Num slots allocated: 48	Max slots: 48	Num procs: 8
        Data for proc: [prterun-Ralphs-iMac-41412@1,2]
                Pid: 0	Local rank: 0	Node rank: 0	App rank: 2
                State: INITIALIZED	App_context: 0
        	Binding: package[0][core:0-1]
        Data for proc: [prterun-Ralphs-iMac-41412@1,3]
                Pid: 0	Local rank: 1	Node rank: 1	App rank: 3
                State: INITIALIZED	App_context: 0
        	Binding: package[1][core:24-25]
        Data for proc: [prterun-Ralphs-iMac-41412@1,6]
                Pid: 0	Local rank: 2	Node rank: 2	App rank: 6
                State: INITIALIZED	App_context: 0
        	Binding: package[0][core:2-3]
        Data for proc: [prterun-Ralphs-iMac-41412@1,7]
                Pid: 0	Local rank: 3	Node rank: 3	App rank: 7
                State: INITIALIZED	App_context: 0
        	Binding: package[1][core:26-27]
        Data for proc: [prterun-Ralphs-iMac-41412@1,10]
                Pid: 0	Local rank: 4	Node rank: 4	App rank: 10
                State: INITIALIZED	App_context: 0
        	Binding: package[0][core:4-5]
        Data for proc: [prterun-Ralphs-iMac-41412@1,11]
                Pid: 0	Local rank: 5	Node rank: 5	App rank: 11
                State: INITIALIZED	App_context: 0
        	Binding: package[1][core:28-29]
        Data for proc: [prterun-Ralphs-iMac-41412@1,14]
                Pid: 0	Local rank: 6	Node rank: 6	App rank: 14
                State: INITIALIZED	App_context: 0
        	Binding: package[0][core:6-7]
        Data for proc: [prterun-Ralphs-iMac-41412@1,15]
                Pid: 0	Local rank: 7	Node rank: 7	App rank: 15
                State: INITIALIZED	App_context: 0
        	Binding: package[1][core:30-31]

So I think this is just a case of updating to a newer OMPI release.

[rhc54]

Also, L3cache on AMD Zen4 systems (with 8 cores sharing an L3 cache) is incorrectly treated the same as a memory domain mapping.

Don't know anything about that - could you perhaps provide your topology? You can attach the output of lstopo --output-format xml

[drmichaeltcvx]

Yeah, that's not a new feature, just a bug. Could you please tell us what version of OMPI you are using?

Thanks for the prompt response!

I am using ompi out of HPC_X :
$ cat $HPCX_DIR/VERSION
HPC-X v2.21
clusterkit-3312df7 1.14.462 (3312df7)
hcoll-1a4e38d 4.8.3230 (1a4e38d)
nccl_rdma_sharp_plugin-2a632df681125923c4b9e8d4426df76c0eb8db69 2.7 (2a632df)
ompi-4292ae09f9c961614e93bd0a86cf517806140380 gitclone (4292ae0)
sharp-7a20b6077f803fad04915e6727bc78ff86f7bb1c 3.9.0 (7a20b60)
ucc-master_remove_submodule_fix 1.4.0 (22c8c3c)
ucx-152bf42db308b4cb42739fd706ce9f8b8e87246b 1.18.0 (152bf42)
Linux: redhat8
OFED: doca_ofed
Build #: 814
gcc (GCC) 8.2.1 20180905 (Red Hat 8.2.1-3)
CUDA: V12.6.68

[drmichaeltcvx]

Likewise, the original concern with the "pe=2:span" modifiers seems to work as well for two nodes:

$ mpirun --prtemca hwloc_use_topo_file xxx.xml --runtime-options donotlaunch --display map-devel --map-by numa:PE=2:span -np 16 hostname

================================= JOB MAP =================================
Data for JOB prterun-Ralphs-iMac-41412@1 offset 0 Total slots allocated 96
Mapper requested: NULL Last mapper: round_robin Mapping policy: BYNUMA:NOOVERSUBSCRIBE:SPAN Ranking policy: SPAN
Binding policy: CORE:IF-SUPPORTED Cpu set: N/A PPR: N/A Cpus-per-rank: 2 Cpu Type: CORE
Num new daemons: 0 New daemon starting vpid INVALID
Num nodes: 2

Data for node: nodeA0 State: 3 Flags: MAPPED:SLOTS_GIVEN
Daemon: [prterun-Ralphs-iMac-41412@0,1] Daemon launched: False
Num slots: 48 Slots in use: 8 Oversubscribed: FALSE
Num slots allocated: 48 Max slots: 48 Num procs: 8
Data for proc: [prterun-Ralphs-iMac-41412@1,0]
Pid: 0 Local rank: 0 Node rank: 0 App rank: 0
State: INITIALIZED App_context: 0
Binding: package[0][core:0-1]
Data for proc: [prterun-Ralphs-iMac-41412@1,1]
Pid: 0 Local rank: 1 Node rank: 1 App rank: 1
State: INITIALIZED App_context: 0
Binding: package[1][core:24-25]
Data for proc: [prterun-Ralphs-iMac-41412@1,4]
Pid: 0 Local rank: 2 Node rank: 2 App rank: 4
State: INITIALIZED App_context: 0
Binding: package[0][core:2-3]
Data for proc: [prterun-Ralphs-iMac-41412@1,5]
Pid: 0 Local rank: 3 Node rank: 3 App rank: 5
State: INITIALIZED App_context: 0
Binding: package[1][core:26-27]
Data for proc: [prterun-Ralphs-iMac-41412@1,8]
Pid: 0 Local rank: 4 Node rank: 4 App rank: 8
State: INITIALIZED App_context: 0
Binding: package[0][core:4-5]
Data for proc: [prterun-Ralphs-iMac-41412@1,9]
Pid: 0 Local rank: 5 Node rank: 5 App rank: 9
State: INITIALIZED App_context: 0
Binding: package[1][core:28-29]
Data for proc: [prterun-Ralphs-iMac-41412@1,12]
Pid: 0 Local rank: 6 Node rank: 6 App rank: 12
State: INITIALIZED App_context: 0
Binding: package[0][core:6-7]
Data for proc: [prterun-Ralphs-iMac-41412@1,13]
Pid: 0 Local rank: 7 Node rank: 7 App rank: 13
State: INITIALIZED App_context: 0
Binding: package[1][core:30-31]

Data for node: nodeA1 State: 3 Flags: MAPPED:SLOTS_GIVEN
Daemon: [prterun-Ralphs-iMac-41412@0,2] Daemon launched: False
Num slots: 48 Slots in use: 8 Oversubscribed: FALSE
Num slots allocated: 48 Max slots: 48 Num procs: 8
Data for proc: [prterun-Ralphs-iMac-41412@1,2]
Pid: 0 Local rank: 0 Node rank: 0 App rank: 2
State: INITIALIZED App_context: 0
Binding: package[0][core:0-1]
Data for proc: [prterun-Ralphs-iMac-41412@1,3]
Pid: 0 Local rank: 1 Node rank: 1 App rank: 3
State: INITIALIZED App_context: 0
Binding: package[1][core:24-25]
Data for proc: [prterun-Ralphs-iMac-41412@1,6]
Pid: 0 Local rank: 2 Node rank: 2 App rank: 6
State: INITIALIZED App_context: 0
Binding: package[0][core:2-3]
Data for proc: [prterun-Ralphs-iMac-41412@1,7]
Pid: 0 Local rank: 3 Node rank: 3 App rank: 7
State: INITIALIZED App_context: 0
Binding: package[1][core:26-27]
Data for proc: [prterun-Ralphs-iMac-41412@1,10]
Pid: 0 Local rank: 4 Node rank: 4 App rank: 10
State: INITIALIZED App_context: 0
Binding: package[0][core:4-5]
Data for proc: [prterun-Ralphs-iMac-41412@1,11]
Pid: 0 Local rank: 5 Node rank: 5 App rank: 11
State: INITIALIZED App_context: 0
Binding: package[1][core:28-29]
Data for proc: [prterun-Ralphs-iMac-41412@1,14]
Pid: 0 Local rank: 6 Node rank: 6 App rank: 14
State: INITIALIZED App_context: 0
Binding: package[0][core:6-7]
Data for proc: [prterun-Ralphs-iMac-41412@1,15]
Pid: 0 Local rank: 7 Node rank: 7 App rank: 15
State: INITIALIZED App_context: 0
Binding: package[1][core:30-31]
So I think this is just a case of updating to a newer OMPI release.

Should I assume that the above behavior only applies to OMPI v5.XX and beyond?

[drmichaeltcvx]

What is the recommendation for applying user-directed "complex" mappings with ompi v4.1.x? As those mentioned on the issue description?

Actually this mapping is common when we run on h/w platforms with large number of cores. We undersubscribe the compute resources in order to allow for higher and even allocation of available DRAM BW to ranks.

[drmichaeltcvx]

Also, L3cache on AMD Zen4 systems (with 8 cores sharing an L3 cache) is incorrectly treated the same as a memory domain mapping.

Don't know anything about that - could you perhaps provide your topology? You can attach the output of lstopo --output-format xml

The Zen4 and Zen3 architectures have 8 cores more closely associated with each L3 cache sub-unit, whereas Zen2 has 4 cores associated with each L3 sub-unit. The examples below is for Zen4 and each node has 176 cores.

Here is map-by L3cache and bind-to core.

$ mpirun --oversubscribe --np 8  --hostfile  ~/hosts/Zen4-2.hosts --display-devel-map --report-bindings --map-by L3cache --bind-to core hostname 


 Data for JOB [40608,1] offset 0 Total slots allocated 352

 Mapper requested: NULL  Last mapper: round_robin  Mapping policy: BYL3CACHE:OVERSUBSCRIBE  Ranking policy: UNKNOWN
 Binding policy: CORE  Cpu set: NULL  PPR: NULL  Cpus-per-rank: 0
 	Num new daemons: 0	New daemon starting vpid INVALID
 	Num nodes: 1

 Data for node: ccnpusc4000001	State: 3	Flags: 11
 	Daemon: [[40608,0],0]	Daemon launched: True
 	Num slots: 176	Slots in use: 8	Oversubscribed: FALSE
 	Num slots allocated: 176	Max slots: 0
 	Num procs: 8	Next node_rank: 8
 	Data for proc: [[40608,1],0]
 		Pid: 0	Local rank: 0	Node rank: 0	App rank: 0
 		State: INITIALIZED	App_context: 0
 		Locale:  [B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 	Data for proc: [[40608,1],1]
 		Pid: 0	Local rank: 1	Node rank: 1	App rank: 1
 		State: INITIALIZED	App_context: 0
 		Locale:  [././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: [././././././././././././././././././././././././././././././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 	Data for proc: [[40608,1],2]
 		Pid: 0	Local rank: 2	Node rank: 2	App rank: 2
 		State: INITIALIZED	App_context: 0
 		Locale:  [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 	Data for proc: [[40608,1],3]
 		Pid: 0	Local rank: 3	Node rank: 3	App rank: 3
 		State: INITIALIZED	App_context: 0
 		Locale:  [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B]
 		Binding: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././././././././././././././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././.]
 	Data for proc: [[40608,1],4]
 		Pid: 0	Local rank: 4	Node rank: 4	App rank: 4
 		State: INITIALIZED	App_context: 0
 		Locale:  [B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 	Data for proc: [[40608,1],5]
 		Pid: 0	Local rank: 5	Node rank: 5	App rank: 5
 		State: INITIALIZED	App_context: 0
 		Locale:  [././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: [./././././././././././././././././././././././././././././././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 	Data for proc: [[40608,1],6]
 		Pid: 0	Local rank: 6	Node rank: 6	App rank: 6
 		State: INITIALIZED	App_context: 0
 		Locale:  [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 	Data for proc: [[40608,1],7]
 		Pid: 0	Local rank: 7	Node rank: 7	App rank: 7
 		State: INITIALIZED	App_context: 0
 		Locale:  [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B]
 		Binding: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././.]
 Data for JOB [40608,1] offset 0 Total slots allocated 352

 Mapper requested: NULL  Last mapper: round_robin  Mapping policy: BYL3CACHE:OVERSUBSCRIBE  Ranking policy: UNKNOWN
 Binding policy: CORE  Cpu set: NULL  PPR: NULL  Cpus-per-rank: 0
 	Num new daemons: 0	New daemon starting vpid INVALID
 	Num nodes: 1

 Data for node: ccnpusc4000001	State: 1	Flags: 10
 	Daemon: [[40608,0],0]	Daemon launched: False
 	Num slots: 176	Slots in use: 0	Oversubscribed: FALSE
 	Num slots allocated: 176	Max slots: 0
 	Num procs: 8	Next node_rank: 8
 	Data for proc: [[40608,1],0]
 		Pid: 0	Local rank: 0	Node rank: 0	App rank: 0
 		State: INITIALIZED	App_context: 0
 		Locale:  [B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: UNBOUND
 	Data for proc: [[40608,1],1]
 		Pid: 0	Local rank: 1	Node rank: 1	App rank: 1
 		State: INITIALIZED	App_context: 0
 		Locale:  [././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: UNBOUND
 	Data for proc: [[40608,1],2]
 		Pid: 0	Local rank: 2	Node rank: 2	App rank: 2
 		State: INITIALIZED	App_context: 0
 		Locale:  [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: UNBOUND
 	Data for proc: [[40608,1],3]
 		Pid: 0	Local rank: 3	Node rank: 3	App rank: 3
 		State: INITIALIZED	App_context: 0
 		Locale:  [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B]
 		Binding: UNBOUND
 	Data for proc: [[40608,1],4]
 		Pid: 0	Local rank: 4	Node rank: 4	App rank: 4
 		State: INITIALIZED	App_context: 0
 		Locale:  [B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: UNBOUND
 	Data for proc: [[40608,1],5]
 		Pid: 0	Local rank: 5	Node rank: 5	App rank: 5
 		State: INITIALIZED	App_context: 0
 		Locale:  [././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: UNBOUND
 	Data for proc: [[40608,1],6]
 		Pid: 0	Local rank: 6	Node rank: 6	App rank: 6
 		State: INITIALIZED	App_context: 0
 		Locale:  [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: UNBOUND
 	Data for proc: [[40608,1],7]
 		Pid: 0	Local rank: 7	Node rank: 7	App rank: 7
 		State: INITIALIZED	App_context: 0
 		Locale:  [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B]
 		Binding: UNBOUND
[ccnpusc4000001.p.ussc.az.chevron.net:1835469] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000001.p.ussc.az.chevron.net:1835469] MCW rank 1 bound to socket 0[core 44[hwt 0]]: [././././././././././././././././././././././././././././././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000001.p.ussc.az.chevron.net:1835469] MCW rank 2 bound to socket 1[core 88[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000001.p.ussc.az.chevron.net:1835469] MCW rank 3 bound to socket 1[core 132[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././././././././././././././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000001.p.ussc.az.chevron.net:1835469] MCW rank 4 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000001.p.ussc.az.chevron.net:1835469] MCW rank 5 bound to socket 0[core 45[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000001.p.ussc.az.chevron.net:1835469] MCW rank 6 bound to socket 1[core 89[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000001.p.ussc.az.chevron.net:1835469] MCW rank 7 bound to socket 1[core 133[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././.]
ccnpusc4000001.p.ussc.az.chevron.net
ccnpusc4000001.p.ussc.az.chevron.net
ccnpusc4000001.p.ussc.az.chevron.net
ccnpusc4000001.p.ussc.az.chevron.net
ccnpusc4000001.p.ussc.az.chevron.net
ccnpusc4000001.p.ussc.az.chevron.net
ccnpusc4000001.p.ussc.az.chevron.net
ccnpusc4000001.p.ussc.az.chevron.net

Here is map-by L3cache and bind-to L3cache.

mtml@ccnpusc4000001[pts/32]~ $ mpirun --oversubscribe --np 8  --hostfile  ~/hosts/Zen4-2.hosts --display-devel-map --report-bindings --map-by L3cache --bind-to L3cache hostname 


 Data for JOB [40340,1] offset 0 Total slots allocated 352

 Mapper requested: NULL  Last mapper: round_robin  Mapping policy: BYL3CACHE:OVERSUBSCRIBE  Ranking policy: UNKNOWN
 Binding policy: L3CACHE  Cpu set: NULL  PPR: NULL  Cpus-per-rank: 0
 	Num new daemons: 0	New daemon starting vpid INVALID
 	Num nodes: 1

 Data for node: ccnpusc4000001	State: 3	Flags: 11
 	Daemon: [[40340,0],0]	Daemon launched: True
 	Num slots: 176	Slots in use: 8	Oversubscribed: FALSE
 	Num slots allocated: 176	Max slots: 0
 	Num procs: 8	Next node_rank: 8
 	Data for proc: [[40340,1],0]
 		Pid: 0	Local rank: 0	Node rank: 0	App rank: 0
 		State: INITIALIZED	App_context: 0
 		Locale:  [B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: [B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 	Data for proc: [[40340,1],1]
 		Pid: 0	Local rank: 1	Node rank: 1	App rank: 1
 		State: INITIALIZED	App_context: 0
 		Locale:  [././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: [././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 	Data for proc: [[40340,1],2]
 		Pid: 0	Local rank: 2	Node rank: 2	App rank: 2
 		State: INITIALIZED	App_context: 0
 		Locale:  [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.]
 	Data for proc: [[40340,1],3]
 		Pid: 0	Local rank: 3	Node rank: 3	App rank: 3
 		State: INITIALIZED	App_context: 0
 		Locale:  [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B]
 		Binding: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B]
 	Data for proc: [[40340,1],4]
 		Pid: 0	Local rank: 4	Node rank: 4	App rank: 4
 		State: INITIALIZED	App_context: 0
 		Locale:  [B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: [B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 	Data for proc: [[40340,1],5]
 		Pid: 0	Local rank: 5	Node rank: 5	App rank: 5
 		State: INITIALIZED	App_context: 0
 		Locale:  [././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: [././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 	Data for proc: [[40340,1],6]
 		Pid: 0	Local rank: 6	Node rank: 6	App rank: 6
 		State: INITIALIZED	App_context: 0
 		Locale:  [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.]
 	Data for proc: [[40340,1],7]
 		Pid: 0	Local rank: 7	Node rank: 7	App rank: 7
 		State: INITIALIZED	App_context: 0
 		Locale:  [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B]
 		Binding: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B]
 Data for JOB [40340,1] offset 0 Total slots allocated 352

 Mapper requested: NULL  Last mapper: round_robin  Mapping policy: BYL3CACHE:OVERSUBSCRIBE  Ranking policy: UNKNOWN
 Binding policy: L3CACHE  Cpu set: NULL  PPR: NULL  Cpus-per-rank: 0
 	Num new daemons: 0	New daemon starting vpid INVALID
 	Num nodes: 1

 Data for node: ccnpusc4000001	State: 1	Flags: 10
 	Daemon: [[40340,0],0]	Daemon launched: False
 	Num slots: 176	Slots in use: 0	Oversubscribed: FALSE
 	Num slots allocated: 176	Max slots: 0
 	Num procs: 8	Next node_rank: 8
 	Data for proc: [[40340,1],0]
 		Pid: 0	Local rank: 0	Node rank: 0	App rank: 0
 		State: INITIALIZED	App_context: 0
 		Locale:  [B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: UNBOUND
 	Data for proc: [[40340,1],1]
 		Pid: 0	Local rank: 1	Node rank: 1	App rank: 1
 		State: INITIALIZED	App_context: 0
 		Locale:  [././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: UNBOUND
 	Data for proc: [[40340,1],2]
 		Pid: 0	Local rank: 2	Node rank: 2	App rank: 2
 		State: INITIALIZED	App_context: 0
 		Locale:  [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: UNBOUND
 	Data for proc: [[40340,1],3]
 		Pid: 0	Local rank: 3	Node rank: 3	App rank: 3
 		State: INITIALIZED	App_context: 0
 		Locale:  [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B]
 		Binding: UNBOUND
 	Data for proc: [[40340,1],4]
 		Pid: 0	Local rank: 4	Node rank: 4	App rank: 4
 		State: INITIALIZED	App_context: 0
 		Locale:  [B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: UNBOUND
 	Data for proc: [[40340,1],5]
 		Pid: 0	Local rank: 5	Node rank: 5	App rank: 5
 		State: INITIALIZED	App_context: 0
 		Locale:  [././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: UNBOUND
 	Data for proc: [[40340,1],6]
 		Pid: 0	Local rank: 6	Node rank: 6	App rank: 6
 		State: INITIALIZED	App_context: 0
 		Locale:  [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.]
 		Binding: UNBOUND
 	Data for proc: [[40340,1],7]
 		Pid: 0	Local rank: 7	Node rank: 7	App rank: 7
 		State: INITIALIZED	App_context: 0
 		Locale:  [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B]
 		Binding: UNBOUND
[ccnpusc4000001.p.ussc.az.chevron.net:1835769] MCW rank 0 bound to socket 0[core 0[hwt 0]], socket 0[core 1[hwt 0]], socket 0[core 2[hwt 0]], socket 0[core 3[hwt 0]], socket 0[core 4[hwt 0]], socket 0[core 5[hwt 0]], socket 0[core 6[hwt 0]], socket 0[core 7[hwt 0]], socket 0[core 8[hwt 0]], socket 0[core 9[hwt 0]], socket 0[core 10[hwt 0]], socket 0[core 11[hwt 0]], socket 0[core 12[hwt 0]], socket 0[core 13[hwt 0]], socket 0[core 14[hwt 0]], socket 0[core 15[hwt 0]], socket 0[core 16[hwt 0]], socket 0[core 17[hwt 0]], socket 0[core 18[hwt 0]], socket 0[core 19[hwt 0]], socket 0[core 20[hwt 0]], socket 0[core 21[hwt 0]], socket 0[core 22[hwt 0]], socket 0[core 23[hwt 0]], socket 0[core 24[hwt 0]], socket 0[core 25[hwt 0]], socket 0[core 26[hwt 0]], socket 0[core 27[hwt 0]], socket 0[core 28[hwt 0]], socket 0[core 29[hwt 0]], socket 0[core 30[hwt 0]], socket 0[core 31[hwt 0]], socket 0[core 32[hwt 0]], socket 0[core 33[hwt 0]], socket 0[core 34[hwt 0]], socket 0[core 35[hwt 0]], socket 0[core 36[hwt 0]], socket 0[core 37[hwt 0]], socket 0[core 38[hwt 0]], socket 0[core 39[hw: [B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000001.p.ussc.az.chevron.net:1835769] MCW rank 1 bound to socket 0[core 44[hwt 0]], socket 0[core 45[hwt 0]], socket 0[core 46[hwt 0]], socket 0[core 47[hwt 0]], socket 0[core 48[hwt 0]], socket 0[core 49[hwt 0]], socket 0[core 50[hwt 0]], socket 0[core 51[hwt 0]], socket 0[core 52[hwt 0]], socket 0[core 53[hwt 0]], socket 0[core 54[hwt 0]], socket 0[core 55[hwt 0]], socket 0[core 56[hwt 0]], socket 0[core 57[hwt 0]], socket 0[core 58[hwt 0]], socket 0[core 59[hwt 0]], socket 0[core 60[hwt 0]], socket 0[core 61[hwt 0]], socket 0[core 62[hwt 0]], socket 0[core 63[hwt 0]], socket 0[core 64[hwt 0]], socket 0[core 65[hwt 0]], socket 0[core 66[hwt 0]], socket 0[core 67[hwt 0]], socket 0[core 68[hwt 0]], socket 0[core 69[hwt 0]], socket 0[core 70[hwt 0]], socket 0[core 71[hwt 0]], socket 0[core 72[hwt 0]], socket 0[core 73[hwt 0]], socket 0[core 74[hwt 0]], socket 0[core 75[hwt 0]], socket 0[core 76[hwt 0]], socket 0[core 77[hwt 0]], socket 0[core 78[hwt 0]], socket 0[core 79[hwt 0]], socket 0[core 80[hwt 0]], socket 0[core 81[hwt 0]], socket 0[core 82[hwt 0]], socket 0[: [././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000001.p.ussc.az.chevron.net:1835769] MCW rank 2 bound to socket 1[core 88[hwt 0]], socket 1[core 89[hwt 0]], socket 1[core 90[hwt 0]], socket 1[core 91[hwt 0]], socket 1[core 92[hwt 0]], socket 1[core 93[hwt 0]], socket 1[core 94[hwt 0]], socket 1[core 95[hwt 0]], socket 1[core 96[hwt 0]], socket 1[core 97[hwt 0]], socket 1[core 98[hwt 0]], socket 1[core 99[hwt 0]], socket 1[core 100[hwt 0]], socket 1[core 101[hwt 0]], socket 1[core 102[hwt 0]], socket 1[core 103[hwt 0]], socket 1[core 104[hwt 0]], socket 1[core 105[hwt 0]], socket 1[core 106[hwt 0]], socket 1[core 107[hwt 0]], socket 1[core 108[hwt 0]], socket 1[core 109[hwt 0]], socket 1[core 110[hwt 0]], socket 1[core 111[hwt 0]], socket 1[core 112[hwt 0]], socket 1[core 113[hwt 0]], socket 1[core 114[hwt 0]], socket 1[core 115[hwt 0]], socket 1[core 116[hwt 0]], socket 1[core 117[hwt 0]], socket 1[core 118[hwt 0]], socket 1[core 119[hwt 0]], socket 1[core 120[hwt 0]], socket 1[core 121[hwt 0]], socket 1[core 122[hwt 0]], socket 1[core 123[hwt 0]], socket 1[core 124[hwt 0]], socket 1[core 125[hwt 0]], socket 1[: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000001.p.ussc.az.chevron.net:1835769] MCW rank 3 bound to socket 1[core 132[hwt 0]], socket 1[core 133[hwt 0]], socket 1[core 134[hwt 0]], socket 1[core 135[hwt 0]], socket 1[core 136[hwt 0]], socket 1[core 137[hwt 0]], socket 1[core 138[hwt 0]], socket 1[core 139[hwt 0]], socket 1[core 140[hwt 0]], socket 1[core 141[hwt 0]], socket 1[core 142[hwt 0]], socket 1[core 143[hwt 0]], socket 1[core 144[hwt 0]], socket 1[core 145[hwt 0]], socket 1[core 146[hwt 0]], socket 1[core 147[hwt 0]], socket 1[core 148[hwt 0]], socket 1[core 149[hwt 0]], socket 1[core 150[hwt 0]], socket 1[core 151[hwt 0]], socket 1[core 152[hwt 0]], socket 1[core 153[hwt 0]], socket 1[core 154[hwt 0]], socket 1[core 155[hwt 0]], socket 1[core 156[hwt 0]], socket 1[core 157[hwt 0]], socket 1[core 158[hwt 0]], socket 1[core 159[hwt 0]], socket 1[core 160[hwt 0]], socket 1[core 161[hwt 0]], socket 1[core 162[hwt 0]], socket 1[core 163[hwt 0]], socket 1[core 164[hwt 0]], socket 1[core 165[hwt 0]], socket 1[core 166[hwt 0]], socket 1[core 167[hwt 0]], socket 1[core 168[hwt 0]], socket 1[core 169[hwt 0]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B]
[ccnpusc4000001.p.ussc.az.chevron.net:1835769] MCW rank 4 bound to socket 0[core 0[hwt 0]], socket 0[core 1[hwt 0]], socket 0[core 2[hwt 0]], socket 0[core 3[hwt 0]], socket 0[core 4[hwt 0]], socket 0[core 5[hwt 0]], socket 0[core 6[hwt 0]], socket 0[core 7[hwt 0]], socket 0[core 8[hwt 0]], socket 0[core 9[hwt 0]], socket 0[core 10[hwt 0]], socket 0[core 11[hwt 0]], socket 0[core 12[hwt 0]], socket 0[core 13[hwt 0]], socket 0[core 14[hwt 0]], socket 0[core 15[hwt 0]], socket 0[core 16[hwt 0]], socket 0[core 17[hwt 0]], socket 0[core 18[hwt 0]], socket 0[core 19[hwt 0]], socket 0[core 20[hwt 0]], socket 0[core 21[hwt 0]], socket 0[core 22[hwt 0]], socket 0[core 23[hwt 0]], socket 0[core 24[hwt 0]], socket 0[core 25[hwt 0]], socket 0[core 26[hwt 0]], socket 0[core 27[hwt 0]], socket 0[core 28[hwt 0]], socket 0[core 29[hwt 0]], socket 0[core 30[hwt 0]], socket 0[core 31[hwt 0]], socket 0[core 32[hwt 0]], socket 0[core 33[hwt 0]], socket 0[core 34[hwt 0]], socket 0[core 35[hwt 0]], socket 0[core 36[hwt 0]], socket 0[core 37[hwt 0]], socket 0[core 38[hwt 0]], socket 0[core 39[hw: [B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000001.p.ussc.az.chevron.net:1835769] MCW rank 5 bound to socket 0[core 44[hwt 0]], socket 0[core 45[hwt 0]], socket 0[core 46[hwt 0]], socket 0[core 47[hwt 0]], socket 0[core 48[hwt 0]], socket 0[core 49[hwt 0]], socket 0[core 50[hwt 0]], socket 0[core 51[hwt 0]], socket 0[core 52[hwt 0]], socket 0[core 53[hwt 0]], socket 0[core 54[hwt 0]], socket 0[core 55[hwt 0]], socket 0[core 56[hwt 0]], socket 0[core 57[hwt 0]], socket 0[core 58[hwt 0]], socket 0[core 59[hwt 0]], socket 0[core 60[hwt 0]], socket 0[core 61[hwt 0]], socket 0[core 62[hwt 0]], socket 0[core 63[hwt 0]], socket 0[core 64[hwt 0]], socket 0[core 65[hwt 0]], socket 0[core 66[hwt 0]], socket 0[core 67[hwt 0]], socket 0[core 68[hwt 0]], socket 0[core 69[hwt 0]], socket 0[core 70[hwt 0]], socket 0[core 71[hwt 0]], socket 0[core 72[hwt 0]], socket 0[core 73[hwt 0]], socket 0[core 74[hwt 0]], socket 0[core 75[hwt 0]], socket 0[core 76[hwt 0]], socket 0[core 77[hwt 0]], socket 0[core 78[hwt 0]], socket 0[core 79[hwt 0]], socket 0[core 80[hwt 0]], socket 0[core 81[hwt 0]], socket 0[core 82[hwt 0]], socket 0[: [././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000001.p.ussc.az.chevron.net:1835769] MCW rank 6 bound to socket 1[core 88[hwt 0]], socket 1[core 89[hwt 0]], socket 1[core 90[hwt 0]], socket 1[core 91[hwt 0]], socket 1[core 92[hwt 0]], socket 1[core 93[hwt 0]], socket 1[core 94[hwt 0]], socket 1[core 95[hwt 0]], socket 1[core 96[hwt 0]], socket 1[core 97[hwt 0]], socket 1[core 98[hwt 0]], socket 1[core 99[hwt 0]], socket 1[core 100[hwt 0]], socket 1[core 101[hwt 0]], socket 1[core 102[hwt 0]], socket 1[core 103[hwt 0]], socket 1[core 104[hwt 0]], socket 1[core 105[hwt 0]], socket 1[core 106[hwt 0]], socket 1[core 107[hwt 0]], socket 1[core 108[hwt 0]], socket 1[core 109[hwt 0]], socket 1[core 110[hwt 0]], socket 1[core 111[hwt 0]], socket 1[core 112[hwt 0]], socket 1[core 113[hwt 0]], socket 1[core 114[hwt 0]], socket 1[core 115[hwt 0]], socket 1[core 116[hwt 0]], socket 1[core 117[hwt 0]], socket 1[core 118[hwt 0]], socket 1[core 119[hwt 0]], socket 1[core 120[hwt 0]], socket 1[core 121[hwt 0]], socket 1[core 122[hwt 0]], socket 1[core 123[hwt 0]], socket 1[core 124[hwt 0]], socket 1[core 125[hwt 0]], socket 1[: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/./././././././././././././././././././././././././././././././././././././././././././.]
[ccnpusc4000001.p.ussc.az.chevron.net:1835769] MCW rank 7 bound to socket 1[core 132[hwt 0]], socket 1[core 133[hwt 0]], socket 1[core 134[hwt 0]], socket 1[core 135[hwt 0]], socket 1[core 136[hwt 0]], socket 1[core 137[hwt 0]], socket 1[core 138[hwt 0]], socket 1[core 139[hwt 0]], socket 1[core 140[hwt 0]], socket 1[core 141[hwt 0]], socket 1[core 142[hwt 0]], socket 1[core 143[hwt 0]], socket 1[core 144[hwt 0]], socket 1[core 145[hwt 0]], socket 1[core 146[hwt 0]], socket 1[core 147[hwt 0]], socket 1[core 148[hwt 0]], socket 1[core 149[hwt 0]], socket 1[core 150[hwt 0]], socket 1[core 151[hwt 0]], socket 1[core 152[hwt 0]], socket 1[core 153[hwt 0]], socket 1[core 154[hwt 0]], socket 1[core 155[hwt 0]], socket 1[core 156[hwt 0]], socket 1[core 157[hwt 0]], socket 1[core 158[hwt 0]], socket 1[core 159[hwt 0]], socket 1[core 160[hwt 0]], socket 1[core 161[hwt 0]], socket 1[core 162[hwt 0]], socket 1[core 163[hwt 0]], socket 1[core 164[hwt 0]], socket 1[core 165[hwt 0]], socket 1[core 166[hwt 0]], socket 1[core 167[hwt 0]], socket 1[core 168[hwt 0]], socket 1[core 169[hwt 0]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././././././././././././././././././././././././././././B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B/B]
ccnpusc4000001.p.ussc.az.chevron.net
ccnpusc4000001.p.ussc.az.chevron.net
ccnpusc4000001.p.ussc.az.chevron.net
ccnpusc4000001.p.ussc.az.chevron.net
ccnpusc4000001.p.ussc.az.chevron.net
ccnpusc4000001.p.ussc.az.chevron.net
ccnpusc4000001.p.ussc.az.chevron.net

[drmichaeltcvx]

Here is the XML from lstopo --output-format xml

lstopo-Zen4.txt

[drmichaeltcvx]

On the "--cpu-set ..." option, can I combine it with any of the rest mapping policies in any way ?

Overall. can you simplify a bit the syntax for getting these two following cases properly supported (with correct handling of OMP threads per rank) when nodes are under-subscribed:

• Compact the ranks as close as possible to resources (cores, L3caches, numa, sockets) and

• Spread the ranks as evenly as possible over resources (cores, L3caches, numa, sockets)

IntelMPI has these two env vars to describe how to select core subsets for ranks consisting of > 1 OMP threads and how to arrange the relative placement of ranks among themselves over all available resources:

• I_MPI_PIN_DOMAIN : how/where to select/bind the treads of each rank, and

• I_MPI_PIN_ORDER : how to place ranks relative to one another.