在CPU+GPU協(xié)同計(jì)算中，CPU和GPU的計(jì)算能力不同，靜態(tài)地給CPU和GPU劃分任務(wù)會(huì)導(dǎo)致CPU和GPU計(jì)算不同步，導(dǎo)致嚴(yán)重的負(fù)載不均衡，為了實(shí)現(xiàn)CPU和GPU的負(fù)載均衡，需要對(duì)CPU和GPU不同的劃分方法。把每個(gè)節(jié)點(diǎn)上的所有CPU看成一個(gè)設(shè)備，每塊GPU卡看成一個(gè)設(shè)備，對(duì)集群節(jié)點(diǎn)上的所有CPU設(shè)備和GPU設(shè)備分別編號(hào)，每個(gè)節(jié)點(diǎn)上有M塊GPU卡，N個(gè)節(jié)點(diǎn)上共有N個(gè)CPU設(shè)備，編號(hào)為1,2，…，N；N個(gè)節(jié)點(diǎn)上共有M*N個(gè)GPU設(shè)備，編號(hào)為1,2，…，M*N。

設(shè)備編號(hào)之后就可以對(duì)設(shè)備進(jìn)行分組，根據(jù)算法的要求，有些任務(wù)不能細(xì)分，一個(gè)CPU設(shè)備或GPU設(shè)備上可用的內(nèi)存空間可能不能滿足計(jì)算的內(nèi)存要求，需要多設(shè)備數(shù)據(jù)劃分、共同計(jì)算，這時(shí)需要根據(jù)CPU內(nèi)存或GPU內(nèi)存進(jìn)行分組

1）根據(jù)CPU內(nèi)存大小和計(jì)算對(duì)內(nèi)存的要求可以計(jì)算得到一組內(nèi)的CPU設(shè)備數(shù)目為GC個(gè)， GC=(Mcom+MemC-1)/MemC，其中一個(gè)節(jié)點(diǎn)的內(nèi)存大小為MemC，每個(gè)計(jì)算任務(wù)需要的內(nèi)存大小為Mcom。

所有的CPU設(shè)備分為N/GC個(gè)組，每個(gè)組計(jì)算同一個(gè)任務(wù)，組內(nèi)的CPU設(shè)備再進(jìn)行數(shù)據(jù)劃分，數(shù)據(jù)劃分采用靜態(tài)的劃分，因?yàn)榻M內(nèi)的CPU設(shè)備計(jì)算能力一致；

2）根據(jù)GPU內(nèi)存大小和計(jì)算對(duì)內(nèi)存的要求可以計(jì)算得到一組內(nèi)的GPU設(shè)備數(shù)目為GG個(gè)， GG=(Mcom+MemG-1)/Mem，其中，一個(gè)GPU設(shè)備的內(nèi)存大小為MemG，每個(gè)計(jì)算任務(wù)需要的內(nèi)存大小為Mcom。

所有的GPU設(shè)備分為M*N/GG個(gè)組，每個(gè)組計(jì)算同一個(gè)任務(wù)，組內(nèi)的GPU設(shè)備再進(jìn)行數(shù)據(jù)劃分，數(shù)據(jù)劃分采用靜態(tài)劃分的方法。

CPU和GPU設(shè)備分組之后，就可以把任務(wù)動(dòng)態(tài)分劃分給每個(gè)CPU組或GPU組，可以采用MPI通信進(jìn)行劃分，由主進(jìn)程進(jìn)行動(dòng)態(tài)的發(fā)送任務(wù)編號(hào)給各個(gè)CPU組或GPU組內(nèi)的組長(zhǎng)，組長(zhǎng)再把任務(wù)編號(hào)廣播給組內(nèi)的組員，然后組內(nèi)的設(shè)備同時(shí)計(jì)算，計(jì)算完畢之后即可向主進(jìn)程請(qǐng)求下一個(gè)任務(wù)，直到所有任務(wù)計(jì)算完畢為止。