# GPT-J
# Input token size = 32
# Output token size = 32
# Batch Size = 428
# Num Beams = 4
# M = num_beams * batch_size = 1712

--reset

--dt=bf16 --stag=ab --wtag=ab --dtag=ab 54784x4096:4096x4096_n"gptj:gemm0*112"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x32x256:1712x16x256x32_n"gptj:bmm1*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x32x32:1712x16x32x256_n"gptj:bmm2*28"
--dt=bf16 --stag=ab --wtag=ab --dtag=ab 54784x4096:4096x16384_n"gptj:gemm3*28"
--dt=bf16 --stag=ab --wtag=ab --dtag=ab 54784x16384:16384x4096_n"gptj:gemm4*28"
--dt=bf16 --stag=ab --wtag=ab --dtag=ab 54784x4096:4096x50400_n"gptj:gemm5*1"
--dt=bf16 --stag=ab --wtag=ab --dtag=ab 1712x4096:4096x4096_n"gptj:gemm6*3472"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x33_n"gptj:bmm7*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x33:1712x16x33x256_n"gptj:bmm8*28"
--dt=bf16 --stag=ab --wtag=ab --dtag=ab 1712x4096:4096x16384_n"gptj:gemm9*868"
--dt=bf16 --stag=ab --wtag=ab --dtag=ab 1712x16384:16384x4096_n"gptj:gemm10*868"
--dt=bf16 --stag=ab --wtag=ab --dtag=ab 1712x4096:4096x50400_n"gptj:gemm11*31"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x34_n"gptj:bmm12*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x34:1712x16x34x256_n"gptj:bmm13*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x35_n"gptj:bmm14*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x35:1712x16x35x256_n"gptj:bmm15*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x36_n"gptj:bmm16*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x36:1712x16x36x256_n"gptj:bmm17*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x37_n"gptj:bmm18*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x37:1712x16x37x256_n"gptj:bmm19*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x38_n"gptj:bmm20*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x38:1712x16x38x256_n"gptj:bmm21*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x39_n"gptj:bmm22*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x39:1712x16x39x256_n"gptj:bmm23*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x40_n"gptj:bmm24*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x40:1712x16x40x256_n"gptj:bmm25*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x41_n"gptj:bmm26*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x41:1712x16x41x256_n"gptj:bmm27*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x42_n"gptj:bmm28*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x42:1712x16x42x256_n"gptj:bmm29*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x43_n"gptj:bmm30*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x43:1712x16x43x256_n"gptj:bmm31*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x44_n"gptj:bmm32*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x44:1712x16x44x256_n"gptj:bmm33*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x45_n"gptj:bmm34*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x45:1712x16x45x256_n"gptj:bmm35*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x46_n"gptj:bmm36*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x46:1712x16x46x256_n"gptj:bmm37*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x47_n"gptj:bmm38*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x47:1712x16x47x256_n"gptj:bmm39*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x48_n"gptj:bmm40*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x48:1712x16x48x256_n"gptj:bmm41*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x49_n"gptj:bmm42*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x49:1712x16x49x256_n"gptj:bmm43*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x50_n"gptj:bmm44*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x50:1712x16x50x256_n"gptj:bmm45*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x51_n"gptj:bmm46*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x51:1712x16x51x256_n"gptj:bmm47*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x52_n"gptj:bmm48*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x52:1712x16x52x256_n"gptj:bmm49*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x53_n"gptj:bmm50*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x53:1712x16x53x256_n"gptj:bmm51*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x54_n"gptj:bmm52*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x54:1712x16x54x256_n"gptj:bmm53*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x55_n"gptj:bmm54*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x55:1712x16x55x256_n"gptj:bmm55*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x56_n"gptj:bmm56*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x56:1712x16x56x256_n"gptj:bmm57*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x57_n"gptj:bmm58*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x57:1712x16x57x256_n"gptj:bmm59*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x58_n"gptj:bmm60*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x58:1712x16x58x256_n"gptj:bmm61*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x59_n"gptj:bmm62*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x59:1712x16x59x256_n"gptj:bmm63*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x60_n"gptj:bmm64*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x60:1712x16x60x256_n"gptj:bmm65*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x61_n"gptj:bmm66*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x61:1712x16x61x256_n"gptj:bmm67*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x62_n"gptj:bmm68*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x62:1712x16x62x256_n"gptj:bmm69*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 1712x16x1x256:1712x16x256x63_n"gptj:bmm70*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 1712x16x1x63:1712x16x63x256_n"gptj:bmm71*28"
