1b7019ac5SIlia Mirkin /* SPDX-License-Identifier: MIT */ 2e3c71eb2SBen Skeggs #ifndef __NVKM_GRCTX_NVC0_H__ 3e3c71eb2SBen Skeggs #define __NVKM_GRCTX_NVC0_H__ 4e3c71eb2SBen Skeggs #include "gf100.h" 5e3c71eb2SBen Skeggs 6d05095b5SBen Skeggs void gf100_grctx_patch_wr32(struct gf100_gr_chan *, u32 addr, u32 data); 7e3c71eb2SBen Skeggs 827f3d6cfSBen Skeggs struct gf100_grctx_func { 9d521097fSBen Skeggs void (*unkn88c)(struct gf100_gr *, bool on); 10e3c71eb2SBen Skeggs /* main context generation function */ 1178a43c7eSBen Skeggs void (*main)(struct gf100_gr_chan *); 12e3c71eb2SBen Skeggs /* context-specific modify-on-first-load list generation function */ 13bfee3f3dSBen Skeggs void (*unkn)(struct gf100_gr *); 14e3c71eb2SBen Skeggs /* mmio context data */ 15e3c71eb2SBen Skeggs const struct gf100_gr_pack *hub; 16191e3232SBen Skeggs const struct gf100_gr_pack *gpc_0; 17191e3232SBen Skeggs const struct gf100_gr_pack *gpc_1; 18e3c71eb2SBen Skeggs const struct gf100_gr_pack *zcull; 19e3c71eb2SBen Skeggs const struct gf100_gr_pack *tpc; 20e3c71eb2SBen Skeggs const struct gf100_gr_pack *ppc; 21e3c71eb2SBen Skeggs /* indirect context data, generated with icmds/mthds */ 22e3c71eb2SBen Skeggs const struct gf100_gr_pack *icmd; 23e3c71eb2SBen Skeggs const struct gf100_gr_pack *mthd; 24d521097fSBen Skeggs const struct gf100_gr_pack *sw_veid_bundle_init; 25c4d66f7dSBen Skeggs const struct gf100_gr_pack *sw_bundle64_init; 26e3c71eb2SBen Skeggs /* bundle circular buffer */ 2795f78acdSBen Skeggs void (*bundle)(struct gf100_gr_chan *, u64 addr, u32 size); 28e3c71eb2SBen Skeggs u32 bundle_size; 29e3c71eb2SBen Skeggs u32 bundle_min_gpm_fifo_depth; 30e3c71eb2SBen Skeggs u32 bundle_token_limit; 31e3c71eb2SBen Skeggs /* pagepool */ 32d05095b5SBen Skeggs void (*pagepool)(struct gf100_gr_chan *, u64 addr); 33e3c71eb2SBen Skeggs u32 pagepool_size; 34e3c71eb2SBen Skeggs /* attribute(/alpha) circular buffer */ 3578a43c7eSBen Skeggs u32 (*attrib_cb_size)(struct gf100_gr *); 3678a43c7eSBen Skeggs void (*attrib_cb)(struct gf100_gr_chan *, u64 addr, u32 size); 3778a43c7eSBen Skeggs void (*attrib)(struct gf100_gr_chan *); 38e3c71eb2SBen Skeggs u32 attrib_nr_max; 39e3c71eb2SBen Skeggs u32 attrib_nr; 40e3c71eb2SBen Skeggs u32 alpha_nr_max; 41e3c71eb2SBen Skeggs u32 alpha_nr; 427a058a90SBen Skeggs u32 gfxp_nr; 435eee9fddSBen Skeggs /* some other context buffer */ 445eee9fddSBen Skeggs void (*unknown)(struct gf100_gr_chan *, u64 addr, u32 size); 455eee9fddSBen Skeggs u32 unknown_size; 46ea4a2bb5SBen Skeggs /* other patch buffer stuff */ 475eee9fddSBen Skeggs void (*patch_ltc)(struct gf100_gr_chan *); 48fc740f54SBen Skeggs /* floorsweeping */ 49fc740f54SBen Skeggs void (*sm_id)(struct gf100_gr *, int gpc, int tpc, int sm); 50fc740f54SBen Skeggs void (*tpc_nr)(struct gf100_gr *, int gpc); 51afa3b96bSBen Skeggs bool skip_pd_num_tpc_per_gpc; 529d8a80dfSBen Skeggs void (*r4060a8)(struct gf100_gr *); 53ff209c23SBen Skeggs void (*rop_mapping)(struct gf100_gr *); 5443952c6fSBen Skeggs void (*alpha_beta_tables)(struct gf100_gr *); 55c4a2b638SBen Skeggs void (*max_ways_evict)(struct gf100_gr *); 5660770fa2SBen Skeggs void (*dist_skip_table)(struct gf100_gr *); 57e7163b19SBen Skeggs void (*r406500)(struct gf100_gr *); 5860c0264aSBen Skeggs void (*gpc_tpc_nr)(struct gf100_gr *); 59aa5e38dcSBen Skeggs void (*r419f78)(struct gf100_gr *); 60fc360764SBen Skeggs void (*tpc_mask)(struct gf100_gr *); 61fc360764SBen Skeggs void (*smid_config)(struct gf100_gr *); 6299a3c67eSBen Skeggs /* misc other things */ 63d521097fSBen Skeggs void (*r400088)(struct gf100_gr *, bool); 6499a3c67eSBen Skeggs void (*r419cb8)(struct gf100_gr *); 655b54b5b9SBen Skeggs void (*r418800)(struct gf100_gr *); 66ad45a92bSBen Skeggs void (*r419eb0)(struct gf100_gr *); 6718d17221SBen Skeggs void (*r419e00)(struct gf100_gr *); 68c2592adeSBen Skeggs void (*r418e94)(struct gf100_gr *); 698d56fc48SBen Skeggs void (*r419a3c)(struct gf100_gr *); 70a5537f98SBen Skeggs void (*r408840)(struct gf100_gr *); 71afa3b96bSBen Skeggs void (*r419c0c)(struct gf100_gr *); 72c4bdac75SBen Skeggs void (*r419ea8)(struct gf100_gr *); 73e3c71eb2SBen Skeggs }; 74e3c71eb2SBen Skeggs 7527f3d6cfSBen Skeggs extern const struct gf100_grctx_func gf100_grctx; 76ca081fffSBen Skeggs int gf100_grctx_generate(struct gf100_gr *, struct gf100_gr_chan *, struct nvkm_gpuobj *inst); 7778a43c7eSBen Skeggs void gf100_grctx_generate_main(struct gf100_gr_chan *); 78d05095b5SBen Skeggs void gf100_grctx_generate_pagepool(struct gf100_gr_chan *, u64); 7995f78acdSBen Skeggs void gf100_grctx_generate_bundle(struct gf100_gr_chan *, u64, u32); 8078a43c7eSBen Skeggs u32 gf100_grctx_generate_attrib_cb_size(struct gf100_gr *); 8178a43c7eSBen Skeggs void gf100_grctx_generate_attrib_cb(struct gf100_gr_chan *, u64, u32); 8278a43c7eSBen Skeggs void gf100_grctx_generate_attrib(struct gf100_gr_chan *); 83bfee3f3dSBen Skeggs void gf100_grctx_generate_unkn(struct gf100_gr *); 84fc740f54SBen Skeggs void gf100_grctx_generate_floorsweep(struct gf100_gr *); 85fc740f54SBen Skeggs void gf100_grctx_generate_sm_id(struct gf100_gr *, int, int, int); 86fc740f54SBen Skeggs void gf100_grctx_generate_tpc_nr(struct gf100_gr *, int); 879d8a80dfSBen Skeggs void gf100_grctx_generate_r4060a8(struct gf100_gr *); 88ff209c23SBen Skeggs void gf100_grctx_generate_rop_mapping(struct gf100_gr *); 8943952c6fSBen Skeggs void gf100_grctx_generate_alpha_beta_tables(struct gf100_gr *); 90c4a2b638SBen Skeggs void gf100_grctx_generate_max_ways_evict(struct gf100_gr *); 9199a3c67eSBen Skeggs void gf100_grctx_generate_r419cb8(struct gf100_gr *); 92e3c71eb2SBen Skeggs 9327f3d6cfSBen Skeggs extern const struct gf100_grctx_func gf108_grctx; 9478a43c7eSBen Skeggs void gf108_grctx_generate_attrib(struct gf100_gr_chan *); 95bfee3f3dSBen Skeggs void gf108_grctx_generate_unkn(struct gf100_gr *); 96e3c71eb2SBen Skeggs 9727f3d6cfSBen Skeggs extern const struct gf100_grctx_func gf104_grctx; 9827f3d6cfSBen Skeggs extern const struct gf100_grctx_func gf110_grctx; 99e3c71eb2SBen Skeggs 10027f3d6cfSBen Skeggs extern const struct gf100_grctx_func gf117_grctx; 10178a43c7eSBen Skeggs void gf117_grctx_generate_attrib(struct gf100_gr_chan *); 102ff209c23SBen Skeggs void gf117_grctx_generate_rop_mapping(struct gf100_gr *); 10360770fa2SBen Skeggs void gf117_grctx_generate_dist_skip_table(struct gf100_gr *); 104e3c71eb2SBen Skeggs 10527f3d6cfSBen Skeggs extern const struct gf100_grctx_func gf119_grctx; 106e3c71eb2SBen Skeggs 10727f3d6cfSBen Skeggs extern const struct gf100_grctx_func gk104_grctx; 10843952c6fSBen Skeggs void gk104_grctx_generate_alpha_beta_tables(struct gf100_gr *); 10960c0264aSBen Skeggs void gk104_grctx_generate_gpc_tpc_nr(struct gf100_gr *); 11043952c6fSBen Skeggs 11127f3d6cfSBen Skeggs extern const struct gf100_grctx_func gk20a_grctx; 112d05095b5SBen Skeggs void gk104_grctx_generate_pagepool(struct gf100_gr_chan *, u64); 11395f78acdSBen Skeggs void gk104_grctx_generate_bundle(struct gf100_gr_chan *, u64, u32); 1145eee9fddSBen Skeggs void gk104_grctx_generate_patch_ltc(struct gf100_gr_chan *); 115bfee3f3dSBen Skeggs void gk104_grctx_generate_unkn(struct gf100_gr *); 1165b54b5b9SBen Skeggs void gk104_grctx_generate_r418800(struct gf100_gr *); 1173fed3ea9SBen Skeggs 11827f3d6cfSBen Skeggs extern const struct gf100_grctx_func gk110_grctx; 119ad45a92bSBen Skeggs void gk110_grctx_generate_r419eb0(struct gf100_gr *); 120*1cb9e2efSKarol Herbst void gk110_grctx_generate_r419f78(struct gf100_gr *); 121ad45a92bSBen Skeggs 12227f3d6cfSBen Skeggs extern const struct gf100_grctx_func gk110b_grctx; 12327f3d6cfSBen Skeggs extern const struct gf100_grctx_func gk208_grctx; 1243fed3ea9SBen Skeggs 12527f3d6cfSBen Skeggs extern const struct gf100_grctx_func gm107_grctx; 126d05095b5SBen Skeggs void gm107_grctx_generate_pagepool(struct gf100_gr_chan *, u64); 12795f78acdSBen Skeggs void gm107_grctx_generate_bundle(struct gf100_gr_chan *, u64, u32); 12878a43c7eSBen Skeggs void gm107_grctx_generate_attrib_cb(struct gf100_gr_chan *, u64, u32); 12978a43c7eSBen Skeggs void gm107_grctx_generate_attrib(struct gf100_gr_chan *); 130fc360764SBen Skeggs void gm107_grctx_generate_sm_id(struct gf100_gr *, int, int, int); 1313fed3ea9SBen Skeggs 1329ec28052SBen Skeggs extern const struct gf100_grctx_func gm200_grctx; 13360770fa2SBen Skeggs void gm200_grctx_generate_dist_skip_table(struct gf100_gr *); 134e7163b19SBen Skeggs void gm200_grctx_generate_r406500(struct gf100_gr *); 135fc360764SBen Skeggs void gm200_grctx_generate_tpc_mask(struct gf100_gr *); 136fc360764SBen Skeggs void gm200_grctx_generate_smid_config(struct gf100_gr *); 1378d56fc48SBen Skeggs void gm200_grctx_generate_r419a3c(struct gf100_gr *); 138426b20e4SBen Skeggs 13927f3d6cfSBen Skeggs extern const struct gf100_grctx_func gm20b_grctx; 140e3c71eb2SBen Skeggs 14152fa0866SBen Skeggs extern const struct gf100_grctx_func gp100_grctx; 142d05095b5SBen Skeggs void gp100_grctx_generate_pagepool(struct gf100_gr_chan *, u64); 14378a43c7eSBen Skeggs void gp100_grctx_generate_attrib_cb(struct gf100_gr_chan *, u64, u32); 144fc360764SBen Skeggs void gp100_grctx_generate_smid_config(struct gf100_gr *); 145424321beSBen Skeggs 146424321beSBen Skeggs extern const struct gf100_grctx_func gp102_grctx; 14778a43c7eSBen Skeggs u32 gp102_grctx_generate_attrib_cb_size(struct gf100_gr *); 14878a43c7eSBen Skeggs void gp102_grctx_generate_attrib(struct gf100_gr_chan *); 149b2c4ef70SBen Skeggs 150a5537f98SBen Skeggs extern const struct gf100_grctx_func gp104_grctx; 151a5537f98SBen Skeggs 152b2c4ef70SBen Skeggs extern const struct gf100_grctx_func gp107_grctx; 15352fa0866SBen Skeggs 154d521097fSBen Skeggs extern const struct gf100_grctx_func gv100_grctx; 155d521097fSBen Skeggs 156afa3b96bSBen Skeggs extern const struct gf100_grctx_func tu102_grctx; 157afa3b96bSBen Skeggs void gv100_grctx_unkn88c(struct gf100_gr *, bool); 158afa3b96bSBen Skeggs void gv100_grctx_generate_unkn(struct gf100_gr *); 15978a43c7eSBen Skeggs void gv100_grctx_generate_attrib_cb(struct gf100_gr_chan *, u64, u32); 16078a43c7eSBen Skeggs void gv100_grctx_generate_attrib(struct gf100_gr_chan *); 161afa3b96bSBen Skeggs void gv100_grctx_generate_rop_mapping(struct gf100_gr *); 162afa3b96bSBen Skeggs void gv100_grctx_generate_r400088(struct gf100_gr *, bool); 163afa3b96bSBen Skeggs 1645eee9fddSBen Skeggs void tu102_grctx_generate_unknown(struct gf100_gr_chan *, u64, u32); 1655eee9fddSBen Skeggs 166c4bdac75SBen Skeggs extern const struct gf100_grctx_func ga102_grctx; 167c4bdac75SBen Skeggs 168e3c71eb2SBen Skeggs /* context init value lists */ 169e3c71eb2SBen Skeggs 170e3c71eb2SBen Skeggs extern const struct gf100_gr_pack gf100_grctx_pack_icmd[]; 171e3c71eb2SBen Skeggs 172e3c71eb2SBen Skeggs extern const struct gf100_gr_pack gf100_grctx_pack_mthd[]; 173e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf100_grctx_init_902d_0[]; 174e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf100_grctx_init_9039_0[]; 175e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf100_grctx_init_90c0_0[]; 176e3c71eb2SBen Skeggs 177e3c71eb2SBen Skeggs extern const struct gf100_gr_pack gf100_grctx_pack_hub[]; 178e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf100_grctx_init_main_0[]; 179e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf100_grctx_init_fe_0[]; 180e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf100_grctx_init_pri_0[]; 181e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf100_grctx_init_memfmt_0[]; 182e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf100_grctx_init_rstr2d_0[]; 183e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf100_grctx_init_scc_0[]; 184e3c71eb2SBen Skeggs 185191e3232SBen Skeggs extern const struct gf100_gr_pack gf100_grctx_pack_gpc_0[]; 186191e3232SBen Skeggs extern const struct gf100_gr_pack gf100_grctx_pack_gpc_1[]; 187e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf100_grctx_init_gpc_unk_0[]; 188e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf100_grctx_init_prop_0[]; 189e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf100_grctx_init_gpc_unk_1[]; 190e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf100_grctx_init_zcull_0[]; 191e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf100_grctx_init_crstr_0[]; 192e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf100_grctx_init_gpm_0[]; 193e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf100_grctx_init_gcc_0[]; 194e3c71eb2SBen Skeggs 195e3c71eb2SBen Skeggs extern const struct gf100_gr_pack gf100_grctx_pack_zcull[]; 196e3c71eb2SBen Skeggs 197e3c71eb2SBen Skeggs extern const struct gf100_gr_pack gf100_grctx_pack_tpc[]; 198e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf100_grctx_init_pe_0[]; 199e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf100_grctx_init_wwdx_0[]; 200e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf100_grctx_init_mpc_0[]; 201e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf100_grctx_init_tpccs_0[]; 202e3c71eb2SBen Skeggs 203e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf104_grctx_init_tex_0[]; 204e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf104_grctx_init_l1c_0[]; 205e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf104_grctx_init_sm_0[]; 206e3c71eb2SBen Skeggs 207e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf108_grctx_init_9097_0[]; 208e3c71eb2SBen Skeggs 209e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf108_grctx_init_gpm_0[]; 210e3c71eb2SBen Skeggs 211e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf108_grctx_init_pe_0[]; 212e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf108_grctx_init_wwdx_0[]; 213e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf108_grctx_init_tpccs_0[]; 214e3c71eb2SBen Skeggs 215e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf110_grctx_init_9197_0[]; 216e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf110_grctx_init_9297_0[]; 217e3c71eb2SBen Skeggs 218e3c71eb2SBen Skeggs extern const struct gf100_gr_pack gf119_grctx_pack_icmd[]; 219e3c71eb2SBen Skeggs 220e3c71eb2SBen Skeggs extern const struct gf100_gr_pack gf119_grctx_pack_mthd[]; 221e3c71eb2SBen Skeggs 222e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf119_grctx_init_fe_0[]; 223e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf119_grctx_init_be_0[]; 224e3c71eb2SBen Skeggs 225e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf119_grctx_init_prop_0[]; 226e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf119_grctx_init_gpc_unk_1[]; 227e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf119_grctx_init_crstr_0[]; 228e3c71eb2SBen Skeggs 229e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf119_grctx_init_sm_0[]; 230e3c71eb2SBen Skeggs 231e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf117_grctx_init_pe_0[]; 232e3c71eb2SBen Skeggs 233e3c71eb2SBen Skeggs extern const struct gf100_gr_init gf117_grctx_init_wwdx_0[]; 234e3c71eb2SBen Skeggs 235191e3232SBen Skeggs extern const struct gf100_gr_pack gf117_grctx_pack_gpc_1[]; 236191e3232SBen Skeggs 237e3c71eb2SBen Skeggs extern const struct gf100_gr_init gk104_grctx_init_memfmt_0[]; 238e3c71eb2SBen Skeggs extern const struct gf100_gr_init gk104_grctx_init_ds_0[]; 239e3c71eb2SBen Skeggs extern const struct gf100_gr_init gk104_grctx_init_scc_0[]; 240e3c71eb2SBen Skeggs 241e3c71eb2SBen Skeggs extern const struct gf100_gr_init gk104_grctx_init_gpm_0[]; 242e3c71eb2SBen Skeggs 243e3c71eb2SBen Skeggs extern const struct gf100_gr_init gk104_grctx_init_pes_0[]; 244e3c71eb2SBen Skeggs 245e3c71eb2SBen Skeggs extern const struct gf100_gr_pack gk104_grctx_pack_hub[]; 246e3c71eb2SBen Skeggs extern const struct gf100_gr_pack gk104_grctx_pack_tpc[]; 247e3c71eb2SBen Skeggs extern const struct gf100_gr_pack gk104_grctx_pack_ppc[]; 248e3c71eb2SBen Skeggs extern const struct gf100_gr_pack gk104_grctx_pack_icmd[]; 249e3c71eb2SBen Skeggs extern const struct gf100_gr_init gk104_grctx_init_a097_0[]; 250e3c71eb2SBen Skeggs 251e3c71eb2SBen Skeggs extern const struct gf100_gr_pack gk110_grctx_pack_icmd[]; 252e3c71eb2SBen Skeggs 253e3c71eb2SBen Skeggs extern const struct gf100_gr_pack gk110_grctx_pack_mthd[]; 254e3c71eb2SBen Skeggs 255e3c71eb2SBen Skeggs extern const struct gf100_gr_pack gk110_grctx_pack_hub[]; 256e3c71eb2SBen Skeggs extern const struct gf100_gr_init gk110_grctx_init_pri_0[]; 257e3c71eb2SBen Skeggs extern const struct gf100_gr_init gk110_grctx_init_cwd_0[]; 258e3c71eb2SBen Skeggs 259191e3232SBen Skeggs extern const struct gf100_gr_pack gk110_grctx_pack_gpc_0[]; 260191e3232SBen Skeggs extern const struct gf100_gr_pack gk110_grctx_pack_gpc_1[]; 261e3c71eb2SBen Skeggs extern const struct gf100_gr_init gk110_grctx_init_gpc_unk_2[]; 262e3c71eb2SBen Skeggs 263e3c71eb2SBen Skeggs extern const struct gf100_gr_init gk110_grctx_init_tex_0[]; 264e3c71eb2SBen Skeggs extern const struct gf100_gr_init gk110_grctx_init_mpc_0[]; 265e3c71eb2SBen Skeggs extern const struct gf100_gr_init gk110_grctx_init_l1c_0[]; 266e3c71eb2SBen Skeggs 267e3c71eb2SBen Skeggs extern const struct gf100_gr_pack gk110_grctx_pack_ppc[]; 268e3c71eb2SBen Skeggs 269e3c71eb2SBen Skeggs extern const struct gf100_gr_init gk208_grctx_init_rstr2d_0[]; 270e3c71eb2SBen Skeggs 271e3c71eb2SBen Skeggs extern const struct gf100_gr_init gk208_grctx_init_prop_0[]; 272e3c71eb2SBen Skeggs extern const struct gf100_gr_init gk208_grctx_init_crstr_0[]; 2733fed3ea9SBen Skeggs 2743fed3ea9SBen Skeggs extern const struct gf100_gr_init gm107_grctx_init_gpc_unk_0[]; 2753fed3ea9SBen Skeggs extern const struct gf100_gr_init gm107_grctx_init_wwdx_0[]; 276e3c71eb2SBen Skeggs #endif 277