| /freebsd/contrib/llvm-project/llvm/lib/Target/AMDGPU/ |
| H A D | GCNHazardRecognizer.cpp | 126 if (!SIInstrInfo::isMAI(MI) || in isXDL()
138 static bool isSendMsgTraceDataOrGDS(const SIInstrInfo &TII, in isSendMsgTraceDataOrGDS()
174 return SIInstrInfo::isVALU(MI) && in isLdsDma()
175 (SIInstrInfo::isMUBUF(MI) || SIInstrInfo::isFLAT(MI)); in isLdsDma()
178 static unsigned getHWReg(const SIInstrInfo *TII, const MachineInstr &RegInstr) { in getHWReg()
194 if (SIInstrInfo::isSMRD(*MI) && checkSMRDHazards(MI) > 0) in getHazardType()
207 if ((SIInstrInfo::isVMEM(*MI) || in getHazardType()
208 SIInstrInfo::isFLAT(*MI)) in getHazardType()
212 if (SIInstrInfo::isVALU(*MI) && checkVALUHazards(MI) > 0) in getHazardType()
215 if (SIInstrInfo::isDPP(*MI) && checkDPPHazards(MI) > 0) in getHazardType()
[all …]
|
| H A D | SIInsertHardClauses.cpp | 107 if (SIInstrInfo::isVMEM(MI) || SIInstrInfo::isSegmentSpecificFLAT(MI)) { in getHardClauseType()
115 if (SIInstrInfo::isFLAT(MI)) in getHardClauseType()
119 if (SIInstrInfo::isMIMG(MI)) { in getHardClauseType()
131 if (SIInstrInfo::isVMEM(MI) || SIInstrInfo::isSegmentSpecificFLAT(MI)) { in getHardClauseType()
136 if (SIInstrInfo::isFLAT(MI)) { in getHardClauseType()
143 if (SIInstrInfo::isSMRD(MI)) in getHardClauseType()
177 bool emitClause(const ClauseInfo &CI, const SIInstrInfo *SII) { in emitClause()
200 const SIInstrInfo *SII = ST->getInstrInfo(); in runOnMachineFunction()
|
| H A D | AMDGPUMCInstLower.cpp | 50 case SIInstrInfo::MO_GOTPCREL: in getVariantKind()
52 case SIInstrInfo::MO_GOTPCREL32_LO: in getVariantKind()
54 case SIInstrInfo::MO_GOTPCREL32_HI: in getVariantKind()
56 case SIInstrInfo::MO_REL32_LO: in getVariantKind()
58 case SIInstrInfo::MO_REL32_HI: in getVariantKind()
60 case SIInstrInfo::MO_ABS32_LO: in getVariantKind()
62 case SIInstrInfo::MO_ABS32_HI: in getVariantKind()
107 if (MO.getTargetFlags() == SIInstrInfo::MO_FAR_BRANCH_OFFSET) { in lowerOperand()
119 const auto *TII = static_cast<const SIInstrInfo*>(ST.getInstrInfo()); in lower()
|
| H A D | SIModeRegister.cpp | 138 void processBlockPhase1(MachineBasicBlock &MBB, const SIInstrInfo *TII);
140 void processBlockPhase2(MachineBasicBlock &MBB, const SIInstrInfo *TII);
142 void processBlockPhase3(MachineBasicBlock &MBB, const SIInstrInfo *TII);
144 Status getInstructionMode(MachineInstr &MI, const SIInstrInfo *TII);
147 const SIInstrInfo *TII, Status InstrMode);
165 const SIInstrInfo *TII) { in getInstructionMode()
223 const SIInstrInfo *TII, Status InstrMode) { in insertSetreg()
258 const SIInstrInfo *TII) { in processBlockPhase1()
356 const SIInstrInfo *TII) { in processBlockPhase2()
420 const SIInstrInfo *TII) { in processBlockPhase3()
[all …]
|
| H A D | AMDGPUExportClustering.cpp | 30 return SIInstrInfo::isEXP(*SU.getInstr()); in isExport()
33 static bool isPositionExport(const SIInstrInfo *TII, SUnit *SU) { in isPositionExport()
39 static void sortChain(const SIInstrInfo *TII, SmallVector<SUnit *, 8> &Chain, in sortChain()
109 const SIInstrInfo *TII = static_cast<const SIInstrInfo *>(DAG->TII); in apply()
|
| H A D | SIInstrInfo.cpp | 63 SIInstrInfo::SIInstrInfo(const GCNSubtarget &ST) in SIInstrInfo() function in SIInstrInfo
109 if (SIInstrInfo::isVOP1(MI) || SIInstrInfo::isVOP2(MI) || in canRemat()
110 SIInstrInfo::isVOP3(MI) || SIInstrInfo::isSDWA(MI) || in canRemat()
111 SIInstrInfo::isSALU(MI)) in canRemat()
114 if (SIInstrInfo::isSMRD(MI)) { in canRemat()
124 bool SIInstrInfo::isReallyTriviallyReMaterializable( in isReallyTriviallyReMaterializable()
184 bool SIInstrInfo::isIgnorableUse(const MachineOperand &MO) const { in isIgnorableUse()
190 bool SIInstrInfo::isSafeToSink(MachineInstr &MI, in isSafeToSink()
230 bool SIInstrInfo::areLoadsFromSameBasePtr(SDNode *Load0, SDNode *Load1, in areLoadsFromSameBasePtr()
356 bool SIInstrInfo::getMemOperandsWithOffsetWidth( in getMemOperandsWithOffsetWidth()
[all …]
|
| H A D | AMDGPUSetWavePriority.cpp | 60 const SIInstrInfo *TII;
98 return SIInstrInfo::isVMEM(MI) && MI.mayLoad(); in isVMEMLoad()
136 } else if (SIInstrInfo::isDS(MI)) { in runOnMachineFunction()
141 } else if (SIInstrInfo::isVALU(MI)) { in runOnMachineFunction()
173 while (I != E && !SIInstrInfo::isVALU(*I) && !I->isTerminator()) in runOnMachineFunction()
|
| H A D | SIInsertWaitcnts.cpp | 172 return SIInstrInfo::isVMEM(Inst) || SIInstrInfo::isFLATGlobal(Inst) || in updateVMCntOnly()
173 SIInstrInfo::isFLATScratch(Inst); in updateVMCntOnly()
184 if (!SIInstrInfo::isMIMG(Inst) && !SIInstrInfo::isVIMAGE(Inst) && in getVmemType()
185 !SIInstrInfo::isVSAMPLE(Inst)) in getVmemType()
194 : (BaseInfo->Sampler || SIInstrInfo::isVSAMPLE(Inst)) ? VMEM_SAMPLER in getVmemType()
315 void updateByEvent(const SIInstrInfo *TII, const SIRegisterInfo *TRI,
408 void setExpScore(const MachineInstr *MI, const SIInstrInfo *TII,
448 const SIInstrInfo *TII = nullptr;
584 const SIInstrInfo *TII = nullptr;
697 assert(SIInstrInfo::isVMEM(Inst) || SIInstrInfo::isFLAT(Inst)); in getVmemWaitEventType()
[all …]
|
| H A D | GCNVOPDUtils.h | 22 class SIInstrInfo; variable
24 bool checkVOPDRegConstraints(const SIInstrInfo &TII,
|
| H A D | AMDGPUIGroupLP.cpp | 91 const SIInstrInfo *TII;
104 InstructionRule(const SIInstrInfo *TII, unsigned SGID, in InstructionRule()
155 const SIInstrInfo *TII;
231 ScheduleDAGInstrs *DAG, const SIInstrInfo *TII) in SchedGroup()
237 ScheduleDAGInstrs *DAG, const SIInstrInfo *TII) in SchedGroup()
844 const SIInstrInfo *TII;
859 IGLPStrategy(ScheduleDAGInstrs *DAG, const SIInstrInfo *TII) in IGLPStrategy()
878 MFMASmallGemmOpt(ScheduleDAGInstrs *DAG, const SIInstrInfo *TII) in MFMASmallGemmOpt()
936 bool analyzeDAG(const SIInstrInfo *TII);
965 IsPipeExp(const SIInstrInfo *TII, unsigned SGID, bool NeedsCache = false) in IsPipeExp()
[all …]
|
| H A D | SIPeepholeSDWA.cpp | 41 const SIInstrInfo *TII);
52 const SIInstrInfo *TII;
97 virtual MachineInstr *potentialToConvert(const SIInstrInfo *TII,
100 virtual bool convertToSDWA(MachineInstr &MI, const SIInstrInfo *TII) = 0;
132 MachineInstr *potentialToConvert(const SIInstrInfo *TII,
135 bool convertToSDWA(MachineInstr &MI, const SIInstrInfo *TII) override;
142 uint64_t getSrcMods(const SIInstrInfo *TII,
161 MachineInstr *potentialToConvert(const SIInstrInfo *TII,
164 bool convertToSDWA(MachineInstr &MI, const SIInstrInfo *TII) override;
184 bool convertToSDWA(MachineInstr &MI, const SIInstrInfo *TII) override;
[all …]
|
| H A D | AMDGPUMacroFusion.cpp | 16 #include "SIInstrInfo.h"
30 const SIInstrInfo &TII = static_cast<const SIInstrInfo&>(TII_); in shouldScheduleAdjacent()
|
| H A D | SIFormMemoryClauses.cpp | 98 return SIInstrInfo::isFLAT(MI) || SIInstrInfo::isVMEM(MI); in isVMEMClauseInst()
102 return SIInstrInfo::isSMRD(MI); in isSMEMClauseInst()
113 if (SIInstrInfo::isAtomic(MI)) in isValidClauseInst()
265 const SIInstrInfo *TII = ST->getInstrInfo(); in runOnMachineFunction()
|
| H A D | GCNVOPDUtils.cpp | 19 #include "SIInstrInfo.h"
37 bool llvm::checkVOPDRegConstraints(const SIInstrInfo &TII, in checkVOPDRegConstraints()
127 const SIInstrInfo &STII = static_cast<const SIInstrInfo &>(TII); in shouldScheduleVOPDAdjacent()
|
| H A D | AMDGPUInsertSingleUseVDST.cpp | 46 const SIInstrInfo *SII;
124 auto emit(const SIInstrInfo *SII) { in emit()
224 if (!SIInstrInfo::isVALU(MI) || in runOnMachineFunction()
|
| H A D | GCNHazardRecognizer.h | 28 class SIInstrInfo; variable
47 const SIInstrInfo &TII;
|
| H A D | SIFrameLowering.cpp | 178 const DebugLoc &DL, const SIInstrInfo *TII, in buildGitPtr()
231 const SIInstrInfo *TII;
341 const DebugLoc &DL, const SIInstrInfo *TII, in PrologEpilogSGPRSpillBuilder()
386 const SIInstrInfo *TII = ST.getInstrInfo(); in emitEntryFunctionFlatScratchInit()
541 const SIInstrInfo *TII = ST.getInstrInfo(); in getEntryFunctionReservedScratchRsrcReg()
611 const SIInstrInfo *TII = ST.getInstrInfo(); in emitEntryFunctionPrologue()
735 const SIInstrInfo *TII = ST.getInstrInfo(); in emitEntryFunctionScratchRsrcRegSetup()
896 const SIInstrInfo *TII = ST.getInstrInfo(); in buildScratchExecCopy()
927 const SIInstrInfo *TII = ST.getInstrInfo(); in emitCSRSpillStores()
1013 const SIInstrInfo *TII = ST.getInstrInfo(); in emitCSRSpillRestores()
[all …]
|
| H A D | GCNCreateVOPD.cpp | 69 bool doReplace(const SIInstrInfo *SII, VOPDCombineInfo &CI) { in doReplace()
126 const SIInstrInfo *SII = ST->getInstrInfo(); in runOnMachineFunction()
|
| H A D | AMDGPURegisterBankInfo.h | 29 class SIInstrInfo; variable
46 const SIInstrInfo *TII;
|
| H A D | SIRegisterInfo.cpp | 105 const SIInstrInfo &TII;
112 SGPRSpillBuilder(const SIRegisterInfo &TRI, const SIInstrInfo &TII, in SGPRSpillBuilder()
118 SGPRSpillBuilder(const SIRegisterInfo &TRI, const SIInstrInfo &TII, in SGPRSpillBuilder()
791 assert(SIInstrInfo::isMUBUF(*MI) || SIInstrInfo::isFLATScratch(*MI)); in getScratchInstrOffset()
800 if (!SIInstrInfo::isMUBUF(*MI) && !SIInstrInfo::isFLATScratch(*MI)) in getFrameIndexInstrOffset()
813 if (!SIInstrInfo::isMUBUF(*MI) && !SIInstrInfo::isFLATScratch(*MI)) in needsFrameBaseReg()
818 const SIInstrInfo *TII = ST.getInstrInfo(); in needsFrameBaseReg()
819 if (SIInstrInfo::isMUBUF(*MI)) in needsFrameBaseReg()
836 const SIInstrInfo *TII = ST.getInstrInfo(); in materializeFrameBaseRegister()
879 const SIInstrInfo *TII = ST.getInstrInfo(); in resolveFrameIndex()
[all …]
|
| H A D | SIFixVGPRCopies.cpp | 55 const SIInstrInfo *TII = ST.getInstrInfo(); in runOnMachineFunction()
|
| H A D | SILateBranchLowering.cpp | 30 const SIInstrInfo *TII = nullptr;
71 const SIInstrInfo *TII, MachineFunction &MF) { in generateEndPgm()
|
| H A D | SILoadStoreOptimizer.cpp | 203 const SIInstrInfo *TII = nullptr;
213 const SIInstrInfo &TII,
326 static unsigned getOpcodeWidth(const MachineInstr &MI, const SIInstrInfo &TII) { in getOpcodeWidth()
407 static InstClassEnum getInstClass(unsigned Opc, const SIInstrInfo &TII) { in getInstClass()
563 static unsigned getInstSubclass(unsigned Opc, const SIInstrInfo &TII) { in getInstSubclass()
650 SIInstrInfo::isFLATGlobal(*CI.I) && SIInstrInfo::isFLATGlobal(*Paired.I)) in getCommonInstClass()
656 static AddressRegs getRegs(unsigned Opc, const SIInstrInfo &TII) { in getRegs()
922 const SIInstrInfo &TII, in dmasksCanBeCombined()
2087 if (!STM->hasFlatInstOffsets() || !SIInstrInfo::isFLAT(MI)) in promoteConstantOffsetToImm()
2091 if (SIInstrInfo::isFLATScratch(MI)) in promoteConstantOffsetToImm()
[all …]
|
| H A D | SILowerI1Copies.h | 50 const SIInstrInfo *TII = nullptr;
|
| H A D | SIMachineScheduler.h | 26 class SIInstrInfo; variable
426 const SIInstrInfo *SITII;
|