2939          VT.is512BitVector();  in useVPTERNLOG()
3115   if ((VT.is256BitVector() || VT.is512BitVector()) && !Load->hasOneUse()) {  in shouldReduceLoadWidth()
3866   assert((VT.is128BitVector() || VT.is256BitVector() || VT.is512BitVector() ||  in getZeroVector()
3954           Vec.getValueType().is512BitVector()) && "Unexpected vector size!");  in extract128BitVector()
3961   assert(Vec.getValueType().is512BitVector() && "Unexpected vector size!");  in extract256BitVector()
4191           Op.getOperand(0).getValueType().is512BitVector()) &&  in splitVectorIntUnary()
4192          (VT.is256BitVector() || VT.is512BitVector()) && "Unsupported VT!");  in splitVectorIntUnary()
4207   assert((VT.is256BitVector() || VT.is512BitVector()) && "Unsupported VT!");  in splitVectorIntBinary()
4291   bool Widen = !(Subtarget.hasVLX() || VT.is512BitVector());  in getAVX512Node()
4506   assert((VT.is128BitVector() || VT.is256BitVector() || VT.is512BitVector()) &&  in getOnesVector()
7067   if (VT.is256BitVector() || VT.is512BitVector()) {  in EltsFromConsecutiveLoads()
7085       ((VT.is128BitVector() || VT.is256BitVector() || VT.is512BitVector()))) {  in EltsFromConsecutiveLoads()
7109       (VT.is128BitVector() || VT.is256BitVector() || VT.is512BitVector())) {  in EltsFromConsecutiveLoads()
7291   assert((VT.is128BitVector() || VT.is256BitVector() || VT.is512BitVector()) &&  in lowerBuildVectorAsBroadcast()
7329         if (!VT.is512BitVector() && !Subtarget.hasVLX()) {  in lowerBuildVectorAsBroadcast()
8092   if (VT.is512BitVector()) {  in lowerToAddSubOrFMAddSub()
8867   if ((VT.is256BitVector() || VT.is512BitVector()) &&  in LowerBUILD_VECTOR()
8873       if (VT.is512BitVector() &&  in LowerBUILD_VECTOR()
8975                 VT.is512BitVector()) &&  in LowerBUILD_VECTOR()
9220           ResVT.is512BitVector()) && "Value type must be 256-/512-bit wide");  in LowerAVXCONCAT_VECTORS()
9364          (VT.is512BitVector() && (Op.getNumOperands() == 2 ||  in LowerCONCAT_VECTORS()
9848          (Subtarget.hasBWI() && VT.is512BitVector()));  in lowerShuffleWithPSHUFB()
10062   if (!VT.is512BitVector() && !Subtarget.hasVLX())  in matchShuffleAsVTRUNC()
10128   if (!Subtarget.hasVLX() && !SrcVT.is512BitVector()) {  in getAVX512TruncNode()
11044       (VT.is512BitVector() && !Subtarget.hasBWI()))  in lowerShuffleAsByteRotateAndPermute()
11464     assert((!VT.is512BitVector() || Subtarget.hasBWI()) &&  in lowerShuffleAsByteRotate()
12622     if (!VT.is256BitVector() && !VT.is512BitVector())  in lowerShuffleAsBroadcast()
14110   if (!VT.is512BitVector() && !Subtarget.hasVLX()) {  in lowerShuffleWithPERMV()
15328   assert((VT.is256BitVector() || VT.is512BitVector()) &&  in lowerShuffleWithUndefHalf()
15401       if (Subtarget.hasAVX512() && VT.is512BitVector())  in lowerShuffleWithUndefHalf()
15420     if (Subtarget.hasAVX512() && VT.is512BitVector())  in lowerShuffleWithUndefHalf()
16650   assert(VT.is512BitVector() && "Unexpected vector size for 512bit shuffle.");  in lowerV4X128Shuffle()
17748   if (VT.is512BitVector())  in lowerVECTOR_SHUFFLE()
18070   if (VecVT.is256BitVector() || VecVT.is512BitVector()) {  in LowerEXTRACT_VECTOR_ELT()
18289   if (VT.is256BitVector() || VT.is512BitVector()) {  in LowerINSERT_VECTOR_ELT()
20254   if (!ExtVT.is512BitVector() && !Subtarget.hasVLX()) {  in LowerZERO_EXTEND_Mask()
20379   if (SrcVT.is512BitVector() && Subtarget.hasInt256()) {  in truncateVectorWithPACK()
20727         (InVT.is512BitVector() && VT.is256BitVector()))  in LowerTRUNCATE()
22406   if (UseKORTEST && VT.is512BitVector()) {  in LowerVectorAllEqual()
23274          Op0.getSimpleValueType().is512BitVector())) {  in LowerVSETCC()
23485   if (VT.is512BitVector())  in LowerVSETCC()
24374   if (!ExtVT.is512BitVector() && !Subtarget.hasVLX()) {  in LowerSIGN_EXTEND_Mask()
24441       !(VT.is512BitVector() && Subtarget.hasAVX512()))  in LowerEXTEND_VECTOR_INREG()
24603           StoredVal.getValueType().is512BitVector()) &&  in splitVectorStore()
26124       bool SAE = Src.getValueType().is512BitVector() &&  in LowerINTRINSIC_WO_CHAIN()
27937   assert((NewVT.is256BitVector() || NewVT.is512BitVector()) &&  in LowerVectorCTLZ_AVX512CDI()
27981   if (CurrVT.is512BitVector()) {  in LowerVectorCTLZInRegLUT()
28007     if (CurrVT.is512BitVector()) {  in LowerVectorCTLZInRegLUT()
28047   if (VT.is512BitVector() && !Subtarget.hasBWI())  in LowerVectorCTLZ()
29128   if (!(VT.is128BitVector() || VT.is256BitVector() || VT.is512BitVector()))  in supportedVectorShiftWithImm()
29134   if (VT.is512BitVector() && Subtarget.useAVX512Regs() &&  in supportedVectorShiftWithImm()
29164   if (!(VT.is128BitVector() || VT.is256BitVector() || VT.is512BitVector()))  in supportedVectorVarShift()
29175       (Subtarget.useAVX512Regs() || !VT.is512BitVector()))  in supportedVectorVarShift()
29293       if (VT.is512BitVector()) {  in LowerShiftByScalarImmediate()
29753       if (VT.is512BitVector()) {  in LowerShift()
30041         (VT.is512BitVector() && !Subtarget.useBWIRegs() &&  in LowerFunnelShift()
30253   if (VT.is512BitVector() && !Subtarget.useBWIRegs())  in LowerRotate()
31323   assert((VT.is512BitVector() || VT.is256BitVector() || VT.is128BitVector()) &&  in LowerVectorCTPOP()
31345   if (VT.is512BitVector() && !Subtarget.hasBWI())  in LowerVectorCTPOP()
31499   if (Subtarget.hasXOP() && !VT.is512BitVector())  in LowerBITREVERSE()
31508   if (VT.is512BitVector() && !Subtarget.hasBWI())  in LowerBITREVERSE()
31998   if (!Subtarget.hasVLX() && !VT.is512BitVector() &&  in LowerMSCATTER()
31999       !Index.getSimpleValueType().is512BitVector()) {  in LowerMSCATTER()
32053   assert(Subtarget.hasAVX512() && !Subtarget.hasVLX() && !VT.is512BitVector() &&  in LowerMLOAD()
32101   assert(Subtarget.hasAVX512() && !Subtarget.hasVLX() && !VT.is512BitVector() &&  in LowerMSTORE()
32150   if (Subtarget.hasAVX512() && !Subtarget.hasVLX() && !VT.is512BitVector() &&  in LowerMGATHER()
32151       !IndexVT.is512BitVector()) {  in LowerMGATHER()
34373   if (!Subtarget.hasVLX() && !VT.is512BitVector())  in shouldFoldSelectWithIdentityConstant()
37946   if (MaskVT.is512BitVector() && AllowFloatDomain) {  in matchUnaryShuffle()
38001       if (Subtarget.hasAVX512() && MaskVT.is512BitVector()) {  in matchUnaryPermuteShuffle()
38054            (MaskVT.is512BitVector() && Subtarget.hasBWI()))) {  in matchUnaryPermuteShuffle()
38102          (MaskVT.is512BitVector() && Subtarget.hasAVX512()))) {  in matchUnaryPermuteShuffle()
38106       if (0 < ShiftAmt && (!ShuffleVT.is512BitVector() || Subtarget.hasBWI() ||  in matchUnaryPermuteShuffle()
38219       (MaskVT.is512BitVector() && Subtarget.hasAVX512() &&  in matchBinaryShuffle()
38334        (MaskVT.is512BitVector() && Subtarget.hasAVX512()))) {  in matchBinaryPermuteShuffle()
38352                          (MaskVT.is512BitVector() && Subtarget.hasBWI()))) {  in matchBinaryPermuteShuffle()
38413        (MaskVT.is512BitVector() && Subtarget.hasAVX512()))) {  in matchBinaryPermuteShuffle()
38429        (MaskVT.is512BitVector() && Subtarget.hasAVX512()))) {  in matchBinaryPermuteShuffle()
38589   if (RootVT.is512BitVector() &&  in combineX86ShuffleChain()
39149        (RootVT.is512BitVector() && Subtarget.hasBWI()))) {  in combineX86ShuffleChain()
41148     if (VT.is512BitVector()) {  in combineTargetShuffle()
41403           (NVT.is512BitVector() && Subtarget.hasEVEX512())) {  in combineTargetShuffle()
41662   if (VT.is512BitVector())  in combineShuffleToAddSubOrFMAddSub()
41726   if (!VT.is256BitVector() && !VT.is512BitVector())  in narrowShuffle()
42384   if ((VT.is256BitVector() || VT.is512BitVector()) &&  in SimplifyDemandedVectorEltsForTargetNode()
42390     if (VT.is512BitVector() && DemandedElts.lshr(NumElts / 4) == 0)  in SimplifyDemandedVectorEltsForTargetNode()
44782     if ((VecVT.is256BitVector() || VecVT.is512BitVector()) &&  in combineExtractWithShuffle()
45706   if (VT.is512BitVector())  in combineVSelectToBLENDV()
48992   if (!VT.is128BitVector() && !VT.is256BitVector() && !VT.is512BitVector())  in combineAndNotIntoANDNP()
49027         ((VT.is256BitVector() || VT.is512BitVector()) && Subtarget.hasAVX())))  in combineAndShuffleNot()
49078   if (!Subtarget.useAVX512Regs() && VT.is512BitVector() &&  in combineAndShuffleNot()
49622         !(Subtarget.hasVLX() || SetccVT.is512BitVector()))  in combineScalarAndWithMaskSetcc()
51115       if (!Subtarget.hasVLX() && !InVT.is512BitVector()) {  in combineTruncateWithSat()
51703     if (VT.is256BitVector() || VT.is512BitVector()) {  in combineStore()
56098       (VT.is256BitVector() || (VT.is512BitVector() && Subtarget.hasAVX512()))) {  in combineConcatVectorOps()
56250            (VT.is512BitVector() && Subtarget.useAVX512Regs())) &&  in combineConcatVectorOps()
56275            (VT.is512BitVector() && Subtarget.useAVX512Regs())) &&  in combineConcatVectorOps()
56299                        (VT.is512BitVector() && Subtarget.useBWIRegs()))) {  in combineConcatVectorOps()
56310           (VT.is512BitVector() && Subtarget.useAVX512Regs())) {  in combineConcatVectorOps()
56336       if (!IsSplat && NumOps == 2 && VT.is512BitVector()) {  in combineConcatVectorOps()
56366       if (!IsSplat && VT.is512BitVector() && Subtarget.useAVX512Regs()) {  in combineConcatVectorOps()
56389       if (!IsSplat && NumOps == 2 && VT.is512BitVector()) {  in combineConcatVectorOps()
56442            (VT.is512BitVector() && Subtarget.useAVX512Regs() &&  in combineConcatVectorOps()
56454       if (VT.is512BitVector() && Subtarget.useAVX512Regs() &&  in combineConcatVectorOps()
56467                        (VT.is512BitVector() && Subtarget.useAVX512Regs()))) {  in combineConcatVectorOps()
56527                        (VT.is512BitVector() && Subtarget.useBWIRegs()))) {  in combineConcatVectorOps()
56535            (VT.is512BitVector() && Subtarget.useAVX512Regs())) &&  in combineConcatVectorOps()
56548                        (VT.is512BitVector() && Subtarget.useAVX512Regs() &&  in combineConcatVectorOps()
56563            (VT.is512BitVector() && Subtarget.useAVX512Regs()))) {  in combineConcatVectorOps()
56571                        (VT.is512BitVector() && Subtarget.useAVX512Regs()))) {  in combineConcatVectorOps()
56591                        (VT.is512BitVector() && Subtarget.useBWIRegs()))) {  in combineConcatVectorOps()
56603            (VT.is512BitVector() && Subtarget.useBWIRegs())) &&  in combineConcatVectorOps()
56613       if (NumOps == 2 && VT.is512BitVector() && Subtarget.useBWIRegs()) {  in combineConcatVectorOps()
56633            (VT.is512BitVector() && Subtarget.useAVX512Regs())) &&  in combineConcatVectorOps()
56708       (VT.is256BitVector() || (VT.is512BitVector() && Subtarget.hasAVX512()))) {  in combineConcatVectorOps()
56727   if (IsSplat && NumOps == 4 && VT.is512BitVector() &&  in combineConcatVectorOps()
56951   if (!SelCondVT.is256BitVector() && !SelCondVT.is512BitVector())  in narrowExtractedVectorSelect()
56956   assert((SelVT.is256BitVector() || SelVT.is512BitVector()) &&  in narrowExtractedVectorSelect()