6429   StoreSDNode *StoreNode = cast<StoreSDNode>(Op);  in LowerSTORE()  local
6430   assert (StoreNode && "Can only custom lower store nodes");  in LowerSTORE()
6432   SDValue Value = StoreNode->getValue();  in LowerSTORE()
6435   EVT MemVT = StoreNode->getMemoryVT();  in LowerSTORE()
6443     unsigned AS = StoreNode->getAddressSpace();  in LowerSTORE()
6444     Align Alignment = StoreNode->getAlign();  in LowerSTORE()
6447                                         StoreNode->getMemOperand()->getFlags(),  in LowerSTORE()
6449       return scalarizeVectorStore(StoreNode, DAG);  in LowerSTORE()
6452     if (StoreNode->isTruncatingStore() && VT == MVT::v4i16 &&  in LowerSTORE()
6454       return LowerTruncateVectorStore(Dl, StoreNode, VT, MemVT, DAG);  in LowerSTORE()
6460     if (StoreNode->isNonTemporal() && MemVT.getSizeInBits() == 256u &&  in LowerSTORE()
6469                       StoreNode->getValue(), DAG.getConstant(0, Dl, MVT::i64));  in LowerSTORE()
6473                       StoreNode->getValue(),  in LowerSTORE()
6477           {StoreNode->getChain(), Lo, Hi, StoreNode->getBasePtr()},  in LowerSTORE()
6478           StoreNode->getMemoryVT(), StoreNode->getMemOperand());  in LowerSTORE()
6481   } else if (MemVT == MVT::i128 && StoreNode->isVolatile()) {  in LowerSTORE()
6484     SDValue Value = StoreNode->getValue();  in LowerSTORE()
6486     SDValue Chain = StoreNode->getChain();  in LowerSTORE()
6487     SDValue Base = StoreNode->getBasePtr();  in LowerSTORE()
6494       Chain = DAG.getStore(Chain, Dl, Part, Ptr, StoreNode->getPointerInfo(),  in LowerSTORE()
6495                            StoreNode->getOriginalAlign());  in LowerSTORE()
6506   MemSDNode *StoreNode = cast<MemSDNode>(Op);  in LowerStore128()  local
6507   assert(StoreNode->getMemoryVT() == MVT::i128);  in LowerStore128()
6508   assert(StoreNode->isVolatile() || StoreNode->isAtomic());  in LowerStore128()
6511       StoreNode->getMergedOrdering() == AtomicOrdering::Release;  in LowerStore128()
6512   if (StoreNode->isAtomic())  in LowerStore128()
6515            StoreNode->getMergedOrdering() == AtomicOrdering::Unordered ||  in LowerStore128()
6516            StoreNode->getMergedOrdering() == AtomicOrdering::Monotonic);  in LowerStore128()
6518   SDValue Value = (StoreNode->getOpcode() == ISD::STORE ||  in LowerStore128()
6519                    StoreNode->getOpcode() == ISD::ATOMIC_STORE)  in LowerStore128()
6520                       ? StoreNode->getOperand(1)  in LowerStore128()
6521                       : StoreNode->getOperand(2);  in LowerStore128()
6529       {StoreNode->getChain(), StoreValue.first, StoreValue.second,  in LowerStore128()
6530        StoreNode->getBasePtr()},  in LowerStore128()
6531       StoreNode->getMemoryVT(), StoreNode->getMemOperand());  in LowerStore128()