12483b4eaSChristian König /*
22483b4eaSChristian König * Copyright 2010 Advanced Micro Devices, Inc.
32483b4eaSChristian König *
42483b4eaSChristian König * Permission is hereby granted, free of charge, to any person obtaining a
52483b4eaSChristian König * copy of this software and associated documentation files (the "Software"),
62483b4eaSChristian König * to deal in the Software without restriction, including without limitation
72483b4eaSChristian König * the rights to use, copy, modify, merge, publish, distribute, sublicense,
82483b4eaSChristian König * and/or sell copies of the Software, and to permit persons to whom the
92483b4eaSChristian König * Software is furnished to do so, subject to the following conditions:
102483b4eaSChristian König *
112483b4eaSChristian König * The above copyright notice and this permission notice shall be included in
122483b4eaSChristian König * all copies or substantial portions of the Software.
132483b4eaSChristian König *
142483b4eaSChristian König * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
152483b4eaSChristian König * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
162483b4eaSChristian König * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL
172483b4eaSChristian König * THE COPYRIGHT HOLDER(S) OR AUTHOR(S) BE LIABLE FOR ANY CLAIM, DAMAGES OR
182483b4eaSChristian König * OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE,
192483b4eaSChristian König * ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR
202483b4eaSChristian König * OTHER DEALINGS IN THE SOFTWARE.
212483b4eaSChristian König *
222483b4eaSChristian König * Authors: Alex Deucher
232483b4eaSChristian König */
24c182615fSSam Ravnborg
252483b4eaSChristian König #include "radeon.h"
262483b4eaSChristian König #include "radeon_asic.h"
27*6a86ecdeSLee Jones #include "evergreen.h"
282483b4eaSChristian König #include "evergreend.h"
292483b4eaSChristian König
302483b4eaSChristian König /**
312483b4eaSChristian König * evergreen_dma_fence_ring_emit - emit a fence on the DMA ring
322483b4eaSChristian König *
332483b4eaSChristian König * @rdev: radeon_device pointer
342483b4eaSChristian König * @fence: radeon fence object
352483b4eaSChristian König *
362483b4eaSChristian König * Add a DMA fence packet to the ring to write
372483b4eaSChristian König * the fence seq number and DMA trap packet to generate
382483b4eaSChristian König * an interrupt if needed (evergreen-SI).
392483b4eaSChristian König */
evergreen_dma_fence_ring_emit(struct radeon_device * rdev,struct radeon_fence * fence)402483b4eaSChristian König void evergreen_dma_fence_ring_emit(struct radeon_device *rdev,
412483b4eaSChristian König struct radeon_fence *fence)
422483b4eaSChristian König {
432483b4eaSChristian König struct radeon_ring *ring = &rdev->ring[fence->ring];
442483b4eaSChristian König u64 addr = rdev->fence_drv[fence->ring].gpu_addr;
452483b4eaSChristian König /* write the fence */
462483b4eaSChristian König radeon_ring_write(ring, DMA_PACKET(DMA_PACKET_FENCE, 0, 0));
472483b4eaSChristian König radeon_ring_write(ring, addr & 0xfffffffc);
482483b4eaSChristian König radeon_ring_write(ring, (upper_32_bits(addr) & 0xff));
492483b4eaSChristian König radeon_ring_write(ring, fence->seq);
502483b4eaSChristian König /* generate an interrupt */
512483b4eaSChristian König radeon_ring_write(ring, DMA_PACKET(DMA_PACKET_TRAP, 0, 0));
522483b4eaSChristian König /* flush HDP */
532483b4eaSChristian König radeon_ring_write(ring, DMA_PACKET(DMA_PACKET_SRBM_WRITE, 0, 0));
542483b4eaSChristian König radeon_ring_write(ring, (0xf << 16) | (HDP_MEM_COHERENCY_FLUSH_CNTL >> 2));
552483b4eaSChristian König radeon_ring_write(ring, 1);
562483b4eaSChristian König }
572483b4eaSChristian König
582483b4eaSChristian König /**
592483b4eaSChristian König * evergreen_dma_ring_ib_execute - schedule an IB on the DMA engine
602483b4eaSChristian König *
612483b4eaSChristian König * @rdev: radeon_device pointer
622483b4eaSChristian König * @ib: IB object to schedule
632483b4eaSChristian König *
642483b4eaSChristian König * Schedule an IB in the DMA ring (evergreen).
652483b4eaSChristian König */
evergreen_dma_ring_ib_execute(struct radeon_device * rdev,struct radeon_ib * ib)662483b4eaSChristian König void evergreen_dma_ring_ib_execute(struct radeon_device *rdev,
672483b4eaSChristian König struct radeon_ib *ib)
682483b4eaSChristian König {
692483b4eaSChristian König struct radeon_ring *ring = &rdev->ring[ib->ring];
702483b4eaSChristian König
712483b4eaSChristian König if (rdev->wb.enabled) {
722483b4eaSChristian König u32 next_rptr = ring->wptr + 4;
732483b4eaSChristian König while ((next_rptr & 7) != 5)
742483b4eaSChristian König next_rptr++;
752483b4eaSChristian König next_rptr += 3;
762483b4eaSChristian König radeon_ring_write(ring, DMA_PACKET(DMA_PACKET_WRITE, 0, 1));
772483b4eaSChristian König radeon_ring_write(ring, ring->next_rptr_gpu_addr & 0xfffffffc);
782483b4eaSChristian König radeon_ring_write(ring, upper_32_bits(ring->next_rptr_gpu_addr) & 0xff);
792483b4eaSChristian König radeon_ring_write(ring, next_rptr);
802483b4eaSChristian König }
812483b4eaSChristian König
822483b4eaSChristian König /* The indirect buffer packet must end on an 8 DW boundary in the DMA ring.
832483b4eaSChristian König * Pad as necessary with NOPs.
842483b4eaSChristian König */
852483b4eaSChristian König while ((ring->wptr & 7) != 5)
862483b4eaSChristian König radeon_ring_write(ring, DMA_PACKET(DMA_PACKET_NOP, 0, 0));
872483b4eaSChristian König radeon_ring_write(ring, DMA_PACKET(DMA_PACKET_INDIRECT_BUFFER, 0, 0));
882483b4eaSChristian König radeon_ring_write(ring, (ib->gpu_addr & 0xFFFFFFE0));
892483b4eaSChristian König radeon_ring_write(ring, (ib->length_dw << 12) | (upper_32_bits(ib->gpu_addr) & 0xFF));
902483b4eaSChristian König
912483b4eaSChristian König }
922483b4eaSChristian König
932483b4eaSChristian König /**
942483b4eaSChristian König * evergreen_copy_dma - copy pages using the DMA engine
952483b4eaSChristian König *
962483b4eaSChristian König * @rdev: radeon_device pointer
972483b4eaSChristian König * @src_offset: src GPU address
982483b4eaSChristian König * @dst_offset: dst GPU address
992483b4eaSChristian König * @num_gpu_pages: number of GPU pages to xfer
10059c0e925SLee Jones * @resv: reservation object with embedded fence
1012483b4eaSChristian König *
1022483b4eaSChristian König * Copy GPU paging using the DMA engine (evergreen-cayman).
1032483b4eaSChristian König * Used by the radeon ttm implementation to move pages if
1042483b4eaSChristian König * registered as the asic copy callback.
1052483b4eaSChristian König */
evergreen_copy_dma(struct radeon_device * rdev,uint64_t src_offset,uint64_t dst_offset,unsigned num_gpu_pages,struct dma_resv * resv)10657d20a43SChristian König struct radeon_fence *evergreen_copy_dma(struct radeon_device *rdev,
10757d20a43SChristian König uint64_t src_offset,
10857d20a43SChristian König uint64_t dst_offset,
1092483b4eaSChristian König unsigned num_gpu_pages,
11052791eeeSChristian König struct dma_resv *resv)
1112483b4eaSChristian König {
11257d20a43SChristian König struct radeon_fence *fence;
113975700d2SChristian König struct radeon_sync sync;
1142483b4eaSChristian König int ring_index = rdev->asic->copy.dma_ring_index;
1152483b4eaSChristian König struct radeon_ring *ring = &rdev->ring[ring_index];
1162483b4eaSChristian König u32 size_in_dw, cur_size_in_dw;
1172483b4eaSChristian König int i, num_loops;
1182483b4eaSChristian König int r = 0;
1192483b4eaSChristian König
120975700d2SChristian König radeon_sync_create(&sync);
1212483b4eaSChristian König
1222483b4eaSChristian König size_in_dw = (num_gpu_pages << RADEON_GPU_PAGE_SHIFT) / 4;
1232483b4eaSChristian König num_loops = DIV_ROUND_UP(size_in_dw, 0xfffff);
1242483b4eaSChristian König r = radeon_ring_lock(rdev, ring, num_loops * 5 + 11);
1252483b4eaSChristian König if (r) {
1262483b4eaSChristian König DRM_ERROR("radeon: moving bo (%d).\n", r);
127975700d2SChristian König radeon_sync_free(rdev, &sync, NULL);
12857d20a43SChristian König return ERR_PTR(r);
1292483b4eaSChristian König }
1302483b4eaSChristian König
131975700d2SChristian König radeon_sync_resv(rdev, &sync, resv, false);
132975700d2SChristian König radeon_sync_rings(rdev, &sync, ring->idx);
1332483b4eaSChristian König
1342483b4eaSChristian König for (i = 0; i < num_loops; i++) {
1352483b4eaSChristian König cur_size_in_dw = size_in_dw;
1362483b4eaSChristian König if (cur_size_in_dw > 0xFFFFF)
1372483b4eaSChristian König cur_size_in_dw = 0xFFFFF;
1382483b4eaSChristian König size_in_dw -= cur_size_in_dw;
1392483b4eaSChristian König radeon_ring_write(ring, DMA_PACKET(DMA_PACKET_COPY, 0, cur_size_in_dw));
1402483b4eaSChristian König radeon_ring_write(ring, dst_offset & 0xfffffffc);
1412483b4eaSChristian König radeon_ring_write(ring, src_offset & 0xfffffffc);
1422483b4eaSChristian König radeon_ring_write(ring, upper_32_bits(dst_offset) & 0xff);
1432483b4eaSChristian König radeon_ring_write(ring, upper_32_bits(src_offset) & 0xff);
1442483b4eaSChristian König src_offset += cur_size_in_dw * 4;
1452483b4eaSChristian König dst_offset += cur_size_in_dw * 4;
1462483b4eaSChristian König }
1472483b4eaSChristian König
14857d20a43SChristian König r = radeon_fence_emit(rdev, &fence, ring->idx);
1492483b4eaSChristian König if (r) {
1502483b4eaSChristian König radeon_ring_unlock_undo(rdev, ring);
151975700d2SChristian König radeon_sync_free(rdev, &sync, NULL);
15257d20a43SChristian König return ERR_PTR(r);
1532483b4eaSChristian König }
1542483b4eaSChristian König
1551538a9e0SMichel Dänzer radeon_ring_unlock_commit(rdev, ring, false);
156975700d2SChristian König radeon_sync_free(rdev, &sync, fence);
1572483b4eaSChristian König
15857d20a43SChristian König return fence;
1592483b4eaSChristian König }
1602483b4eaSChristian König
1612483b4eaSChristian König /**
1622483b4eaSChristian König * evergreen_dma_is_lockup - Check if the DMA engine is locked up
1632483b4eaSChristian König *
1642483b4eaSChristian König * @rdev: radeon_device pointer
1652483b4eaSChristian König * @ring: radeon_ring structure holding ring information
1662483b4eaSChristian König *
1672483b4eaSChristian König * Check if the async DMA engine is locked up.
1682483b4eaSChristian König * Returns true if the engine appears to be locked up, false if not.
1692483b4eaSChristian König */
evergreen_dma_is_lockup(struct radeon_device * rdev,struct radeon_ring * ring)1702483b4eaSChristian König bool evergreen_dma_is_lockup(struct radeon_device *rdev, struct radeon_ring *ring)
1712483b4eaSChristian König {
1722483b4eaSChristian König u32 reset_mask = evergreen_gpu_check_soft_reset(rdev);
1732483b4eaSChristian König
1742483b4eaSChristian König if (!(reset_mask & RADEON_RESET_DMA)) {
175ff212f25SChristian König radeon_ring_lockup_update(rdev, ring);
1762483b4eaSChristian König return false;
1772483b4eaSChristian König }
1782483b4eaSChristian König return radeon_ring_test_lockup(rdev, ring);
1792483b4eaSChristian König }
1802483b4eaSChristian König
1812483b4eaSChristian König
182