/*
 * This file and its contents are supplied under the terms of the
 * Common Development and Distribution License ("CDDL"), version 1.0.
 * You may only use this file in accordance with the terms of version
 * 1.0 of the CDDL.
 *
 * A full copy of the text of the CDDL should have accompanied this
 * source.  A copy of the CDDL is also available via the Internet at
 * http://www.illumos.org/license/CDDL.
 */

/*
 * Copyright 2023 Oxide Computer Company
 */

	.file	"xsave_asm64.s"

/*
 * Test utility routines that we need assembler for. 64-bit addition.
 */

#include <sys/asm_linkage.h>
#include "xsave_util.h"

#define	GET_FPU_XMM(src, i)	\
	leaq	(i * XSU_ZMM_U32 * 4)(src), %rax; \
	movdqu	%xmm##i, (%rax)

#define	GET_FPU_YMM(src, i)	\
	leaq	(i * XSU_ZMM_U32 * 4)(src), %rax; \
	vmovdqu	%ymm##i, (%rax)

#define	GET_FPU_ZMM(src, i)	\
	leaq	(i * XSU_ZMM_U32 * 4)(src), %rax; \
	vmovdqu64	%zmm##i, (%rax)

#define	GET_MASK(src, i)	\
	leaq	(0x800 + i * 8)(src), %rax; \
	kmovq	%k##i, (%rax)

	/*
	 * void xsu_getfpu(xsu_fpu_t *data, uint32_t type)
	 *
	 * Our job is to get the entire contents of the FPU and save it into our
	 * data structure.
	 */
	ENTRY(xsu_getfpu)
	cmpl	$XSU_XMM, %esi
	je	get_xmm
	cmpl	$XSU_YMM, %esi
	je	get_ymm
	cmpl	$XSU_ZMM, %esi
	je	get_zmm
	call	abort
get_xmm:
	GET_FPU_XMM(%rdi, 0)
	GET_FPU_XMM(%rdi, 1)
	GET_FPU_XMM(%rdi, 2)
	GET_FPU_XMM(%rdi, 3)
	GET_FPU_XMM(%rdi, 4)
	GET_FPU_XMM(%rdi, 5)
	GET_FPU_XMM(%rdi, 6)
	GET_FPU_XMM(%rdi, 7)
	GET_FPU_XMM(%rdi, 8)
	GET_FPU_XMM(%rdi, 9)
	GET_FPU_XMM(%rdi, 10)
	GET_FPU_XMM(%rdi, 11)
	GET_FPU_XMM(%rdi, 12)
	GET_FPU_XMM(%rdi, 13)
	GET_FPU_XMM(%rdi, 14)
	GET_FPU_XMM(%rdi, 15)
	jmp	get_done
get_ymm:
	GET_FPU_YMM(%rdi, 0)
	GET_FPU_YMM(%rdi, 1)
	GET_FPU_YMM(%rdi, 2)
	GET_FPU_YMM(%rdi, 3)
	GET_FPU_YMM(%rdi, 4)
	GET_FPU_YMM(%rdi, 5)
	GET_FPU_YMM(%rdi, 6)
	GET_FPU_YMM(%rdi, 7)
	GET_FPU_YMM(%rdi, 8)
	GET_FPU_YMM(%rdi, 9)
	GET_FPU_YMM(%rdi, 10)
	GET_FPU_YMM(%rdi, 11)
	GET_FPU_YMM(%rdi, 12)
	GET_FPU_YMM(%rdi, 13)
	GET_FPU_YMM(%rdi, 14)
	GET_FPU_YMM(%rdi, 15)
	jmp	get_done
get_zmm:
	GET_FPU_ZMM(%rdi, 0)
	GET_FPU_ZMM(%rdi, 1)
	GET_FPU_ZMM(%rdi, 2)
	GET_FPU_ZMM(%rdi, 3)
	GET_FPU_ZMM(%rdi, 4)
	GET_FPU_ZMM(%rdi, 5)
	GET_FPU_ZMM(%rdi, 6)
	GET_FPU_ZMM(%rdi, 7)
	GET_FPU_ZMM(%rdi, 8)
	GET_FPU_ZMM(%rdi, 9)
	GET_FPU_ZMM(%rdi, 10)
	GET_FPU_ZMM(%rdi, 11)
	GET_FPU_ZMM(%rdi, 12)
	GET_FPU_ZMM(%rdi, 13)
	GET_FPU_ZMM(%rdi, 14)
	GET_FPU_ZMM(%rdi, 15)
	GET_FPU_ZMM(%rdi, 16)
	GET_FPU_ZMM(%rdi, 17)
	GET_FPU_ZMM(%rdi, 18)
	GET_FPU_ZMM(%rdi, 19)
	GET_FPU_ZMM(%rdi, 20)
	GET_FPU_ZMM(%rdi, 21)
	GET_FPU_ZMM(%rdi, 22)
	GET_FPU_ZMM(%rdi, 23)
	GET_FPU_ZMM(%rdi, 24)
	GET_FPU_ZMM(%rdi, 25)
	GET_FPU_ZMM(%rdi, 25)
	GET_FPU_ZMM(%rdi, 26)
	GET_FPU_ZMM(%rdi, 27)
	GET_FPU_ZMM(%rdi, 28)
	GET_FPU_ZMM(%rdi, 29)
	GET_FPU_ZMM(%rdi, 30)
	GET_FPU_ZMM(%rdi, 31)
	GET_MASK(%rdi, 0)
	GET_MASK(%rdi, 1)
	GET_MASK(%rdi, 2)
	GET_MASK(%rdi, 3)
	GET_MASK(%rdi, 4)
	GET_MASK(%rdi, 5)
	GET_MASK(%rdi, 6)
	GET_MASK(%rdi, 7)
get_done:
	ret
	SET_SIZE(xsu_getfpu)

#define	SET_FPU_XMM(src, i)	\
	leaq	(i * XSU_ZMM_U32 * 4)(src), %rax; \
	movdqu	(%rax), %xmm##i

#define	SET_FPU_YMM(src, i)	\
	leaq	(i * XSU_ZMM_U32 * 4)(src), %rax; \
	vmovdqu	(%rax), %ymm##i

#define	SET_FPU_ZMM(src, i)	\
	leaq	(i * XSU_ZMM_U32 * 4)(src), %rax; \
	vmovdqu64	(%rax), %zmm##i

#define	SET_MASK(src, i)	\
	leaq	(0x800 + i * 8)(src), %rax; \
	kmovq	(%rax), %k##i

	/*
	 * void xsu_setfpu(const xsu_fpu_t *data, uint32_t type)
	 *
	 * Our job is to override the contents of the FPU with this structure
	 * that we've been given. The type indicates how much of it to use.
	 */
	ENTRY(xsu_setfpu)
	cmpl	$XSU_XMM, %esi
	je	set_xmm
	cmpl	$XSU_YMM, %esi
	je	set_ymm
	cmpl	$XSU_ZMM, %esi
	je	set_zmm
	call	abort
set_xmm:
	SET_FPU_XMM(%rdi, 0)
	SET_FPU_XMM(%rdi, 1)
	SET_FPU_XMM(%rdi, 2)
	SET_FPU_XMM(%rdi, 3)
	SET_FPU_XMM(%rdi, 4)
	SET_FPU_XMM(%rdi, 5)
	SET_FPU_XMM(%rdi, 6)
	SET_FPU_XMM(%rdi, 7)
	SET_FPU_XMM(%rdi, 8)
	SET_FPU_XMM(%rdi, 9)
	SET_FPU_XMM(%rdi, 10)
	SET_FPU_XMM(%rdi, 11)
	SET_FPU_XMM(%rdi, 12)
	SET_FPU_XMM(%rdi, 13)
	SET_FPU_XMM(%rdi, 14)
	SET_FPU_XMM(%rdi, 15)
	jmp	set_done
set_ymm:
	SET_FPU_YMM(%rdi, 0)
	SET_FPU_YMM(%rdi, 1)
	SET_FPU_YMM(%rdi, 2)
	SET_FPU_YMM(%rdi, 3)
	SET_FPU_YMM(%rdi, 4)
	SET_FPU_YMM(%rdi, 5)
	SET_FPU_YMM(%rdi, 6)
	SET_FPU_YMM(%rdi, 7)
	SET_FPU_YMM(%rdi, 8)
	SET_FPU_YMM(%rdi, 9)
	SET_FPU_YMM(%rdi, 10)
	SET_FPU_YMM(%rdi, 11)
	SET_FPU_YMM(%rdi, 12)
	SET_FPU_YMM(%rdi, 13)
	SET_FPU_YMM(%rdi, 14)
	SET_FPU_YMM(%rdi, 15)
	jmp	set_done
set_zmm:
	SET_FPU_ZMM(%rdi, 0)
	SET_FPU_ZMM(%rdi, 1)
	SET_FPU_ZMM(%rdi, 2)
	SET_FPU_ZMM(%rdi, 3)
	SET_FPU_ZMM(%rdi, 4)
	SET_FPU_ZMM(%rdi, 5)
	SET_FPU_ZMM(%rdi, 6)
	SET_FPU_ZMM(%rdi, 7)
	SET_FPU_ZMM(%rdi, 8)
	SET_FPU_ZMM(%rdi, 9)
	SET_FPU_ZMM(%rdi, 10)
	SET_FPU_ZMM(%rdi, 11)
	SET_FPU_ZMM(%rdi, 12)
	SET_FPU_ZMM(%rdi, 13)
	SET_FPU_ZMM(%rdi, 14)
	SET_FPU_ZMM(%rdi, 15)
	SET_FPU_ZMM(%rdi, 16)
	SET_FPU_ZMM(%rdi, 17)
	SET_FPU_ZMM(%rdi, 18)
	SET_FPU_ZMM(%rdi, 19)
	SET_FPU_ZMM(%rdi, 20)
	SET_FPU_ZMM(%rdi, 21)
	SET_FPU_ZMM(%rdi, 22)
	SET_FPU_ZMM(%rdi, 23)
	SET_FPU_ZMM(%rdi, 24)
	SET_FPU_ZMM(%rdi, 25)
	SET_FPU_ZMM(%rdi, 25)
	SET_FPU_ZMM(%rdi, 26)
	SET_FPU_ZMM(%rdi, 27)
	SET_FPU_ZMM(%rdi, 28)
	SET_FPU_ZMM(%rdi, 29)
	SET_FPU_ZMM(%rdi, 30)
	SET_FPU_ZMM(%rdi, 31)
	SET_MASK(%rdi, 0)
	SET_MASK(%rdi, 1)
	SET_MASK(%rdi, 2)
	SET_MASK(%rdi, 3)
	SET_MASK(%rdi, 4)
	SET_MASK(%rdi, 5)
	SET_MASK(%rdi, 6)
	SET_MASK(%rdi, 7)
set_done:
	ret
	SET_SIZE(xsu_setfpu)