xref: /freebsd/lib/libc/gen/tls.c (revision 26896bda481f5935ce27662a6eca5bd64d5b4346)
10e1c7d0fSDoug Rabson /*-
20e1c7d0fSDoug Rabson  * Copyright (c) 2004 Doug Rabson
30e1c7d0fSDoug Rabson  * All rights reserved.
40e1c7d0fSDoug Rabson  *
50e1c7d0fSDoug Rabson  * Redistribution and use in source and binary forms, with or without
60e1c7d0fSDoug Rabson  * modification, are permitted provided that the following conditions
70e1c7d0fSDoug Rabson  * are met:
80e1c7d0fSDoug Rabson  * 1. Redistributions of source code must retain the above copyright
90e1c7d0fSDoug Rabson  *    notice, this list of conditions and the following disclaimer.
100e1c7d0fSDoug Rabson  * 2. Redistributions in binary form must reproduce the above copyright
110e1c7d0fSDoug Rabson  *    notice, this list of conditions and the following disclaimer in the
120e1c7d0fSDoug Rabson  *    documentation and/or other materials provided with the distribution.
130e1c7d0fSDoug Rabson  *
140e1c7d0fSDoug Rabson  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
150e1c7d0fSDoug Rabson  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
160e1c7d0fSDoug Rabson  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
170e1c7d0fSDoug Rabson  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
180e1c7d0fSDoug Rabson  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
190e1c7d0fSDoug Rabson  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
200e1c7d0fSDoug Rabson  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
210e1c7d0fSDoug Rabson  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
220e1c7d0fSDoug Rabson  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
230e1c7d0fSDoug Rabson  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
240e1c7d0fSDoug Rabson  * SUCH DAMAGE.
250e1c7d0fSDoug Rabson  *
260e1c7d0fSDoug Rabson  *	$FreeBSD$
270e1c7d0fSDoug Rabson  */
280e1c7d0fSDoug Rabson 
290e1c7d0fSDoug Rabson /*
300e1c7d0fSDoug Rabson  * Define stubs for TLS internals so that programs and libraries can
310e1c7d0fSDoug Rabson  * link. These functions will be replaced by functional versions at
320e1c7d0fSDoug Rabson  * runtime from ld-elf.so.1.
330e1c7d0fSDoug Rabson  */
340e1c7d0fSDoug Rabson 
3526896bdaSDavid Xu #include <sys/cdefs.h>
36ccd13c49SDoug Rabson #include <stdlib.h>
37ccd13c49SDoug Rabson #include <string.h>
38ccd13c49SDoug Rabson #include <elf.h>
39ccd13c49SDoug Rabson #include <assert.h>
4026896bdaSDavid Xu 
41ccd13c49SDoug Rabson #include "libc_private.h"
42ccd13c49SDoug Rabson 
43ccd13c49SDoug Rabson /* XXX not sure what variants to use for arm. */
44ccd13c49SDoug Rabson 
4526896bdaSDavid Xu __weak_reference(__libc_allocate_tls, _rtld_allocate_tls);
4626896bdaSDavid Xu __weak_reference(__libc_free_tls, _rtld_free_tls);
4726896bdaSDavid Xu 
4826896bdaSDavid Xu #ifdef __i386__
4926896bdaSDavid Xu 
5026896bdaSDavid Xu __weak_reference(___libc_tls_get_addr, ___tls_get_addr);
5126896bdaSDavid Xu __attribute__((__regparm__(1))) void * ___libc_tls_get_addr(void *);
5226896bdaSDavid Xu 
5326896bdaSDavid Xu #endif
5426896bdaSDavid Xu 
5526896bdaSDavid Xu void * __libc_tls_get_addr(void *);
5626896bdaSDavid Xu __weak_reference(__libc_tls_get_addr, __tls_get_addr);
5726896bdaSDavid Xu 
5826896bdaSDavid Xu void *_rtld_allocate_tls(void *oldtls, size_t tcbsize, size_t tcbalign);
5926896bdaSDavid Xu void _rtld_free_tls(void *tls, size_t tcbsize, size_t tcbalign);
6026896bdaSDavid Xu void *__libc_allocate_tls(void *oldtls, size_t tcbsize, size_t tcbalign);
6126896bdaSDavid Xu void __libc_free_tls(void *tls, size_t tcbsize, size_t tcbalign);
6226896bdaSDavid Xu 
63ccd13c49SDoug Rabson #if defined(__ia64__) || defined(__alpha__) || defined(__powerpc__)
64ccd13c49SDoug Rabson #define TLS_VARIANT_I
65ccd13c49SDoug Rabson #endif
669e3a79d5SOlivier Houchard #if defined(__i386__) || defined(__amd64__) || defined(__sparc64__) || \
679e3a79d5SOlivier Houchard     defined(__arm__)
68ccd13c49SDoug Rabson #define TLS_VARIANT_II
69ccd13c49SDoug Rabson #endif
70ccd13c49SDoug Rabson 
71ccd13c49SDoug Rabson #ifndef PIC
72ccd13c49SDoug Rabson 
73ccd13c49SDoug Rabson #define round(size, align) \
74ccd13c49SDoug Rabson 	(((size) + (align) - 1) & ~((align) - 1))
75ccd13c49SDoug Rabson 
76ccd13c49SDoug Rabson static size_t tls_static_space;
77ccd13c49SDoug Rabson static size_t tls_init_size;
78ccd13c49SDoug Rabson #ifdef TLS_VARIANT_I
79ccd13c49SDoug Rabson static size_t tls_init_offset;
80ccd13c49SDoug Rabson #endif
81ccd13c49SDoug Rabson static void *tls_init;
82ccd13c49SDoug Rabson #endif
830e1c7d0fSDoug Rabson 
840e1c7d0fSDoug Rabson #ifdef __i386__
850e1c7d0fSDoug Rabson 
8626896bdaSDavid Xu /* GNU ABI */
870e1c7d0fSDoug Rabson 
880e1c7d0fSDoug Rabson __attribute__((__regparm__(1)))
890e1c7d0fSDoug Rabson void *
9026896bdaSDavid Xu ___libc_tls_get_addr(void *ti __unused)
910e1c7d0fSDoug Rabson {
920e1c7d0fSDoug Rabson 	return (0);
930e1c7d0fSDoug Rabson }
940e1c7d0fSDoug Rabson 
950e1c7d0fSDoug Rabson #endif
960e1c7d0fSDoug Rabson 
970e1c7d0fSDoug Rabson void *
9826896bdaSDavid Xu __libc_tls_get_addr(void *ti __unused)
990e1c7d0fSDoug Rabson {
1000e1c7d0fSDoug Rabson 	return (0);
1010e1c7d0fSDoug Rabson }
1020e1c7d0fSDoug Rabson 
10326896bdaSDavid Xu #ifndef PIC
10426896bdaSDavid Xu 
105ccd13c49SDoug Rabson #ifdef TLS_VARIANT_I
106ccd13c49SDoug Rabson 
10717ceb495SDavid Xu /*
10896a93293SDavid Xu  * Free Static TLS using the Variant I method.
10917ceb495SDavid Xu  */
110ccd13c49SDoug Rabson void
11126896bdaSDavid Xu __libc_free_tls(void *tls, size_t tcbsize __unused, size_t tcbalign __unused)
112ccd13c49SDoug Rabson {
113ccd13c49SDoug Rabson 	Elf_Addr* dtv;
114ccd13c49SDoug Rabson 
115ccd13c49SDoug Rabson 	dtv = ((Elf_Addr**)tls)[0];
116ccd13c49SDoug Rabson 	free(tls);
117ccd13c49SDoug Rabson 	free(dtv);
118ccd13c49SDoug Rabson }
119ccd13c49SDoug Rabson 
120ccd13c49SDoug Rabson /*
121ccd13c49SDoug Rabson  * Allocate Static TLS using the Variant I method.
122ccd13c49SDoug Rabson  */
1230e1c7d0fSDoug Rabson void *
12426896bdaSDavid Xu __libc_allocate_tls(void *oldtls, size_t tcbsize, size_t tcbalign __unused)
1250e1c7d0fSDoug Rabson {
126ccd13c49SDoug Rabson 	size_t size;
127ccd13c49SDoug Rabson 	char *tls;
128ccd13c49SDoug Rabson 	Elf_Addr *dtv;
129ccd13c49SDoug Rabson 
130ccd13c49SDoug Rabson 	size = tls_static_space;
131bd41e9eaSDoug Rabson 	if (size < tcbsize)
132bd41e9eaSDoug Rabson 		size = tcbsize;
133ccd13c49SDoug Rabson 
134ccd13c49SDoug Rabson 	tls = malloc(size);
135ccd13c49SDoug Rabson 	dtv = malloc(3 * sizeof(Elf_Addr));
136ccd13c49SDoug Rabson 
137ccd13c49SDoug Rabson 	*(Elf_Addr **) tls = dtv;
138ccd13c49SDoug Rabson 
139ccd13c49SDoug Rabson 	dtv[0] = 1;
140ccd13c49SDoug Rabson 	dtv[1] = 1;
141ccd13c49SDoug Rabson 	dtv[2] = (Elf_Addr)(tls + tls_init_offset);
142ccd13c49SDoug Rabson 	if (oldtls) {
143ccd13c49SDoug Rabson 		/*
144ccd13c49SDoug Rabson 		 * Copy the static TLS block over whole.
145ccd13c49SDoug Rabson 		 */
146ccd13c49SDoug Rabson 		memcpy(tls + tls_init_offset,
147ccd13c49SDoug Rabson 		    (char *)oldtls + tls_init_offset,
148ccd13c49SDoug Rabson 		    tls_static_space - tls_init_offset);
149ccd13c49SDoug Rabson 
150ccd13c49SDoug Rabson 		/*
151ccd13c49SDoug Rabson 		 * We assume that this block was the one we created with
152ccd13c49SDoug Rabson 		 * allocate_initial_tls().
153ccd13c49SDoug Rabson 		 */
154ccd13c49SDoug Rabson 		_rtld_free_tls(oldtls, 2 * sizeof(Elf_Addr), sizeof(Elf_Addr));
155ccd13c49SDoug Rabson 	} else {
156ccd13c49SDoug Rabson 		memcpy(tls + tls_init_offset, tls_init, tls_init_size);
157ccd13c49SDoug Rabson 		memset(tls + tls_init_offset + tls_init_size,
158ccd13c49SDoug Rabson 		    0, tls_static_space - tls_init_size);
1590e1c7d0fSDoug Rabson 	}
1600e1c7d0fSDoug Rabson 
161ccd13c49SDoug Rabson 	return tls;
162ccd13c49SDoug Rabson }
163ccd13c49SDoug Rabson 
164ccd13c49SDoug Rabson #endif
165ccd13c49SDoug Rabson 
166ccd13c49SDoug Rabson #ifdef TLS_VARIANT_II
167ccd13c49SDoug Rabson 
168ccd13c49SDoug Rabson /*
169ccd13c49SDoug Rabson  * Free Static TLS using the Variant II method.
170ccd13c49SDoug Rabson  */
1710e1c7d0fSDoug Rabson void
17226896bdaSDavid Xu __libc_free_tls(void *tcb, size_t tcbsize __unused, size_t tcbalign)
1730e1c7d0fSDoug Rabson {
174ccd13c49SDoug Rabson 	size_t size;
175ccd13c49SDoug Rabson 	Elf_Addr* dtv;
176ccd13c49SDoug Rabson 	Elf_Addr tlsstart, tlsend;
177ccd13c49SDoug Rabson 
178ccd13c49SDoug Rabson 	/*
179ccd13c49SDoug Rabson 	 * Figure out the size of the initial TLS block so that we can
180ccd13c49SDoug Rabson 	 * find stuff which ___tls_get_addr() allocated dynamically.
181ccd13c49SDoug Rabson 	 */
182ccd13c49SDoug Rabson 	size = round(tls_static_space, tcbalign);
183ccd13c49SDoug Rabson 
184ccd13c49SDoug Rabson 	dtv = ((Elf_Addr**)tcb)[1];
185ccd13c49SDoug Rabson 	tlsend = (Elf_Addr) tcb;
186ccd13c49SDoug Rabson 	tlsstart = tlsend - size;
187ccd13c49SDoug Rabson 	free((void*) tlsstart);
188ccd13c49SDoug Rabson 	free(dtv);
189ccd13c49SDoug Rabson }
190ccd13c49SDoug Rabson 
191ccd13c49SDoug Rabson /*
192ccd13c49SDoug Rabson  * Allocate Static TLS using the Variant II method.
193ccd13c49SDoug Rabson  */
194ccd13c49SDoug Rabson void *
19526896bdaSDavid Xu __libc_allocate_tls(void *oldtls, size_t tcbsize, size_t tcbalign)
196ccd13c49SDoug Rabson {
197ccd13c49SDoug Rabson 	size_t size;
198ccd13c49SDoug Rabson 	char *tls;
199ccd13c49SDoug Rabson 	Elf_Addr *dtv;
200ccd13c49SDoug Rabson 	Elf_Addr segbase, oldsegbase;
201ccd13c49SDoug Rabson 
202ccd13c49SDoug Rabson 	size = round(tls_static_space, tcbalign);
203ccd13c49SDoug Rabson 
204ccd13c49SDoug Rabson 	assert(tcbsize >= 2*sizeof(Elf_Addr));
205ccd13c49SDoug Rabson 	tls = malloc(size + tcbsize);
206ccd13c49SDoug Rabson 	dtv = malloc(3 * sizeof(Elf_Addr));
207ccd13c49SDoug Rabson 
208ccd13c49SDoug Rabson 	segbase = (Elf_Addr)(tls + size);
209ccd13c49SDoug Rabson 	((Elf_Addr*)segbase)[0] = segbase;
210ccd13c49SDoug Rabson 	((Elf_Addr*)segbase)[1] = (Elf_Addr) dtv;
211ccd13c49SDoug Rabson 
212ccd13c49SDoug Rabson 	dtv[0] = 1;
213ccd13c49SDoug Rabson 	dtv[1] = 1;
214ccd13c49SDoug Rabson 	dtv[2] = segbase - tls_static_space;
215ccd13c49SDoug Rabson 
216ccd13c49SDoug Rabson 	if (oldtls) {
217ccd13c49SDoug Rabson 		/*
218ccd13c49SDoug Rabson 		 * Copy the static TLS block over whole.
219ccd13c49SDoug Rabson 		 */
220ccd13c49SDoug Rabson 		oldsegbase = (Elf_Addr) oldtls;
221ccd13c49SDoug Rabson 		memcpy((void *)(segbase - tls_static_space),
222ccd13c49SDoug Rabson 		    (const void *)(oldsegbase - tls_static_space),
223ccd13c49SDoug Rabson 		    tls_static_space);
224ccd13c49SDoug Rabson 
225ccd13c49SDoug Rabson 		/*
226ccd13c49SDoug Rabson 		 * We assume that this block was the one we created with
227ccd13c49SDoug Rabson 		 * allocate_initial_tls().
228ccd13c49SDoug Rabson 		 */
229ccd13c49SDoug Rabson 		_rtld_free_tls(oldtls, 2*sizeof(Elf_Addr), sizeof(Elf_Addr));
230ccd13c49SDoug Rabson 	} else {
231ccd13c49SDoug Rabson 		memcpy((void *)(segbase - tls_static_space),
232ccd13c49SDoug Rabson 		    tls_init, tls_init_size);
233ccd13c49SDoug Rabson 		memset((void *)(segbase - tls_static_space + tls_init_size),
234ccd13c49SDoug Rabson 		    0, tls_static_space - tls_init_size);
235ccd13c49SDoug Rabson 	}
236ccd13c49SDoug Rabson 
237ccd13c49SDoug Rabson 	return (void*) segbase;
238ccd13c49SDoug Rabson }
239ccd13c49SDoug Rabson 
24026896bdaSDavid Xu #endif /* TLS_VARIANT_II */
24126896bdaSDavid Xu 
24226896bdaSDavid Xu #else
24326896bdaSDavid Xu 
24426896bdaSDavid Xu void *
24526896bdaSDavid Xu __libc_allocate_tls(void *oldtls __unused, size_t tcbsize __unused,
24626896bdaSDavid Xu 	size_t tcbalign __unused)
24726896bdaSDavid Xu {
24826896bdaSDavid Xu 	return (0);
24926896bdaSDavid Xu }
25026896bdaSDavid Xu 
25126896bdaSDavid Xu void
25226896bdaSDavid Xu __libc_free_tls(void *tcb __unused, size_t tcbsize __unused,
25326896bdaSDavid Xu 	size_t tcbalign __unused)
25426896bdaSDavid Xu {
25526896bdaSDavid Xu }
25626896bdaSDavid Xu 
25726896bdaSDavid Xu #endif /* PIC */
25826896bdaSDavid Xu 
25926896bdaSDavid Xu extern char **environ;
260ccd13c49SDoug Rabson 
261ccd13c49SDoug Rabson void
262ccd13c49SDoug Rabson _init_tls()
263ccd13c49SDoug Rabson {
264ccd13c49SDoug Rabson #ifndef PIC
265ccd13c49SDoug Rabson 	Elf_Addr *sp;
266ccd13c49SDoug Rabson 	Elf_Auxinfo *aux, *auxp;
267ccd13c49SDoug Rabson 	Elf_Phdr *phdr;
268ccd13c49SDoug Rabson 	size_t phent, phnum;
269ccd13c49SDoug Rabson 	int i;
2700e7e4e5fSDoug Rabson 	void *tls;
271ccd13c49SDoug Rabson 
272ccd13c49SDoug Rabson 	sp = (Elf_Addr *) environ;
273ccd13c49SDoug Rabson 	while (*sp++ != 0)
274ccd13c49SDoug Rabson 		;
275ccd13c49SDoug Rabson 	aux = (Elf_Auxinfo *) sp;
276ccd13c49SDoug Rabson 	phdr = 0;
277ccd13c49SDoug Rabson 	phent = phnum = 0;
278ccd13c49SDoug Rabson 	for (auxp = aux; auxp->a_type != AT_NULL; auxp++) {
279ccd13c49SDoug Rabson 		switch (auxp->a_type) {
280ccd13c49SDoug Rabson 		case AT_PHDR:
281ccd13c49SDoug Rabson 			phdr = auxp->a_un.a_ptr;
282ccd13c49SDoug Rabson 			break;
283ccd13c49SDoug Rabson 
284ccd13c49SDoug Rabson 		case AT_PHENT:
285ccd13c49SDoug Rabson 			phent = auxp->a_un.a_val;
286ccd13c49SDoug Rabson 			break;
287ccd13c49SDoug Rabson 
288ccd13c49SDoug Rabson 		case AT_PHNUM:
289ccd13c49SDoug Rabson 			phnum = auxp->a_un.a_val;
290ccd13c49SDoug Rabson 			break;
291ccd13c49SDoug Rabson 		}
292ccd13c49SDoug Rabson 	}
293ccd13c49SDoug Rabson 	if (phdr == 0 || phent != sizeof(Elf_Phdr) || phnum == 0)
294ccd13c49SDoug Rabson 		return;
295ccd13c49SDoug Rabson 
29626896bdaSDavid Xu 	for (i = 0; (unsigned) i < phnum; i++) {
297ccd13c49SDoug Rabson 		if (phdr[i].p_type == PT_TLS) {
298ccd13c49SDoug Rabson #ifdef TLS_VARIANT_I
299ccd13c49SDoug Rabson 			tls_static_space = round(2*sizeof(Elf_Addr),
300ccd13c49SDoug Rabson 			    phdr[i].p_align) + phdr[i].p_memsz;
301ccd13c49SDoug Rabson 			tls_init_offset = round(2*sizeof(Elf_Addr),
302ccd13c49SDoug Rabson 			    phdr[i].p_align);
303ccd13c49SDoug Rabson #else
304ccd13c49SDoug Rabson 			tls_static_space = round(phdr[i].p_memsz,
305ccd13c49SDoug Rabson 			    phdr[i].p_align);
306ccd13c49SDoug Rabson #endif
307ccd13c49SDoug Rabson 			tls_init_size = phdr[i].p_filesz;
308ccd13c49SDoug Rabson 			tls_init = (void*) phdr[i].p_vaddr;
309ccd13c49SDoug Rabson 		}
310ccd13c49SDoug Rabson 	}
311ccd13c49SDoug Rabson 
312ccd13c49SDoug Rabson 	tls = _rtld_allocate_tls(NULL, 2*sizeof(Elf_Addr),
313ccd13c49SDoug Rabson 	    sizeof(Elf_Addr));
314ccd13c49SDoug Rabson 
315ccd13c49SDoug Rabson 	_set_tp(tls);
316ccd13c49SDoug Rabson #endif
3170e1c7d0fSDoug Rabson }
318