xref: /freebsd/lib/libfetch/http.c (revision 111e2510090ae55cd5e9be954c172d8737f45b09)
14ca1ab94SDag-Erling Smørgrav /*-
2e4878e39SDag-Erling Smørgrav  * Copyright (c) 2000 Dag-Erling Co�dan Sm�rgrav
34ca1ab94SDag-Erling Smørgrav  * All rights reserved.
44ca1ab94SDag-Erling Smørgrav  *
54ca1ab94SDag-Erling Smørgrav  * Redistribution and use in source and binary forms, with or without
64ca1ab94SDag-Erling Smørgrav  * modification, are permitted provided that the following conditions
74ca1ab94SDag-Erling Smørgrav  * are met:
84ca1ab94SDag-Erling Smørgrav  * 1. Redistributions of source code must retain the above copyright
94ca1ab94SDag-Erling Smørgrav  *    notice, this list of conditions and the following disclaimer
104ca1ab94SDag-Erling Smørgrav  *    in this position and unchanged.
114ca1ab94SDag-Erling Smørgrav  * 2. Redistributions in binary form must reproduce the above copyright
124ca1ab94SDag-Erling Smørgrav  *    notice, this list of conditions and the following disclaimer in the
134ca1ab94SDag-Erling Smørgrav  *    documentation and/or other materials provided with the distribution.
144ca1ab94SDag-Erling Smørgrav  * 3. The name of the author may not be used to endorse or promote products
15e4878e39SDag-Erling Smørgrav  *    derived from this software without specific prior written permission.
164ca1ab94SDag-Erling Smørgrav  *
174ca1ab94SDag-Erling Smørgrav  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
184ca1ab94SDag-Erling Smørgrav  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
194ca1ab94SDag-Erling Smørgrav  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
204ca1ab94SDag-Erling Smørgrav  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
214ca1ab94SDag-Erling Smørgrav  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
224ca1ab94SDag-Erling Smørgrav  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
234ca1ab94SDag-Erling Smørgrav  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
244ca1ab94SDag-Erling Smørgrav  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
254ca1ab94SDag-Erling Smørgrav  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
264ca1ab94SDag-Erling Smørgrav  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
274ca1ab94SDag-Erling Smørgrav  */
284ca1ab94SDag-Erling Smørgrav 
29cecb889fSMatthew Dillon #include <sys/cdefs.h>
30cecb889fSMatthew Dillon __FBSDID("$FreeBSD$");
31cecb889fSMatthew Dillon 
326290ee73SDag-Erling Smørgrav /*
336290ee73SDag-Erling Smørgrav  * The following copyright applies to the base64 code:
346290ee73SDag-Erling Smørgrav  *
356290ee73SDag-Erling Smørgrav  *-
366290ee73SDag-Erling Smørgrav  * Copyright 1997 Massachusetts Institute of Technology
376290ee73SDag-Erling Smørgrav  *
386290ee73SDag-Erling Smørgrav  * Permission to use, copy, modify, and distribute this software and
396290ee73SDag-Erling Smørgrav  * its documentation for any purpose and without fee is hereby
406290ee73SDag-Erling Smørgrav  * granted, provided that both the above copyright notice and this
416290ee73SDag-Erling Smørgrav  * permission notice appear in all copies, that both the above
426290ee73SDag-Erling Smørgrav  * copyright notice and this permission notice appear in all
436290ee73SDag-Erling Smørgrav  * supporting documentation, and that the name of M.I.T. not be used
446290ee73SDag-Erling Smørgrav  * in advertising or publicity pertaining to distribution of the
456290ee73SDag-Erling Smørgrav  * software without specific, written prior permission.  M.I.T. makes
466290ee73SDag-Erling Smørgrav  * no representations about the suitability of this software for any
476290ee73SDag-Erling Smørgrav  * purpose.  It is provided "as is" without express or implied
486290ee73SDag-Erling Smørgrav  * warranty.
496290ee73SDag-Erling Smørgrav  *
506290ee73SDag-Erling Smørgrav  * THIS SOFTWARE IS PROVIDED BY M.I.T. ``AS IS''.  M.I.T. DISCLAIMS
516290ee73SDag-Erling Smørgrav  * ALL EXPRESS OR IMPLIED WARRANTIES WITH REGARD TO THIS SOFTWARE,
526290ee73SDag-Erling Smørgrav  * INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF
536290ee73SDag-Erling Smørgrav  * MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE. IN NO EVENT
546290ee73SDag-Erling Smørgrav  * SHALL M.I.T. BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
556290ee73SDag-Erling Smørgrav  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
566290ee73SDag-Erling Smørgrav  * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF
576290ee73SDag-Erling Smørgrav  * USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
586290ee73SDag-Erling Smørgrav  * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
596290ee73SDag-Erling Smørgrav  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
606290ee73SDag-Erling Smørgrav  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
616290ee73SDag-Erling Smørgrav  * SUCH DAMAGE.
626290ee73SDag-Erling Smørgrav  */
636290ee73SDag-Erling Smørgrav 
644ca1ab94SDag-Erling Smørgrav #include <sys/param.h>
6528c645cfSHajimu UMEMOTO #include <sys/socket.h>
664ca1ab94SDag-Erling Smørgrav 
674ca1ab94SDag-Erling Smørgrav #include <ctype.h>
68e4878e39SDag-Erling Smørgrav #include <err.h>
69e4878e39SDag-Erling Smørgrav #include <errno.h>
7060245e42SDag-Erling Smørgrav #include <locale.h>
71e6182307SDag-Erling Smørgrav #include <netdb.h>
72f62e5228SDag-Erling Smørgrav #include <stdarg.h>
734ca1ab94SDag-Erling Smørgrav #include <stdio.h>
744ca1ab94SDag-Erling Smørgrav #include <stdlib.h>
754ca1ab94SDag-Erling Smørgrav #include <string.h>
7660245e42SDag-Erling Smørgrav #include <time.h>
774ca1ab94SDag-Erling Smørgrav #include <unistd.h>
784ca1ab94SDag-Erling Smørgrav 
794ca1ab94SDag-Erling Smørgrav #include "fetch.h"
80842a95ccSDag-Erling Smørgrav #include "common.h"
810fba3a00SDag-Erling Smørgrav #include "httperr.h"
824ca1ab94SDag-Erling Smørgrav 
83e4878e39SDag-Erling Smørgrav /* Maximum number of redirects to follow */
84e4878e39SDag-Erling Smørgrav #define MAX_REDIRECT 5
854ca1ab94SDag-Erling Smørgrav 
86e4878e39SDag-Erling Smørgrav /* Symbolic names for reply codes we care about */
873d2a8471SDag-Erling Smørgrav #define HTTP_OK			200
883d2a8471SDag-Erling Smørgrav #define HTTP_PARTIAL		206
89e4878e39SDag-Erling Smørgrav #define HTTP_MOVED_PERM		301
90e4878e39SDag-Erling Smørgrav #define HTTP_MOVED_TEMP		302
91e4878e39SDag-Erling Smørgrav #define HTTP_SEE_OTHER		303
92e4878e39SDag-Erling Smørgrav #define HTTP_NEED_AUTH		401
9365986545SDag-Erling Smørgrav #define HTTP_NEED_PROXY_AUTH	407
94e4878e39SDag-Erling Smørgrav #define HTTP_PROTOCOL_ERROR	999
95e4878e39SDag-Erling Smørgrav 
96e4878e39SDag-Erling Smørgrav #define HTTP_REDIRECT(xyz) ((xyz) == HTTP_MOVED_PERM \
97e4878e39SDag-Erling Smørgrav 			    || (xyz) == HTTP_MOVED_TEMP \
98e4878e39SDag-Erling Smørgrav 			    || (xyz) == HTTP_SEE_OTHER)
99e4878e39SDag-Erling Smørgrav 
100a8e9bd87SDag-Erling Smørgrav #define HTTP_ERROR(xyz) ((xyz) > 400 && (xyz) < 599)
101e4878e39SDag-Erling Smørgrav 
102e19e6098SDag-Erling Smørgrav 
103e4878e39SDag-Erling Smørgrav /*****************************************************************************
104e4878e39SDag-Erling Smørgrav  * I/O functions for decoding chunked streams
105e4878e39SDag-Erling Smørgrav  */
1063d2a8471SDag-Erling Smørgrav 
107ccdd94bdSDag-Erling Smørgrav struct httpio
1084ca1ab94SDag-Erling Smørgrav {
109d3b03a90SDag-Erling Smørgrav 	conn_t		*conn;		/* connection */
1109601e333SDag-Erling Smørgrav 	int		 chunked;	/* chunked mode */
111d3b03a90SDag-Erling Smørgrav 	char		*buf;		/* chunk buffer */
1129601e333SDag-Erling Smørgrav 	size_t		 bufsize;	/* size of chunk buffer */
1139601e333SDag-Erling Smørgrav 	ssize_t		 buflen;	/* amount of data currently in buffer */
1149601e333SDag-Erling Smørgrav 	int		 bufpos;	/* current read offset in buffer */
115d3b03a90SDag-Erling Smørgrav 	int		 eof;		/* end-of-file flag */
116d3b03a90SDag-Erling Smørgrav 	int		 error;		/* error flag */
117d3b03a90SDag-Erling Smørgrav 	size_t		 chunksize;	/* remaining size of current chunk */
118e66b3802SDag-Erling Smørgrav #ifndef NDEBUG
119f573a5fcSDag-Erling Smørgrav 	size_t		 total;
120e4878e39SDag-Erling Smørgrav #endif
1214ca1ab94SDag-Erling Smørgrav };
1224ca1ab94SDag-Erling Smørgrav 
123f62e5228SDag-Erling Smørgrav /*
124e4878e39SDag-Erling Smørgrav  * Get next chunk header
125f62e5228SDag-Erling Smørgrav  */
126f62e5228SDag-Erling Smørgrav static int
127ccdd94bdSDag-Erling Smørgrav _http_new_chunk(struct httpio *io)
128f62e5228SDag-Erling Smørgrav {
129e4878e39SDag-Erling Smørgrav 	char *p;
130f62e5228SDag-Erling Smørgrav 
131ccdd94bdSDag-Erling Smørgrav 	if (_fetch_getln(io->conn) == -1)
132e19e6098SDag-Erling Smørgrav 		return (-1);
133f62e5228SDag-Erling Smørgrav 
134ccdd94bdSDag-Erling Smørgrav 	if (io->conn->buflen < 2 || !ishexnumber(*io->conn->buf))
135e19e6098SDag-Erling Smørgrav 		return (-1);
136e4878e39SDag-Erling Smørgrav 
137ccdd94bdSDag-Erling Smørgrav 	for (p = io->conn->buf; *p && !isspace(*p); ++p) {
138e19e6098SDag-Erling Smørgrav 		if (*p == ';')
139e19e6098SDag-Erling Smørgrav 			break;
140e4878e39SDag-Erling Smørgrav 		if (!ishexnumber(*p))
141e19e6098SDag-Erling Smørgrav 			return (-1);
142e19e6098SDag-Erling Smørgrav 		if (isdigit(*p)) {
143ccdd94bdSDag-Erling Smørgrav 			io->chunksize = io->chunksize * 16 +
144e19e6098SDag-Erling Smørgrav 			    *p - '0';
145e19e6098SDag-Erling Smørgrav 		} else {
146ccdd94bdSDag-Erling Smørgrav 			io->chunksize = io->chunksize * 16 +
147e19e6098SDag-Erling Smørgrav 			    10 + tolower(*p) - 'a';
148e19e6098SDag-Erling Smørgrav 		}
149e19e6098SDag-Erling Smørgrav 	}
150e4878e39SDag-Erling Smørgrav 
151e66b3802SDag-Erling Smørgrav #ifndef NDEBUG
1527f807cb8SDag-Erling Smørgrav 	if (fetchDebug) {
153ccdd94bdSDag-Erling Smørgrav 		io->total += io->chunksize;
154ccdd94bdSDag-Erling Smørgrav 		if (io->chunksize == 0)
155f67efa37SDag-Erling Smørgrav 			fprintf(stderr, "_http_fillbuf(): "
156f67efa37SDag-Erling Smørgrav 			    "end of last chunk\n");
157e4878e39SDag-Erling Smørgrav 		else
158f67efa37SDag-Erling Smørgrav 			fprintf(stderr, "_http_fillbuf(): "
159f67efa37SDag-Erling Smørgrav 			    "new chunk: %lu (%lu)\n",
160ccdd94bdSDag-Erling Smørgrav 			    (unsigned long)io->chunksize, (unsigned long)io->total);
1617f807cb8SDag-Erling Smørgrav 	}
162e4878e39SDag-Erling Smørgrav #endif
163e4878e39SDag-Erling Smørgrav 
164ccdd94bdSDag-Erling Smørgrav 	return (io->chunksize);
165f62e5228SDag-Erling Smørgrav }
166f62e5228SDag-Erling Smørgrav 
167f62e5228SDag-Erling Smørgrav /*
1689601e333SDag-Erling Smørgrav  * Grow the input buffer to at least len bytes
1699601e333SDag-Erling Smørgrav  */
1709601e333SDag-Erling Smørgrav static inline int
1719601e333SDag-Erling Smørgrav _http_growbuf(struct httpio *io, size_t len)
1729601e333SDag-Erling Smørgrav {
1739601e333SDag-Erling Smørgrav 	char *tmp;
1749601e333SDag-Erling Smørgrav 
1759601e333SDag-Erling Smørgrav 	if (io->bufsize >= len)
1769601e333SDag-Erling Smørgrav 		return (0);
1779601e333SDag-Erling Smørgrav 
1789601e333SDag-Erling Smørgrav 	if ((tmp = realloc(io->buf, len)) == NULL)
1799601e333SDag-Erling Smørgrav 		return (-1);
1809601e333SDag-Erling Smørgrav 	io->buf = tmp;
1819601e333SDag-Erling Smørgrav 	io->bufsize = len;
1829601e333SDag-Erling Smørgrav }
1839601e333SDag-Erling Smørgrav 
1849601e333SDag-Erling Smørgrav /*
185f62e5228SDag-Erling Smørgrav  * Fill the input buffer, do chunk decoding on the fly
186f62e5228SDag-Erling Smørgrav  */
187e4878e39SDag-Erling Smørgrav static int
1889601e333SDag-Erling Smørgrav _http_fillbuf(struct httpio *io, size_t len)
1894ca1ab94SDag-Erling Smørgrav {
190ccdd94bdSDag-Erling Smørgrav 	if (io->error)
191e19e6098SDag-Erling Smørgrav 		return (-1);
192ccdd94bdSDag-Erling Smørgrav 	if (io->eof)
193e19e6098SDag-Erling Smørgrav 		return (0);
1944ca1ab94SDag-Erling Smørgrav 
1959601e333SDag-Erling Smørgrav 	if (io->chunked == 0) {
1969601e333SDag-Erling Smørgrav 		if (_http_growbuf(io, len) == -1)
1979601e333SDag-Erling Smørgrav 			return (-1);
1989601e333SDag-Erling Smørgrav 		if ((io->buflen = _fetch_read(io->conn, io->buf, len)) == -1)
1999601e333SDag-Erling Smørgrav 			return (-1);
2009601e333SDag-Erling Smørgrav 		io->bufpos = 0;
2019601e333SDag-Erling Smørgrav 		return (io->buflen);
2029601e333SDag-Erling Smørgrav 	}
2039601e333SDag-Erling Smørgrav 
204ccdd94bdSDag-Erling Smørgrav 	if (io->chunksize == 0) {
205ccdd94bdSDag-Erling Smørgrav 		switch (_http_new_chunk(io)) {
206e4878e39SDag-Erling Smørgrav 		case -1:
207ccdd94bdSDag-Erling Smørgrav 			io->error = 1;
208e19e6098SDag-Erling Smørgrav 			return (-1);
209e4878e39SDag-Erling Smørgrav 		case 0:
210ccdd94bdSDag-Erling Smørgrav 			io->eof = 1;
211e19e6098SDag-Erling Smørgrav 			return (0);
2124ca1ab94SDag-Erling Smørgrav 		}
2134ca1ab94SDag-Erling Smørgrav 	}
214e4878e39SDag-Erling Smørgrav 
2159601e333SDag-Erling Smørgrav 	if (len > io->chunksize)
2169601e333SDag-Erling Smørgrav 		len = io->chunksize;
2179601e333SDag-Erling Smørgrav 	if (_http_growbuf(io, len) == -1)
218e19e6098SDag-Erling Smørgrav 		return (-1);
2199601e333SDag-Erling Smørgrav 	if ((io->buflen = _fetch_read(io->conn, io->buf, len)) == -1)
220e19e6098SDag-Erling Smørgrav 		return (-1);
2219601e333SDag-Erling Smørgrav 	io->chunksize -= io->buflen;
222e4878e39SDag-Erling Smørgrav 
223ccdd94bdSDag-Erling Smørgrav 	if (io->chunksize == 0) {
224dea29ca1SDag-Erling Smørgrav 		char endl[2];
225dea29ca1SDag-Erling Smørgrav 
2269601e333SDag-Erling Smørgrav 		if (_fetch_read(io->conn, endl, 2) != 2 ||
227dea29ca1SDag-Erling Smørgrav 		    endl[0] != '\r' || endl[1] != '\n')
228e19e6098SDag-Erling Smørgrav 			return (-1);
2294ca1ab94SDag-Erling Smørgrav 	}
230e4878e39SDag-Erling Smørgrav 
2319601e333SDag-Erling Smørgrav 	io->bufpos = 0;
232e4878e39SDag-Erling Smørgrav 
2339601e333SDag-Erling Smørgrav 	return (io->buflen);
2344ca1ab94SDag-Erling Smørgrav }
2354ca1ab94SDag-Erling Smørgrav 
236f62e5228SDag-Erling Smørgrav /*
237f62e5228SDag-Erling Smørgrav  * Read function
238f62e5228SDag-Erling Smørgrav  */
2394ca1ab94SDag-Erling Smørgrav static int
240e4878e39SDag-Erling Smørgrav _http_readfn(void *v, char *buf, int len)
2414ca1ab94SDag-Erling Smørgrav {
242ccdd94bdSDag-Erling Smørgrav 	struct httpio *io = (struct httpio *)v;
243e4878e39SDag-Erling Smørgrav 	int l, pos;
2444ca1ab94SDag-Erling Smørgrav 
245ccdd94bdSDag-Erling Smørgrav 	if (io->error)
246e19e6098SDag-Erling Smørgrav 		return (-1);
247ccdd94bdSDag-Erling Smørgrav 	if (io->eof)
248e19e6098SDag-Erling Smørgrav 		return (0);
249e4878e39SDag-Erling Smørgrav 
250e4878e39SDag-Erling Smørgrav 	for (pos = 0; len > 0; pos += l, len -= l) {
251e4878e39SDag-Erling Smørgrav 		/* empty buffer */
2529601e333SDag-Erling Smørgrav 		if (!io->buf || io->bufpos == io->buflen)
2539601e333SDag-Erling Smørgrav 			if (_http_fillbuf(io, len) < 1)
254e4878e39SDag-Erling Smørgrav 				break;
2559601e333SDag-Erling Smørgrav 		l = io->buflen - io->bufpos;
256e4878e39SDag-Erling Smørgrav 		if (len < l)
257e4878e39SDag-Erling Smørgrav 			l = len;
2589601e333SDag-Erling Smørgrav 		bcopy(io->buf + io->bufpos, buf + pos, l);
2599601e333SDag-Erling Smørgrav 		io->bufpos += l;
2604ca1ab94SDag-Erling Smørgrav 	}
2614ca1ab94SDag-Erling Smørgrav 
262ccdd94bdSDag-Erling Smørgrav 	if (!pos && io->error)
263e19e6098SDag-Erling Smørgrav 		return (-1);
264e19e6098SDag-Erling Smørgrav 	return (pos);
2654ca1ab94SDag-Erling Smørgrav }
2664ca1ab94SDag-Erling Smørgrav 
267f62e5228SDag-Erling Smørgrav /*
268f62e5228SDag-Erling Smørgrav  * Write function
269f62e5228SDag-Erling Smørgrav  */
2704ca1ab94SDag-Erling Smørgrav static int
271e4878e39SDag-Erling Smørgrav _http_writefn(void *v, const char *buf, int len)
2724ca1ab94SDag-Erling Smørgrav {
273ccdd94bdSDag-Erling Smørgrav 	struct httpio *io = (struct httpio *)v;
274e4878e39SDag-Erling Smørgrav 
2759601e333SDag-Erling Smørgrav 	return (_fetch_write(io->conn, buf, len));
2764ca1ab94SDag-Erling Smørgrav }
2774ca1ab94SDag-Erling Smørgrav 
278f62e5228SDag-Erling Smørgrav /*
279f62e5228SDag-Erling Smørgrav  * Close function
280f62e5228SDag-Erling Smørgrav  */
2814ca1ab94SDag-Erling Smørgrav static int
282e4878e39SDag-Erling Smørgrav _http_closefn(void *v)
2834ca1ab94SDag-Erling Smørgrav {
284ccdd94bdSDag-Erling Smørgrav 	struct httpio *io = (struct httpio *)v;
285e4878e39SDag-Erling Smørgrav 	int r;
286e4878e39SDag-Erling Smørgrav 
287ccdd94bdSDag-Erling Smørgrav 	r = _fetch_close(io->conn);
288ccdd94bdSDag-Erling Smørgrav 	if (io->buf)
289ccdd94bdSDag-Erling Smørgrav 		free(io->buf);
290ccdd94bdSDag-Erling Smørgrav 	free(io);
291e19e6098SDag-Erling Smørgrav 	return (r);
2924ca1ab94SDag-Erling Smørgrav }
2934ca1ab94SDag-Erling Smørgrav 
294f62e5228SDag-Erling Smørgrav /*
295e4878e39SDag-Erling Smørgrav  * Wrap a file descriptor up
296f62e5228SDag-Erling Smørgrav  */
297e4878e39SDag-Erling Smørgrav static FILE *
2989601e333SDag-Erling Smørgrav _http_funopen(conn_t *conn, int chunked)
2994ca1ab94SDag-Erling Smørgrav {
300ccdd94bdSDag-Erling Smørgrav 	struct httpio *io;
301e4878e39SDag-Erling Smørgrav 	FILE *f;
302e4878e39SDag-Erling Smørgrav 
303ccdd94bdSDag-Erling Smørgrav 	if ((io = calloc(1, sizeof *io)) == NULL) {
304e4878e39SDag-Erling Smørgrav 		_fetch_syserr();
305e19e6098SDag-Erling Smørgrav 		return (NULL);
3064ca1ab94SDag-Erling Smørgrav 	}
307ccdd94bdSDag-Erling Smørgrav 	io->conn = conn;
3089601e333SDag-Erling Smørgrav 	io->chunked = chunked;
309ccdd94bdSDag-Erling Smørgrav 	f = funopen(io, _http_readfn, _http_writefn, NULL, _http_closefn);
310e19e6098SDag-Erling Smørgrav 	if (f == NULL) {
311e4878e39SDag-Erling Smørgrav 		_fetch_syserr();
312ccdd94bdSDag-Erling Smørgrav 		free(io);
313e19e6098SDag-Erling Smørgrav 		return (NULL);
314e4878e39SDag-Erling Smørgrav 	}
315e19e6098SDag-Erling Smørgrav 	return (f);
316e4878e39SDag-Erling Smørgrav }
317e4878e39SDag-Erling Smørgrav 
318e19e6098SDag-Erling Smørgrav 
319e4878e39SDag-Erling Smørgrav /*****************************************************************************
320e4878e39SDag-Erling Smørgrav  * Helper functions for talking to the server and parsing its replies
321e4878e39SDag-Erling Smørgrav  */
322e4878e39SDag-Erling Smørgrav 
323e4878e39SDag-Erling Smørgrav /* Header types */
324e4878e39SDag-Erling Smørgrav typedef enum {
325e4878e39SDag-Erling Smørgrav 	hdr_syserror = -2,
326e4878e39SDag-Erling Smørgrav 	hdr_error = -1,
327e4878e39SDag-Erling Smørgrav 	hdr_end = 0,
328e4878e39SDag-Erling Smørgrav 	hdr_unknown = 1,
329e4878e39SDag-Erling Smørgrav 	hdr_content_length,
330e4878e39SDag-Erling Smørgrav 	hdr_content_range,
331e4878e39SDag-Erling Smørgrav 	hdr_last_modified,
332e4878e39SDag-Erling Smørgrav 	hdr_location,
3336490b215SDag-Erling Smørgrav 	hdr_transfer_encoding,
3346490b215SDag-Erling Smørgrav 	hdr_www_authenticate
335f573a5fcSDag-Erling Smørgrav } hdr_t;
336e4878e39SDag-Erling Smørgrav 
337e4878e39SDag-Erling Smørgrav /* Names of interesting headers */
338e4878e39SDag-Erling Smørgrav static struct {
339f573a5fcSDag-Erling Smørgrav 	hdr_t		 num;
34038c7e4a6SArchie Cobbs 	const char	*name;
341e4878e39SDag-Erling Smørgrav } hdr_names[] = {
342e4878e39SDag-Erling Smørgrav 	{ hdr_content_length,		"Content-Length" },
343e4878e39SDag-Erling Smørgrav 	{ hdr_content_range,		"Content-Range" },
344e4878e39SDag-Erling Smørgrav 	{ hdr_last_modified,		"Last-Modified" },
345e4878e39SDag-Erling Smørgrav 	{ hdr_location,			"Location" },
346e4878e39SDag-Erling Smørgrav 	{ hdr_transfer_encoding,	"Transfer-Encoding" },
3476490b215SDag-Erling Smørgrav 	{ hdr_www_authenticate,		"WWW-Authenticate" },
348e4878e39SDag-Erling Smørgrav 	{ hdr_unknown,			NULL },
349e4878e39SDag-Erling Smørgrav };
350e4878e39SDag-Erling Smørgrav 
351e4878e39SDag-Erling Smørgrav /*
352e4878e39SDag-Erling Smørgrav  * Send a formatted line; optionally echo to terminal
353e4878e39SDag-Erling Smørgrav  */
354e4878e39SDag-Erling Smørgrav static int
355dea29ca1SDag-Erling Smørgrav _http_cmd(conn_t *conn, const char *fmt, ...)
356e4878e39SDag-Erling Smørgrav {
357e4878e39SDag-Erling Smørgrav 	va_list ap;
358e4878e39SDag-Erling Smørgrav 	size_t len;
359e4878e39SDag-Erling Smørgrav 	char *msg;
360e4878e39SDag-Erling Smørgrav 	int r;
361e4878e39SDag-Erling Smørgrav 
362e4878e39SDag-Erling Smørgrav 	va_start(ap, fmt);
363e4878e39SDag-Erling Smørgrav 	len = vasprintf(&msg, fmt, ap);
364e4878e39SDag-Erling Smørgrav 	va_end(ap);
365e4878e39SDag-Erling Smørgrav 
366e4878e39SDag-Erling Smørgrav 	if (msg == NULL) {
367e4878e39SDag-Erling Smørgrav 		errno = ENOMEM;
368e4878e39SDag-Erling Smørgrav 		_fetch_syserr();
369e19e6098SDag-Erling Smørgrav 		return (-1);
370e4878e39SDag-Erling Smørgrav 	}
371e4878e39SDag-Erling Smørgrav 
372dea29ca1SDag-Erling Smørgrav 	r = _fetch_putln(conn, msg, len);
373e4878e39SDag-Erling Smørgrav 	free(msg);
374e4878e39SDag-Erling Smørgrav 
375e4878e39SDag-Erling Smørgrav 	if (r == -1) {
376e4878e39SDag-Erling Smørgrav 		_fetch_syserr();
377e19e6098SDag-Erling Smørgrav 		return (-1);
378e4878e39SDag-Erling Smørgrav 	}
379e4878e39SDag-Erling Smørgrav 
380e19e6098SDag-Erling Smørgrav 	return (0);
381e4878e39SDag-Erling Smørgrav }
382e4878e39SDag-Erling Smørgrav 
383e4878e39SDag-Erling Smørgrav /*
384e4878e39SDag-Erling Smørgrav  * Get and parse status line
385e4878e39SDag-Erling Smørgrav  */
386e4878e39SDag-Erling Smørgrav static int
387dea29ca1SDag-Erling Smørgrav _http_get_reply(conn_t *conn)
388e4878e39SDag-Erling Smørgrav {
389a898bb8dSDag-Erling Smørgrav 	char *p;
390a898bb8dSDag-Erling Smørgrav 
391dea29ca1SDag-Erling Smørgrav 	if (_fetch_getln(conn) == -1)
392e19e6098SDag-Erling Smørgrav 		return (-1);
393e4878e39SDag-Erling Smørgrav 	/*
394e4878e39SDag-Erling Smørgrav 	 * A valid status line looks like "HTTP/m.n xyz reason" where m
395e4878e39SDag-Erling Smørgrav 	 * and n are the major and minor protocol version numbers and xyz
396e4878e39SDag-Erling Smørgrav 	 * is the reply code.
397a898bb8dSDag-Erling Smørgrav 	 * Unfortunately, there are servers out there (NCSA 1.5.1, to name
398a898bb8dSDag-Erling Smørgrav 	 * just one) that do not send a version number, so we can't rely
399a898bb8dSDag-Erling Smørgrav 	 * on finding one, but if we do, insist on it being 1.0 or 1.1.
400e4878e39SDag-Erling Smørgrav 	 * We don't care about the reason phrase.
401e4878e39SDag-Erling Smørgrav 	 */
402dea29ca1SDag-Erling Smørgrav 	if (strncmp(conn->buf, "HTTP", 4) != 0)
403e19e6098SDag-Erling Smørgrav 		return (HTTP_PROTOCOL_ERROR);
404dea29ca1SDag-Erling Smørgrav 	p = conn->buf + 4;
405a898bb8dSDag-Erling Smørgrav 	if (*p == '/') {
406a898bb8dSDag-Erling Smørgrav 		if (p[1] != '1' || p[2] != '.' || (p[3] != '0' && p[3] != '1'))
407e19e6098SDag-Erling Smørgrav 			return (HTTP_PROTOCOL_ERROR);
408a898bb8dSDag-Erling Smørgrav 		p += 4;
409a898bb8dSDag-Erling Smørgrav 	}
410e19e6098SDag-Erling Smørgrav 	if (*p != ' ' || !isdigit(p[1]) || !isdigit(p[2]) || !isdigit(p[3]))
411e19e6098SDag-Erling Smørgrav 		return (HTTP_PROTOCOL_ERROR);
412e4878e39SDag-Erling Smørgrav 
413dea29ca1SDag-Erling Smørgrav 	conn->err = (p[1] - '0') * 100 + (p[2] - '0') * 10 + (p[3] - '0');
414dea29ca1SDag-Erling Smørgrav 	return (conn->err);
415e4878e39SDag-Erling Smørgrav }
416e4878e39SDag-Erling Smørgrav 
417e4878e39SDag-Erling Smørgrav /*
418e19e6098SDag-Erling Smørgrav  * Check a header; if the type matches the given string, return a pointer
419e19e6098SDag-Erling Smørgrav  * to the beginning of the value.
420e4878e39SDag-Erling Smørgrav  */
42138c7e4a6SArchie Cobbs static const char *
42238c7e4a6SArchie Cobbs _http_match(const char *str, const char *hdr)
423e4878e39SDag-Erling Smørgrav {
424e4878e39SDag-Erling Smørgrav 	while (*str && *hdr && tolower(*str++) == tolower(*hdr++))
425e4878e39SDag-Erling Smørgrav 		/* nothing */;
426e4878e39SDag-Erling Smørgrav 	if (*str || *hdr != ':')
427e19e6098SDag-Erling Smørgrav 		return (NULL);
428e4878e39SDag-Erling Smørgrav 	while (*hdr && isspace(*++hdr))
429e4878e39SDag-Erling Smørgrav 		/* nothing */;
430e19e6098SDag-Erling Smørgrav 	return (hdr);
431e4878e39SDag-Erling Smørgrav }
432e4878e39SDag-Erling Smørgrav 
433e4878e39SDag-Erling Smørgrav /*
434e4878e39SDag-Erling Smørgrav  * Get the next header and return the appropriate symbolic code.
435e4878e39SDag-Erling Smørgrav  */
436f573a5fcSDag-Erling Smørgrav static hdr_t
437dea29ca1SDag-Erling Smørgrav _http_next_header(conn_t *conn, const char **p)
438e4878e39SDag-Erling Smørgrav {
439e4878e39SDag-Erling Smørgrav 	int i;
440e4878e39SDag-Erling Smørgrav 
441dea29ca1SDag-Erling Smørgrav 	if (_fetch_getln(conn) == -1)
442e19e6098SDag-Erling Smørgrav 		return (hdr_syserror);
443dea29ca1SDag-Erling Smørgrav 	while (conn->buflen && isspace(conn->buf[conn->buflen - 1]))
444dea29ca1SDag-Erling Smørgrav 		conn->buflen--;
445dea29ca1SDag-Erling Smørgrav 	conn->buf[conn->buflen] = '\0';
446dea29ca1SDag-Erling Smørgrav 	if (conn->buflen == 0)
447e19e6098SDag-Erling Smørgrav 		return (hdr_end);
448e4878e39SDag-Erling Smørgrav 	/*
449e4878e39SDag-Erling Smørgrav 	 * We could check for malformed headers but we don't really care.
450e4878e39SDag-Erling Smørgrav 	 * A valid header starts with a token immediately followed by a
451e4878e39SDag-Erling Smørgrav 	 * colon; a token is any sequence of non-control, non-whitespace
452e4878e39SDag-Erling Smørgrav 	 * characters except "()<>@,;:\\\"{}".
453e4878e39SDag-Erling Smørgrav 	 */
454e4878e39SDag-Erling Smørgrav 	for (i = 0; hdr_names[i].num != hdr_unknown; i++)
455dea29ca1SDag-Erling Smørgrav 		if ((*p = _http_match(hdr_names[i].name, conn->buf)) != NULL)
456e19e6098SDag-Erling Smørgrav 			return (hdr_names[i].num);
457e19e6098SDag-Erling Smørgrav 	return (hdr_unknown);
458e4878e39SDag-Erling Smørgrav }
459e4878e39SDag-Erling Smørgrav 
460e4878e39SDag-Erling Smørgrav /*
461e4878e39SDag-Erling Smørgrav  * Parse a last-modified header
462e4878e39SDag-Erling Smørgrav  */
463c78f1cc9SDag-Erling Smørgrav static int
46438c7e4a6SArchie Cobbs _http_parse_mtime(const char *p, time_t *mtime)
465e4878e39SDag-Erling Smørgrav {
466c78f1cc9SDag-Erling Smørgrav 	char locale[64], *r;
467e4878e39SDag-Erling Smørgrav 	struct tm tm;
468e4878e39SDag-Erling Smørgrav 
469e4878e39SDag-Erling Smørgrav 	strncpy(locale, setlocale(LC_TIME, NULL), sizeof locale);
470e4878e39SDag-Erling Smørgrav 	setlocale(LC_TIME, "C");
471c78f1cc9SDag-Erling Smørgrav 	r = strptime(p, "%a, %d %b %Y %H:%M:%S GMT", &tm);
472e4878e39SDag-Erling Smørgrav 	/* XXX should add support for date-2 and date-3 */
473e4878e39SDag-Erling Smørgrav 	setlocale(LC_TIME, locale);
474c78f1cc9SDag-Erling Smørgrav 	if (r == NULL)
475e19e6098SDag-Erling Smørgrav 		return (-1);
476f67efa37SDag-Erling Smørgrav 	DEBUG(fprintf(stderr, "last modified: [%04d-%02d-%02d "
477f67efa37SDag-Erling Smørgrav 		  "%02d:%02d:%02d]\n",
478e4878e39SDag-Erling Smørgrav 		  tm.tm_year + 1900, tm.tm_mon + 1, tm.tm_mday,
479e4878e39SDag-Erling Smørgrav 		  tm.tm_hour, tm.tm_min, tm.tm_sec));
480c78f1cc9SDag-Erling Smørgrav 	*mtime = timegm(&tm);
481e19e6098SDag-Erling Smørgrav 	return (0);
482e4878e39SDag-Erling Smørgrav }
483e4878e39SDag-Erling Smørgrav 
484e4878e39SDag-Erling Smørgrav /*
485e4878e39SDag-Erling Smørgrav  * Parse a content-length header
486e4878e39SDag-Erling Smørgrav  */
487c78f1cc9SDag-Erling Smørgrav static int
48838c7e4a6SArchie Cobbs _http_parse_length(const char *p, off_t *length)
489e4878e39SDag-Erling Smørgrav {
490be6aff99SDag-Erling Smørgrav 	off_t len;
491e4878e39SDag-Erling Smørgrav 
492e4878e39SDag-Erling Smørgrav 	for (len = 0; *p && isdigit(*p); ++p)
493e4878e39SDag-Erling Smørgrav 		len = len * 10 + (*p - '0');
494f573a5fcSDag-Erling Smørgrav 	if (*p)
495e19e6098SDag-Erling Smørgrav 		return (-1);
496f67efa37SDag-Erling Smørgrav 	DEBUG(fprintf(stderr, "content length: [%lld]\n",
497f573a5fcSDag-Erling Smørgrav 	    (long long)len));
498c78f1cc9SDag-Erling Smørgrav 	*length = len;
499e19e6098SDag-Erling Smørgrav 	return (0);
500e4878e39SDag-Erling Smørgrav }
501e4878e39SDag-Erling Smørgrav 
502e4878e39SDag-Erling Smørgrav /*
503e4878e39SDag-Erling Smørgrav  * Parse a content-range header
504e4878e39SDag-Erling Smørgrav  */
505c78f1cc9SDag-Erling Smørgrav static int
50638c7e4a6SArchie Cobbs _http_parse_range(const char *p, off_t *offset, off_t *length, off_t *size)
507e4878e39SDag-Erling Smørgrav {
508f573a5fcSDag-Erling Smørgrav 	off_t first, last, len;
509e4878e39SDag-Erling Smørgrav 
510e4878e39SDag-Erling Smørgrav 	if (strncasecmp(p, "bytes ", 6) != 0)
511e19e6098SDag-Erling Smørgrav 		return (-1);
512c78f1cc9SDag-Erling Smørgrav 	for (first = 0, p += 6; *p && isdigit(*p); ++p)
513c78f1cc9SDag-Erling Smørgrav 		first = first * 10 + *p - '0';
514e4878e39SDag-Erling Smørgrav 	if (*p != '-')
515e19e6098SDag-Erling Smørgrav 		return (-1);
516c78f1cc9SDag-Erling Smørgrav 	for (last = 0, ++p; *p && isdigit(*p); ++p)
517c78f1cc9SDag-Erling Smørgrav 		last = last * 10 + *p - '0';
518c78f1cc9SDag-Erling Smørgrav 	if (first > last || *p != '/')
519e19e6098SDag-Erling Smørgrav 		return (-1);
520c78f1cc9SDag-Erling Smørgrav 	for (len = 0, ++p; *p && isdigit(*p); ++p)
521c78f1cc9SDag-Erling Smørgrav 		len = len * 10 + *p - '0';
522f573a5fcSDag-Erling Smørgrav 	if (*p || len < last - first + 1)
523e19e6098SDag-Erling Smørgrav 		return (-1);
524f67efa37SDag-Erling Smørgrav 	DEBUG(fprintf(stderr, "content range: [%lld-%lld/%lld]\n",
525f573a5fcSDag-Erling Smørgrav 	    (long long)first, (long long)last, (long long)len));
526c78f1cc9SDag-Erling Smørgrav 	*offset = first;
527c78f1cc9SDag-Erling Smørgrav 	*length = last - first + 1;
528c78f1cc9SDag-Erling Smørgrav 	*size = len;
529e19e6098SDag-Erling Smørgrav 	return (0);
530e4878e39SDag-Erling Smørgrav }
531e4878e39SDag-Erling Smørgrav 
532e19e6098SDag-Erling Smørgrav 
533e4878e39SDag-Erling Smørgrav /*****************************************************************************
534e4878e39SDag-Erling Smørgrav  * Helper functions for authorization
535e4878e39SDag-Erling Smørgrav  */
5364ca1ab94SDag-Erling Smørgrav 
537f62e5228SDag-Erling Smørgrav /*
538f62e5228SDag-Erling Smørgrav  * Base64 encoding
539f62e5228SDag-Erling Smørgrav  */
54035f723dbSDag-Erling Smørgrav static char *
541e19e6098SDag-Erling Smørgrav _http_base64(const char *src)
542f62e5228SDag-Erling Smørgrav {
543f62e5228SDag-Erling Smørgrav 	static const char base64[] =
544f62e5228SDag-Erling Smørgrav 	    "ABCDEFGHIJKLMNOPQRSTUVWXYZ"
545f62e5228SDag-Erling Smørgrav 	    "abcdefghijklmnopqrstuvwxyz"
546f62e5228SDag-Erling Smørgrav 	    "0123456789+/";
54735f723dbSDag-Erling Smørgrav 	char *str, *dst;
54835f723dbSDag-Erling Smørgrav 	size_t l;
54935f723dbSDag-Erling Smørgrav 	int t, r;
55035f723dbSDag-Erling Smørgrav 
55135f723dbSDag-Erling Smørgrav 	l = strlen(src);
55235f723dbSDag-Erling Smørgrav 	if ((str = malloc(((l + 2) / 3) * 4)) == NULL)
553e19e6098SDag-Erling Smørgrav 		return (NULL);
55435f723dbSDag-Erling Smørgrav 	dst = str;
55535f723dbSDag-Erling Smørgrav 	r = 0;
556f62e5228SDag-Erling Smørgrav 
557f62e5228SDag-Erling Smørgrav 	while (l >= 3) {
558f62e5228SDag-Erling Smørgrav 		t = (src[0] << 16) | (src[1] << 8) | src[2];
559f62e5228SDag-Erling Smørgrav 		dst[0] = base64[(t >> 18) & 0x3f];
560f62e5228SDag-Erling Smørgrav 		dst[1] = base64[(t >> 12) & 0x3f];
561f62e5228SDag-Erling Smørgrav 		dst[2] = base64[(t >> 6) & 0x3f];
562f62e5228SDag-Erling Smørgrav 		dst[3] = base64[(t >> 0) & 0x3f];
563f62e5228SDag-Erling Smørgrav 		src += 3; l -= 3;
564f62e5228SDag-Erling Smørgrav 		dst += 4; r += 4;
565f62e5228SDag-Erling Smørgrav 	}
566f62e5228SDag-Erling Smørgrav 
567f62e5228SDag-Erling Smørgrav 	switch (l) {
568f62e5228SDag-Erling Smørgrav 	case 2:
569f62e5228SDag-Erling Smørgrav 		t = (src[0] << 16) | (src[1] << 8);
570f62e5228SDag-Erling Smørgrav 		dst[0] = base64[(t >> 18) & 0x3f];
571f62e5228SDag-Erling Smørgrav 		dst[1] = base64[(t >> 12) & 0x3f];
572f62e5228SDag-Erling Smørgrav 		dst[2] = base64[(t >> 6) & 0x3f];
573f62e5228SDag-Erling Smørgrav 		dst[3] = '=';
574f62e5228SDag-Erling Smørgrav 		dst += 4;
575f62e5228SDag-Erling Smørgrav 		r += 4;
576f62e5228SDag-Erling Smørgrav 		break;
577f62e5228SDag-Erling Smørgrav 	case 1:
578f62e5228SDag-Erling Smørgrav 		t = src[0] << 16;
579f62e5228SDag-Erling Smørgrav 		dst[0] = base64[(t >> 18) & 0x3f];
580f62e5228SDag-Erling Smørgrav 		dst[1] = base64[(t >> 12) & 0x3f];
581f62e5228SDag-Erling Smørgrav 		dst[2] = dst[3] = '=';
582f62e5228SDag-Erling Smørgrav 		dst += 4;
583f62e5228SDag-Erling Smørgrav 		r += 4;
584f62e5228SDag-Erling Smørgrav 		break;
585f62e5228SDag-Erling Smørgrav 	case 0:
586f62e5228SDag-Erling Smørgrav 		break;
587f62e5228SDag-Erling Smørgrav 	}
588f62e5228SDag-Erling Smørgrav 
589f62e5228SDag-Erling Smørgrav 	*dst = 0;
590e19e6098SDag-Erling Smørgrav 	return (str);
591f62e5228SDag-Erling Smørgrav }
592f62e5228SDag-Erling Smørgrav 
593f62e5228SDag-Erling Smørgrav /*
594f62e5228SDag-Erling Smørgrav  * Encode username and password
595f62e5228SDag-Erling Smørgrav  */
59635f723dbSDag-Erling Smørgrav static int
597dea29ca1SDag-Erling Smørgrav _http_basic_auth(conn_t *conn, const char *hdr, const char *usr, const char *pwd)
598f62e5228SDag-Erling Smørgrav {
59935f723dbSDag-Erling Smørgrav 	char *upw, *auth;
60035f723dbSDag-Erling Smørgrav 	int r;
601f62e5228SDag-Erling Smørgrav 
602f67efa37SDag-Erling Smørgrav 	DEBUG(fprintf(stderr, "usr: [%s]\n", usr));
603f67efa37SDag-Erling Smørgrav 	DEBUG(fprintf(stderr, "pwd: [%s]\n", pwd));
60435f723dbSDag-Erling Smørgrav 	if (asprintf(&upw, "%s:%s", usr, pwd) == -1)
605e19e6098SDag-Erling Smørgrav 		return (-1);
60635f723dbSDag-Erling Smørgrav 	auth = _http_base64(upw);
60735f723dbSDag-Erling Smørgrav 	free(upw);
60835f723dbSDag-Erling Smørgrav 	if (auth == NULL)
609e19e6098SDag-Erling Smørgrav 		return (-1);
610dea29ca1SDag-Erling Smørgrav 	r = _http_cmd(conn, "%s: Basic %s", hdr, auth);
61135f723dbSDag-Erling Smørgrav 	free(auth);
612e19e6098SDag-Erling Smørgrav 	return (r);
6134d029f13SDag-Erling Smørgrav }
61435f723dbSDag-Erling Smørgrav 
61535f723dbSDag-Erling Smørgrav /*
61635f723dbSDag-Erling Smørgrav  * Send an authorization header
61735f723dbSDag-Erling Smørgrav  */
61835f723dbSDag-Erling Smørgrav static int
619dea29ca1SDag-Erling Smørgrav _http_authorize(conn_t *conn, const char *hdr, const char *p)
62035f723dbSDag-Erling Smørgrav {
62135f723dbSDag-Erling Smørgrav 	/* basic authorization */
62235f723dbSDag-Erling Smørgrav 	if (strncasecmp(p, "basic:", 6) == 0) {
62335f723dbSDag-Erling Smørgrav 		char *user, *pwd, *str;
62435f723dbSDag-Erling Smørgrav 		int r;
62535f723dbSDag-Erling Smørgrav 
62635f723dbSDag-Erling Smørgrav 		/* skip realm */
62735f723dbSDag-Erling Smørgrav 		for (p += 6; *p && *p != ':'; ++p)
62835f723dbSDag-Erling Smørgrav 			/* nothing */ ;
62935f723dbSDag-Erling Smørgrav 		if (!*p || strchr(++p, ':') == NULL)
630e19e6098SDag-Erling Smørgrav 			return (-1);
63135f723dbSDag-Erling Smørgrav 		if ((str = strdup(p)) == NULL)
632e19e6098SDag-Erling Smørgrav 			return (-1); /* XXX */
63335f723dbSDag-Erling Smørgrav 		user = str;
63435f723dbSDag-Erling Smørgrav 		pwd = strchr(str, ':');
63535f723dbSDag-Erling Smørgrav 		*pwd++ = '\0';
636dea29ca1SDag-Erling Smørgrav 		r = _http_basic_auth(conn, hdr, user, pwd);
63735f723dbSDag-Erling Smørgrav 		free(str);
638e19e6098SDag-Erling Smørgrav 		return (r);
6394d029f13SDag-Erling Smørgrav 	}
640e19e6098SDag-Erling Smørgrav 	return (-1);
641f62e5228SDag-Erling Smørgrav }
642f62e5228SDag-Erling Smørgrav 
643e19e6098SDag-Erling Smørgrav 
644e4878e39SDag-Erling Smørgrav /*****************************************************************************
645e4878e39SDag-Erling Smørgrav  * Helper functions for connecting to a server or proxy
646f62e5228SDag-Erling Smørgrav  */
647e4878e39SDag-Erling Smørgrav 
648e4878e39SDag-Erling Smørgrav /*
649e4878e39SDag-Erling Smørgrav  * Connect to the correct HTTP server or proxy.
65060245e42SDag-Erling Smørgrav  */
651dea29ca1SDag-Erling Smørgrav static conn_t *
65238c7e4a6SArchie Cobbs _http_connect(struct url *URL, struct url *purl, const char *flags)
65360245e42SDag-Erling Smørgrav {
654dea29ca1SDag-Erling Smørgrav 	conn_t *conn;
6551a16ed4cSDag-Erling Smørgrav 	int verbose;
656dea29ca1SDag-Erling Smørgrav 	int af;
657e4878e39SDag-Erling Smørgrav 
658e4878e39SDag-Erling Smørgrav #ifdef INET6
659e4878e39SDag-Erling Smørgrav 	af = AF_UNSPEC;
660e4878e39SDag-Erling Smørgrav #else
661e4878e39SDag-Erling Smørgrav 	af = AF_INET;
662e4878e39SDag-Erling Smørgrav #endif
663e4878e39SDag-Erling Smørgrav 
664d74a913bSDag-Erling Smørgrav 	verbose = CHECK_FLAG('v');
665d74a913bSDag-Erling Smørgrav 	if (CHECK_FLAG('4'))
666e4878e39SDag-Erling Smørgrav 		af = AF_INET;
6671a16ed4cSDag-Erling Smørgrav #ifdef INET6
668d74a913bSDag-Erling Smørgrav 	else if (CHECK_FLAG('6'))
669e4878e39SDag-Erling Smørgrav 		af = AF_INET6;
6701a16ed4cSDag-Erling Smørgrav #endif
671e4878e39SDag-Erling Smørgrav 
672111e2510SDag-Erling Smørgrav 	if (purl && strcasecmp(URL->scheme, SCHEME_HTTPS) != 0) {
6731a16ed4cSDag-Erling Smørgrav 		URL = purl;
6741a16ed4cSDag-Erling Smørgrav 	} else if (strcasecmp(URL->scheme, SCHEME_FTP) == 0) {
675e4878e39SDag-Erling Smørgrav 		/* can't talk http to an ftp server */
676e4878e39SDag-Erling Smørgrav 		/* XXX should set an error code */
677dea29ca1SDag-Erling Smørgrav 		return (NULL);
678e4878e39SDag-Erling Smørgrav 	}
6791a16ed4cSDag-Erling Smørgrav 
680dea29ca1SDag-Erling Smørgrav 	if ((conn = _fetch_connect(URL->host, URL->port, af, verbose)) == NULL)
681e4878e39SDag-Erling Smørgrav 		/* _fetch_connect() has already set an error code */
682dea29ca1SDag-Erling Smørgrav 		return (NULL);
683111e2510SDag-Erling Smørgrav 	if (strcasecmp(URL->scheme, SCHEME_HTTPS) == 0 &&
684111e2510SDag-Erling Smørgrav 	    _fetch_ssl(conn, verbose) == -1) {
685111e2510SDag-Erling Smørgrav 		_fetch_close(conn);
686111e2510SDag-Erling Smørgrav 		return (NULL);
687111e2510SDag-Erling Smørgrav 	}
688dea29ca1SDag-Erling Smørgrav 	return (conn);
689e4878e39SDag-Erling Smørgrav }
690e4878e39SDag-Erling Smørgrav 
6911a16ed4cSDag-Erling Smørgrav static struct url *
69238c7e4a6SArchie Cobbs _http_get_proxy(void)
6931a16ed4cSDag-Erling Smørgrav {
6941a16ed4cSDag-Erling Smørgrav 	struct url *purl;
6951a16ed4cSDag-Erling Smørgrav 	char *p;
6961a16ed4cSDag-Erling Smørgrav 
6974cee73c8SDag-Erling Smørgrav 	if (((p = getenv("HTTP_PROXY")) || (p = getenv("http_proxy"))) &&
6984cee73c8SDag-Erling Smørgrav 	    (purl = fetchParseURL(p))) {
6991a16ed4cSDag-Erling Smørgrav 		if (!*purl->scheme)
7001a16ed4cSDag-Erling Smørgrav 			strcpy(purl->scheme, SCHEME_HTTP);
7011a16ed4cSDag-Erling Smørgrav 		if (!purl->port)
702e828ada7SDag-Erling Smørgrav 			purl->port = _fetch_default_proxy_port(purl->scheme);
7031a16ed4cSDag-Erling Smørgrav 		if (strcasecmp(purl->scheme, SCHEME_HTTP) == 0)
704e19e6098SDag-Erling Smørgrav 			return (purl);
7051a16ed4cSDag-Erling Smørgrav 		fetchFreeURL(purl);
7061a16ed4cSDag-Erling Smørgrav 	}
707e19e6098SDag-Erling Smørgrav 	return (NULL);
708e4878e39SDag-Erling Smørgrav }
709e4878e39SDag-Erling Smørgrav 
710a8e9bd87SDag-Erling Smørgrav static void
711a8e9bd87SDag-Erling Smørgrav _http_print_html(FILE *out, FILE *in)
712a8e9bd87SDag-Erling Smørgrav {
713a8e9bd87SDag-Erling Smørgrav 	size_t len;
714a8e9bd87SDag-Erling Smørgrav 	char *line, *p, *q;
715a8e9bd87SDag-Erling Smørgrav 	int comment, tag;
716a8e9bd87SDag-Erling Smørgrav 
717a8e9bd87SDag-Erling Smørgrav 	comment = tag = 0;
718a8e9bd87SDag-Erling Smørgrav 	while ((line = fgetln(in, &len)) != NULL) {
719a8e9bd87SDag-Erling Smørgrav 		while (len && isspace(line[len - 1]))
720a8e9bd87SDag-Erling Smørgrav 			--len;
721a8e9bd87SDag-Erling Smørgrav 		for (p = q = line; q < line + len; ++q) {
722a8e9bd87SDag-Erling Smørgrav 			if (comment && *q == '-') {
723e19e6098SDag-Erling Smørgrav 				if (q + 2 < line + len &&
724e19e6098SDag-Erling Smørgrav 				    strcmp(q, "-->") == 0) {
725a8e9bd87SDag-Erling Smørgrav 					tag = comment = 0;
726a8e9bd87SDag-Erling Smørgrav 					q += 2;
727a8e9bd87SDag-Erling Smørgrav 				}
728e19e6098SDag-Erling Smørgrav 			} else if (tag && !comment && *q == '>') {
729a8e9bd87SDag-Erling Smørgrav 				p = q + 1;
730a8e9bd87SDag-Erling Smørgrav 				tag = 0;
731a8e9bd87SDag-Erling Smørgrav 			} else if (!tag && *q == '<') {
732a8e9bd87SDag-Erling Smørgrav 				if (q > p)
733a8e9bd87SDag-Erling Smørgrav 					fwrite(p, q - p, 1, out);
734a8e9bd87SDag-Erling Smørgrav 				tag = 1;
735e19e6098SDag-Erling Smørgrav 				if (q + 3 < line + len &&
736e19e6098SDag-Erling Smørgrav 				    strcmp(q, "<!--") == 0) {
737a8e9bd87SDag-Erling Smørgrav 					comment = 1;
738a8e9bd87SDag-Erling Smørgrav 					q += 3;
739a8e9bd87SDag-Erling Smørgrav 				}
740a8e9bd87SDag-Erling Smørgrav 			}
741a8e9bd87SDag-Erling Smørgrav 		}
742a8e9bd87SDag-Erling Smørgrav 		if (!tag && q > p)
743a8e9bd87SDag-Erling Smørgrav 			fwrite(p, q - p, 1, out);
744a8e9bd87SDag-Erling Smørgrav 		fputc('\n', out);
745a8e9bd87SDag-Erling Smørgrav 	}
746a8e9bd87SDag-Erling Smørgrav }
747a8e9bd87SDag-Erling Smørgrav 
748e19e6098SDag-Erling Smørgrav 
749e4878e39SDag-Erling Smørgrav /*****************************************************************************
750e4878e39SDag-Erling Smørgrav  * Core
751e4878e39SDag-Erling Smørgrav  */
752e4878e39SDag-Erling Smørgrav 
753e4878e39SDag-Erling Smørgrav /*
754e4878e39SDag-Erling Smørgrav  * Send a request and process the reply
7559601e333SDag-Erling Smørgrav  *
7569601e333SDag-Erling Smørgrav  * XXX This function is way too long, the do..while loop should be split
7579601e333SDag-Erling Smørgrav  * XXX off into a separate function.
758e4878e39SDag-Erling Smørgrav  */
7591a16ed4cSDag-Erling Smørgrav FILE *
76038c7e4a6SArchie Cobbs _http_request(struct url *URL, const char *op, struct url_stat *us,
76138c7e4a6SArchie Cobbs     struct url *purl, const char *flags)
762e4878e39SDag-Erling Smørgrav {
763dea29ca1SDag-Erling Smørgrav 	conn_t *conn;
764e4878e39SDag-Erling Smørgrav 	struct url *url, *new;
7651a16ed4cSDag-Erling Smørgrav 	int chunked, direct, need_auth, noredirect, verbose;
766dea29ca1SDag-Erling Smørgrav 	int i, n;
767be6aff99SDag-Erling Smørgrav 	off_t offset, clength, length, size;
768c78f1cc9SDag-Erling Smørgrav 	time_t mtime;
76938c7e4a6SArchie Cobbs 	const char *p;
770e4878e39SDag-Erling Smørgrav 	FILE *f;
771f573a5fcSDag-Erling Smørgrav 	hdr_t h;
77228c645cfSHajimu UMEMOTO 	char *host;
77328c645cfSHajimu UMEMOTO #ifdef INET6
77428c645cfSHajimu UMEMOTO 	char hbuf[MAXHOSTNAMELEN + 1];
77528c645cfSHajimu UMEMOTO #endif
77660245e42SDag-Erling Smørgrav 
777d74a913bSDag-Erling Smørgrav 	direct = CHECK_FLAG('d');
778d74a913bSDag-Erling Smørgrav 	noredirect = CHECK_FLAG('A');
779d74a913bSDag-Erling Smørgrav 	verbose = CHECK_FLAG('v');
7804ca1ab94SDag-Erling Smørgrav 
7811a16ed4cSDag-Erling Smørgrav 	if (direct && purl) {
7821a16ed4cSDag-Erling Smørgrav 		fetchFreeURL(purl);
7831a16ed4cSDag-Erling Smørgrav 		purl = NULL;
7841a16ed4cSDag-Erling Smørgrav 	}
7851a16ed4cSDag-Erling Smørgrav 
786c78f1cc9SDag-Erling Smørgrav 	/* try the provided URL first */
787c78f1cc9SDag-Erling Smørgrav 	url = URL;
788c78f1cc9SDag-Erling Smørgrav 
789c78f1cc9SDag-Erling Smørgrav 	/* if the A flag is set, we only get one try */
790e4878e39SDag-Erling Smørgrav 	n = noredirect ? 1 : MAX_REDIRECT;
791c78f1cc9SDag-Erling Smørgrav 	i = 0;
792e4878e39SDag-Erling Smørgrav 
7936490b215SDag-Erling Smørgrav 	need_auth = 0;
794c78f1cc9SDag-Erling Smørgrav 	do {
795f4683775SDag-Erling Smørgrav 		new = NULL;
796f4683775SDag-Erling Smørgrav 		chunked = 0;
797f4683775SDag-Erling Smørgrav 		offset = 0;
798c78f1cc9SDag-Erling Smørgrav 		clength = -1;
799c78f1cc9SDag-Erling Smørgrav 		length = -1;
800c78f1cc9SDag-Erling Smørgrav 		size = -1;
801c78f1cc9SDag-Erling Smørgrav 		mtime = 0;
8026490b215SDag-Erling Smørgrav 
8031a16ed4cSDag-Erling Smørgrav 		/* check port */
8041a16ed4cSDag-Erling Smørgrav 		if (!url->port)
805e828ada7SDag-Erling Smørgrav 			url->port = _fetch_default_port(url->scheme);
8061a16ed4cSDag-Erling Smørgrav 
80765986545SDag-Erling Smørgrav 		/* were we redirected to an FTP URL? */
80865986545SDag-Erling Smørgrav 		if (purl == NULL && strcmp(url->scheme, SCHEME_FTP) == 0) {
80965986545SDag-Erling Smørgrav 			if (strcmp(op, "GET") == 0)
810e19e6098SDag-Erling Smørgrav 				return (_ftp_request(url, "RETR", us, purl, flags));
81165986545SDag-Erling Smørgrav 			else if (strcmp(op, "HEAD") == 0)
812e19e6098SDag-Erling Smørgrav 				return (_ftp_request(url, "STAT", us, purl, flags));
81365986545SDag-Erling Smørgrav 		}
81465986545SDag-Erling Smørgrav 
815e4878e39SDag-Erling Smørgrav 		/* connect to server or proxy */
816dea29ca1SDag-Erling Smørgrav 		if ((conn = _http_connect(url, purl, flags)) == NULL)
817e4878e39SDag-Erling Smørgrav 			goto ouch;
818e4878e39SDag-Erling Smørgrav 
819e4878e39SDag-Erling Smørgrav 		host = url->host;
82028c645cfSHajimu UMEMOTO #ifdef INET6
821e4878e39SDag-Erling Smørgrav 		if (strchr(url->host, ':')) {
822e4878e39SDag-Erling Smørgrav 			snprintf(hbuf, sizeof(hbuf), "[%s]", url->host);
82328c645cfSHajimu UMEMOTO 			host = hbuf;
82428c645cfSHajimu UMEMOTO 		}
82528c645cfSHajimu UMEMOTO #endif
82628c645cfSHajimu UMEMOTO 
827e4878e39SDag-Erling Smørgrav 		/* send request */
8280fba3a00SDag-Erling Smørgrav 		if (verbose)
829c97925adSHajimu UMEMOTO 			_fetch_info("requesting %s://%s:%d%s",
830e4878e39SDag-Erling Smørgrav 			    url->scheme, host, url->port, url->doc);
8311a16ed4cSDag-Erling Smørgrav 		if (purl) {
832dea29ca1SDag-Erling Smørgrav 			_http_cmd(conn, "%s %s://%s:%d%s HTTP/1.1",
833e4878e39SDag-Erling Smørgrav 			    op, url->scheme, host, url->port, url->doc);
834e4878e39SDag-Erling Smørgrav 		} else {
835dea29ca1SDag-Erling Smørgrav 			_http_cmd(conn, "%s %s HTTP/1.1",
836e4878e39SDag-Erling Smørgrav 			    op, url->doc);
83760245e42SDag-Erling Smørgrav 		}
83860245e42SDag-Erling Smørgrav 
8396490b215SDag-Erling Smørgrav 		/* virtual host */
8406490b215SDag-Erling Smørgrav 		if (url->port == _fetch_default_port(url->scheme))
841dea29ca1SDag-Erling Smørgrav 			_http_cmd(conn, "Host: %s", host);
8426490b215SDag-Erling Smørgrav 		else
843dea29ca1SDag-Erling Smørgrav 			_http_cmd(conn, "Host: %s:%d", host, url->port);
8446490b215SDag-Erling Smørgrav 
845e4878e39SDag-Erling Smørgrav 		/* proxy authorization */
8461a16ed4cSDag-Erling Smørgrav 		if (purl) {
8471a16ed4cSDag-Erling Smørgrav 			if (*purl->user || *purl->pwd)
848dea29ca1SDag-Erling Smørgrav 				_http_basic_auth(conn, "Proxy-Authorization",
8491a16ed4cSDag-Erling Smørgrav 				    purl->user, purl->pwd);
8501a16ed4cSDag-Erling Smørgrav 			else if ((p = getenv("HTTP_PROXY_AUTH")) != NULL && *p != '\0')
851dea29ca1SDag-Erling Smørgrav 				_http_authorize(conn, "Proxy-Authorization", p);
8521a16ed4cSDag-Erling Smørgrav 		}
853e4878e39SDag-Erling Smørgrav 
854e4878e39SDag-Erling Smørgrav 		/* server authorization */
8556490b215SDag-Erling Smørgrav 		if (need_auth || *url->user || *url->pwd) {
856e4878e39SDag-Erling Smørgrav 			if (*url->user || *url->pwd)
857dea29ca1SDag-Erling Smørgrav 				_http_basic_auth(conn, "Authorization", url->user, url->pwd);
858c78f1cc9SDag-Erling Smørgrav 			else if ((p = getenv("HTTP_AUTH")) != NULL && *p != '\0')
859dea29ca1SDag-Erling Smørgrav 				_http_authorize(conn, "Authorization", p);
8606490b215SDag-Erling Smørgrav 			else if (fetchAuthMethod && fetchAuthMethod(url) == 0) {
861dea29ca1SDag-Erling Smørgrav 				_http_basic_auth(conn, "Authorization", url->user, url->pwd);
8626490b215SDag-Erling Smørgrav 			} else {
863e4878e39SDag-Erling Smørgrav 				_http_seterr(HTTP_NEED_AUTH);
864e4878e39SDag-Erling Smørgrav 				goto ouch;
865e4878e39SDag-Erling Smørgrav 			}
866e4878e39SDag-Erling Smørgrav 		}
867e4878e39SDag-Erling Smørgrav 
868e4878e39SDag-Erling Smørgrav 		/* other headers */
8696a0cf64bSDag-Erling Smørgrav 		if ((p = getenv("HTTP_USER_AGENT")) != NULL && *p != '\0')
870dea29ca1SDag-Erling Smørgrav 			_http_cmd(conn, "User-Agent: %s", p);
8716a0cf64bSDag-Erling Smørgrav 		else
872dea29ca1SDag-Erling Smørgrav 			_http_cmd(conn, "User-Agent: %s " _LIBFETCH_VER, getprogname());
87387b41116SDag-Erling Smørgrav 		if (url->offset)
874dea29ca1SDag-Erling Smørgrav 			_http_cmd(conn, "Range: bytes=%lld-", (long long)url->offset);
875dea29ca1SDag-Erling Smørgrav 		_http_cmd(conn, "Connection: close");
876dea29ca1SDag-Erling Smørgrav 		_http_cmd(conn, "");
877e4878e39SDag-Erling Smørgrav 
878e4878e39SDag-Erling Smørgrav 		/* get reply */
879dea29ca1SDag-Erling Smørgrav 		switch (_http_get_reply(conn)) {
880e4878e39SDag-Erling Smørgrav 		case HTTP_OK:
881e4878e39SDag-Erling Smørgrav 		case HTTP_PARTIAL:
882e4878e39SDag-Erling Smørgrav 			/* fine */
883e4878e39SDag-Erling Smørgrav 			break;
884e4878e39SDag-Erling Smørgrav 		case HTTP_MOVED_PERM:
885e4878e39SDag-Erling Smørgrav 		case HTTP_MOVED_TEMP:
88665986545SDag-Erling Smørgrav 		case HTTP_SEE_OTHER:
887e4878e39SDag-Erling Smørgrav 			/*
888e4878e39SDag-Erling Smørgrav 			 * Not so fine, but we still have to read the headers to
889e4878e39SDag-Erling Smørgrav 			 * get the new location.
890e4878e39SDag-Erling Smørgrav 			 */
891e4878e39SDag-Erling Smørgrav 			break;
892e4878e39SDag-Erling Smørgrav 		case HTTP_NEED_AUTH:
893e4878e39SDag-Erling Smørgrav 			if (need_auth) {
894e4878e39SDag-Erling Smørgrav 				/*
895e4878e39SDag-Erling Smørgrav 				 * We already sent out authorization code, so there's
896e4878e39SDag-Erling Smørgrav 				 * nothing more we can do.
897e4878e39SDag-Erling Smørgrav 				 */
898dea29ca1SDag-Erling Smørgrav 				_http_seterr(conn->err);
899e4878e39SDag-Erling Smørgrav 				goto ouch;
900e4878e39SDag-Erling Smørgrav 			}
901e4878e39SDag-Erling Smørgrav 			/* try again, but send the password this time */
902e4878e39SDag-Erling Smørgrav 			if (verbose)
903e4878e39SDag-Erling Smørgrav 				_fetch_info("server requires authorization");
9046490b215SDag-Erling Smørgrav 			break;
905e4878e39SDag-Erling Smørgrav 		case HTTP_NEED_PROXY_AUTH:
906e4878e39SDag-Erling Smørgrav 			/*
907e4878e39SDag-Erling Smørgrav 			 * If we're talking to a proxy, we already sent our proxy
908e4878e39SDag-Erling Smørgrav 			 * authorization code, so there's nothing more we can do.
909e4878e39SDag-Erling Smørgrav 			 */
910dea29ca1SDag-Erling Smørgrav 			_http_seterr(conn->err);
911e4878e39SDag-Erling Smørgrav 			goto ouch;
912e4878e39SDag-Erling Smørgrav 		case HTTP_PROTOCOL_ERROR:
913e4878e39SDag-Erling Smørgrav 			/* fall through */
914e4878e39SDag-Erling Smørgrav 		case -1:
915e4878e39SDag-Erling Smørgrav 			_fetch_syserr();
916e4878e39SDag-Erling Smørgrav 			goto ouch;
917e4878e39SDag-Erling Smørgrav 		default:
918dea29ca1SDag-Erling Smørgrav 			_http_seterr(conn->err);
919a8e9bd87SDag-Erling Smørgrav 			if (!verbose)
920e4878e39SDag-Erling Smørgrav 				goto ouch;
921a8e9bd87SDag-Erling Smørgrav 			/* fall through so we can get the full error message */
922e4878e39SDag-Erling Smørgrav 		}
923e4878e39SDag-Erling Smørgrav 
924e4878e39SDag-Erling Smørgrav 		/* get headers */
925e4878e39SDag-Erling Smørgrav 		do {
926dea29ca1SDag-Erling Smørgrav 			switch ((h = _http_next_header(conn, &p))) {
927e4878e39SDag-Erling Smørgrav 			case hdr_syserror:
928e4878e39SDag-Erling Smørgrav 				_fetch_syserr();
929e4878e39SDag-Erling Smørgrav 				goto ouch;
930e4878e39SDag-Erling Smørgrav 			case hdr_error:
931e4878e39SDag-Erling Smørgrav 				_http_seterr(HTTP_PROTOCOL_ERROR);
932e4878e39SDag-Erling Smørgrav 				goto ouch;
933e4878e39SDag-Erling Smørgrav 			case hdr_content_length:
934c78f1cc9SDag-Erling Smørgrav 				_http_parse_length(p, &clength);
935e4878e39SDag-Erling Smørgrav 				break;
936e4878e39SDag-Erling Smørgrav 			case hdr_content_range:
937c78f1cc9SDag-Erling Smørgrav 				_http_parse_range(p, &offset, &length, &size);
938e4878e39SDag-Erling Smørgrav 				break;
939e4878e39SDag-Erling Smørgrav 			case hdr_last_modified:
940c78f1cc9SDag-Erling Smørgrav 				_http_parse_mtime(p, &mtime);
941e4878e39SDag-Erling Smørgrav 				break;
942e4878e39SDag-Erling Smørgrav 			case hdr_location:
943dea29ca1SDag-Erling Smørgrav 				if (!HTTP_REDIRECT(conn->err))
944e4878e39SDag-Erling Smørgrav 					break;
945f4683775SDag-Erling Smørgrav 				if (new)
946f4683775SDag-Erling Smørgrav 					free(new);
947e4878e39SDag-Erling Smørgrav 				if (verbose)
948dea29ca1SDag-Erling Smørgrav 					_fetch_info("%d redirect to %s", conn->err, p);
949f4683775SDag-Erling Smørgrav 				if (*p == '/')
950f4683775SDag-Erling Smørgrav 					/* absolute path */
951f4683775SDag-Erling Smørgrav 					new = fetchMakeURL(url->scheme, url->host, url->port, p,
952f4683775SDag-Erling Smørgrav 					    url->user, url->pwd);
953f4683775SDag-Erling Smørgrav 				else
954f4683775SDag-Erling Smørgrav 					new = fetchParseURL(p);
955f4683775SDag-Erling Smørgrav 				if (new == NULL) {
956f4683775SDag-Erling Smørgrav 					/* XXX should set an error code */
957f4683775SDag-Erling Smørgrav 					DEBUG(fprintf(stderr, "failed to parse new URL\n"));
958e4878e39SDag-Erling Smørgrav 					goto ouch;
959f4683775SDag-Erling Smørgrav 				}
960e4878e39SDag-Erling Smørgrav 				if (!*new->user && !*new->pwd) {
961e4878e39SDag-Erling Smørgrav 					strcpy(new->user, url->user);
962e4878e39SDag-Erling Smørgrav 					strcpy(new->pwd, url->pwd);
963e4878e39SDag-Erling Smørgrav 				}
964e4878e39SDag-Erling Smørgrav 				new->offset = url->offset;
965e4878e39SDag-Erling Smørgrav 				new->length = url->length;
966f4683775SDag-Erling Smørgrav 				break;
967e4878e39SDag-Erling Smørgrav 			case hdr_transfer_encoding:
968e4878e39SDag-Erling Smørgrav 				/* XXX weak test*/
969e4878e39SDag-Erling Smørgrav 				chunked = (strcasecmp(p, "chunked") == 0);
970e4878e39SDag-Erling Smørgrav 				break;
9716490b215SDag-Erling Smørgrav 			case hdr_www_authenticate:
972dea29ca1SDag-Erling Smørgrav 				if (conn->err != HTTP_NEED_AUTH)
9736490b215SDag-Erling Smørgrav 					break;
9746490b215SDag-Erling Smørgrav 				/* if we were smarter, we'd check the method and realm */
9756490b215SDag-Erling Smørgrav 				break;
976e4878e39SDag-Erling Smørgrav 			case hdr_end:
977e4878e39SDag-Erling Smørgrav 				/* fall through */
978e4878e39SDag-Erling Smørgrav 			case hdr_unknown:
979e4878e39SDag-Erling Smørgrav 				/* ignore */
980e4878e39SDag-Erling Smørgrav 				break;
981e4878e39SDag-Erling Smørgrav 			}
982e4878e39SDag-Erling Smørgrav 		} while (h > hdr_end);
983e4878e39SDag-Erling Smørgrav 
984a8e9bd87SDag-Erling Smørgrav 		/* we have a hit or an error */
985dea29ca1SDag-Erling Smørgrav 		if (conn->err == HTTP_OK || conn->err == HTTP_PARTIAL || HTTP_ERROR(conn->err))
986e4878e39SDag-Erling Smørgrav 			break;
987f4683775SDag-Erling Smørgrav 
9886490b215SDag-Erling Smørgrav 		/* we need to provide authentication */
989dea29ca1SDag-Erling Smørgrav 		if (conn->err == HTTP_NEED_AUTH) {
9906490b215SDag-Erling Smørgrav 			need_auth = 1;
991dea29ca1SDag-Erling Smørgrav 			_fetch_close(conn);
992dea29ca1SDag-Erling Smørgrav 			conn = NULL;
9936490b215SDag-Erling Smørgrav 			continue;
9946490b215SDag-Erling Smørgrav 		}
9956490b215SDag-Erling Smørgrav 
9966490b215SDag-Erling Smørgrav 		/* all other cases: we got a redirect */
9976490b215SDag-Erling Smørgrav 		need_auth = 0;
998dea29ca1SDag-Erling Smørgrav 		_fetch_close(conn);
999dea29ca1SDag-Erling Smørgrav 		conn = NULL;
10006490b215SDag-Erling Smørgrav 		if (!new) {
10016490b215SDag-Erling Smørgrav 			DEBUG(fprintf(stderr, "redirect with no new location\n"));
10026490b215SDag-Erling Smørgrav 			break;
10036490b215SDag-Erling Smørgrav 		}
1004f4683775SDag-Erling Smørgrav 		if (url != URL)
1005f4683775SDag-Erling Smørgrav 			fetchFreeURL(url);
1006f4683775SDag-Erling Smørgrav 		url = new;
1007c78f1cc9SDag-Erling Smørgrav 	} while (++i < n);
1008e4878e39SDag-Erling Smørgrav 
10096490b215SDag-Erling Smørgrav 	/* we failed, or ran out of retries */
1010dea29ca1SDag-Erling Smørgrav 	if (conn == NULL) {
1011dea29ca1SDag-Erling Smørgrav 		_http_seterr(conn->err);
1012e4878e39SDag-Erling Smørgrav 		goto ouch;
1013e4878e39SDag-Erling Smørgrav 	}
1014e4878e39SDag-Erling Smørgrav 
1015f573a5fcSDag-Erling Smørgrav 	DEBUG(fprintf(stderr, "offset %lld, length %lld,"
1016f573a5fcSDag-Erling Smørgrav 		  " size %lld, clength %lld\n",
1017f573a5fcSDag-Erling Smørgrav 		  (long long)offset, (long long)length,
1018f573a5fcSDag-Erling Smørgrav 		  (long long)size, (long long)clength));
1019c78f1cc9SDag-Erling Smørgrav 
1020c78f1cc9SDag-Erling Smørgrav 	/* check for inconsistencies */
1021c78f1cc9SDag-Erling Smørgrav 	if (clength != -1 && length != -1 && clength != length) {
1022c78f1cc9SDag-Erling Smørgrav 		_http_seterr(HTTP_PROTOCOL_ERROR);
1023c78f1cc9SDag-Erling Smørgrav 		goto ouch;
1024c78f1cc9SDag-Erling Smørgrav 	}
1025c78f1cc9SDag-Erling Smørgrav 	if (clength == -1)
1026c78f1cc9SDag-Erling Smørgrav 		clength = length;
1027c78f1cc9SDag-Erling Smørgrav 	if (clength != -1)
1028c78f1cc9SDag-Erling Smørgrav 		length = offset + clength;
1029c78f1cc9SDag-Erling Smørgrav 	if (length != -1 && size != -1 && length != size) {
1030c78f1cc9SDag-Erling Smørgrav 		_http_seterr(HTTP_PROTOCOL_ERROR);
1031c78f1cc9SDag-Erling Smørgrav 		goto ouch;
1032c78f1cc9SDag-Erling Smørgrav 	}
1033c78f1cc9SDag-Erling Smørgrav 	if (size == -1)
1034c78f1cc9SDag-Erling Smørgrav 		size = length;
1035c78f1cc9SDag-Erling Smørgrav 
1036c78f1cc9SDag-Erling Smørgrav 	/* fill in stats */
1037c78f1cc9SDag-Erling Smørgrav 	if (us) {
1038c78f1cc9SDag-Erling Smørgrav 		us->size = size;
1039c78f1cc9SDag-Erling Smørgrav 		us->atime = us->mtime = mtime;
1040c78f1cc9SDag-Erling Smørgrav 	}
1041c78f1cc9SDag-Erling Smørgrav 
104287b41116SDag-Erling Smørgrav 	/* too far? */
1043c78f1cc9SDag-Erling Smørgrav 	if (offset > URL->offset) {
104487b41116SDag-Erling Smørgrav 		_http_seterr(HTTP_PROTOCOL_ERROR);
104587b41116SDag-Erling Smørgrav 		goto ouch;
104687b41116SDag-Erling Smørgrav 	}
104787b41116SDag-Erling Smørgrav 
1048c78f1cc9SDag-Erling Smørgrav 	/* report back real offset and size */
104987b41116SDag-Erling Smørgrav 	URL->offset = offset;
1050c78f1cc9SDag-Erling Smørgrav 	URL->length = clength;
105187b41116SDag-Erling Smørgrav 
1052e4878e39SDag-Erling Smørgrav 	/* wrap it up in a FILE */
10539601e333SDag-Erling Smørgrav 	if ((f = _http_funopen(conn, chunked)) == NULL) {
1054e4878e39SDag-Erling Smørgrav 		_fetch_syserr();
1055e4878e39SDag-Erling Smørgrav 		goto ouch;
1056e4878e39SDag-Erling Smørgrav 	}
1057e4878e39SDag-Erling Smørgrav 
1058e4878e39SDag-Erling Smørgrav 	if (url != URL)
1059e4878e39SDag-Erling Smørgrav 		fetchFreeURL(url);
10601a16ed4cSDag-Erling Smørgrav 	if (purl)
10611a16ed4cSDag-Erling Smørgrav 		fetchFreeURL(purl);
1062e4878e39SDag-Erling Smørgrav 
1063dea29ca1SDag-Erling Smørgrav 	if (HTTP_ERROR(conn->err)) {
1064a8e9bd87SDag-Erling Smørgrav 		_http_print_html(stderr, f);
1065a8e9bd87SDag-Erling Smørgrav 		fclose(f);
1066a8e9bd87SDag-Erling Smørgrav 		f = NULL;
1067a8e9bd87SDag-Erling Smørgrav 	}
1068a8e9bd87SDag-Erling Smørgrav 
1069e19e6098SDag-Erling Smørgrav 	return (f);
1070e4878e39SDag-Erling Smørgrav 
1071e4878e39SDag-Erling Smørgrav ouch:
1072e4878e39SDag-Erling Smørgrav 	if (url != URL)
1073e4878e39SDag-Erling Smørgrav 		fetchFreeURL(url);
10741a16ed4cSDag-Erling Smørgrav 	if (purl)
10751a16ed4cSDag-Erling Smørgrav 		fetchFreeURL(purl);
1076dea29ca1SDag-Erling Smørgrav 	if (conn != NULL)
1077dea29ca1SDag-Erling Smørgrav 		_fetch_close(conn);
1078e19e6098SDag-Erling Smørgrav 	return (NULL);
1079e4878e39SDag-Erling Smørgrav }
1080e4878e39SDag-Erling Smørgrav 
1081e19e6098SDag-Erling Smørgrav 
1082e4878e39SDag-Erling Smørgrav /*****************************************************************************
1083e4878e39SDag-Erling Smørgrav  * Entry points
1084e4878e39SDag-Erling Smørgrav  */
1085e4878e39SDag-Erling Smørgrav 
108660245e42SDag-Erling Smørgrav /*
10871a5faa10SDag-Erling Smørgrav  * Retrieve and stat a file by HTTP
10881a5faa10SDag-Erling Smørgrav  */
10891a5faa10SDag-Erling Smørgrav FILE *
109038c7e4a6SArchie Cobbs fetchXGetHTTP(struct url *URL, struct url_stat *us, const char *flags)
10911a5faa10SDag-Erling Smørgrav {
1092e19e6098SDag-Erling Smørgrav 	return (_http_request(URL, "GET", us, _http_get_proxy(), flags));
10931a5faa10SDag-Erling Smørgrav }
10941a5faa10SDag-Erling Smørgrav 
10951a5faa10SDag-Erling Smørgrav /*
109660245e42SDag-Erling Smørgrav  * Retrieve a file by HTTP
109760245e42SDag-Erling Smørgrav  */
109860245e42SDag-Erling Smørgrav FILE *
109938c7e4a6SArchie Cobbs fetchGetHTTP(struct url *URL, const char *flags)
110060245e42SDag-Erling Smørgrav {
1101e19e6098SDag-Erling Smørgrav 	return (fetchXGetHTTP(URL, NULL, flags));
11024ca1ab94SDag-Erling Smørgrav }
11034ca1ab94SDag-Erling Smørgrav 
11041a5faa10SDag-Erling Smørgrav /*
11051a5faa10SDag-Erling Smørgrav  * Store a file by HTTP
11061a5faa10SDag-Erling Smørgrav  */
11074ca1ab94SDag-Erling Smørgrav FILE *
1108f573a5fcSDag-Erling Smørgrav fetchPutHTTP(struct url *URL __unused, const char *flags __unused)
11094ca1ab94SDag-Erling Smørgrav {
11104ca1ab94SDag-Erling Smørgrav 	warnx("fetchPutHTTP(): not implemented");
1111e19e6098SDag-Erling Smørgrav 	return (NULL);
11124ca1ab94SDag-Erling Smørgrav }
1113d8acd8dcSDag-Erling Smørgrav 
1114d8acd8dcSDag-Erling Smørgrav /*
1115d8acd8dcSDag-Erling Smørgrav  * Get an HTTP document's metadata
1116d8acd8dcSDag-Erling Smørgrav  */
1117d8acd8dcSDag-Erling Smørgrav int
111838c7e4a6SArchie Cobbs fetchStatHTTP(struct url *URL, struct url_stat *us, const char *flags)
1119d8acd8dcSDag-Erling Smørgrav {
112060245e42SDag-Erling Smørgrav 	FILE *f;
112160245e42SDag-Erling Smørgrav 
11221a16ed4cSDag-Erling Smørgrav 	if ((f = _http_request(URL, "HEAD", us, _http_get_proxy(), flags)) == NULL)
1123e19e6098SDag-Erling Smørgrav 		return (-1);
1124f8f4130bSDag-Erling Smørgrav 	fclose(f);
1125e19e6098SDag-Erling Smørgrav 	return (0);
1126d8acd8dcSDag-Erling Smørgrav }
1127ce71b736SDag-Erling Smørgrav 
1128ce71b736SDag-Erling Smørgrav /*
1129ce71b736SDag-Erling Smørgrav  * List a directory
1130ce71b736SDag-Erling Smørgrav  */
1131ce71b736SDag-Erling Smørgrav struct url_ent *
1132f573a5fcSDag-Erling Smørgrav fetchListHTTP(struct url *url __unused, const char *flags __unused)
1133ce71b736SDag-Erling Smørgrav {
1134ce71b736SDag-Erling Smørgrav 	warnx("fetchListHTTP(): not implemented");
1135e19e6098SDag-Erling Smørgrav 	return (NULL);
1136ce71b736SDag-Erling Smørgrav }
1137