Home | History | Annotate | Line # | Download | only in usb
ehci.c revision 1.86
      1 /*	$NetBSD: ehci.c,v 1.86 2004/10/24 22:13:52 augustss Exp $ */
      2 
      3 /*
      4  * Copyright (c) 2004 The NetBSD Foundation, Inc.
      5  * All rights reserved.
      6  *
      7  * This code is derived from software contributed to The NetBSD Foundation
      8  * by Lennart Augustsson (lennart (at) augustsson.net) and by Charles M. Hannum.
      9  *
     10  * Redistribution and use in source and binary forms, with or without
     11  * modification, are permitted provided that the following conditions
     12  * are met:
     13  * 1. Redistributions of source code must retain the above copyright
     14  *    notice, this list of conditions and the following disclaimer.
     15  * 2. Redistributions in binary form must reproduce the above copyright
     16  *    notice, this list of conditions and the following disclaimer in the
     17  *    documentation and/or other materials provided with the distribution.
     18  * 3. All advertising materials mentioning features or use of this software
     19  *    must display the following acknowledgement:
     20  *        This product includes software developed by the NetBSD
     21  *        Foundation, Inc. and its contributors.
     22  * 4. Neither the name of The NetBSD Foundation nor the names of its
     23  *    contributors may be used to endorse or promote products derived
     24  *    from this software without specific prior written permission.
     25  *
     26  * THIS SOFTWARE IS PROVIDED BY THE NETBSD FOUNDATION, INC. AND CONTRIBUTORS
     27  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED
     28  * TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
     29  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR CONTRIBUTORS
     30  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
     31  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
     32  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
     33  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
     34  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
     35  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
     36  * POSSIBILITY OF SUCH DAMAGE.
     37  */
     38 
     39 /*
     40  * USB Enhanced Host Controller Driver, a.k.a. USB 2.0 controller.
     41  *
     42  * The EHCI 1.0 spec can be found at
     43  * http://developer.intel.com/technology/usb/download/ehci-r10.pdf
     44  * and the USB 2.0 spec at
     45  * http://www.usb.org/developers/docs/usb_20.zip
     46  *
     47  */
     48 
     49 /*
     50  * TODO:
     51  * 1) hold off explorations by companion controllers until ehci has started.
     52  *
     53  * 2) The EHCI driver lacks support for interrupt isochronous transfers, so
     54  *    devices using them don't work.
     55  *    Interrupt transfers are not difficult, it's just not done.
     56  *
     57  * 3) The meaty part to implement is the support for USB 2.0 hubs.
     58  *    They are quite complicated since the need to be able to do
     59  *    "transaction translation", i.e., converting to/from USB 2 and USB 1.
     60  *    So the hub driver needs to handle and schedule these things, to
     61  *    assign place in frame where different devices get to go. See chapter
     62  *    on hubs in USB 2.0 for details.
     63  *
     64  * 4) command failures are not recovered correctly
     65 */
     66 
     67 #include <sys/cdefs.h>
     68 __KERNEL_RCSID(0, "$NetBSD: ehci.c,v 1.86 2004/10/24 22:13:52 augustss Exp $");
     69 
     70 #include "ohci.h"
     71 #include "uhci.h"
     72 
     73 #include <sys/param.h>
     74 #include <sys/systm.h>
     75 #include <sys/kernel.h>
     76 #include <sys/malloc.h>
     77 #include <sys/device.h>
     78 #include <sys/select.h>
     79 #include <sys/proc.h>
     80 #include <sys/queue.h>
     81 
     82 #include <machine/bus.h>
     83 #include <machine/endian.h>
     84 
     85 #include <dev/usb/usb.h>
     86 #include <dev/usb/usbdi.h>
     87 #include <dev/usb/usbdivar.h>
     88 #include <dev/usb/usb_mem.h>
     89 #include <dev/usb/usb_quirks.h>
     90 
     91 #include <dev/usb/ehcireg.h>
     92 #include <dev/usb/ehcivar.h>
     93 
     94 #ifdef EHCI_DEBUG
     95 #define DPRINTF(x)	do { if (ehcidebug) printf x; } while(0)
     96 #define DPRINTFN(n,x)	do { if (ehcidebug>(n)) printf x; } while (0)
     97 int ehcidebug = 0;
     98 #ifndef __NetBSD__
     99 #define bitmask_snprintf(q,f,b,l) snprintf((b), (l), "%b", (q), (f))
    100 #endif
    101 #else
    102 #define DPRINTF(x)
    103 #define DPRINTFN(n,x)
    104 #endif
    105 
    106 struct ehci_pipe {
    107 	struct usbd_pipe pipe;
    108 	int nexttoggle;
    109 
    110 	ehci_soft_qh_t *sqh;
    111 	union {
    112 		ehci_soft_qtd_t *qtd;
    113 		/* ehci_soft_itd_t *itd; */
    114 	} tail;
    115 	union {
    116 		/* Control pipe */
    117 		struct {
    118 			usb_dma_t reqdma;
    119 			u_int length;
    120 			/*ehci_soft_qtd_t *setup, *data, *stat;*/
    121 		} ctl;
    122 		/* Interrupt pipe */
    123 		struct {
    124 			u_int length;
    125 		} intr;
    126 		/* Bulk pipe */
    127 		struct {
    128 			u_int length;
    129 		} bulk;
    130 		/* Iso pipe */
    131 		/* XXX */
    132 	} u;
    133 };
    134 
    135 Static void		ehci_shutdown(void *);
    136 Static void		ehci_power(int, void *);
    137 
    138 Static usbd_status	ehci_open(usbd_pipe_handle);
    139 Static void		ehci_poll(struct usbd_bus *);
    140 Static void		ehci_softintr(void *);
    141 Static int		ehci_intr1(ehci_softc_t *);
    142 Static void		ehci_waitintr(ehci_softc_t *, usbd_xfer_handle);
    143 Static void		ehci_check_intr(ehci_softc_t *, struct ehci_xfer *);
    144 Static void		ehci_idone(struct ehci_xfer *);
    145 Static void		ehci_timeout(void *);
    146 Static void		ehci_timeout_task(void *);
    147 
    148 Static usbd_status	ehci_allocm(struct usbd_bus *, usb_dma_t *, u_int32_t);
    149 Static void		ehci_freem(struct usbd_bus *, usb_dma_t *);
    150 
    151 Static usbd_xfer_handle	ehci_allocx(struct usbd_bus *);
    152 Static void		ehci_freex(struct usbd_bus *, usbd_xfer_handle);
    153 
    154 Static usbd_status	ehci_root_ctrl_transfer(usbd_xfer_handle);
    155 Static usbd_status	ehci_root_ctrl_start(usbd_xfer_handle);
    156 Static void		ehci_root_ctrl_abort(usbd_xfer_handle);
    157 Static void		ehci_root_ctrl_close(usbd_pipe_handle);
    158 Static void		ehci_root_ctrl_done(usbd_xfer_handle);
    159 
    160 Static usbd_status	ehci_root_intr_transfer(usbd_xfer_handle);
    161 Static usbd_status	ehci_root_intr_start(usbd_xfer_handle);
    162 Static void		ehci_root_intr_abort(usbd_xfer_handle);
    163 Static void		ehci_root_intr_close(usbd_pipe_handle);
    164 Static void		ehci_root_intr_done(usbd_xfer_handle);
    165 
    166 Static usbd_status	ehci_device_ctrl_transfer(usbd_xfer_handle);
    167 Static usbd_status	ehci_device_ctrl_start(usbd_xfer_handle);
    168 Static void		ehci_device_ctrl_abort(usbd_xfer_handle);
    169 Static void		ehci_device_ctrl_close(usbd_pipe_handle);
    170 Static void		ehci_device_ctrl_done(usbd_xfer_handle);
    171 
    172 Static usbd_status	ehci_device_bulk_transfer(usbd_xfer_handle);
    173 Static usbd_status	ehci_device_bulk_start(usbd_xfer_handle);
    174 Static void		ehci_device_bulk_abort(usbd_xfer_handle);
    175 Static void		ehci_device_bulk_close(usbd_pipe_handle);
    176 Static void		ehci_device_bulk_done(usbd_xfer_handle);
    177 
    178 Static usbd_status	ehci_device_intr_transfer(usbd_xfer_handle);
    179 Static usbd_status	ehci_device_intr_start(usbd_xfer_handle);
    180 Static void		ehci_device_intr_abort(usbd_xfer_handle);
    181 Static void		ehci_device_intr_close(usbd_pipe_handle);
    182 Static void		ehci_device_intr_done(usbd_xfer_handle);
    183 
    184 Static usbd_status	ehci_device_isoc_transfer(usbd_xfer_handle);
    185 Static usbd_status	ehci_device_isoc_start(usbd_xfer_handle);
    186 Static void		ehci_device_isoc_abort(usbd_xfer_handle);
    187 Static void		ehci_device_isoc_close(usbd_pipe_handle);
    188 Static void		ehci_device_isoc_done(usbd_xfer_handle);
    189 
    190 Static void		ehci_device_clear_toggle(usbd_pipe_handle pipe);
    191 Static void		ehci_noop(usbd_pipe_handle pipe);
    192 
    193 Static int		ehci_str(usb_string_descriptor_t *, int, char *);
    194 Static void		ehci_pcd(ehci_softc_t *, usbd_xfer_handle);
    195 Static void		ehci_pcd_able(ehci_softc_t *, int);
    196 Static void		ehci_pcd_enable(void *);
    197 Static void		ehci_disown(ehci_softc_t *, int, int);
    198 
    199 Static ehci_soft_qh_t  *ehci_alloc_sqh(ehci_softc_t *);
    200 Static void		ehci_free_sqh(ehci_softc_t *, ehci_soft_qh_t *);
    201 
    202 Static ehci_soft_qtd_t  *ehci_alloc_sqtd(ehci_softc_t *);
    203 Static void		ehci_free_sqtd(ehci_softc_t *, ehci_soft_qtd_t *);
    204 Static usbd_status	ehci_alloc_sqtd_chain(struct ehci_pipe *,
    205 			    ehci_softc_t *, int, int, usbd_xfer_handle,
    206 			    ehci_soft_qtd_t **, ehci_soft_qtd_t **);
    207 Static void		ehci_free_sqtd_chain(ehci_softc_t *, ehci_soft_qtd_t *,
    208 					    ehci_soft_qtd_t *);
    209 
    210 Static usbd_status	ehci_device_request(usbd_xfer_handle xfer);
    211 
    212 Static usbd_status	ehci_device_setintr(ehci_softc_t *, ehci_soft_qh_t *,
    213 			    int ival);
    214 
    215 Static void		ehci_add_qh(ehci_soft_qh_t *, ehci_soft_qh_t *);
    216 Static void		ehci_rem_qh(ehci_softc_t *, ehci_soft_qh_t *,
    217 				    ehci_soft_qh_t *);
    218 Static void		ehci_set_qh_qtd(ehci_soft_qh_t *, ehci_soft_qtd_t *);
    219 Static void		ehci_sync_hc(ehci_softc_t *);
    220 
    221 Static void		ehci_close_pipe(usbd_pipe_handle, ehci_soft_qh_t *);
    222 Static void		ehci_abort_xfer(usbd_xfer_handle, usbd_status);
    223 
    224 #ifdef EHCI_DEBUG
    225 Static void		ehci_dump_regs(ehci_softc_t *);
    226 Static void		ehci_dump(void);
    227 Static ehci_softc_t 	*theehci;
    228 Static void		ehci_dump_link(ehci_link_t, int);
    229 Static void		ehci_dump_sqtds(ehci_soft_qtd_t *);
    230 Static void		ehci_dump_sqtd(ehci_soft_qtd_t *);
    231 Static void		ehci_dump_qtd(ehci_qtd_t *);
    232 Static void		ehci_dump_sqh(ehci_soft_qh_t *);
    233 #ifdef DIAGNOSTIC
    234 Static void		ehci_dump_exfer(struct ehci_xfer *);
    235 #endif
    236 #endif
    237 
    238 #define EHCI_NULL htole32(EHCI_LINK_TERMINATE)
    239 
    240 #define EHCI_INTR_ENDPT 1
    241 
    242 #define ehci_add_intr_list(sc, ex) \
    243 	LIST_INSERT_HEAD(&(sc)->sc_intrhead, (ex), inext);
    244 #define ehci_del_intr_list(ex) \
    245 	do { \
    246 		LIST_REMOVE((ex), inext); \
    247 		(ex)->inext.le_prev = NULL; \
    248 	} while (0)
    249 #define ehci_active_intr_list(ex) ((ex)->inext.le_prev != NULL)
    250 
    251 Static struct usbd_bus_methods ehci_bus_methods = {
    252 	ehci_open,
    253 	ehci_softintr,
    254 	ehci_poll,
    255 	ehci_allocm,
    256 	ehci_freem,
    257 	ehci_allocx,
    258 	ehci_freex,
    259 };
    260 
    261 Static struct usbd_pipe_methods ehci_root_ctrl_methods = {
    262 	ehci_root_ctrl_transfer,
    263 	ehci_root_ctrl_start,
    264 	ehci_root_ctrl_abort,
    265 	ehci_root_ctrl_close,
    266 	ehci_noop,
    267 	ehci_root_ctrl_done,
    268 };
    269 
    270 Static struct usbd_pipe_methods ehci_root_intr_methods = {
    271 	ehci_root_intr_transfer,
    272 	ehci_root_intr_start,
    273 	ehci_root_intr_abort,
    274 	ehci_root_intr_close,
    275 	ehci_noop,
    276 	ehci_root_intr_done,
    277 };
    278 
    279 Static struct usbd_pipe_methods ehci_device_ctrl_methods = {
    280 	ehci_device_ctrl_transfer,
    281 	ehci_device_ctrl_start,
    282 	ehci_device_ctrl_abort,
    283 	ehci_device_ctrl_close,
    284 	ehci_noop,
    285 	ehci_device_ctrl_done,
    286 };
    287 
    288 Static struct usbd_pipe_methods ehci_device_intr_methods = {
    289 	ehci_device_intr_transfer,
    290 	ehci_device_intr_start,
    291 	ehci_device_intr_abort,
    292 	ehci_device_intr_close,
    293 	ehci_device_clear_toggle,
    294 	ehci_device_intr_done,
    295 };
    296 
    297 Static struct usbd_pipe_methods ehci_device_bulk_methods = {
    298 	ehci_device_bulk_transfer,
    299 	ehci_device_bulk_start,
    300 	ehci_device_bulk_abort,
    301 	ehci_device_bulk_close,
    302 	ehci_device_clear_toggle,
    303 	ehci_device_bulk_done,
    304 };
    305 
    306 Static struct usbd_pipe_methods ehci_device_isoc_methods = {
    307 	ehci_device_isoc_transfer,
    308 	ehci_device_isoc_start,
    309 	ehci_device_isoc_abort,
    310 	ehci_device_isoc_close,
    311 	ehci_noop,
    312 	ehci_device_isoc_done,
    313 };
    314 
    315 usbd_status
    316 ehci_init(ehci_softc_t *sc)
    317 {
    318 	u_int32_t version, sparams, cparams, hcr;
    319 	u_int i;
    320 	usbd_status err;
    321 	ehci_soft_qh_t *sqh;
    322 
    323 	DPRINTF(("ehci_init: start\n"));
    324 #ifdef EHCI_DEBUG
    325 	theehci = sc;
    326 #endif
    327 
    328 	sc->sc_offs = EREAD1(sc, EHCI_CAPLENGTH);
    329 
    330 	version = EREAD2(sc, EHCI_HCIVERSION);
    331 	aprint_normal("%s: EHCI version %x.%x\n", USBDEVNAME(sc->sc_bus.bdev),
    332 	       version >> 8, version & 0xff);
    333 
    334 	sparams = EREAD4(sc, EHCI_HCSPARAMS);
    335 	DPRINTF(("ehci_init: sparams=0x%x\n", sparams));
    336 	sc->sc_npcomp = EHCI_HCS_N_PCC(sparams);
    337 	if (EHCI_HCS_N_CC(sparams) != sc->sc_ncomp) {
    338 		aprint_error("%s: wrong number of companions (%d != %d)\n",
    339 		       USBDEVNAME(sc->sc_bus.bdev),
    340 		       EHCI_HCS_N_CC(sparams), sc->sc_ncomp);
    341 #if NOHCI == 0 || NUHCI == 0
    342 		aprint_error("%s: ohci or uhci probably not configured\n",
    343 			     USBDEVNAME(sc->sc_bus.bdev));
    344 #endif
    345 		return (USBD_IOERROR);
    346 	}
    347 	if (sc->sc_ncomp > 0) {
    348 		aprint_normal("%s: companion controller%s, %d port%s each:",
    349 		    USBDEVNAME(sc->sc_bus.bdev), sc->sc_ncomp!=1 ? "s" : "",
    350 		    EHCI_HCS_N_PCC(sparams),
    351 		    EHCI_HCS_N_PCC(sparams)!=1 ? "s" : "");
    352 		for (i = 0; i < sc->sc_ncomp; i++)
    353 			aprint_normal(" %s", USBDEVNAME(sc->sc_comps[i]->bdev));
    354 		aprint_normal("\n");
    355 	}
    356 	sc->sc_noport = EHCI_HCS_N_PORTS(sparams);
    357 	cparams = EREAD4(sc, EHCI_HCCPARAMS);
    358 	DPRINTF(("ehci_init: cparams=0x%x\n", cparams));
    359 
    360 	if (EHCI_HCC_64BIT(cparams)) {
    361 		/* MUST clear segment register if 64 bit capable. */
    362 		EWRITE4(sc, EHCI_CTRLDSSEGMENT, 0);
    363 	}
    364 
    365 	sc->sc_bus.usbrev = USBREV_2_0;
    366 
    367 	/* Reset the controller */
    368 	DPRINTF(("%s: resetting\n", USBDEVNAME(sc->sc_bus.bdev)));
    369 	EOWRITE4(sc, EHCI_USBCMD, 0);	/* Halt controller */
    370 	usb_delay_ms(&sc->sc_bus, 1);
    371 	EOWRITE4(sc, EHCI_USBCMD, EHCI_CMD_HCRESET);
    372 	for (i = 0; i < 100; i++) {
    373 		usb_delay_ms(&sc->sc_bus, 1);
    374 		hcr = EOREAD4(sc, EHCI_USBCMD) & EHCI_CMD_HCRESET;
    375 		if (!hcr)
    376 			break;
    377 	}
    378 	if (hcr) {
    379 		aprint_error("%s: reset timeout\n",
    380 		    USBDEVNAME(sc->sc_bus.bdev));
    381 		return (USBD_IOERROR);
    382 	}
    383 
    384 	/* XXX need proper intr scheduling */
    385 	sc->sc_rand = 96;
    386 
    387 	/* frame list size at default, read back what we got and use that */
    388 	switch (EHCI_CMD_FLS(EOREAD4(sc, EHCI_USBCMD))) {
    389 	case 0: sc->sc_flsize = 1024; break;
    390 	case 1: sc->sc_flsize = 512; break;
    391 	case 2: sc->sc_flsize = 256; break;
    392 	case 3: return (USBD_IOERROR);
    393 	}
    394 	err = usb_allocmem(&sc->sc_bus, sc->sc_flsize * sizeof(ehci_link_t),
    395 	    EHCI_FLALIGN_ALIGN, &sc->sc_fldma);
    396 	if (err)
    397 		return (err);
    398 	DPRINTF(("%s: flsize=%d\n", USBDEVNAME(sc->sc_bus.bdev),sc->sc_flsize));
    399 	sc->sc_flist = KERNADDR(&sc->sc_fldma, 0);
    400 	EOWRITE4(sc, EHCI_PERIODICLISTBASE, DMAADDR(&sc->sc_fldma, 0));
    401 
    402 	/* Set up the bus struct. */
    403 	sc->sc_bus.methods = &ehci_bus_methods;
    404 	sc->sc_bus.pipe_size = sizeof(struct ehci_pipe);
    405 
    406 	sc->sc_powerhook = powerhook_establish(ehci_power, sc);
    407 	sc->sc_shutdownhook = shutdownhook_establish(ehci_shutdown, sc);
    408 
    409 	sc->sc_eintrs = EHCI_NORMAL_INTRS;
    410 
    411 	/*
    412 	 * Allocate the interrupt dummy QHs. These are arranged to give poll
    413 	 * intervals that are powers of 2 times 1ms.
    414 	 */
    415 	for (i = 0; i < EHCI_INTRQHS; i++) {
    416 		sqh = ehci_alloc_sqh(sc);
    417 		if (sqh == NULL) {
    418 			err = USBD_NOMEM;
    419 			goto bad1;
    420 		}
    421 		sc->sc_islots[i].sqh = sqh;
    422 	}
    423 	for (i = 0; i < EHCI_INTRQHS; i++) {
    424 		sqh = sc->sc_islots[i].sqh;
    425 		if (i == 0) {
    426 			/* The last (1ms) QH terminates. */
    427 			sqh->qh.qh_link = EHCI_NULL;
    428 			sqh->next = NULL;
    429 		} else {
    430 			/* Otherwise the next QH has half the poll interval */
    431 			sqh->next = sc->sc_islots[(i + 1) / 2 - 1].sqh;
    432 			sqh->qh.qh_link = htole32(sqh->next->physaddr |
    433 			    EHCI_LINK_QH);
    434 		}
    435 		sqh->qh.qh_endp = htole32(EHCI_QH_SET_EPS(EHCI_QH_SPEED_HIGH));
    436 		sqh->qh.qh_link = EHCI_NULL;
    437 		sqh->qh.qh_curqtd = EHCI_NULL;
    438 		sqh->next = NULL;
    439 		sqh->qh.qh_qtd.qtd_next = EHCI_NULL;
    440 		sqh->qh.qh_qtd.qtd_altnext = EHCI_NULL;
    441 		sqh->qh.qh_qtd.qtd_status = htole32(EHCI_QTD_HALTED);
    442 		sqh->sqtd = NULL;
    443 	}
    444 	/* Point the frame list at the last level (128ms). */
    445 	for (i = 0; i < sc->sc_flsize; i++) {
    446 		sc->sc_flist[i] = htole32(EHCI_LINK_QH |
    447 		    sc->sc_islots[EHCI_IQHIDX(EHCI_IPOLLRATES - 1,
    448 		    i)].sqh->physaddr);
    449 	}
    450 
    451 	/* Allocate dummy QH that starts the async list. */
    452 	sqh = ehci_alloc_sqh(sc);
    453 	if (sqh == NULL) {
    454 		err = USBD_NOMEM;
    455 		goto bad1;
    456 	}
    457 	/* Fill the QH */
    458 	sqh->qh.qh_endp =
    459 	    htole32(EHCI_QH_SET_EPS(EHCI_QH_SPEED_HIGH) | EHCI_QH_HRECL);
    460 	sqh->qh.qh_link =
    461 	    htole32(sqh->physaddr | EHCI_LINK_QH);
    462 	sqh->qh.qh_curqtd = EHCI_NULL;
    463 	sqh->next = NULL;
    464 	/* Fill the overlay qTD */
    465 	sqh->qh.qh_qtd.qtd_next = EHCI_NULL;
    466 	sqh->qh.qh_qtd.qtd_altnext = EHCI_NULL;
    467 	sqh->qh.qh_qtd.qtd_status = htole32(EHCI_QTD_HALTED);
    468 	sqh->sqtd = NULL;
    469 #ifdef EHCI_DEBUG
    470 	if (ehcidebug) {
    471 		ehci_dump_sqh(sqh);
    472 	}
    473 #endif
    474 
    475 	/* Point to async list */
    476 	sc->sc_async_head = sqh;
    477 	EOWRITE4(sc, EHCI_ASYNCLISTADDR, sqh->physaddr | EHCI_LINK_QH);
    478 
    479 	usb_callout_init(sc->sc_tmo_pcd);
    480 
    481 	lockinit(&sc->sc_doorbell_lock, PZERO, "ehcidb", 0, 0);
    482 
    483 	/* Enable interrupts */
    484 	EOWRITE4(sc, EHCI_USBINTR, sc->sc_eintrs);
    485 
    486 	/* Turn on controller */
    487 	EOWRITE4(sc, EHCI_USBCMD,
    488 		 EHCI_CMD_ITC_2 | /* 2 microframes */
    489 		 (EOREAD4(sc, EHCI_USBCMD) & EHCI_CMD_FLS_M) |
    490 		 EHCI_CMD_ASE |
    491 		 EHCI_CMD_PSE |
    492 		 EHCI_CMD_RS);
    493 
    494 	/* Take over port ownership */
    495 	EOWRITE4(sc, EHCI_CONFIGFLAG, EHCI_CONF_CF);
    496 
    497 	for (i = 0; i < 100; i++) {
    498 		usb_delay_ms(&sc->sc_bus, 1);
    499 		hcr = EOREAD4(sc, EHCI_USBSTS) & EHCI_STS_HCH;
    500 		if (!hcr)
    501 			break;
    502 	}
    503 	if (hcr) {
    504 		aprint_error("%s: run timeout\n", USBDEVNAME(sc->sc_bus.bdev));
    505 		return (USBD_IOERROR);
    506 	}
    507 
    508 	return (USBD_NORMAL_COMPLETION);
    509 
    510 #if 0
    511  bad2:
    512 	ehci_free_sqh(sc, sc->sc_async_head);
    513 #endif
    514  bad1:
    515 	usb_freemem(&sc->sc_bus, &sc->sc_fldma);
    516 	return (err);
    517 }
    518 
    519 int
    520 ehci_intr(void *v)
    521 {
    522 	ehci_softc_t *sc = v;
    523 
    524 	if (sc == NULL || sc->sc_dying)
    525 		return (0);
    526 
    527 	/* If we get an interrupt while polling, then just ignore it. */
    528 	if (sc->sc_bus.use_polling) {
    529 		u_int32_t intrs = EHCI_STS_INTRS(EOREAD4(sc, EHCI_USBSTS));
    530 
    531 		if (intrs)
    532 			EOWRITE4(sc, EHCI_USBSTS, intrs); /* Acknowledge */
    533 #ifdef DIAGNOSTIC
    534 		DPRINTFN(16, ("ehci_intr: ignored interrupt while polling\n"));
    535 #endif
    536 		return (0);
    537 	}
    538 
    539 	return (ehci_intr1(sc));
    540 }
    541 
    542 Static int
    543 ehci_intr1(ehci_softc_t *sc)
    544 {
    545 	u_int32_t intrs, eintrs;
    546 
    547 	DPRINTFN(20,("ehci_intr1: enter\n"));
    548 
    549 	/* In case the interrupt occurs before initialization has completed. */
    550 	if (sc == NULL) {
    551 #ifdef DIAGNOSTIC
    552 		printf("ehci_intr1: sc == NULL\n");
    553 #endif
    554 		return (0);
    555 	}
    556 
    557 	intrs = EHCI_STS_INTRS(EOREAD4(sc, EHCI_USBSTS));
    558 	if (!intrs)
    559 		return (0);
    560 
    561 	eintrs = intrs & sc->sc_eintrs;
    562 	DPRINTFN(7, ("ehci_intr1: sc=%p intrs=0x%x(0x%x) eintrs=0x%x\n",
    563 		     sc, (u_int)intrs, EOREAD4(sc, EHCI_USBSTS),
    564 		     (u_int)eintrs));
    565 	if (!eintrs)
    566 		return (0);
    567 
    568 	EOWRITE4(sc, EHCI_USBSTS, intrs); /* Acknowledge */
    569 	sc->sc_bus.intr_context++;
    570 	sc->sc_bus.no_intrs++;
    571 	if (eintrs & EHCI_STS_IAA) {
    572 		DPRINTF(("ehci_intr1: door bell\n"));
    573 		wakeup(&sc->sc_async_head);
    574 		eintrs &= ~EHCI_STS_IAA;
    575 	}
    576 	if (eintrs & (EHCI_STS_INT | EHCI_STS_ERRINT)) {
    577 		DPRINTFN(5,("ehci_intr1: %s %s\n",
    578 			    eintrs & EHCI_STS_INT ? "INT" : "",
    579 			    eintrs & EHCI_STS_ERRINT ? "ERRINT" : ""));
    580 		usb_schedsoftintr(&sc->sc_bus);
    581 		eintrs &= ~(EHCI_STS_INT | EHCI_STS_ERRINT);
    582 	}
    583 	if (eintrs & EHCI_STS_HSE) {
    584 		printf("%s: unrecoverable error, controller halted\n",
    585 		       USBDEVNAME(sc->sc_bus.bdev));
    586 		/* XXX what else */
    587 	}
    588 	if (eintrs & EHCI_STS_PCD) {
    589 		ehci_pcd(sc, sc->sc_intrxfer);
    590 		/*
    591 		 * Disable PCD interrupt for now, because it will be
    592 		 * on until the port has been reset.
    593 		 */
    594 		ehci_pcd_able(sc, 0);
    595 		/* Do not allow RHSC interrupts > 1 per second */
    596                 usb_callout(sc->sc_tmo_pcd, hz, ehci_pcd_enable, sc);
    597 		eintrs &= ~EHCI_STS_PCD;
    598 	}
    599 
    600 	sc->sc_bus.intr_context--;
    601 
    602 	if (eintrs != 0) {
    603 		/* Block unprocessed interrupts. */
    604 		sc->sc_eintrs &= ~eintrs;
    605 		EOWRITE4(sc, EHCI_USBINTR, sc->sc_eintrs);
    606 		printf("%s: blocking intrs 0x%x\n",
    607 		       USBDEVNAME(sc->sc_bus.bdev), eintrs);
    608 	}
    609 
    610 	return (1);
    611 }
    612 
    613 void
    614 ehci_pcd_able(ehci_softc_t *sc, int on)
    615 {
    616 	DPRINTFN(4, ("ehci_pcd_able: on=%d\n", on));
    617 	if (on)
    618 		sc->sc_eintrs |= EHCI_STS_PCD;
    619 	else
    620 		sc->sc_eintrs &= ~EHCI_STS_PCD;
    621 	EOWRITE4(sc, EHCI_USBINTR, sc->sc_eintrs);
    622 }
    623 
    624 void
    625 ehci_pcd_enable(void *v_sc)
    626 {
    627 	ehci_softc_t *sc = v_sc;
    628 
    629 	ehci_pcd_able(sc, 1);
    630 }
    631 
    632 void
    633 ehci_pcd(ehci_softc_t *sc, usbd_xfer_handle xfer)
    634 {
    635 	usbd_pipe_handle pipe;
    636 	u_char *p;
    637 	int i, m;
    638 
    639 	if (xfer == NULL) {
    640 		/* Just ignore the change. */
    641 		return;
    642 	}
    643 
    644 	pipe = xfer->pipe;
    645 
    646 	p = KERNADDR(&xfer->dmabuf, 0);
    647 	m = min(sc->sc_noport, xfer->length * 8 - 1);
    648 	memset(p, 0, xfer->length);
    649 	for (i = 1; i <= m; i++) {
    650 		/* Pick out CHANGE bits from the status reg. */
    651 		if (EOREAD4(sc, EHCI_PORTSC(i)) & EHCI_PS_CLEAR)
    652 			p[i/8] |= 1 << (i%8);
    653 	}
    654 	DPRINTF(("ehci_pcd: change=0x%02x\n", *p));
    655 	xfer->actlen = xfer->length;
    656 	xfer->status = USBD_NORMAL_COMPLETION;
    657 
    658 	usb_transfer_complete(xfer);
    659 }
    660 
    661 void
    662 ehci_softintr(void *v)
    663 {
    664 	ehci_softc_t *sc = v;
    665 	struct ehci_xfer *ex, *nextex;
    666 
    667 	DPRINTFN(10,("%s: ehci_softintr (%d)\n", USBDEVNAME(sc->sc_bus.bdev),
    668 		     sc->sc_bus.intr_context));
    669 
    670 	sc->sc_bus.intr_context++;
    671 
    672 	/*
    673 	 * The only explanation I can think of for why EHCI is as brain dead
    674 	 * as UHCI interrupt-wise is that Intel was involved in both.
    675 	 * An interrupt just tells us that something is done, we have no
    676 	 * clue what, so we need to scan through all active transfers. :-(
    677 	 */
    678 	for (ex = LIST_FIRST(&sc->sc_intrhead); ex; ex = nextex) {
    679 		nextex = LIST_NEXT(ex, inext);
    680 		ehci_check_intr(sc, ex);
    681 	}
    682 
    683 #ifdef USB_USE_SOFTINTR
    684 	if (sc->sc_softwake) {
    685 		sc->sc_softwake = 0;
    686 		wakeup(&sc->sc_softwake);
    687 	}
    688 #endif /* USB_USE_SOFTINTR */
    689 
    690 	sc->sc_bus.intr_context--;
    691 }
    692 
    693 /* Check for an interrupt. */
    694 void
    695 ehci_check_intr(ehci_softc_t *sc, struct ehci_xfer *ex)
    696 {
    697 	ehci_soft_qtd_t *sqtd, *lsqtd;
    698 	u_int32_t status;
    699 
    700 	DPRINTFN(/*15*/2, ("ehci_check_intr: ex=%p\n", ex));
    701 
    702 	if (ex->sqtdstart == NULL) {
    703 		printf("ehci_check_intr: sqtdstart=NULL\n");
    704 		return;
    705 	}
    706 	lsqtd = ex->sqtdend;
    707 #ifdef DIAGNOSTIC
    708 	if (lsqtd == NULL) {
    709 		printf("ehci_check_intr: lsqtd==0\n");
    710 		return;
    711 	}
    712 #endif
    713 	/*
    714 	 * If the last TD is still active we need to check whether there
    715 	 * is a an error somewhere in the middle, or whether there was a
    716 	 * short packet (SPD and not ACTIVE).
    717 	 */
    718 	if (le32toh(lsqtd->qtd.qtd_status) & EHCI_QTD_ACTIVE) {
    719 		DPRINTFN(12, ("ehci_check_intr: active ex=%p\n", ex));
    720 		for (sqtd = ex->sqtdstart; sqtd != lsqtd; sqtd=sqtd->nextqtd) {
    721 			status = le32toh(sqtd->qtd.qtd_status);
    722 			/* If there's an active QTD the xfer isn't done. */
    723 			if (status & EHCI_QTD_ACTIVE)
    724 				break;
    725 			/* Any kind of error makes the xfer done. */
    726 			if (status & EHCI_QTD_HALTED)
    727 				goto done;
    728 			/* We want short packets, and it is short: it's done */
    729 			if (EHCI_QTD_GET_BYTES(status) != 0)
    730 				goto done;
    731 		}
    732 		DPRINTFN(12, ("ehci_check_intr: ex=%p std=%p still active\n",
    733 			      ex, ex->sqtdstart));
    734 		return;
    735 	}
    736  done:
    737 	DPRINTFN(12, ("ehci_check_intr: ex=%p done\n", ex));
    738 	usb_uncallout(ex->xfer.timeout_handle, ehci_timeout, ex);
    739 	ehci_idone(ex);
    740 }
    741 
    742 void
    743 ehci_idone(struct ehci_xfer *ex)
    744 {
    745 	usbd_xfer_handle xfer = &ex->xfer;
    746 	struct ehci_pipe *epipe = (struct ehci_pipe *)xfer->pipe;
    747 	ehci_soft_qtd_t *sqtd, *lsqtd;
    748 	u_int32_t status = 0, nstatus = 0;
    749 	int actlen;
    750 	uint pkts_left;
    751 
    752 	DPRINTFN(/*12*/2, ("ehci_idone: ex=%p\n", ex));
    753 #ifdef DIAGNOSTIC
    754 	{
    755 		int s = splhigh();
    756 		if (ex->isdone) {
    757 			splx(s);
    758 #ifdef EHCI_DEBUG
    759 			printf("ehci_idone: ex is done!\n   ");
    760 			ehci_dump_exfer(ex);
    761 #else
    762 			printf("ehci_idone: ex=%p is done!\n", ex);
    763 #endif
    764 			return;
    765 		}
    766 		ex->isdone = 1;
    767 		splx(s);
    768 	}
    769 #endif
    770 
    771 	if (xfer->status == USBD_CANCELLED ||
    772 	    xfer->status == USBD_TIMEOUT) {
    773 		DPRINTF(("ehci_idone: aborted xfer=%p\n", xfer));
    774 		return;
    775 	}
    776 
    777 #ifdef EHCI_DEBUG
    778 	DPRINTFN(/*10*/2, ("ehci_idone: xfer=%p, pipe=%p ready\n", xfer, epipe));
    779 	if (ehcidebug > 10)
    780 		ehci_dump_sqtds(ex->sqtdstart);
    781 #endif
    782 
    783 	/* The transfer is done, compute actual length and status. */
    784 	lsqtd = ex->sqtdend;
    785 	actlen = 0;
    786 	for (sqtd = ex->sqtdstart; sqtd != lsqtd->nextqtd; sqtd=sqtd->nextqtd) {
    787 		nstatus = le32toh(sqtd->qtd.qtd_status);
    788 		if (nstatus & EHCI_QTD_ACTIVE)
    789 			break;
    790 
    791 		status = nstatus;
    792 		/* halt is ok if descriptor is last, and complete */
    793 		if (sqtd->qtd.qtd_next == EHCI_NULL &&
    794 		    EHCI_QTD_GET_BYTES(status) == 0)
    795 			status &= ~EHCI_QTD_HALTED;
    796 		if (EHCI_QTD_GET_PID(status) !=	EHCI_QTD_PID_SETUP)
    797 			actlen += sqtd->len - EHCI_QTD_GET_BYTES(status);
    798 	}
    799 
    800 	/*
    801 	 * If there are left over TDs we need to update the toggle.
    802 	 * The default pipe doesn't need it since control transfers
    803 	 * start the toggle at 0 every time.
    804 	 */
    805 	if (sqtd != lsqtd->nextqtd &&
    806 	    xfer->pipe->device->default_pipe != xfer->pipe) {
    807 		printf("ehci_idone: need toggle update status=%08x nstatus=%08x\n", status, nstatus);
    808 #if 0
    809 		ehci_dump_sqh(epipe->sqh);
    810 		ehci_dump_sqtds(ex->sqtdstart);
    811 #endif
    812 		epipe->nexttoggle = EHCI_QTD_GET_TOGGLE(nstatus);
    813 	}
    814 
    815 	/*
    816 	 * For a short transfer we need to update the toggle for the missing
    817 	 * packets within the qTD.
    818 	 */
    819 	pkts_left = EHCI_QTD_GET_BYTES(status) /
    820 	    UGETW(xfer->pipe->endpoint->edesc->wMaxPacketSize);
    821 	epipe->nexttoggle ^= pkts_left % 2;
    822 
    823 	status &= EHCI_QTD_STATERRS;
    824 	DPRINTFN(/*10*/2, ("ehci_idone: len=%d, actlen=%d, status=0x%x\n",
    825 			   xfer->length, actlen, status));
    826 	xfer->actlen = actlen;
    827 	if (status != 0) {
    828 #ifdef EHCI_DEBUG
    829 		char sbuf[128];
    830 
    831 		bitmask_snprintf((u_int32_t)status,
    832 				 "\20\7HALTED\6BUFERR\5BABBLE\4XACTERR"
    833 				 "\3MISSED", sbuf, sizeof(sbuf));
    834 
    835 		DPRINTFN((status == EHCI_QTD_HALTED) ? 2 : 0,
    836 			 ("ehci_idone: error, addr=%d, endpt=0x%02x, "
    837 			  "status 0x%s\n",
    838 			  xfer->pipe->device->address,
    839 			  xfer->pipe->endpoint->edesc->bEndpointAddress,
    840 			  sbuf));
    841 		if (ehcidebug > 2) {
    842 			ehci_dump_sqh(epipe->sqh);
    843 			ehci_dump_sqtds(ex->sqtdstart);
    844 		}
    845 #endif
    846 		if (status == EHCI_QTD_HALTED)
    847 			xfer->status = USBD_STALLED;
    848 		else
    849 			xfer->status = USBD_IOERROR; /* more info XXX */
    850 	} else {
    851 		xfer->status = USBD_NORMAL_COMPLETION;
    852 	}
    853 
    854 	usb_transfer_complete(xfer);
    855 	DPRINTFN(/*12*/2, ("ehci_idone: ex=%p done\n", ex));
    856 }
    857 
    858 /*
    859  * Wait here until controller claims to have an interrupt.
    860  * Then call ehci_intr and return.  Use timeout to avoid waiting
    861  * too long.
    862  */
    863 void
    864 ehci_waitintr(ehci_softc_t *sc, usbd_xfer_handle xfer)
    865 {
    866 	int timo = xfer->timeout;
    867 	int usecs;
    868 	u_int32_t intrs;
    869 
    870 	xfer->status = USBD_IN_PROGRESS;
    871 	for (usecs = timo * 1000000 / hz; usecs > 0; usecs -= 1000) {
    872 		usb_delay_ms(&sc->sc_bus, 1);
    873 		if (sc->sc_dying)
    874 			break;
    875 		intrs = EHCI_STS_INTRS(EOREAD4(sc, EHCI_USBSTS)) &
    876 			sc->sc_eintrs;
    877 		DPRINTFN(15,("ehci_waitintr: 0x%04x\n", intrs));
    878 #ifdef EHCI_DEBUG
    879 		if (ehcidebug > 15)
    880 			ehci_dump_regs(sc);
    881 #endif
    882 		if (intrs) {
    883 			ehci_intr1(sc);
    884 			if (xfer->status != USBD_IN_PROGRESS)
    885 				return;
    886 		}
    887 	}
    888 
    889 	/* Timeout */
    890 	DPRINTF(("ehci_waitintr: timeout\n"));
    891 	xfer->status = USBD_TIMEOUT;
    892 	usb_transfer_complete(xfer);
    893 	/* XXX should free TD */
    894 }
    895 
    896 void
    897 ehci_poll(struct usbd_bus *bus)
    898 {
    899 	ehci_softc_t *sc = (ehci_softc_t *)bus;
    900 #ifdef EHCI_DEBUG
    901 	static int last;
    902 	int new;
    903 	new = EHCI_STS_INTRS(EOREAD4(sc, EHCI_USBSTS));
    904 	if (new != last) {
    905 		DPRINTFN(10,("ehci_poll: intrs=0x%04x\n", new));
    906 		last = new;
    907 	}
    908 #endif
    909 
    910 	if (EOREAD4(sc, EHCI_USBSTS) & sc->sc_eintrs)
    911 		ehci_intr1(sc);
    912 }
    913 
    914 int
    915 ehci_detach(struct ehci_softc *sc, int flags)
    916 {
    917 	int rv = 0;
    918 
    919 	if (sc->sc_child != NULL)
    920 		rv = config_detach(sc->sc_child, flags);
    921 
    922 	if (rv != 0)
    923 		return (rv);
    924 
    925 	usb_uncallout(sc->sc_tmo_pcd, ehci_pcd_enable, sc);
    926 
    927 	if (sc->sc_powerhook != NULL)
    928 		powerhook_disestablish(sc->sc_powerhook);
    929 	if (sc->sc_shutdownhook != NULL)
    930 		shutdownhook_disestablish(sc->sc_shutdownhook);
    931 
    932 	usb_delay_ms(&sc->sc_bus, 300); /* XXX let stray task complete */
    933 
    934 	/* XXX free other data structures XXX */
    935 
    936 	return (rv);
    937 }
    938 
    939 
    940 int
    941 ehci_activate(device_ptr_t self, enum devact act)
    942 {
    943 	struct ehci_softc *sc = (struct ehci_softc *)self;
    944 	int rv = 0;
    945 
    946 	switch (act) {
    947 	case DVACT_ACTIVATE:
    948 		return (EOPNOTSUPP);
    949 
    950 	case DVACT_DEACTIVATE:
    951 		if (sc->sc_child != NULL)
    952 			rv = config_deactivate(sc->sc_child);
    953 		sc->sc_dying = 1;
    954 		break;
    955 	}
    956 	return (rv);
    957 }
    958 
    959 /*
    960  * Handle suspend/resume.
    961  *
    962  * We need to switch to polling mode here, because this routine is
    963  * called from an interrupt context.  This is all right since we
    964  * are almost suspended anyway.
    965  */
    966 void
    967 ehci_power(int why, void *v)
    968 {
    969 	ehci_softc_t *sc = v;
    970 	u_int32_t cmd, hcr;
    971 	int s, i;
    972 
    973 #ifdef EHCI_DEBUG
    974 	DPRINTF(("ehci_power: sc=%p, why=%d\n", sc, why));
    975 	if (ehcidebug > 0)
    976 		ehci_dump_regs(sc);
    977 #endif
    978 
    979 	s = splhardusb();
    980 	switch (why) {
    981 	case PWR_SUSPEND:
    982 	case PWR_STANDBY:
    983 		sc->sc_bus.use_polling++;
    984 
    985 		sc->sc_cmd = EOREAD4(sc, EHCI_USBCMD);
    986 
    987 		cmd = sc->sc_cmd & ~(EHCI_CMD_ASE | EHCI_CMD_PSE);
    988 		EOWRITE4(sc, EHCI_USBCMD, cmd);
    989 
    990 		for (i = 0; i < 100; i++) {
    991 			hcr = EOREAD4(sc, EHCI_USBSTS) &
    992 			    (EHCI_STS_ASS | EHCI_STS_PSS);
    993 			if (hcr == 0)
    994 				break;
    995 
    996 			usb_delay_ms(&sc->sc_bus, 1);
    997 		}
    998 		if (hcr != 0) {
    999 			printf("%s: reset timeout\n",
   1000 			    USBDEVNAME(sc->sc_bus.bdev));
   1001 		}
   1002 
   1003 		cmd &= ~EHCI_CMD_RS;
   1004 		EOWRITE4(sc, EHCI_USBCMD, cmd);
   1005 
   1006 		for (i = 0; i < 100; i++) {
   1007 			hcr = EOREAD4(sc, EHCI_USBSTS) & EHCI_STS_HCH;
   1008 			if (hcr == EHCI_STS_HCH)
   1009 				break;
   1010 
   1011 			usb_delay_ms(&sc->sc_bus, 1);
   1012 		}
   1013 		if (hcr != EHCI_STS_HCH) {
   1014 			printf("%s: config timeout\n",
   1015 			    USBDEVNAME(sc->sc_bus.bdev));
   1016 		}
   1017 
   1018 		sc->sc_bus.use_polling--;
   1019 		break;
   1020 
   1021 	case PWR_RESUME:
   1022 		sc->sc_bus.use_polling++;
   1023 
   1024 		/* restore things in case the bios sucks */
   1025 		EOWRITE4(sc, EHCI_CTRLDSSEGMENT, 0);
   1026 		EOWRITE4(sc, EHCI_PERIODICLISTBASE, DMAADDR(&sc->sc_fldma, 0));
   1027 		EOWRITE4(sc, EHCI_ASYNCLISTADDR,
   1028 		    sc->sc_async_head->physaddr | EHCI_LINK_QH);
   1029 		EOWRITE4(sc, EHCI_USBINTR, sc->sc_eintrs);
   1030 
   1031 		EOWRITE4(sc, EHCI_USBCMD, sc->sc_cmd);
   1032 
   1033 		for (i = 0; i < 100; i++) {
   1034 			hcr = EOREAD4(sc, EHCI_USBSTS) & EHCI_STS_HCH;
   1035 			if (hcr != EHCI_STS_HCH)
   1036 				break;
   1037 
   1038 			usb_delay_ms(&sc->sc_bus, 1);
   1039 		}
   1040 		if (hcr == EHCI_STS_HCH) {
   1041 			printf("%s: config timeout\n",
   1042 			    USBDEVNAME(sc->sc_bus.bdev));
   1043 		}
   1044 
   1045 		usb_delay_ms(&sc->sc_bus, USB_RESUME_WAIT);
   1046 
   1047 		sc->sc_bus.use_polling--;
   1048 		break;
   1049 	case PWR_SOFTSUSPEND:
   1050 	case PWR_SOFTSTANDBY:
   1051 	case PWR_SOFTRESUME:
   1052 		break;
   1053 	}
   1054 	splx(s);
   1055 
   1056 #ifdef EHCI_DEBUG
   1057 	DPRINTF(("ehci_power: sc=%p\n", sc));
   1058 	if (ehcidebug > 0)
   1059 		ehci_dump_regs(sc);
   1060 #endif
   1061 }
   1062 
   1063 /*
   1064  * Shut down the controller when the system is going down.
   1065  */
   1066 void
   1067 ehci_shutdown(void *v)
   1068 {
   1069 	ehci_softc_t *sc = v;
   1070 
   1071 	DPRINTF(("ehci_shutdown: stopping the HC\n"));
   1072 	EOWRITE4(sc, EHCI_USBCMD, 0);	/* Halt controller */
   1073 	EOWRITE4(sc, EHCI_USBCMD, EHCI_CMD_HCRESET);
   1074 }
   1075 
   1076 usbd_status
   1077 ehci_allocm(struct usbd_bus *bus, usb_dma_t *dma, u_int32_t size)
   1078 {
   1079 	struct ehci_softc *sc = (struct ehci_softc *)bus;
   1080 	usbd_status err;
   1081 
   1082 	err = usb_allocmem(&sc->sc_bus, size, 0, dma);
   1083 #ifdef EHCI_DEBUG
   1084 	if (err)
   1085 		printf("ehci_allocm: usb_allocmem()=%d\n", err);
   1086 #endif
   1087 	return (err);
   1088 }
   1089 
   1090 void
   1091 ehci_freem(struct usbd_bus *bus, usb_dma_t *dma)
   1092 {
   1093 	struct ehci_softc *sc = (struct ehci_softc *)bus;
   1094 
   1095 	usb_freemem(&sc->sc_bus, dma);
   1096 }
   1097 
   1098 usbd_xfer_handle
   1099 ehci_allocx(struct usbd_bus *bus)
   1100 {
   1101 	struct ehci_softc *sc = (struct ehci_softc *)bus;
   1102 	usbd_xfer_handle xfer;
   1103 
   1104 	xfer = SIMPLEQ_FIRST(&sc->sc_free_xfers);
   1105 	if (xfer != NULL) {
   1106 		SIMPLEQ_REMOVE_HEAD(&sc->sc_free_xfers, next);
   1107 #ifdef DIAGNOSTIC
   1108 		if (xfer->busy_free != XFER_FREE) {
   1109 			printf("ehci_allocx: xfer=%p not free, 0x%08x\n", xfer,
   1110 			       xfer->busy_free);
   1111 		}
   1112 #endif
   1113 	} else {
   1114 		xfer = malloc(sizeof(struct ehci_xfer), M_USB, M_NOWAIT);
   1115 	}
   1116 	if (xfer != NULL) {
   1117 		memset(xfer, 0, sizeof(struct ehci_xfer));
   1118 #ifdef DIAGNOSTIC
   1119 		EXFER(xfer)->isdone = 1;
   1120 		xfer->busy_free = XFER_BUSY;
   1121 #endif
   1122 	}
   1123 	return (xfer);
   1124 }
   1125 
   1126 void
   1127 ehci_freex(struct usbd_bus *bus, usbd_xfer_handle xfer)
   1128 {
   1129 	struct ehci_softc *sc = (struct ehci_softc *)bus;
   1130 
   1131 #ifdef DIAGNOSTIC
   1132 	if (xfer->busy_free != XFER_BUSY) {
   1133 		printf("ehci_freex: xfer=%p not busy, 0x%08x\n", xfer,
   1134 		       xfer->busy_free);
   1135 		return;
   1136 	}
   1137 	xfer->busy_free = XFER_FREE;
   1138 	if (!EXFER(xfer)->isdone) {
   1139 		printf("ehci_freex: !isdone\n");
   1140 		return;
   1141 	}
   1142 #endif
   1143 	SIMPLEQ_INSERT_HEAD(&sc->sc_free_xfers, xfer, next);
   1144 }
   1145 
   1146 Static void
   1147 ehci_device_clear_toggle(usbd_pipe_handle pipe)
   1148 {
   1149 	struct ehci_pipe *epipe = (struct ehci_pipe *)pipe;
   1150 
   1151 	DPRINTF(("ehci_device_clear_toggle: epipe=%p status=0x%x\n",
   1152 		 epipe, epipe->sqh->qh.qh_qtd.qtd_status));
   1153 #ifdef USB_DEBUG
   1154 	if (ehcidebug)
   1155 		usbd_dump_pipe(pipe);
   1156 #endif
   1157 	epipe->nexttoggle = 0;
   1158 }
   1159 
   1160 Static void
   1161 ehci_noop(usbd_pipe_handle pipe)
   1162 {
   1163 }
   1164 
   1165 #ifdef EHCI_DEBUG
   1166 void
   1167 ehci_dump_regs(ehci_softc_t *sc)
   1168 {
   1169 	int i;
   1170 	printf("cmd=0x%08x, sts=0x%08x, ien=0x%08x\n",
   1171 	       EOREAD4(sc, EHCI_USBCMD),
   1172 	       EOREAD4(sc, EHCI_USBSTS),
   1173 	       EOREAD4(sc, EHCI_USBINTR));
   1174 	printf("frindex=0x%08x ctrdsegm=0x%08x periodic=0x%08x async=0x%08x\n",
   1175 	       EOREAD4(sc, EHCI_FRINDEX),
   1176 	       EOREAD4(sc, EHCI_CTRLDSSEGMENT),
   1177 	       EOREAD4(sc, EHCI_PERIODICLISTBASE),
   1178 	       EOREAD4(sc, EHCI_ASYNCLISTADDR));
   1179 	for (i = 1; i <= sc->sc_noport; i++)
   1180 		printf("port %d status=0x%08x\n", i,
   1181 		       EOREAD4(sc, EHCI_PORTSC(i)));
   1182 }
   1183 
   1184 /*
   1185  * Unused function - this is meant to be called from a kernel
   1186  * debugger.
   1187  */
   1188 void
   1189 ehci_dump()
   1190 {
   1191 	ehci_dump_regs(theehci);
   1192 }
   1193 
   1194 void
   1195 ehci_dump_link(ehci_link_t link, int type)
   1196 {
   1197 	link = le32toh(link);
   1198 	printf("0x%08x", link);
   1199 	if (link & EHCI_LINK_TERMINATE)
   1200 		printf("<T>");
   1201 	else {
   1202 		printf("<");
   1203 		if (type) {
   1204 			switch (EHCI_LINK_TYPE(link)) {
   1205 			case EHCI_LINK_ITD: printf("ITD"); break;
   1206 			case EHCI_LINK_QH: printf("QH"); break;
   1207 			case EHCI_LINK_SITD: printf("SITD"); break;
   1208 			case EHCI_LINK_FSTN: printf("FSTN"); break;
   1209 			}
   1210 		}
   1211 		printf(">");
   1212 	}
   1213 }
   1214 
   1215 void
   1216 ehci_dump_sqtds(ehci_soft_qtd_t *sqtd)
   1217 {
   1218 	int i;
   1219 	u_int32_t stop;
   1220 
   1221 	stop = 0;
   1222 	for (i = 0; sqtd && i < 20 && !stop; sqtd = sqtd->nextqtd, i++) {
   1223 		ehci_dump_sqtd(sqtd);
   1224 		stop = sqtd->qtd.qtd_next & htole32(EHCI_LINK_TERMINATE);
   1225 	}
   1226 	if (sqtd)
   1227 		printf("dump aborted, too many TDs\n");
   1228 }
   1229 
   1230 void
   1231 ehci_dump_sqtd(ehci_soft_qtd_t *sqtd)
   1232 {
   1233 	printf("QTD(%p) at 0x%08x:\n", sqtd, sqtd->physaddr);
   1234 	ehci_dump_qtd(&sqtd->qtd);
   1235 }
   1236 
   1237 void
   1238 ehci_dump_qtd(ehci_qtd_t *qtd)
   1239 {
   1240 	u_int32_t s;
   1241 	char sbuf[128];
   1242 
   1243 	printf("  next="); ehci_dump_link(qtd->qtd_next, 0);
   1244 	printf(" altnext="); ehci_dump_link(qtd->qtd_altnext, 0);
   1245 	printf("\n");
   1246 	s = le32toh(qtd->qtd_status);
   1247 	bitmask_snprintf(EHCI_QTD_GET_STATUS(s),
   1248 			 "\20\10ACTIVE\7HALTED\6BUFERR\5BABBLE\4XACTERR"
   1249 			 "\3MISSED\2SPLIT\1PING", sbuf, sizeof(sbuf));
   1250 	printf("  status=0x%08x: toggle=%d bytes=0x%x ioc=%d c_page=0x%x\n",
   1251 	       s, EHCI_QTD_GET_TOGGLE(s), EHCI_QTD_GET_BYTES(s),
   1252 	       EHCI_QTD_GET_IOC(s), EHCI_QTD_GET_C_PAGE(s));
   1253 	printf("    cerr=%d pid=%d stat=0x%s\n", EHCI_QTD_GET_CERR(s),
   1254 	       EHCI_QTD_GET_PID(s), sbuf);
   1255 	for (s = 0; s < 5; s++)
   1256 		printf("  buffer[%d]=0x%08x\n", s, le32toh(qtd->qtd_buffer[s]));
   1257 }
   1258 
   1259 void
   1260 ehci_dump_sqh(ehci_soft_qh_t *sqh)
   1261 {
   1262 	ehci_qh_t *qh = &sqh->qh;
   1263 	u_int32_t endp, endphub;
   1264 
   1265 	printf("QH(%p) at 0x%08x:\n", sqh, sqh->physaddr);
   1266 	printf("  link="); ehci_dump_link(qh->qh_link, 1); printf("\n");
   1267 	endp = le32toh(qh->qh_endp);
   1268 	printf("  endp=0x%08x\n", endp);
   1269 	printf("    addr=0x%02x inact=%d endpt=%d eps=%d dtc=%d hrecl=%d\n",
   1270 	       EHCI_QH_GET_ADDR(endp), EHCI_QH_GET_INACT(endp),
   1271 	       EHCI_QH_GET_ENDPT(endp),  EHCI_QH_GET_EPS(endp),
   1272 	       EHCI_QH_GET_DTC(endp), EHCI_QH_GET_HRECL(endp));
   1273 	printf("    mpl=0x%x ctl=%d nrl=%d\n",
   1274 	       EHCI_QH_GET_MPL(endp), EHCI_QH_GET_CTL(endp),
   1275 	       EHCI_QH_GET_NRL(endp));
   1276 	endphub = le32toh(qh->qh_endphub);
   1277 	printf("  endphub=0x%08x\n", endphub);
   1278 	printf("    smask=0x%02x cmask=0x%02x huba=0x%02x port=%d mult=%d\n",
   1279 	       EHCI_QH_GET_SMASK(endphub), EHCI_QH_GET_CMASK(endphub),
   1280 	       EHCI_QH_GET_HUBA(endphub), EHCI_QH_GET_PORT(endphub),
   1281 	       EHCI_QH_GET_MULT(endphub));
   1282 	printf("  curqtd="); ehci_dump_link(qh->qh_curqtd, 0); printf("\n");
   1283 	printf("Overlay qTD:\n");
   1284 	ehci_dump_qtd(&qh->qh_qtd);
   1285 }
   1286 
   1287 #ifdef DIAGNOSTIC
   1288 Static void
   1289 ehci_dump_exfer(struct ehci_xfer *ex)
   1290 {
   1291 	printf("ehci_dump_exfer: ex=%p\n", ex);
   1292 }
   1293 #endif
   1294 #endif
   1295 
   1296 usbd_status
   1297 ehci_open(usbd_pipe_handle pipe)
   1298 {
   1299 	usbd_device_handle dev = pipe->device;
   1300 	ehci_softc_t *sc = (ehci_softc_t *)dev->bus;
   1301 	usb_endpoint_descriptor_t *ed = pipe->endpoint->edesc;
   1302 	u_int8_t addr = dev->address;
   1303 	u_int8_t xfertype = ed->bmAttributes & UE_XFERTYPE;
   1304 	struct ehci_pipe *epipe = (struct ehci_pipe *)pipe;
   1305 	ehci_soft_qh_t *sqh;
   1306 	usbd_status err;
   1307 	int s;
   1308 	int ival, speed, naks;
   1309 	int hshubaddr, hshubport;
   1310 
   1311 	DPRINTFN(1, ("ehci_open: pipe=%p, addr=%d, endpt=%d (%d)\n",
   1312 		     pipe, addr, ed->bEndpointAddress, sc->sc_addr));
   1313 
   1314 	if (dev->myhsport) {
   1315 		hshubaddr = dev->myhsport->parent->address;
   1316 		hshubport = dev->myhsport->portno;
   1317 	} else {
   1318 		hshubaddr = 0;
   1319 		hshubport = 0;
   1320 	}
   1321 
   1322 	if (sc->sc_dying)
   1323 		return (USBD_IOERROR);
   1324 
   1325 	epipe->nexttoggle = 0;
   1326 
   1327 	if (addr == sc->sc_addr) {
   1328 		switch (ed->bEndpointAddress) {
   1329 		case USB_CONTROL_ENDPOINT:
   1330 			pipe->methods = &ehci_root_ctrl_methods;
   1331 			break;
   1332 		case UE_DIR_IN | EHCI_INTR_ENDPT:
   1333 			pipe->methods = &ehci_root_intr_methods;
   1334 			break;
   1335 		default:
   1336 			return (USBD_INVAL);
   1337 		}
   1338 		return (USBD_NORMAL_COMPLETION);
   1339 	}
   1340 
   1341 	/* XXX All this stuff is only valid for async. */
   1342 	switch (dev->speed) {
   1343 	case USB_SPEED_LOW:  speed = EHCI_QH_SPEED_LOW;  break;
   1344 	case USB_SPEED_FULL: speed = EHCI_QH_SPEED_FULL; break;
   1345 	case USB_SPEED_HIGH: speed = EHCI_QH_SPEED_HIGH; break;
   1346 	default: panic("ehci_open: bad device speed %d", dev->speed);
   1347 	}
   1348 	if (speed != EHCI_QH_SPEED_HIGH) {
   1349 		printf("%s: *** WARNING: opening low/full speed device, this "
   1350 		       "does not work yet.\n",
   1351 		       USBDEVNAME(sc->sc_bus.bdev));
   1352 		DPRINTFN(1,("ehci_open: hshubaddr=%d hshubport=%d\n",
   1353 			    hshubaddr, hshubport));
   1354 		if (xfertype != UE_CONTROL)
   1355 			return USBD_INVAL;
   1356 	}
   1357 
   1358 	naks = 8;		/* XXX */
   1359 	sqh = ehci_alloc_sqh(sc);
   1360 	if (sqh == NULL)
   1361 		goto bad0;
   1362 	/* qh_link filled when the QH is added */
   1363 	sqh->qh.qh_endp = htole32(
   1364 		EHCI_QH_SET_ADDR(addr) |
   1365 		EHCI_QH_SET_ENDPT(UE_GET_ADDR(ed->bEndpointAddress)) |
   1366 		EHCI_QH_SET_EPS(speed) |
   1367 		EHCI_QH_DTC |
   1368 		EHCI_QH_SET_MPL(UGETW(ed->wMaxPacketSize)) |
   1369 		(speed != EHCI_QH_SPEED_HIGH && xfertype == UE_CONTROL ?
   1370 		 EHCI_QH_CTL : 0) |
   1371 		EHCI_QH_SET_NRL(naks)
   1372 		);
   1373 	sqh->qh.qh_endphub = htole32(
   1374 		EHCI_QH_SET_MULT(1) |
   1375 		EHCI_QH_SET_HUBA(hshubaddr) |
   1376 		EHCI_QH_SET_PORT(hshubport) |
   1377 		EHCI_QH_SET_CMASK(0xf0) | /* XXX */
   1378 		EHCI_QH_SET_SMASK(xfertype == UE_INTERRUPT ? 0x01 : 0)
   1379 		);
   1380 	sqh->qh.qh_curqtd = EHCI_NULL;
   1381 	/* Fill the overlay qTD */
   1382 	sqh->qh.qh_qtd.qtd_next = EHCI_NULL;
   1383 	sqh->qh.qh_qtd.qtd_altnext = EHCI_NULL;
   1384 	sqh->qh.qh_qtd.qtd_status = htole32(0);
   1385 
   1386 	epipe->sqh = sqh;
   1387 
   1388 	switch (xfertype) {
   1389 	case UE_CONTROL:
   1390 		err = usb_allocmem(&sc->sc_bus, sizeof(usb_device_request_t),
   1391 				   0, &epipe->u.ctl.reqdma);
   1392 #ifdef EHCI_DEBUG
   1393 		if (err)
   1394 			printf("ehci_open: usb_allocmem()=%d\n", err);
   1395 #endif
   1396 		if (err)
   1397 			goto bad1;
   1398 		pipe->methods = &ehci_device_ctrl_methods;
   1399 		s = splusb();
   1400 		ehci_add_qh(sqh, sc->sc_async_head);
   1401 		splx(s);
   1402 		break;
   1403 	case UE_BULK:
   1404 		pipe->methods = &ehci_device_bulk_methods;
   1405 		s = splusb();
   1406 		ehci_add_qh(sqh, sc->sc_async_head);
   1407 		splx(s);
   1408 		break;
   1409 	case UE_INTERRUPT:
   1410 		pipe->methods = &ehci_device_intr_methods;
   1411 		ival = pipe->interval;
   1412 		if (ival == USBD_DEFAULT_INTERVAL)
   1413 			ival = ed->bInterval;
   1414 		return (ehci_device_setintr(sc, sqh, ival));
   1415 	case UE_ISOCHRONOUS:
   1416 		pipe->methods = &ehci_device_isoc_methods;
   1417 		return (USBD_INVAL);
   1418 	default:
   1419 		return (USBD_INVAL);
   1420 	}
   1421 	return (USBD_NORMAL_COMPLETION);
   1422 
   1423  bad1:
   1424 	ehci_free_sqh(sc, sqh);
   1425  bad0:
   1426 	return (USBD_NOMEM);
   1427 }
   1428 
   1429 /*
   1430  * Add an ED to the schedule.  Called at splusb().
   1431  */
   1432 void
   1433 ehci_add_qh(ehci_soft_qh_t *sqh, ehci_soft_qh_t *head)
   1434 {
   1435 	SPLUSBCHECK;
   1436 
   1437 	sqh->next = head->next;
   1438 	sqh->qh.qh_link = head->qh.qh_link;
   1439 	head->next = sqh;
   1440 	head->qh.qh_link = htole32(sqh->physaddr | EHCI_LINK_QH);
   1441 
   1442 #ifdef EHCI_DEBUG
   1443 	if (ehcidebug > 5) {
   1444 		printf("ehci_add_qh:\n");
   1445 		ehci_dump_sqh(sqh);
   1446 	}
   1447 #endif
   1448 }
   1449 
   1450 /*
   1451  * Remove an ED from the schedule.  Called at splusb().
   1452  */
   1453 void
   1454 ehci_rem_qh(ehci_softc_t *sc, ehci_soft_qh_t *sqh, ehci_soft_qh_t *head)
   1455 {
   1456 	ehci_soft_qh_t *p;
   1457 
   1458 	SPLUSBCHECK;
   1459 	/* XXX */
   1460 	for (p = head; p != NULL && p->next != sqh; p = p->next)
   1461 		;
   1462 	if (p == NULL)
   1463 		panic("ehci_rem_qh: ED not found");
   1464 	p->next = sqh->next;
   1465 	p->qh.qh_link = sqh->qh.qh_link;
   1466 
   1467 	ehci_sync_hc(sc);
   1468 }
   1469 
   1470 void
   1471 ehci_set_qh_qtd(ehci_soft_qh_t *sqh, ehci_soft_qtd_t *sqtd)
   1472 {
   1473 	int i;
   1474 
   1475 	/* Set HALTED to make hw leave it alone. */
   1476 	sqh->qh.qh_qtd.qtd_status =
   1477 	    htole32(EHCI_QTD_SET_STATUS(EHCI_QTD_HALTED));
   1478 	sqh->qh.qh_curqtd = 0;
   1479 	sqh->qh.qh_qtd.qtd_next = htole32(sqtd->physaddr);
   1480 	sqh->qh.qh_qtd.qtd_altnext = 0;
   1481 	for (i = 0; i < EHCI_QTD_NBUFFERS; i++)
   1482 		sqh->qh.qh_qtd.qtd_buffer[i] = 0;
   1483 	sqh->sqtd = sqtd;
   1484 	/* Set !HALTED && !ACTIVE to start execution. */
   1485 	sqh->qh.qh_qtd.qtd_status = 0;
   1486 }
   1487 
   1488 /*
   1489  * Ensure that the HC has released all references to the QH.  We do this
   1490  * by asking for a Async Advance Doorbell interrupt and then we wait for
   1491  * the interrupt.
   1492  * To make this easier we first obtain exclusive use of the doorbell.
   1493  */
   1494 void
   1495 ehci_sync_hc(ehci_softc_t *sc)
   1496 {
   1497 	int s, error;
   1498 
   1499 	if (sc->sc_dying) {
   1500 		DPRINTFN(2,("ehci_sync_hc: dying\n"));
   1501 		return;
   1502 	}
   1503 	DPRINTFN(2,("ehci_sync_hc: enter\n"));
   1504 	usb_lockmgr(&sc->sc_doorbell_lock, LK_EXCLUSIVE, NULL); /* get doorbell */
   1505 	s = splhardusb();
   1506 	/* ask for doorbell */
   1507 	EOWRITE4(sc, EHCI_USBCMD, EOREAD4(sc, EHCI_USBCMD) | EHCI_CMD_IAAD);
   1508 	DPRINTFN(1,("ehci_sync_hc: cmd=0x%08x sts=0x%08x\n",
   1509 		    EOREAD4(sc, EHCI_USBCMD), EOREAD4(sc, EHCI_USBSTS)));
   1510 	error = tsleep(&sc->sc_async_head, PZERO, "ehcidi", hz); /* bell wait */
   1511 	DPRINTFN(1,("ehci_sync_hc: cmd=0x%08x sts=0x%08x\n",
   1512 		    EOREAD4(sc, EHCI_USBCMD), EOREAD4(sc, EHCI_USBSTS)));
   1513 	splx(s);
   1514 	usb_lockmgr(&sc->sc_doorbell_lock, LK_RELEASE, NULL); /* release doorbell */
   1515 #ifdef DIAGNOSTIC
   1516 	if (error)
   1517 		printf("ehci_sync_hc: tsleep() = %d\n", error);
   1518 #endif
   1519 	DPRINTFN(2,("ehci_sync_hc: exit\n"));
   1520 }
   1521 
   1522 /***********/
   1523 
   1524 /*
   1525  * Data structures and routines to emulate the root hub.
   1526  */
   1527 Static usb_device_descriptor_t ehci_devd = {
   1528 	USB_DEVICE_DESCRIPTOR_SIZE,
   1529 	UDESC_DEVICE,		/* type */
   1530 	{0x00, 0x02},		/* USB version */
   1531 	UDCLASS_HUB,		/* class */
   1532 	UDSUBCLASS_HUB,		/* subclass */
   1533 	UDPROTO_HSHUBSTT,	/* protocol */
   1534 	64,			/* max packet */
   1535 	{0},{0},{0x00,0x01},	/* device id */
   1536 	1,2,0,			/* string indicies */
   1537 	1			/* # of configurations */
   1538 };
   1539 
   1540 Static usb_device_qualifier_t ehci_odevd = {
   1541 	USB_DEVICE_DESCRIPTOR_SIZE,
   1542 	UDESC_DEVICE_QUALIFIER,	/* type */
   1543 	{0x00, 0x02},		/* USB version */
   1544 	UDCLASS_HUB,		/* class */
   1545 	UDSUBCLASS_HUB,		/* subclass */
   1546 	UDPROTO_FSHUB,		/* protocol */
   1547 	64,			/* max packet */
   1548 	1,			/* # of configurations */
   1549 	0
   1550 };
   1551 
   1552 Static usb_config_descriptor_t ehci_confd = {
   1553 	USB_CONFIG_DESCRIPTOR_SIZE,
   1554 	UDESC_CONFIG,
   1555 	{USB_CONFIG_DESCRIPTOR_SIZE +
   1556 	 USB_INTERFACE_DESCRIPTOR_SIZE +
   1557 	 USB_ENDPOINT_DESCRIPTOR_SIZE},
   1558 	1,
   1559 	1,
   1560 	0,
   1561 	UC_SELF_POWERED,
   1562 	0			/* max power */
   1563 };
   1564 
   1565 Static usb_interface_descriptor_t ehci_ifcd = {
   1566 	USB_INTERFACE_DESCRIPTOR_SIZE,
   1567 	UDESC_INTERFACE,
   1568 	0,
   1569 	0,
   1570 	1,
   1571 	UICLASS_HUB,
   1572 	UISUBCLASS_HUB,
   1573 	UIPROTO_HSHUBSTT,
   1574 	0
   1575 };
   1576 
   1577 Static usb_endpoint_descriptor_t ehci_endpd = {
   1578 	USB_ENDPOINT_DESCRIPTOR_SIZE,
   1579 	UDESC_ENDPOINT,
   1580 	UE_DIR_IN | EHCI_INTR_ENDPT,
   1581 	UE_INTERRUPT,
   1582 	{8, 0},			/* max packet */
   1583 	255
   1584 };
   1585 
   1586 Static usb_hub_descriptor_t ehci_hubd = {
   1587 	USB_HUB_DESCRIPTOR_SIZE,
   1588 	UDESC_HUB,
   1589 	0,
   1590 	{0,0},
   1591 	0,
   1592 	0,
   1593 	{0},
   1594 };
   1595 
   1596 Static int
   1597 ehci_str(usb_string_descriptor_t *p, int l, char *s)
   1598 {
   1599 	int i;
   1600 
   1601 	if (l == 0)
   1602 		return (0);
   1603 	p->bLength = 2 * strlen(s) + 2;
   1604 	if (l == 1)
   1605 		return (1);
   1606 	p->bDescriptorType = UDESC_STRING;
   1607 	l -= 2;
   1608 	for (i = 0; s[i] && l > 1; i++, l -= 2)
   1609 		USETW2(p->bString[i], 0, s[i]);
   1610 	return (2*i+2);
   1611 }
   1612 
   1613 /*
   1614  * Simulate a hardware hub by handling all the necessary requests.
   1615  */
   1616 Static usbd_status
   1617 ehci_root_ctrl_transfer(usbd_xfer_handle xfer)
   1618 {
   1619 	usbd_status err;
   1620 
   1621 	/* Insert last in queue. */
   1622 	err = usb_insert_transfer(xfer);
   1623 	if (err)
   1624 		return (err);
   1625 
   1626 	/* Pipe isn't running, start first */
   1627 	return (ehci_root_ctrl_start(SIMPLEQ_FIRST(&xfer->pipe->queue)));
   1628 }
   1629 
   1630 Static usbd_status
   1631 ehci_root_ctrl_start(usbd_xfer_handle xfer)
   1632 {
   1633 	ehci_softc_t *sc = (ehci_softc_t *)xfer->pipe->device->bus;
   1634 	usb_device_request_t *req;
   1635 	void *buf = NULL;
   1636 	int port, i;
   1637 	int s, len, value, index, l, totlen = 0;
   1638 	usb_port_status_t ps;
   1639 	usb_hub_descriptor_t hubd;
   1640 	usbd_status err;
   1641 	u_int32_t v;
   1642 
   1643 	if (sc->sc_dying)
   1644 		return (USBD_IOERROR);
   1645 
   1646 #ifdef DIAGNOSTIC
   1647 	if (!(xfer->rqflags & URQ_REQUEST))
   1648 		/* XXX panic */
   1649 		return (USBD_INVAL);
   1650 #endif
   1651 	req = &xfer->request;
   1652 
   1653 	DPRINTFN(4,("ehci_root_ctrl_start: type=0x%02x request=%02x\n",
   1654 		    req->bmRequestType, req->bRequest));
   1655 
   1656 	len = UGETW(req->wLength);
   1657 	value = UGETW(req->wValue);
   1658 	index = UGETW(req->wIndex);
   1659 
   1660 	if (len != 0)
   1661 		buf = KERNADDR(&xfer->dmabuf, 0);
   1662 
   1663 #define C(x,y) ((x) | ((y) << 8))
   1664 	switch(C(req->bRequest, req->bmRequestType)) {
   1665 	case C(UR_CLEAR_FEATURE, UT_WRITE_DEVICE):
   1666 	case C(UR_CLEAR_FEATURE, UT_WRITE_INTERFACE):
   1667 	case C(UR_CLEAR_FEATURE, UT_WRITE_ENDPOINT):
   1668 		/*
   1669 		 * DEVICE_REMOTE_WAKEUP and ENDPOINT_HALT are no-ops
   1670 		 * for the integrated root hub.
   1671 		 */
   1672 		break;
   1673 	case C(UR_GET_CONFIG, UT_READ_DEVICE):
   1674 		if (len > 0) {
   1675 			*(u_int8_t *)buf = sc->sc_conf;
   1676 			totlen = 1;
   1677 		}
   1678 		break;
   1679 	case C(UR_GET_DESCRIPTOR, UT_READ_DEVICE):
   1680 		DPRINTFN(8,("ehci_root_ctrl_start: wValue=0x%04x\n", value));
   1681 		switch(value >> 8) {
   1682 		case UDESC_DEVICE:
   1683 			if ((value & 0xff) != 0) {
   1684 				err = USBD_IOERROR;
   1685 				goto ret;
   1686 			}
   1687 			totlen = l = min(len, USB_DEVICE_DESCRIPTOR_SIZE);
   1688 			USETW(ehci_devd.idVendor, sc->sc_id_vendor);
   1689 			memcpy(buf, &ehci_devd, l);
   1690 			break;
   1691 		/*
   1692 		 * We can't really operate at another speed, but the spec says
   1693 		 * we need this descriptor.
   1694 		 */
   1695 		case UDESC_DEVICE_QUALIFIER:
   1696 			if ((value & 0xff) != 0) {
   1697 				err = USBD_IOERROR;
   1698 				goto ret;
   1699 			}
   1700 			totlen = l = min(len, USB_DEVICE_DESCRIPTOR_SIZE);
   1701 			memcpy(buf, &ehci_odevd, l);
   1702 			break;
   1703 		/*
   1704 		 * We can't really operate at another speed, but the spec says
   1705 		 * we need this descriptor.
   1706 		 */
   1707 		case UDESC_OTHER_SPEED_CONFIGURATION:
   1708 		case UDESC_CONFIG:
   1709 			if ((value & 0xff) != 0) {
   1710 				err = USBD_IOERROR;
   1711 				goto ret;
   1712 			}
   1713 			totlen = l = min(len, USB_CONFIG_DESCRIPTOR_SIZE);
   1714 			memcpy(buf, &ehci_confd, l);
   1715 			((usb_config_descriptor_t *)buf)->bDescriptorType =
   1716 				value >> 8;
   1717 			buf = (char *)buf + l;
   1718 			len -= l;
   1719 			l = min(len, USB_INTERFACE_DESCRIPTOR_SIZE);
   1720 			totlen += l;
   1721 			memcpy(buf, &ehci_ifcd, l);
   1722 			buf = (char *)buf + l;
   1723 			len -= l;
   1724 			l = min(len, USB_ENDPOINT_DESCRIPTOR_SIZE);
   1725 			totlen += l;
   1726 			memcpy(buf, &ehci_endpd, l);
   1727 			break;
   1728 		case UDESC_STRING:
   1729 			if (len == 0)
   1730 				break;
   1731 			*(u_int8_t *)buf = 0;
   1732 			totlen = 1;
   1733 			switch (value & 0xff) {
   1734 			case 1: /* Vendor */
   1735 				totlen = ehci_str(buf, len, sc->sc_vendor);
   1736 				break;
   1737 			case 2: /* Product */
   1738 				totlen = ehci_str(buf, len, "EHCI root hub");
   1739 				break;
   1740 			}
   1741 			break;
   1742 		default:
   1743 			err = USBD_IOERROR;
   1744 			goto ret;
   1745 		}
   1746 		break;
   1747 	case C(UR_GET_INTERFACE, UT_READ_INTERFACE):
   1748 		if (len > 0) {
   1749 			*(u_int8_t *)buf = 0;
   1750 			totlen = 1;
   1751 		}
   1752 		break;
   1753 	case C(UR_GET_STATUS, UT_READ_DEVICE):
   1754 		if (len > 1) {
   1755 			USETW(((usb_status_t *)buf)->wStatus,UDS_SELF_POWERED);
   1756 			totlen = 2;
   1757 		}
   1758 		break;
   1759 	case C(UR_GET_STATUS, UT_READ_INTERFACE):
   1760 	case C(UR_GET_STATUS, UT_READ_ENDPOINT):
   1761 		if (len > 1) {
   1762 			USETW(((usb_status_t *)buf)->wStatus, 0);
   1763 			totlen = 2;
   1764 		}
   1765 		break;
   1766 	case C(UR_SET_ADDRESS, UT_WRITE_DEVICE):
   1767 		if (value >= USB_MAX_DEVICES) {
   1768 			err = USBD_IOERROR;
   1769 			goto ret;
   1770 		}
   1771 		sc->sc_addr = value;
   1772 		break;
   1773 	case C(UR_SET_CONFIG, UT_WRITE_DEVICE):
   1774 		if (value != 0 && value != 1) {
   1775 			err = USBD_IOERROR;
   1776 			goto ret;
   1777 		}
   1778 		sc->sc_conf = value;
   1779 		break;
   1780 	case C(UR_SET_DESCRIPTOR, UT_WRITE_DEVICE):
   1781 		break;
   1782 	case C(UR_SET_FEATURE, UT_WRITE_DEVICE):
   1783 	case C(UR_SET_FEATURE, UT_WRITE_INTERFACE):
   1784 	case C(UR_SET_FEATURE, UT_WRITE_ENDPOINT):
   1785 		err = USBD_IOERROR;
   1786 		goto ret;
   1787 	case C(UR_SET_INTERFACE, UT_WRITE_INTERFACE):
   1788 		break;
   1789 	case C(UR_SYNCH_FRAME, UT_WRITE_ENDPOINT):
   1790 		break;
   1791 	/* Hub requests */
   1792 	case C(UR_CLEAR_FEATURE, UT_WRITE_CLASS_DEVICE):
   1793 		break;
   1794 	case C(UR_CLEAR_FEATURE, UT_WRITE_CLASS_OTHER):
   1795 		DPRINTFN(8, ("ehci_root_ctrl_start: UR_CLEAR_PORT_FEATURE "
   1796 			     "port=%d feature=%d\n",
   1797 			     index, value));
   1798 		if (index < 1 || index > sc->sc_noport) {
   1799 			err = USBD_IOERROR;
   1800 			goto ret;
   1801 		}
   1802 		port = EHCI_PORTSC(index);
   1803 		v = EOREAD4(sc, port) &~ EHCI_PS_CLEAR;
   1804 		switch(value) {
   1805 		case UHF_PORT_ENABLE:
   1806 			EOWRITE4(sc, port, v &~ EHCI_PS_PE);
   1807 			break;
   1808 		case UHF_PORT_SUSPEND:
   1809 			EOWRITE4(sc, port, v &~ EHCI_PS_SUSP);
   1810 			break;
   1811 		case UHF_PORT_POWER:
   1812 			EOWRITE4(sc, port, v &~ EHCI_PS_PP);
   1813 			break;
   1814 		case UHF_PORT_TEST:
   1815 			DPRINTFN(2,("ehci_root_ctrl_start: clear port test "
   1816 				    "%d\n", index));
   1817 			break;
   1818 		case UHF_PORT_INDICATOR:
   1819 			DPRINTFN(2,("ehci_root_ctrl_start: clear port ind "
   1820 				    "%d\n", index));
   1821 			EOWRITE4(sc, port, v &~ EHCI_PS_PIC);
   1822 			break;
   1823 		case UHF_C_PORT_CONNECTION:
   1824 			EOWRITE4(sc, port, v | EHCI_PS_CSC);
   1825 			break;
   1826 		case UHF_C_PORT_ENABLE:
   1827 			EOWRITE4(sc, port, v | EHCI_PS_PEC);
   1828 			break;
   1829 		case UHF_C_PORT_SUSPEND:
   1830 			/* how? */
   1831 			break;
   1832 		case UHF_C_PORT_OVER_CURRENT:
   1833 			EOWRITE4(sc, port, v | EHCI_PS_OCC);
   1834 			break;
   1835 		case UHF_C_PORT_RESET:
   1836 			sc->sc_isreset = 0;
   1837 			break;
   1838 		default:
   1839 			err = USBD_IOERROR;
   1840 			goto ret;
   1841 		}
   1842 #if 0
   1843 		switch(value) {
   1844 		case UHF_C_PORT_CONNECTION:
   1845 		case UHF_C_PORT_ENABLE:
   1846 		case UHF_C_PORT_SUSPEND:
   1847 		case UHF_C_PORT_OVER_CURRENT:
   1848 		case UHF_C_PORT_RESET:
   1849 			/* Enable RHSC interrupt if condition is cleared. */
   1850 			if ((OREAD4(sc, port) >> 16) == 0)
   1851 				ehci_pcd_able(sc, 1);
   1852 			break;
   1853 		default:
   1854 			break;
   1855 		}
   1856 #endif
   1857 		break;
   1858 	case C(UR_GET_DESCRIPTOR, UT_READ_CLASS_DEVICE):
   1859 		if ((value & 0xff) != 0) {
   1860 			err = USBD_IOERROR;
   1861 			goto ret;
   1862 		}
   1863 		hubd = ehci_hubd;
   1864 		hubd.bNbrPorts = sc->sc_noport;
   1865 		v = EOREAD4(sc, EHCI_HCSPARAMS);
   1866 		USETW(hubd.wHubCharacteristics,
   1867 		    EHCI_HCS_PPC(v) ? UHD_PWR_INDIVIDUAL : UHD_PWR_NO_SWITCH |
   1868 		    EHCI_HCS_P_INDICATOR(EREAD4(sc, EHCI_HCSPARAMS))
   1869 		        ? UHD_PORT_IND : 0);
   1870 		hubd.bPwrOn2PwrGood = 200; /* XXX can't find out? */
   1871 		for (i = 0, l = sc->sc_noport; l > 0; i++, l -= 8, v >>= 8)
   1872 			hubd.DeviceRemovable[i++] = 0; /* XXX can't find out? */
   1873 		hubd.bDescLength = USB_HUB_DESCRIPTOR_SIZE + i;
   1874 		l = min(len, hubd.bDescLength);
   1875 		totlen = l;
   1876 		memcpy(buf, &hubd, l);
   1877 		break;
   1878 	case C(UR_GET_STATUS, UT_READ_CLASS_DEVICE):
   1879 		if (len != 4) {
   1880 			err = USBD_IOERROR;
   1881 			goto ret;
   1882 		}
   1883 		memset(buf, 0, len); /* ? XXX */
   1884 		totlen = len;
   1885 		break;
   1886 	case C(UR_GET_STATUS, UT_READ_CLASS_OTHER):
   1887 		DPRINTFN(8,("ehci_root_ctrl_start: get port status i=%d\n",
   1888 			    index));
   1889 		if (index < 1 || index > sc->sc_noport) {
   1890 			err = USBD_IOERROR;
   1891 			goto ret;
   1892 		}
   1893 		if (len != 4) {
   1894 			err = USBD_IOERROR;
   1895 			goto ret;
   1896 		}
   1897 		v = EOREAD4(sc, EHCI_PORTSC(index));
   1898 		DPRINTFN(8,("ehci_root_ctrl_start: port status=0x%04x\n",
   1899 			    v));
   1900 		i = UPS_HIGH_SPEED;
   1901 		if (v & EHCI_PS_CS)	i |= UPS_CURRENT_CONNECT_STATUS;
   1902 		if (v & EHCI_PS_PE)	i |= UPS_PORT_ENABLED;
   1903 		if (v & EHCI_PS_SUSP)	i |= UPS_SUSPEND;
   1904 		if (v & EHCI_PS_OCA)	i |= UPS_OVERCURRENT_INDICATOR;
   1905 		if (v & EHCI_PS_PR)	i |= UPS_RESET;
   1906 		if (v & EHCI_PS_PP)	i |= UPS_PORT_POWER;
   1907 		USETW(ps.wPortStatus, i);
   1908 		i = 0;
   1909 		if (v & EHCI_PS_CSC)	i |= UPS_C_CONNECT_STATUS;
   1910 		if (v & EHCI_PS_PEC)	i |= UPS_C_PORT_ENABLED;
   1911 		if (v & EHCI_PS_OCC)	i |= UPS_C_OVERCURRENT_INDICATOR;
   1912 		if (sc->sc_isreset)	i |= UPS_C_PORT_RESET;
   1913 		USETW(ps.wPortChange, i);
   1914 		l = min(len, sizeof ps);
   1915 		memcpy(buf, &ps, l);
   1916 		totlen = l;
   1917 		break;
   1918 	case C(UR_SET_DESCRIPTOR, UT_WRITE_CLASS_DEVICE):
   1919 		err = USBD_IOERROR;
   1920 		goto ret;
   1921 	case C(UR_SET_FEATURE, UT_WRITE_CLASS_DEVICE):
   1922 		break;
   1923 	case C(UR_SET_FEATURE, UT_WRITE_CLASS_OTHER):
   1924 		if (index < 1 || index > sc->sc_noport) {
   1925 			err = USBD_IOERROR;
   1926 			goto ret;
   1927 		}
   1928 		port = EHCI_PORTSC(index);
   1929 		v = EOREAD4(sc, port) &~ EHCI_PS_CLEAR;
   1930 		switch(value) {
   1931 		case UHF_PORT_ENABLE:
   1932 			EOWRITE4(sc, port, v | EHCI_PS_PE);
   1933 			break;
   1934 		case UHF_PORT_SUSPEND:
   1935 			EOWRITE4(sc, port, v | EHCI_PS_SUSP);
   1936 			break;
   1937 		case UHF_PORT_RESET:
   1938 			DPRINTFN(5,("ehci_root_ctrl_start: reset port %d\n",
   1939 				    index));
   1940 			if (EHCI_PS_IS_LOWSPEED(v)) {
   1941 				/* Low speed device, give up ownership. */
   1942 				ehci_disown(sc, index, 1);
   1943 				break;
   1944 			}
   1945 			/* Start reset sequence. */
   1946 			v &= ~ (EHCI_PS_PE | EHCI_PS_PR);
   1947 			EOWRITE4(sc, port, v | EHCI_PS_PR);
   1948 			/* Wait for reset to complete. */
   1949 			usb_delay_ms(&sc->sc_bus, USB_PORT_ROOT_RESET_DELAY);
   1950 			if (sc->sc_dying) {
   1951 				err = USBD_IOERROR;
   1952 				goto ret;
   1953 			}
   1954 			/* Terminate reset sequence. */
   1955 			EOWRITE4(sc, port, v);
   1956 			/* Wait for HC to complete reset. */
   1957 			usb_delay_ms(&sc->sc_bus, EHCI_PORT_RESET_COMPLETE);
   1958 			if (sc->sc_dying) {
   1959 				err = USBD_IOERROR;
   1960 				goto ret;
   1961 			}
   1962 			v = EOREAD4(sc, port);
   1963 			DPRINTF(("ehci after reset, status=0x%08x\n", v));
   1964 			if (v & EHCI_PS_PR) {
   1965 				printf("%s: port reset timeout\n",
   1966 				       USBDEVNAME(sc->sc_bus.bdev));
   1967 				return (USBD_TIMEOUT);
   1968 			}
   1969 			if (!(v & EHCI_PS_PE)) {
   1970 				/* Not a high speed device, give up ownership.*/
   1971 				ehci_disown(sc, index, 0);
   1972 				break;
   1973 			}
   1974 			sc->sc_isreset = 1;
   1975 			DPRINTF(("ehci port %d reset, status = 0x%08x\n",
   1976 				 index, v));
   1977 			break;
   1978 		case UHF_PORT_POWER:
   1979 			DPRINTFN(2,("ehci_root_ctrl_start: set port power "
   1980 				    "%d\n", index));
   1981 			EOWRITE4(sc, port, v | EHCI_PS_PP);
   1982 			break;
   1983 		case UHF_PORT_TEST:
   1984 			DPRINTFN(2,("ehci_root_ctrl_start: set port test "
   1985 				    "%d\n", index));
   1986 			break;
   1987 		case UHF_PORT_INDICATOR:
   1988 			DPRINTFN(2,("ehci_root_ctrl_start: set port ind "
   1989 				    "%d\n", index));
   1990 			EOWRITE4(sc, port, v | EHCI_PS_PIC);
   1991 			break;
   1992 		default:
   1993 			err = USBD_IOERROR;
   1994 			goto ret;
   1995 		}
   1996 		break;
   1997 	case C(UR_CLEAR_TT_BUFFER, UT_WRITE_CLASS_OTHER):
   1998 	case C(UR_RESET_TT, UT_WRITE_CLASS_OTHER):
   1999 	case C(UR_GET_TT_STATE, UT_READ_CLASS_OTHER):
   2000 	case C(UR_STOP_TT, UT_WRITE_CLASS_OTHER):
   2001 		break;
   2002 	default:
   2003 		err = USBD_IOERROR;
   2004 		goto ret;
   2005 	}
   2006 	xfer->actlen = totlen;
   2007 	err = USBD_NORMAL_COMPLETION;
   2008  ret:
   2009 	xfer->status = err;
   2010 	s = splusb();
   2011 	usb_transfer_complete(xfer);
   2012 	splx(s);
   2013 	return (USBD_IN_PROGRESS);
   2014 }
   2015 
   2016 void
   2017 ehci_disown(ehci_softc_t *sc, int index, int lowspeed)
   2018 {
   2019 	int port;
   2020 	u_int32_t v;
   2021 
   2022 	DPRINTF(("ehci_disown: index=%d lowspeed=%d\n", index, lowspeed));
   2023 #ifdef DIAGNOSTIC
   2024 	if (sc->sc_npcomp != 0) {
   2025 		int i = (index-1) / sc->sc_npcomp;
   2026 		if (i >= sc->sc_ncomp)
   2027 			printf("%s: strange port\n",
   2028 			       USBDEVNAME(sc->sc_bus.bdev));
   2029 		else
   2030 			printf("%s: handing over %s speed device on "
   2031 			       "port %d to %s\n",
   2032 			       USBDEVNAME(sc->sc_bus.bdev),
   2033 			       lowspeed ? "low" : "full",
   2034 			       index, USBDEVNAME(sc->sc_comps[i]->bdev));
   2035 	} else {
   2036 		printf("%s: npcomp == 0\n", USBDEVNAME(sc->sc_bus.bdev));
   2037 	}
   2038 #endif
   2039 	port = EHCI_PORTSC(index);
   2040 	v = EOREAD4(sc, port) &~ EHCI_PS_CLEAR;
   2041 	EOWRITE4(sc, port, v | EHCI_PS_PO);
   2042 }
   2043 
   2044 /* Abort a root control request. */
   2045 Static void
   2046 ehci_root_ctrl_abort(usbd_xfer_handle xfer)
   2047 {
   2048 	/* Nothing to do, all transfers are synchronous. */
   2049 }
   2050 
   2051 /* Close the root pipe. */
   2052 Static void
   2053 ehci_root_ctrl_close(usbd_pipe_handle pipe)
   2054 {
   2055 	DPRINTF(("ehci_root_ctrl_close\n"));
   2056 	/* Nothing to do. */
   2057 }
   2058 
   2059 void
   2060 ehci_root_intr_done(usbd_xfer_handle xfer)
   2061 {
   2062 	xfer->hcpriv = NULL;
   2063 }
   2064 
   2065 Static usbd_status
   2066 ehci_root_intr_transfer(usbd_xfer_handle xfer)
   2067 {
   2068 	usbd_status err;
   2069 
   2070 	/* Insert last in queue. */
   2071 	err = usb_insert_transfer(xfer);
   2072 	if (err)
   2073 		return (err);
   2074 
   2075 	/* Pipe isn't running, start first */
   2076 	return (ehci_root_intr_start(SIMPLEQ_FIRST(&xfer->pipe->queue)));
   2077 }
   2078 
   2079 Static usbd_status
   2080 ehci_root_intr_start(usbd_xfer_handle xfer)
   2081 {
   2082 	usbd_pipe_handle pipe = xfer->pipe;
   2083 	ehci_softc_t *sc = (ehci_softc_t *)pipe->device->bus;
   2084 
   2085 	if (sc->sc_dying)
   2086 		return (USBD_IOERROR);
   2087 
   2088 	sc->sc_intrxfer = xfer;
   2089 
   2090 	return (USBD_IN_PROGRESS);
   2091 }
   2092 
   2093 /* Abort a root interrupt request. */
   2094 Static void
   2095 ehci_root_intr_abort(usbd_xfer_handle xfer)
   2096 {
   2097 	int s;
   2098 
   2099 	if (xfer->pipe->intrxfer == xfer) {
   2100 		DPRINTF(("ehci_root_intr_abort: remove\n"));
   2101 		xfer->pipe->intrxfer = NULL;
   2102 	}
   2103 	xfer->status = USBD_CANCELLED;
   2104 	s = splusb();
   2105 	usb_transfer_complete(xfer);
   2106 	splx(s);
   2107 }
   2108 
   2109 /* Close the root pipe. */
   2110 Static void
   2111 ehci_root_intr_close(usbd_pipe_handle pipe)
   2112 {
   2113 	ehci_softc_t *sc = (ehci_softc_t *)pipe->device->bus;
   2114 
   2115 	DPRINTF(("ehci_root_intr_close\n"));
   2116 
   2117 	sc->sc_intrxfer = NULL;
   2118 }
   2119 
   2120 void
   2121 ehci_root_ctrl_done(usbd_xfer_handle xfer)
   2122 {
   2123 	xfer->hcpriv = NULL;
   2124 }
   2125 
   2126 /************************/
   2127 
   2128 ehci_soft_qh_t *
   2129 ehci_alloc_sqh(ehci_softc_t *sc)
   2130 {
   2131 	ehci_soft_qh_t *sqh;
   2132 	usbd_status err;
   2133 	int i, offs;
   2134 	usb_dma_t dma;
   2135 
   2136 	if (sc->sc_freeqhs == NULL) {
   2137 		DPRINTFN(2, ("ehci_alloc_sqh: allocating chunk\n"));
   2138 		err = usb_allocmem(&sc->sc_bus, EHCI_SQH_SIZE * EHCI_SQH_CHUNK,
   2139 			  EHCI_PAGE_SIZE, &dma);
   2140 #ifdef EHCI_DEBUG
   2141 		if (err)
   2142 			printf("ehci_alloc_sqh: usb_allocmem()=%d\n", err);
   2143 #endif
   2144 		if (err)
   2145 			return (NULL);
   2146 		for(i = 0; i < EHCI_SQH_CHUNK; i++) {
   2147 			offs = i * EHCI_SQH_SIZE;
   2148 			sqh = KERNADDR(&dma, offs);
   2149 			sqh->physaddr = DMAADDR(&dma, offs);
   2150 			sqh->next = sc->sc_freeqhs;
   2151 			sc->sc_freeqhs = sqh;
   2152 		}
   2153 	}
   2154 	sqh = sc->sc_freeqhs;
   2155 	sc->sc_freeqhs = sqh->next;
   2156 	memset(&sqh->qh, 0, sizeof(ehci_qh_t));
   2157 	sqh->next = NULL;
   2158 	return (sqh);
   2159 }
   2160 
   2161 void
   2162 ehci_free_sqh(ehci_softc_t *sc, ehci_soft_qh_t *sqh)
   2163 {
   2164 	sqh->next = sc->sc_freeqhs;
   2165 	sc->sc_freeqhs = sqh;
   2166 }
   2167 
   2168 ehci_soft_qtd_t *
   2169 ehci_alloc_sqtd(ehci_softc_t *sc)
   2170 {
   2171 	ehci_soft_qtd_t *sqtd;
   2172 	usbd_status err;
   2173 	int i, offs;
   2174 	usb_dma_t dma;
   2175 	int s;
   2176 
   2177 	if (sc->sc_freeqtds == NULL) {
   2178 		DPRINTFN(2, ("ehci_alloc_sqtd: allocating chunk\n"));
   2179 		err = usb_allocmem(&sc->sc_bus, EHCI_SQTD_SIZE*EHCI_SQTD_CHUNK,
   2180 			  EHCI_PAGE_SIZE, &dma);
   2181 #ifdef EHCI_DEBUG
   2182 		if (err)
   2183 			printf("ehci_alloc_sqtd: usb_allocmem()=%d\n", err);
   2184 #endif
   2185 		if (err)
   2186 			return (NULL);
   2187 		s = splusb();
   2188 		for(i = 0; i < EHCI_SQTD_CHUNK; i++) {
   2189 			offs = i * EHCI_SQTD_SIZE;
   2190 			sqtd = KERNADDR(&dma, offs);
   2191 			sqtd->physaddr = DMAADDR(&dma, offs);
   2192 			sqtd->nextqtd = sc->sc_freeqtds;
   2193 			sc->sc_freeqtds = sqtd;
   2194 		}
   2195 		splx(s);
   2196 	}
   2197 
   2198 	s = splusb();
   2199 	sqtd = sc->sc_freeqtds;
   2200 	sc->sc_freeqtds = sqtd->nextqtd;
   2201 	memset(&sqtd->qtd, 0, sizeof(ehci_qtd_t));
   2202 	sqtd->nextqtd = NULL;
   2203 	sqtd->xfer = NULL;
   2204 	splx(s);
   2205 
   2206 	return (sqtd);
   2207 }
   2208 
   2209 void
   2210 ehci_free_sqtd(ehci_softc_t *sc, ehci_soft_qtd_t *sqtd)
   2211 {
   2212 	int s;
   2213 
   2214 	s = splusb();
   2215 	sqtd->nextqtd = sc->sc_freeqtds;
   2216 	sc->sc_freeqtds = sqtd;
   2217 	splx(s);
   2218 }
   2219 
   2220 usbd_status
   2221 ehci_alloc_sqtd_chain(struct ehci_pipe *epipe, ehci_softc_t *sc,
   2222 		     int alen, int rd, usbd_xfer_handle xfer,
   2223 		     ehci_soft_qtd_t **sp, ehci_soft_qtd_t **ep)
   2224 {
   2225 	ehci_soft_qtd_t *next, *cur;
   2226 	ehci_physaddr_t dataphys, dataphyspage, dataphyslastpage, nextphys;
   2227 	u_int32_t qtdstatus;
   2228 	int len, curlen, mps;
   2229 	int i, tog;
   2230 	usb_dma_t *dma = &xfer->dmabuf;
   2231 
   2232 	DPRINTFN(alen<4*4096,("ehci_alloc_sqtd_chain: start len=%d\n", alen));
   2233 
   2234 	len = alen;
   2235 	dataphys = DMAADDR(dma, 0);
   2236 	dataphyslastpage = EHCI_PAGE(dataphys + len - 1);
   2237 #if 0
   2238 printf("status=%08x toggle=%d\n", epipe->sqh->qh.qh_qtd.qtd_status,
   2239     epipe->nexttoggle);
   2240 #endif
   2241 	qtdstatus = EHCI_QTD_ACTIVE |
   2242 	    EHCI_QTD_SET_PID(rd ? EHCI_QTD_PID_IN : EHCI_QTD_PID_OUT) |
   2243 	    EHCI_QTD_SET_CERR(3)
   2244 	    /* IOC set below */
   2245 	    /* BYTES set below */
   2246 	    ;
   2247 	mps = UGETW(epipe->pipe.endpoint->edesc->wMaxPacketSize);
   2248 	tog = epipe->nexttoggle;
   2249 	qtdstatus |= EHCI_QTD_SET_TOGGLE(tog);
   2250 
   2251 	cur = ehci_alloc_sqtd(sc);
   2252 	*sp = cur;
   2253 	if (cur == NULL)
   2254 		goto nomem;
   2255 	for (;;) {
   2256 		dataphyspage = EHCI_PAGE(dataphys);
   2257 		/* The EHCI hardware can handle at most 5 pages. */
   2258 		if (dataphyslastpage - dataphyspage <
   2259 		    EHCI_QTD_NBUFFERS * EHCI_PAGE_SIZE) {
   2260 			/* we can handle it in this QTD */
   2261 			curlen = len;
   2262 		} else {
   2263 			/* must use multiple TDs, fill as much as possible. */
   2264 			curlen = EHCI_QTD_NBUFFERS * EHCI_PAGE_SIZE -
   2265 				 EHCI_PAGE_OFFSET(dataphys);
   2266 #ifdef DIAGNOSTIC
   2267 			if (curlen > len) {
   2268 				printf("ehci_alloc_sqtd_chain: curlen=0x%x "
   2269 				       "len=0x%x offs=0x%x\n", curlen, len,
   2270 				       EHCI_PAGE_OFFSET(dataphys));
   2271 				printf("lastpage=0x%x page=0x%x phys=0x%x\n",
   2272 				       dataphyslastpage, dataphyspage,
   2273 				       dataphys);
   2274 				curlen = len;
   2275 			}
   2276 #endif
   2277 			/* the length must be a multiple of the max size */
   2278 			curlen -= curlen % mps;
   2279 			DPRINTFN(1,("ehci_alloc_sqtd_chain: multiple QTDs, "
   2280 				    "curlen=%d\n", curlen));
   2281 #ifdef DIAGNOSTIC
   2282 			if (curlen == 0)
   2283 				panic("ehci_alloc_std: curlen == 0");
   2284 #endif
   2285 		}
   2286 		DPRINTFN(4,("ehci_alloc_sqtd_chain: dataphys=0x%08x "
   2287 			    "dataphyslastpage=0x%08x len=%d curlen=%d\n",
   2288 			    dataphys, dataphyslastpage,
   2289 			    len, curlen));
   2290 		len -= curlen;
   2291 
   2292 		if (len != 0) {
   2293 			next = ehci_alloc_sqtd(sc);
   2294 			if (next == NULL)
   2295 				goto nomem;
   2296 			nextphys = htole32(next->physaddr);
   2297 		} else {
   2298 			next = NULL;
   2299 			nextphys = EHCI_NULL;
   2300 		}
   2301 
   2302 		for (i = 0; i * EHCI_PAGE_SIZE < curlen; i++) {
   2303 			ehci_physaddr_t a = dataphys + i * EHCI_PAGE_SIZE;
   2304 			if (i != 0) /* use offset only in first buffer */
   2305 				a = EHCI_PAGE(a);
   2306 			cur->qtd.qtd_buffer[i] = htole32(a);
   2307 			cur->qtd.qtd_buffer_hi[i] = 0;
   2308 #ifdef DIAGNOSTIC
   2309 			if (i >= EHCI_QTD_NBUFFERS) {
   2310 				printf("ehci_alloc_sqtd_chain: i=%d\n", i);
   2311 				goto nomem;
   2312 			}
   2313 #endif
   2314 		}
   2315 		cur->nextqtd = next;
   2316 		cur->qtd.qtd_next = cur->qtd.qtd_altnext = nextphys;
   2317 		cur->qtd.qtd_status =
   2318 		    htole32(qtdstatus | EHCI_QTD_SET_BYTES(curlen));
   2319 		cur->xfer = xfer;
   2320 		cur->len = curlen;
   2321 		DPRINTFN(10,("ehci_alloc_sqtd_chain: cbp=0x%08x end=0x%08x\n",
   2322 			    dataphys, dataphys + curlen));
   2323 		/* adjust the toggle based on the number of packets in this
   2324 		   qtd */
   2325 		if (((curlen + mps - 1) / mps) & 1) {
   2326 			tog ^= 1;
   2327 			qtdstatus ^= EHCI_QTD_TOGGLE_MASK;
   2328 		}
   2329 		if (len == 0)
   2330 			break;
   2331 		DPRINTFN(10,("ehci_alloc_sqtd_chain: extend chain\n"));
   2332 		dataphys += curlen;
   2333 		cur = next;
   2334 	}
   2335 	cur->qtd.qtd_status |= htole32(EHCI_QTD_IOC);
   2336 	*ep = cur;
   2337 	epipe->nexttoggle = tog;
   2338 
   2339 	DPRINTFN(10,("ehci_alloc_sqtd_chain: return sqtd=%p sqtdend=%p\n",
   2340 		     *sp, *ep));
   2341 
   2342 	return (USBD_NORMAL_COMPLETION);
   2343 
   2344  nomem:
   2345 	/* XXX free chain */
   2346 	DPRINTFN(-1,("ehci_alloc_sqtd_chain: no memory\n"));
   2347 	return (USBD_NOMEM);
   2348 }
   2349 
   2350 Static void
   2351 ehci_free_sqtd_chain(ehci_softc_t *sc, ehci_soft_qtd_t *sqtd,
   2352 		    ehci_soft_qtd_t *sqtdend)
   2353 {
   2354 	ehci_soft_qtd_t *p;
   2355 	int i;
   2356 
   2357 	DPRINTFN(10,("ehci_free_sqtd_chain: sqtd=%p sqtdend=%p\n",
   2358 		     sqtd, sqtdend));
   2359 
   2360 	for (i = 0; sqtd != sqtdend; sqtd = p, i++) {
   2361 		p = sqtd->nextqtd;
   2362 		ehci_free_sqtd(sc, sqtd);
   2363 	}
   2364 }
   2365 
   2366 /****************/
   2367 
   2368 /*
   2369  * Close a reqular pipe.
   2370  * Assumes that there are no pending transactions.
   2371  */
   2372 void
   2373 ehci_close_pipe(usbd_pipe_handle pipe, ehci_soft_qh_t *head)
   2374 {
   2375 	struct ehci_pipe *epipe = (struct ehci_pipe *)pipe;
   2376 	ehci_softc_t *sc = (ehci_softc_t *)pipe->device->bus;
   2377 	ehci_soft_qh_t *sqh = epipe->sqh;
   2378 	int s;
   2379 
   2380 	s = splusb();
   2381 	ehci_rem_qh(sc, sqh, head);
   2382 	splx(s);
   2383 	ehci_free_sqh(sc, epipe->sqh);
   2384 }
   2385 
   2386 /*
   2387  * Abort a device request.
   2388  * If this routine is called at splusb() it guarantees that the request
   2389  * will be removed from the hardware scheduling and that the callback
   2390  * for it will be called with USBD_CANCELLED status.
   2391  * It's impossible to guarantee that the requested transfer will not
   2392  * have happened since the hardware runs concurrently.
   2393  * If the transaction has already happened we rely on the ordinary
   2394  * interrupt processing to process it.
   2395  * XXX This is most probably wrong.
   2396  */
   2397 void
   2398 ehci_abort_xfer(usbd_xfer_handle xfer, usbd_status status)
   2399 {
   2400 #define exfer EXFER(xfer)
   2401 	struct ehci_pipe *epipe = (struct ehci_pipe *)xfer->pipe;
   2402 	ehci_softc_t *sc = (ehci_softc_t *)epipe->pipe.device->bus;
   2403 	ehci_soft_qh_t *sqh = epipe->sqh;
   2404 	ehci_soft_qtd_t *sqtd;
   2405 	ehci_physaddr_t cur;
   2406 	u_int32_t qhstatus;
   2407 	int s;
   2408 	int hit;
   2409 
   2410 	DPRINTF(("ehci_abort_xfer: xfer=%p pipe=%p\n", xfer, epipe));
   2411 
   2412 	if (sc->sc_dying) {
   2413 		/* If we're dying, just do the software part. */
   2414 		s = splusb();
   2415 		xfer->status = status;	/* make software ignore it */
   2416 		usb_uncallout(xfer->timeout_handle, ehci_timeout, xfer);
   2417 		usb_transfer_complete(xfer);
   2418 		splx(s);
   2419 		return;
   2420 	}
   2421 
   2422 	if (xfer->device->bus->intr_context || !curproc)
   2423 		panic("ehci_abort_xfer: not in process context");
   2424 
   2425 	/*
   2426 	 * Step 1: Make interrupt routine and hardware ignore xfer.
   2427 	 */
   2428 	s = splusb();
   2429 	xfer->status = status;	/* make software ignore it */
   2430 	usb_uncallout(xfer->timeout_handle, ehci_timeout, xfer);
   2431 	qhstatus = sqh->qh.qh_qtd.qtd_status;
   2432 	sqh->qh.qh_qtd.qtd_status = qhstatus | htole32(EHCI_QTD_HALTED);
   2433 	for (sqtd = exfer->sqtdstart; ; sqtd = sqtd->nextqtd) {
   2434 		sqtd->qtd.qtd_status |= htole32(EHCI_QTD_HALTED);
   2435 		if (sqtd == exfer->sqtdend)
   2436 			break;
   2437 	}
   2438 	splx(s);
   2439 
   2440 	/*
   2441 	 * Step 2: Wait until we know hardware has finished any possible
   2442 	 * use of the xfer.  Also make sure the soft interrupt routine
   2443 	 * has run.
   2444 	 */
   2445 	ehci_sync_hc(sc);
   2446 	s = splusb();
   2447 #ifdef USB_USE_SOFTINTR
   2448 	sc->sc_softwake = 1;
   2449 #endif /* USB_USE_SOFTINTR */
   2450 	usb_schedsoftintr(&sc->sc_bus);
   2451 #ifdef USB_USE_SOFTINTR
   2452 	tsleep(&sc->sc_softwake, PZERO, "ehciab", 0);
   2453 #endif /* USB_USE_SOFTINTR */
   2454 	splx(s);
   2455 
   2456 	/*
   2457 	 * Step 3: Remove any vestiges of the xfer from the hardware.
   2458 	 * The complication here is that the hardware may have executed
   2459 	 * beyond the xfer we're trying to abort.  So as we're scanning
   2460 	 * the TDs of this xfer we check if the hardware points to
   2461 	 * any of them.
   2462 	 */
   2463 	s = splusb();		/* XXX why? */
   2464 	cur = EHCI_LINK_ADDR(le32toh(sqh->qh.qh_curqtd));
   2465 	hit = 0;
   2466 	for (sqtd = exfer->sqtdstart; ; sqtd = sqtd->nextqtd) {
   2467 		hit |= cur == sqtd->physaddr;
   2468 		if (sqtd == exfer->sqtdend)
   2469 			break;
   2470 	}
   2471 	sqtd = sqtd->nextqtd;
   2472 	/* Zap curqtd register if hardware pointed inside the xfer. */
   2473 	if (hit && sqtd != NULL) {
   2474 		DPRINTFN(1,("ehci_abort_xfer: cur=0x%08x\n", sqtd->physaddr));
   2475 		sqh->qh.qh_curqtd = htole32(sqtd->physaddr); /* unlink qTDs */
   2476 		sqh->qh.qh_qtd.qtd_status = qhstatus;
   2477 	} else {
   2478 		DPRINTFN(1,("ehci_abort_xfer: no hit\n"));
   2479 	}
   2480 
   2481 	/*
   2482 	 * Step 4: Execute callback.
   2483 	 */
   2484 #ifdef DIAGNOSTIC
   2485 	exfer->isdone = 1;
   2486 #endif
   2487 	usb_transfer_complete(xfer);
   2488 
   2489 	splx(s);
   2490 #undef exfer
   2491 }
   2492 
   2493 void
   2494 ehci_timeout(void *addr)
   2495 {
   2496 	struct ehci_xfer *exfer = addr;
   2497 	struct ehci_pipe *epipe = (struct ehci_pipe *)exfer->xfer.pipe;
   2498 	ehci_softc_t *sc = (ehci_softc_t *)epipe->pipe.device->bus;
   2499 
   2500 	DPRINTF(("ehci_timeout: exfer=%p\n", exfer));
   2501 #ifdef USB_DEBUG
   2502 	if (ehcidebug > 1)
   2503 		usbd_dump_pipe(exfer->xfer.pipe);
   2504 #endif
   2505 
   2506 	if (sc->sc_dying) {
   2507 		ehci_abort_xfer(&exfer->xfer, USBD_TIMEOUT);
   2508 		return;
   2509 	}
   2510 
   2511 	/* Execute the abort in a process context. */
   2512 	usb_init_task(&exfer->abort_task, ehci_timeout_task, addr);
   2513 	usb_add_task(exfer->xfer.pipe->device, &exfer->abort_task);
   2514 }
   2515 
   2516 void
   2517 ehci_timeout_task(void *addr)
   2518 {
   2519 	usbd_xfer_handle xfer = addr;
   2520 	int s;
   2521 
   2522 	DPRINTF(("ehci_timeout_task: xfer=%p\n", xfer));
   2523 
   2524 	s = splusb();
   2525 	ehci_abort_xfer(xfer, USBD_TIMEOUT);
   2526 	splx(s);
   2527 }
   2528 
   2529 /************************/
   2530 
   2531 Static usbd_status
   2532 ehci_device_ctrl_transfer(usbd_xfer_handle xfer)
   2533 {
   2534 	usbd_status err;
   2535 
   2536 	/* Insert last in queue. */
   2537 	err = usb_insert_transfer(xfer);
   2538 	if (err)
   2539 		return (err);
   2540 
   2541 	/* Pipe isn't running, start first */
   2542 	return (ehci_device_ctrl_start(SIMPLEQ_FIRST(&xfer->pipe->queue)));
   2543 }
   2544 
   2545 Static usbd_status
   2546 ehci_device_ctrl_start(usbd_xfer_handle xfer)
   2547 {
   2548 	ehci_softc_t *sc = (ehci_softc_t *)xfer->pipe->device->bus;
   2549 	usbd_status err;
   2550 
   2551 	if (sc->sc_dying)
   2552 		return (USBD_IOERROR);
   2553 
   2554 #ifdef DIAGNOSTIC
   2555 	if (!(xfer->rqflags & URQ_REQUEST)) {
   2556 		/* XXX panic */
   2557 		printf("ehci_device_ctrl_transfer: not a request\n");
   2558 		return (USBD_INVAL);
   2559 	}
   2560 #endif
   2561 
   2562 	err = ehci_device_request(xfer);
   2563 	if (err)
   2564 		return (err);
   2565 
   2566 	if (sc->sc_bus.use_polling)
   2567 		ehci_waitintr(sc, xfer);
   2568 	return (USBD_IN_PROGRESS);
   2569 }
   2570 
   2571 void
   2572 ehci_device_ctrl_done(usbd_xfer_handle xfer)
   2573 {
   2574 	struct ehci_xfer *ex = EXFER(xfer);
   2575 	ehci_softc_t *sc = (ehci_softc_t *)xfer->pipe->device->bus;
   2576 	/*struct ehci_pipe *epipe = (struct ehci_pipe *)xfer->pipe;*/
   2577 
   2578 	DPRINTFN(10,("ehci_ctrl_done: xfer=%p\n", xfer));
   2579 
   2580 #ifdef DIAGNOSTIC
   2581 	if (!(xfer->rqflags & URQ_REQUEST)) {
   2582 		panic("ehci_ctrl_done: not a request");
   2583 	}
   2584 #endif
   2585 
   2586 	if (xfer->status != USBD_NOMEM && ehci_active_intr_list(ex)) {
   2587 		ehci_del_intr_list(ex);	/* remove from active list */
   2588 		ehci_free_sqtd_chain(sc, ex->sqtdstart, NULL);
   2589 	}
   2590 
   2591 	DPRINTFN(5, ("ehci_ctrl_done: length=%d\n", xfer->actlen));
   2592 }
   2593 
   2594 /* Abort a device control request. */
   2595 Static void
   2596 ehci_device_ctrl_abort(usbd_xfer_handle xfer)
   2597 {
   2598 	DPRINTF(("ehci_device_ctrl_abort: xfer=%p\n", xfer));
   2599 	ehci_abort_xfer(xfer, USBD_CANCELLED);
   2600 }
   2601 
   2602 /* Close a device control pipe. */
   2603 Static void
   2604 ehci_device_ctrl_close(usbd_pipe_handle pipe)
   2605 {
   2606 	ehci_softc_t *sc = (ehci_softc_t *)pipe->device->bus;
   2607 	/*struct ehci_pipe *epipe = (struct ehci_pipe *)pipe;*/
   2608 
   2609 	DPRINTF(("ehci_device_ctrl_close: pipe=%p\n", pipe));
   2610 	ehci_close_pipe(pipe, sc->sc_async_head);
   2611 }
   2612 
   2613 usbd_status
   2614 ehci_device_request(usbd_xfer_handle xfer)
   2615 {
   2616 #define exfer EXFER(xfer)
   2617 	struct ehci_pipe *epipe = (struct ehci_pipe *)xfer->pipe;
   2618 	usb_device_request_t *req = &xfer->request;
   2619 	usbd_device_handle dev = epipe->pipe.device;
   2620 	ehci_softc_t *sc = (ehci_softc_t *)dev->bus;
   2621 	int addr = dev->address;
   2622 	ehci_soft_qtd_t *setup, *stat, *next;
   2623 	ehci_soft_qh_t *sqh;
   2624 	int isread;
   2625 	int len;
   2626 	usbd_status err;
   2627 	int s;
   2628 
   2629 	isread = req->bmRequestType & UT_READ;
   2630 	len = UGETW(req->wLength);
   2631 
   2632 	DPRINTFN(3,("ehci_device_request: type=0x%02x, request=0x%02x, "
   2633 		    "wValue=0x%04x, wIndex=0x%04x len=%d, addr=%d, endpt=%d\n",
   2634 		    req->bmRequestType, req->bRequest, UGETW(req->wValue),
   2635 		    UGETW(req->wIndex), len, addr,
   2636 		    epipe->pipe.endpoint->edesc->bEndpointAddress));
   2637 
   2638 	setup = ehci_alloc_sqtd(sc);
   2639 	if (setup == NULL) {
   2640 		err = USBD_NOMEM;
   2641 		goto bad1;
   2642 	}
   2643 	stat = ehci_alloc_sqtd(sc);
   2644 	if (stat == NULL) {
   2645 		err = USBD_NOMEM;
   2646 		goto bad2;
   2647 	}
   2648 
   2649 	sqh = epipe->sqh;
   2650 	epipe->u.ctl.length = len;
   2651 
   2652 	/* Update device address and length since they may have changed
   2653 	   during the setup of the control pipe in usbd_new_device(). */
   2654 	/* XXX This only needs to be done once, but it's too early in open. */
   2655 	/* XXXX Should not touch ED here! */
   2656 	sqh->qh.qh_endp =
   2657 	    (sqh->qh.qh_endp & htole32(~(EHCI_QH_ADDRMASK | EHCI_QH_MPLMASK))) |
   2658 	    htole32(
   2659 	     EHCI_QH_SET_ADDR(addr) |
   2660 	     EHCI_QH_SET_MPL(UGETW(epipe->pipe.endpoint->edesc->wMaxPacketSize))
   2661 	    );
   2662 
   2663 	/* Set up data transaction */
   2664 	if (len != 0) {
   2665 		ehci_soft_qtd_t *end;
   2666 
   2667 		/* Start toggle at 1. */
   2668 		epipe->nexttoggle = 1;
   2669 		err = ehci_alloc_sqtd_chain(epipe, sc, len, isread, xfer,
   2670 			  &next, &end);
   2671 		if (err)
   2672 			goto bad3;
   2673 		end->qtd.qtd_status &= htole32(~EHCI_QTD_IOC);
   2674 		end->nextqtd = stat;
   2675 		end->qtd.qtd_next =
   2676 		end->qtd.qtd_altnext = htole32(stat->physaddr);
   2677 	} else {
   2678 		next = stat;
   2679 	}
   2680 
   2681 	memcpy(KERNADDR(&epipe->u.ctl.reqdma, 0), req, sizeof *req);
   2682 
   2683 	/* Clear toggle */
   2684 	setup->qtd.qtd_status = htole32(
   2685 	    EHCI_QTD_ACTIVE |
   2686 	    EHCI_QTD_SET_PID(EHCI_QTD_PID_SETUP) |
   2687 	    EHCI_QTD_SET_CERR(3) |
   2688 	    EHCI_QTD_SET_TOGGLE(0) |
   2689 	    EHCI_QTD_SET_BYTES(sizeof *req)
   2690 	    );
   2691 	setup->qtd.qtd_buffer[0] = htole32(DMAADDR(&epipe->u.ctl.reqdma, 0));
   2692 	setup->qtd.qtd_buffer_hi[0] = 0;
   2693 	setup->nextqtd = next;
   2694 	setup->qtd.qtd_next = setup->qtd.qtd_altnext = htole32(next->physaddr);
   2695 	setup->xfer = xfer;
   2696 	setup->len = sizeof *req;
   2697 
   2698 	stat->qtd.qtd_status = htole32(
   2699 	    EHCI_QTD_ACTIVE |
   2700 	    EHCI_QTD_SET_PID(isread ? EHCI_QTD_PID_OUT : EHCI_QTD_PID_IN) |
   2701 	    EHCI_QTD_SET_CERR(3) |
   2702 	    EHCI_QTD_SET_TOGGLE(1) |
   2703 	    EHCI_QTD_IOC
   2704 	    );
   2705 	stat->qtd.qtd_buffer[0] = 0; /* XXX not needed? */
   2706 	stat->qtd.qtd_buffer_hi[0] = 0; /* XXX not needed? */
   2707 	stat->nextqtd = NULL;
   2708 	stat->qtd.qtd_next = stat->qtd.qtd_altnext = EHCI_NULL;
   2709 	stat->xfer = xfer;
   2710 	stat->len = 0;
   2711 
   2712 #ifdef EHCI_DEBUG
   2713 	if (ehcidebug > 5) {
   2714 		DPRINTF(("ehci_device_request:\n"));
   2715 		ehci_dump_sqh(sqh);
   2716 		ehci_dump_sqtds(setup);
   2717 	}
   2718 #endif
   2719 
   2720 	exfer->sqtdstart = setup;
   2721 	exfer->sqtdend = stat;
   2722 #ifdef DIAGNOSTIC
   2723 	if (!exfer->isdone) {
   2724 		printf("ehci_device_request: not done, exfer=%p\n", exfer);
   2725 	}
   2726 	exfer->isdone = 0;
   2727 #endif
   2728 
   2729 	/* Insert qTD in QH list. */
   2730 	s = splusb();
   2731 	ehci_set_qh_qtd(sqh, setup);
   2732 	if (xfer->timeout && !sc->sc_bus.use_polling) {
   2733                 usb_callout(xfer->timeout_handle, mstohz(xfer->timeout),
   2734 			    ehci_timeout, xfer);
   2735 	}
   2736 	ehci_add_intr_list(sc, exfer);
   2737 	xfer->status = USBD_IN_PROGRESS;
   2738 	splx(s);
   2739 
   2740 #ifdef EHCI_DEBUG
   2741 	if (ehcidebug > 10) {
   2742 		DPRINTF(("ehci_device_request: status=%x\n",
   2743 			 EOREAD4(sc, EHCI_USBSTS)));
   2744 		delay(10000);
   2745 		ehci_dump_regs(sc);
   2746 		ehci_dump_sqh(sc->sc_async_head);
   2747 		ehci_dump_sqh(sqh);
   2748 		ehci_dump_sqtds(setup);
   2749 	}
   2750 #endif
   2751 
   2752 	return (USBD_NORMAL_COMPLETION);
   2753 
   2754  bad3:
   2755 	ehci_free_sqtd(sc, stat);
   2756  bad2:
   2757 	ehci_free_sqtd(sc, setup);
   2758  bad1:
   2759 	DPRINTFN(-1,("ehci_device_request: no memory\n"));
   2760 	xfer->status = err;
   2761 	usb_transfer_complete(xfer);
   2762 	return (err);
   2763 #undef exfer
   2764 }
   2765 
   2766 /************************/
   2767 
   2768 Static usbd_status
   2769 ehci_device_bulk_transfer(usbd_xfer_handle xfer)
   2770 {
   2771 	usbd_status err;
   2772 
   2773 	/* Insert last in queue. */
   2774 	err = usb_insert_transfer(xfer);
   2775 	if (err)
   2776 		return (err);
   2777 
   2778 	/* Pipe isn't running, start first */
   2779 	return (ehci_device_bulk_start(SIMPLEQ_FIRST(&xfer->pipe->queue)));
   2780 }
   2781 
   2782 usbd_status
   2783 ehci_device_bulk_start(usbd_xfer_handle xfer)
   2784 {
   2785 #define exfer EXFER(xfer)
   2786 	struct ehci_pipe *epipe = (struct ehci_pipe *)xfer->pipe;
   2787 	usbd_device_handle dev = epipe->pipe.device;
   2788 	ehci_softc_t *sc = (ehci_softc_t *)dev->bus;
   2789 	ehci_soft_qtd_t *data, *dataend;
   2790 	ehci_soft_qh_t *sqh;
   2791 	usbd_status err;
   2792 	int len, isread, endpt;
   2793 	int s;
   2794 
   2795 	DPRINTFN(2, ("ehci_device_bulk_start: xfer=%p len=%d flags=%d\n",
   2796 		     xfer, xfer->length, xfer->flags));
   2797 
   2798 	if (sc->sc_dying)
   2799 		return (USBD_IOERROR);
   2800 
   2801 #ifdef DIAGNOSTIC
   2802 	if (xfer->rqflags & URQ_REQUEST)
   2803 		panic("ehci_device_bulk_start: a request");
   2804 #endif
   2805 
   2806 	len = xfer->length;
   2807 	endpt = epipe->pipe.endpoint->edesc->bEndpointAddress;
   2808 	isread = UE_GET_DIR(endpt) == UE_DIR_IN;
   2809 	sqh = epipe->sqh;
   2810 
   2811 	epipe->u.bulk.length = len;
   2812 
   2813 	err = ehci_alloc_sqtd_chain(epipe, sc, len, isread, xfer, &data,
   2814 				   &dataend);
   2815 	if (err) {
   2816 		DPRINTFN(-1,("ehci_device_bulk_transfer: no memory\n"));
   2817 		xfer->status = err;
   2818 		usb_transfer_complete(xfer);
   2819 		return (err);
   2820 	}
   2821 
   2822 #ifdef EHCI_DEBUG
   2823 	if (ehcidebug > 5) {
   2824 		DPRINTF(("ehci_device_bulk_start: data(1)\n"));
   2825 		ehci_dump_sqh(sqh);
   2826 		ehci_dump_sqtds(data);
   2827 	}
   2828 #endif
   2829 
   2830 	/* Set up interrupt info. */
   2831 	exfer->sqtdstart = data;
   2832 	exfer->sqtdend = dataend;
   2833 #ifdef DIAGNOSTIC
   2834 	if (!exfer->isdone) {
   2835 		printf("ehci_device_bulk_start: not done, ex=%p\n", exfer);
   2836 	}
   2837 	exfer->isdone = 0;
   2838 #endif
   2839 
   2840 	s = splusb();
   2841 	ehci_set_qh_qtd(sqh, data);
   2842 	if (xfer->timeout && !sc->sc_bus.use_polling) {
   2843 		usb_callout(xfer->timeout_handle, mstohz(xfer->timeout),
   2844 			    ehci_timeout, xfer);
   2845 	}
   2846 	ehci_add_intr_list(sc, exfer);
   2847 	xfer->status = USBD_IN_PROGRESS;
   2848 	splx(s);
   2849 
   2850 #ifdef EHCI_DEBUG
   2851 	if (ehcidebug > 10) {
   2852 		DPRINTF(("ehci_device_bulk_start: data(2)\n"));
   2853 		delay(10000);
   2854 		DPRINTF(("ehci_device_bulk_start: data(3)\n"));
   2855 		ehci_dump_regs(sc);
   2856 #if 0
   2857 		printf("async_head:\n");
   2858 		ehci_dump_sqh(sc->sc_async_head);
   2859 #endif
   2860 		printf("sqh:\n");
   2861 		ehci_dump_sqh(sqh);
   2862 		ehci_dump_sqtds(data);
   2863 	}
   2864 #endif
   2865 
   2866 	if (sc->sc_bus.use_polling)
   2867 		ehci_waitintr(sc, xfer);
   2868 
   2869 	return (USBD_IN_PROGRESS);
   2870 #undef exfer
   2871 }
   2872 
   2873 Static void
   2874 ehci_device_bulk_abort(usbd_xfer_handle xfer)
   2875 {
   2876 	DPRINTF(("ehci_device_bulk_abort: xfer=%p\n", xfer));
   2877 	ehci_abort_xfer(xfer, USBD_CANCELLED);
   2878 }
   2879 
   2880 /*
   2881  * Close a device bulk pipe.
   2882  */
   2883 Static void
   2884 ehci_device_bulk_close(usbd_pipe_handle pipe)
   2885 {
   2886 	ehci_softc_t *sc = (ehci_softc_t *)pipe->device->bus;
   2887 
   2888 	DPRINTF(("ehci_device_bulk_close: pipe=%p\n", pipe));
   2889 	ehci_close_pipe(pipe, sc->sc_async_head);
   2890 }
   2891 
   2892 void
   2893 ehci_device_bulk_done(usbd_xfer_handle xfer)
   2894 {
   2895 	struct ehci_xfer *ex = EXFER(xfer);
   2896 	ehci_softc_t *sc = (ehci_softc_t *)xfer->pipe->device->bus;
   2897 	/*struct ehci_pipe *epipe = (struct ehci_pipe *)xfer->pipe;*/
   2898 
   2899 	DPRINTFN(10,("ehci_bulk_done: xfer=%p, actlen=%d\n",
   2900 		     xfer, xfer->actlen));
   2901 
   2902 	if (xfer->status != USBD_NOMEM && ehci_active_intr_list(ex)) {
   2903 		ehci_del_intr_list(ex);	/* remove from active list */
   2904 		ehci_free_sqtd_chain(sc, ex->sqtdstart, NULL);
   2905 	}
   2906 
   2907 	DPRINTFN(5, ("ehci_bulk_done: length=%d\n", xfer->actlen));
   2908 }
   2909 
   2910 /************************/
   2911 
   2912 Static usbd_status
   2913 ehci_device_setintr(ehci_softc_t *sc, ehci_soft_qh_t *sqh, int ival)
   2914 {
   2915 	struct ehci_soft_islot *isp;
   2916 	int islot, lev;
   2917 
   2918 	/* Find a poll rate that is large enough. */
   2919 	for (lev = EHCI_IPOLLRATES - 1; lev > 0; lev--)
   2920 		if (EHCI_ILEV_IVAL(lev) <= ival)
   2921 			break;
   2922 
   2923 	/* Pick an interrupt slot at the right level. */
   2924 	/* XXX could do better than picking at random */
   2925 	sc->sc_rand = (sc->sc_rand + 191) % sc->sc_flsize;
   2926 	islot = EHCI_IQHIDX(lev, sc->sc_rand);
   2927 
   2928 	sqh->islot = islot;
   2929 	isp = &sc->sc_islots[islot];
   2930 	ehci_add_qh(sqh, isp->sqh);
   2931 
   2932 	return (USBD_NORMAL_COMPLETION);
   2933 }
   2934 
   2935 Static usbd_status
   2936 ehci_device_intr_transfer(usbd_xfer_handle xfer)
   2937 {
   2938 	usbd_status err;
   2939 
   2940 	/* Insert last in queue. */
   2941 	err = usb_insert_transfer(xfer);
   2942 	if (err)
   2943 		return (err);
   2944 
   2945 	/*
   2946 	 * Pipe isn't running (otherwise err would be USBD_INPROG),
   2947 	 * so start it first.
   2948 	 */
   2949 	return (ehci_device_intr_start(SIMPLEQ_FIRST(&xfer->pipe->queue)));
   2950 }
   2951 
   2952 Static usbd_status
   2953 ehci_device_intr_start(usbd_xfer_handle xfer)
   2954 {
   2955 #define exfer EXFER(xfer)
   2956 	struct ehci_pipe *epipe = (struct ehci_pipe *)xfer->pipe;
   2957 	usbd_device_handle dev = xfer->pipe->device;
   2958 	ehci_softc_t *sc = (ehci_softc_t *)dev->bus;
   2959 	ehci_soft_qtd_t *data, *dataend;
   2960 	ehci_soft_qh_t *sqh;
   2961 	usbd_status err;
   2962 	int len, isread, endpt;
   2963 	int s;
   2964 
   2965 	DPRINTFN(2, ("ehci_device_intr_start: xfer=%p len=%d flags=%d\n",
   2966 	    xfer, xfer->length, xfer->flags));
   2967 
   2968 	if (sc->sc_dying)
   2969 		return (USBD_IOERROR);
   2970 
   2971 #ifdef DIAGNOSTIC
   2972 	if (xfer->rqflags & URQ_REQUEST)
   2973 		panic("ehci_device_intr_start: a request");
   2974 #endif
   2975 
   2976 	len = xfer->length;
   2977 	endpt = epipe->pipe.endpoint->edesc->bEndpointAddress;
   2978 	isread = UE_GET_DIR(endpt) == UE_DIR_IN;
   2979 	sqh = epipe->sqh;
   2980 
   2981 	epipe->u.intr.length = len;
   2982 
   2983 	err = ehci_alloc_sqtd_chain(epipe, sc, len, isread, xfer, &data,
   2984 	    &dataend);
   2985 	if (err) {
   2986 		DPRINTFN(-1, ("ehci_device_intr_start: no memory\n"));
   2987 		xfer->status = err;
   2988 		usb_transfer_complete(xfer);
   2989 		return (err);
   2990 	}
   2991 
   2992 #ifdef EHCI_DEBUG
   2993 	if (ehcidebug > 5) {
   2994 		DPRINTF(("ehci_device_intr_start: data(1)\n"));
   2995 		ehci_dump_sqh(sqh);
   2996 		ehci_dump_sqtds(data);
   2997 	}
   2998 #endif
   2999 
   3000 	/* Set up interrupt info. */
   3001 	exfer->sqtdstart = data;
   3002 	exfer->sqtdend = dataend;
   3003 #ifdef DIAGNOSTIC
   3004 	if (!exfer->isdone) {
   3005 		printf("ehci_device_intr_start: not done, ex=%p\n", exfer);
   3006 	}
   3007 	exfer->isdone = 0;
   3008 #endif
   3009 
   3010 	s = splusb();
   3011 	ehci_set_qh_qtd(sqh, data);
   3012 	if (xfer->timeout && !sc->sc_bus.use_polling) {
   3013 		usb_callout(xfer->timeout_handle, mstohz(xfer->timeout),
   3014 		    ehci_timeout, xfer);
   3015 	}
   3016 	ehci_add_intr_list(sc, exfer);
   3017 	xfer->status = USBD_IN_PROGRESS;
   3018 	splx(s);
   3019 
   3020 #ifdef EHCI_DEBUG
   3021 	if (ehcidebug > 10) {
   3022 		DPRINTF(("ehci_device_intr_start: data(2)\n"));
   3023 		delay(10000);
   3024 		DPRINTF(("ehci_device_intr_start: data(3)\n"));
   3025 		ehci_dump_regs(sc);
   3026 		printf("sqh:\n");
   3027 		ehci_dump_sqh(sqh);
   3028 		ehci_dump_sqtds(data);
   3029 	}
   3030 #endif
   3031 
   3032 	if (sc->sc_bus.use_polling)
   3033 		ehci_waitintr(sc, xfer);
   3034 
   3035 	return (USBD_IN_PROGRESS);
   3036 #undef exfer
   3037 }
   3038 
   3039 Static void
   3040 ehci_device_intr_abort(usbd_xfer_handle xfer)
   3041 {
   3042 	DPRINTFN(1, ("ehci_device_intr_abort: xfer=%p\n", xfer));
   3043 	if (xfer->pipe->intrxfer == xfer) {
   3044 		DPRINTFN(1, ("echi_device_intr_abort: remove\n"));
   3045 		xfer->pipe->intrxfer = NULL;
   3046 	}
   3047 	ehci_abort_xfer(xfer, USBD_CANCELLED);
   3048 }
   3049 
   3050 Static void
   3051 ehci_device_intr_close(usbd_pipe_handle pipe)
   3052 {
   3053 	ehci_softc_t *sc = (ehci_softc_t *)pipe->device->bus;
   3054 	struct ehci_pipe *epipe = (struct ehci_pipe *)pipe;
   3055 	struct ehci_soft_islot *isp;
   3056 
   3057 	isp = &sc->sc_islots[epipe->sqh->islot];
   3058 	ehci_close_pipe(pipe, isp->sqh);
   3059 }
   3060 
   3061 Static void
   3062 ehci_device_intr_done(usbd_xfer_handle xfer)
   3063 {
   3064 #define exfer EXFER(xfer)
   3065 	struct ehci_xfer *ex = EXFER(xfer);
   3066 	ehci_softc_t *sc = (ehci_softc_t *)xfer->pipe->device->bus;
   3067 	struct ehci_pipe *epipe = (struct ehci_pipe *)xfer->pipe;
   3068 	ehci_soft_qtd_t *data, *dataend;
   3069 	ehci_soft_qh_t *sqh;
   3070 	usbd_status err;
   3071 	int len, isread, endpt, s;
   3072 
   3073 	DPRINTFN(10, ("ehci_device_intr_done: xfer=%p, actlen=%d\n",
   3074 	    xfer, xfer->actlen));
   3075 
   3076 	if (xfer->pipe->repeat) {
   3077 		ehci_free_sqtd_chain(sc, ex->sqtdstart, NULL);
   3078 
   3079 		len = epipe->u.intr.length;
   3080 		xfer->length = len;
   3081 		endpt = epipe->pipe.endpoint->edesc->bEndpointAddress;
   3082 		isread = UE_GET_DIR(endpt) == UE_DIR_IN;
   3083 		sqh = epipe->sqh;
   3084 
   3085 		err = ehci_alloc_sqtd_chain(epipe, sc, len, isread, xfer,
   3086 		    &data, &dataend);
   3087 		if (err) {
   3088 			DPRINTFN(-1, ("ehci_device_intr_done: no memory\n"));
   3089 			xfer->status = err;
   3090 			return;
   3091 		}
   3092 
   3093 		/* Set up interrupt info. */
   3094 		exfer->sqtdstart = data;
   3095 		exfer->sqtdend = dataend;
   3096 #ifdef DIAGNOSTIC
   3097 		if (!exfer->isdone) {
   3098 			printf("ehci_device_intr_done: not done, ex=%p\n",
   3099 			    exfer);
   3100 		}
   3101 		exfer->isdone = 0;
   3102 #endif
   3103 
   3104 		s = splusb();
   3105 		ehci_set_qh_qtd(sqh, data);
   3106 		if (xfer->timeout && !sc->sc_bus.use_polling) {
   3107 			usb_callout(xfer->timeout_handle,
   3108 			    mstohz(xfer->timeout), ehci_timeout, xfer);
   3109 		}
   3110 		splx(s);
   3111 
   3112 		xfer->status = USBD_IN_PROGRESS;
   3113 	} else if (xfer->status != USBD_NOMEM && ehci_active_intr_list(ex)) {
   3114 		ehci_del_intr_list(ex); /* remove from active list */
   3115 		ehci_free_sqtd_chain(sc, ex->sqtdstart, NULL);
   3116 	}
   3117 #undef exfer
   3118 }
   3119 
   3120 /************************/
   3121 
   3122 Static usbd_status	ehci_device_isoc_transfer(usbd_xfer_handle xfer) { return USBD_IOERROR; }
   3123 Static usbd_status	ehci_device_isoc_start(usbd_xfer_handle xfer) { return USBD_IOERROR; }
   3124 Static void		ehci_device_isoc_abort(usbd_xfer_handle xfer) { }
   3125 Static void		ehci_device_isoc_close(usbd_pipe_handle pipe) { }
   3126 Static void		ehci_device_isoc_done(usbd_xfer_handle xfer) { }
   3127