Home | History | Annotate | Line # | Download | only in dev
ldc.c revision 1.3.12.2
      1  1.3.12.2  jdolecek /*	$NetBSD: ldc.c,v 1.3.12.2 2017/12/03 11:36:44 jdolecek Exp $	*/
      2  1.3.12.2  jdolecek /*	$OpenBSD: ldc.c,v 1.12 2015/03/21 18:02:58 kettenis Exp $	*/
      3  1.3.12.2  jdolecek /*
      4  1.3.12.2  jdolecek  * Copyright (c) 2009 Mark Kettenis
      5  1.3.12.2  jdolecek  *
      6  1.3.12.2  jdolecek  * Permission to use, copy, modify, and distribute this software for any
      7  1.3.12.2  jdolecek  * purpose with or without fee is hereby granted, provided that the above
      8  1.3.12.2  jdolecek  * copyright notice and this permission notice appear in all copies.
      9  1.3.12.2  jdolecek  *
     10  1.3.12.2  jdolecek  * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
     11  1.3.12.2  jdolecek  * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
     12  1.3.12.2  jdolecek  * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
     13  1.3.12.2  jdolecek  * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
     14  1.3.12.2  jdolecek  * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
     15  1.3.12.2  jdolecek  * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
     16  1.3.12.2  jdolecek  * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
     17  1.3.12.2  jdolecek  */
     18  1.3.12.2  jdolecek 
     19  1.3.12.2  jdolecek #include <sys/kmem.h>
     20  1.3.12.2  jdolecek #include <sys/malloc.h>
     21  1.3.12.2  jdolecek #include <sys/param.h>
     22  1.3.12.2  jdolecek #include <sys/systm.h>
     23  1.3.12.2  jdolecek 
     24  1.3.12.2  jdolecek #include <sys/bus.h>
     25  1.3.12.2  jdolecek #include <machine/hypervisor.h>
     26  1.3.12.2  jdolecek 
     27  1.3.12.2  jdolecek #include <uvm/uvm_extern.h>
     28  1.3.12.2  jdolecek 
     29  1.3.12.2  jdolecek #include <sparc64/dev/ldcvar.h>
     30  1.3.12.2  jdolecek 
     31  1.3.12.2  jdolecek #ifdef LDC_DEBUG
     32  1.3.12.2  jdolecek #define DPRINTF(x)	printf x
     33  1.3.12.2  jdolecek #else
     34  1.3.12.2  jdolecek #define DPRINTF(x)
     35  1.3.12.2  jdolecek #endif
     36  1.3.12.2  jdolecek 
     37  1.3.12.2  jdolecek void	ldc_rx_ctrl_vers(struct ldc_conn *, struct ldc_pkt *);
     38  1.3.12.2  jdolecek void	ldc_rx_ctrl_rtr(struct ldc_conn *, struct ldc_pkt *);
     39  1.3.12.2  jdolecek void	ldc_rx_ctrl_rts(struct ldc_conn *, struct ldc_pkt *);
     40  1.3.12.2  jdolecek void	ldc_rx_ctrl_rdx(struct ldc_conn *, struct ldc_pkt *);
     41  1.3.12.2  jdolecek 
     42  1.3.12.2  jdolecek void	ldc_send_ack(struct ldc_conn *);
     43  1.3.12.2  jdolecek void	ldc_send_rtr(struct ldc_conn *);
     44  1.3.12.2  jdolecek void	ldc_send_rts(struct ldc_conn *);
     45  1.3.12.2  jdolecek void	ldc_send_rdx(struct ldc_conn *);
     46  1.3.12.2  jdolecek 
     47  1.3.12.2  jdolecek void
     48  1.3.12.2  jdolecek ldc_rx_ctrl(struct ldc_conn *lc, struct ldc_pkt *lp)
     49  1.3.12.2  jdolecek {
     50  1.3.12.2  jdolecek 	switch (lp->ctrl) {
     51  1.3.12.2  jdolecek 	case LDC_VERS:
     52  1.3.12.2  jdolecek 		ldc_rx_ctrl_vers(lc, lp);
     53  1.3.12.2  jdolecek 		break;
     54  1.3.12.2  jdolecek 
     55  1.3.12.2  jdolecek 	case LDC_RTS:
     56  1.3.12.2  jdolecek 		ldc_rx_ctrl_rts(lc, lp);
     57  1.3.12.2  jdolecek 		break;
     58  1.3.12.2  jdolecek 
     59  1.3.12.2  jdolecek 	case LDC_RTR:
     60  1.3.12.2  jdolecek 		ldc_rx_ctrl_rtr(lc, lp);
     61  1.3.12.2  jdolecek 		break;
     62  1.3.12.2  jdolecek 
     63  1.3.12.2  jdolecek 	case LDC_RDX:
     64  1.3.12.2  jdolecek 		ldc_rx_ctrl_rdx(lc, lp);
     65  1.3.12.2  jdolecek 		break;
     66  1.3.12.2  jdolecek 
     67  1.3.12.2  jdolecek 	default:
     68  1.3.12.2  jdolecek 		DPRINTF(("CTRL/0x%02x/0x%02x\n", lp->stype, lp->ctrl));
     69  1.3.12.2  jdolecek 		ldc_reset(lc);
     70  1.3.12.2  jdolecek 		break;
     71  1.3.12.2  jdolecek 	}
     72  1.3.12.2  jdolecek }
     73  1.3.12.2  jdolecek 
     74  1.3.12.2  jdolecek void
     75  1.3.12.2  jdolecek ldc_rx_ctrl_vers(struct ldc_conn *lc, struct ldc_pkt *lp)
     76  1.3.12.2  jdolecek {
     77  1.3.12.2  jdolecek 	switch (lp->stype) {
     78  1.3.12.2  jdolecek 	case LDC_INFO:
     79  1.3.12.2  jdolecek 		DPRINTF(("CTRL/INFO/VERS\n"));
     80  1.3.12.2  jdolecek 		if (lp->major == LDC_VERSION_MAJOR &&
     81  1.3.12.2  jdolecek 		    lp->minor == LDC_VERSION_MINOR)
     82  1.3.12.2  jdolecek 			ldc_send_ack(lc);
     83  1.3.12.2  jdolecek 		else {
     84  1.3.12.2  jdolecek 			/* XXX do nothing for now. */
     85  1.3.12.2  jdolecek 		}
     86  1.3.12.2  jdolecek 		break;
     87  1.3.12.2  jdolecek 
     88  1.3.12.2  jdolecek 	case LDC_ACK:
     89  1.3.12.2  jdolecek 		if (lc->lc_state != LDC_SND_VERS) {
     90  1.3.12.2  jdolecek 			DPRINTF(("Spurious CTRL/ACK/VERS: state %d\n",
     91  1.3.12.2  jdolecek 			    lc->lc_state));
     92  1.3.12.2  jdolecek 			ldc_reset(lc);
     93  1.3.12.2  jdolecek 			return;
     94  1.3.12.2  jdolecek 		}
     95  1.3.12.2  jdolecek 		DPRINTF(("CTRL/ACK/VERS\n"));
     96  1.3.12.2  jdolecek 		ldc_send_rts(lc);
     97  1.3.12.2  jdolecek 		break;
     98  1.3.12.2  jdolecek 
     99  1.3.12.2  jdolecek 	case LDC_NACK:
    100  1.3.12.2  jdolecek 		DPRINTF(("CTRL/NACK/VERS\n"));
    101  1.3.12.2  jdolecek 		ldc_reset(lc);
    102  1.3.12.2  jdolecek 		break;
    103  1.3.12.2  jdolecek 
    104  1.3.12.2  jdolecek 	default:
    105  1.3.12.2  jdolecek 		DPRINTF(("CTRL/0x%02x/VERS\n", lp->stype));
    106  1.3.12.2  jdolecek 		ldc_reset(lc);
    107  1.3.12.2  jdolecek 		break;
    108  1.3.12.2  jdolecek 	}
    109  1.3.12.2  jdolecek }
    110  1.3.12.2  jdolecek 
    111  1.3.12.2  jdolecek void
    112  1.3.12.2  jdolecek ldc_rx_ctrl_rts(struct ldc_conn *lc, struct ldc_pkt *lp)
    113  1.3.12.2  jdolecek {
    114  1.3.12.2  jdolecek 	switch (lp->stype) {
    115  1.3.12.2  jdolecek 	case LDC_INFO:
    116  1.3.12.2  jdolecek 		if (lc->lc_state != LDC_RCV_VERS) {
    117  1.3.12.2  jdolecek 			DPRINTF(("Spurious CTRL/INFO/RTS: state %d\n",
    118  1.3.12.2  jdolecek 			    lc->lc_state));
    119  1.3.12.2  jdolecek 			ldc_reset(lc);
    120  1.3.12.2  jdolecek 			return;
    121  1.3.12.2  jdolecek 		}
    122  1.3.12.2  jdolecek 		DPRINTF(("CTRL/INFO/RTS\n"));
    123  1.3.12.2  jdolecek 		ldc_send_rtr(lc);
    124  1.3.12.2  jdolecek 		break;
    125  1.3.12.2  jdolecek 
    126  1.3.12.2  jdolecek 	case LDC_ACK:
    127  1.3.12.2  jdolecek 		DPRINTF(("CTRL/ACK/RTS\n"));
    128  1.3.12.2  jdolecek 		ldc_reset(lc);
    129  1.3.12.2  jdolecek 		break;
    130  1.3.12.2  jdolecek 
    131  1.3.12.2  jdolecek 	case LDC_NACK:
    132  1.3.12.2  jdolecek 		DPRINTF(("CTRL/NACK/RTS\n"));
    133  1.3.12.2  jdolecek 		ldc_reset(lc);
    134  1.3.12.2  jdolecek 		break;
    135  1.3.12.2  jdolecek 
    136  1.3.12.2  jdolecek 	default:
    137  1.3.12.2  jdolecek 		DPRINTF(("CTRL/0x%02x/RTS\n", lp->stype));
    138  1.3.12.2  jdolecek 		ldc_reset(lc);
    139  1.3.12.2  jdolecek 		break;
    140  1.3.12.2  jdolecek 	}
    141  1.3.12.2  jdolecek }
    142  1.3.12.2  jdolecek 
    143  1.3.12.2  jdolecek void
    144  1.3.12.2  jdolecek ldc_rx_ctrl_rtr(struct ldc_conn *lc, struct ldc_pkt *lp)
    145  1.3.12.2  jdolecek {
    146  1.3.12.2  jdolecek 	switch (lp->stype) {
    147  1.3.12.2  jdolecek 	case LDC_INFO:
    148  1.3.12.2  jdolecek 		if (lc->lc_state != LDC_SND_RTS) {
    149  1.3.12.2  jdolecek 			DPRINTF(("Spurious CTRL/INFO/RTR: state %d\n",
    150  1.3.12.2  jdolecek 			    lc->lc_state));
    151  1.3.12.2  jdolecek 			ldc_reset(lc);
    152  1.3.12.2  jdolecek 			return;
    153  1.3.12.2  jdolecek 		}
    154  1.3.12.2  jdolecek 		DPRINTF(("CTRL/INFO/RTR\n"));
    155  1.3.12.2  jdolecek 		ldc_send_rdx(lc);
    156  1.3.12.2  jdolecek 		lc->lc_start(lc);
    157  1.3.12.2  jdolecek 		break;
    158  1.3.12.2  jdolecek 
    159  1.3.12.2  jdolecek 	case LDC_ACK:
    160  1.3.12.2  jdolecek 		DPRINTF(("CTRL/ACK/RTR\n"));
    161  1.3.12.2  jdolecek 		ldc_reset(lc);
    162  1.3.12.2  jdolecek 		break;
    163  1.3.12.2  jdolecek 
    164  1.3.12.2  jdolecek 	case LDC_NACK:
    165  1.3.12.2  jdolecek 		DPRINTF(("CTRL/NACK/RTR\n"));
    166  1.3.12.2  jdolecek 		ldc_reset(lc);
    167  1.3.12.2  jdolecek 		break;
    168  1.3.12.2  jdolecek 
    169  1.3.12.2  jdolecek 	default:
    170  1.3.12.2  jdolecek 		DPRINTF(("CTRL/0x%02x/RTR\n", lp->stype));
    171  1.3.12.2  jdolecek 		ldc_reset(lc);
    172  1.3.12.2  jdolecek 		break;
    173  1.3.12.2  jdolecek 	}
    174  1.3.12.2  jdolecek }
    175  1.3.12.2  jdolecek 
    176  1.3.12.2  jdolecek void
    177  1.3.12.2  jdolecek ldc_rx_ctrl_rdx(struct ldc_conn *lc, struct ldc_pkt *lp)
    178  1.3.12.2  jdolecek {
    179  1.3.12.2  jdolecek 	switch (lp->stype) {
    180  1.3.12.2  jdolecek 	case LDC_INFO:
    181  1.3.12.2  jdolecek 		if (lc->lc_state != LDC_SND_RTR) {
    182  1.3.12.2  jdolecek 			DPRINTF(("Spurious CTRL/INFO/RTR: state %d\n",
    183  1.3.12.2  jdolecek 			    lc->lc_state));
    184  1.3.12.2  jdolecek 			ldc_reset(lc);
    185  1.3.12.2  jdolecek 			return;
    186  1.3.12.2  jdolecek 		}
    187  1.3.12.2  jdolecek 		DPRINTF(("CTRL/INFO/RDX\n"));
    188  1.3.12.2  jdolecek 		lc->lc_start(lc);
    189  1.3.12.2  jdolecek 		break;
    190  1.3.12.2  jdolecek 
    191  1.3.12.2  jdolecek 	case LDC_ACK:
    192  1.3.12.2  jdolecek 		DPRINTF(("CTRL/ACK/RDX\n"));
    193  1.3.12.2  jdolecek 		ldc_reset(lc);
    194  1.3.12.2  jdolecek 		break;
    195  1.3.12.2  jdolecek 
    196  1.3.12.2  jdolecek 	case LDC_NACK:
    197  1.3.12.2  jdolecek 		DPRINTF(("CTRL/NACK/RDX\n"));
    198  1.3.12.2  jdolecek 		ldc_reset(lc);
    199  1.3.12.2  jdolecek 		break;
    200  1.3.12.2  jdolecek 
    201  1.3.12.2  jdolecek 	default:
    202  1.3.12.2  jdolecek 		DPRINTF(("CTRL/0x%02x/RDX\n", lp->stype));
    203  1.3.12.2  jdolecek 		ldc_reset(lc);
    204  1.3.12.2  jdolecek 		break;
    205  1.3.12.2  jdolecek 	}
    206  1.3.12.2  jdolecek }
    207  1.3.12.2  jdolecek 
    208  1.3.12.2  jdolecek void
    209  1.3.12.2  jdolecek ldc_rx_data(struct ldc_conn *lc, struct ldc_pkt *lp)
    210  1.3.12.2  jdolecek {
    211  1.3.12.2  jdolecek 	size_t len;
    212  1.3.12.2  jdolecek 
    213  1.3.12.2  jdolecek 	if (lp->stype != LDC_INFO) {
    214  1.3.12.2  jdolecek 		DPRINTF(("DATA/0x%02x\n", lp->stype));
    215  1.3.12.2  jdolecek 		ldc_reset(lc);
    216  1.3.12.2  jdolecek 		return;
    217  1.3.12.2  jdolecek 	}
    218  1.3.12.2  jdolecek 
    219  1.3.12.2  jdolecek 	if (lc->lc_state != LDC_SND_RTR &&
    220  1.3.12.2  jdolecek 	    lc->lc_state != LDC_SND_RDX) {
    221  1.3.12.2  jdolecek 		DPRINTF(("Spurious DATA/INFO: state %d\n", lc->lc_state));
    222  1.3.12.2  jdolecek 		ldc_reset(lc);
    223  1.3.12.2  jdolecek 		return;
    224  1.3.12.2  jdolecek 	}
    225  1.3.12.2  jdolecek 
    226  1.3.12.2  jdolecek 	if (lp->env & LDC_FRAG_START) {
    227  1.3.12.2  jdolecek 		lc->lc_len = (lp->env & LDC_LEN_MASK) + 8;
    228  1.3.12.2  jdolecek 		KASSERT(lc->lc_len <= sizeof(lc->lc_msg));
    229  1.3.12.2  jdolecek 		memcpy((uint8_t *)lc->lc_msg, lp, lc->lc_len);
    230  1.3.12.2  jdolecek 	} else {
    231  1.3.12.2  jdolecek 		len = (lp->env & LDC_LEN_MASK);
    232  1.3.12.2  jdolecek 		if (lc->lc_len + len > sizeof(lc->lc_msg)) {
    233  1.3.12.2  jdolecek 			DPRINTF(("Buffer overrun\n"));
    234  1.3.12.2  jdolecek 			ldc_reset(lc);
    235  1.3.12.2  jdolecek 			return;
    236  1.3.12.2  jdolecek 		}
    237  1.3.12.2  jdolecek 		memcpy(((uint8_t *)lc->lc_msg) + lc->lc_len, &lp->major, len);
    238  1.3.12.2  jdolecek 		lc->lc_len += len;
    239  1.3.12.2  jdolecek 	}
    240  1.3.12.2  jdolecek 
    241  1.3.12.2  jdolecek 	if (lp->env & LDC_FRAG_STOP)
    242  1.3.12.2  jdolecek 		lc->lc_rx_data(lc, (struct ldc_pkt *)lc->lc_msg);
    243  1.3.12.2  jdolecek }
    244  1.3.12.2  jdolecek 
    245  1.3.12.2  jdolecek void
    246  1.3.12.2  jdolecek ldc_send_vers(struct ldc_conn *lc)
    247  1.3.12.2  jdolecek {
    248  1.3.12.2  jdolecek 	struct ldc_pkt *lp;
    249  1.3.12.2  jdolecek 	uint64_t tx_head, tx_tail, tx_state;
    250  1.3.12.2  jdolecek 	int err;
    251  1.3.12.2  jdolecek 
    252  1.3.12.2  jdolecek 	mutex_enter(&lc->lc_txq->lq_mtx);
    253  1.3.12.2  jdolecek 	err = hv_ldc_tx_get_state(lc->lc_id, &tx_head, &tx_tail, &tx_state);
    254  1.3.12.2  jdolecek 	if (err != H_EOK || tx_state != LDC_CHANNEL_UP) {
    255  1.3.12.2  jdolecek 		mutex_exit(&lc->lc_txq->lq_mtx);
    256  1.3.12.2  jdolecek 		return;
    257  1.3.12.2  jdolecek 	}
    258  1.3.12.2  jdolecek 
    259  1.3.12.2  jdolecek 	lp = (struct ldc_pkt *)(uintptr_t)(lc->lc_txq->lq_va + tx_tail);
    260  1.3.12.2  jdolecek 	bzero(lp, sizeof(struct ldc_pkt));
    261  1.3.12.2  jdolecek 	lp->type = LDC_CTRL;
    262  1.3.12.2  jdolecek 	lp->stype = LDC_INFO;
    263  1.3.12.2  jdolecek 	lp->ctrl = LDC_VERS;
    264  1.3.12.2  jdolecek 	lp->major = 1;
    265  1.3.12.2  jdolecek 	lp->minor = 0;
    266  1.3.12.2  jdolecek 
    267  1.3.12.2  jdolecek 	tx_tail += sizeof(*lp);
    268  1.3.12.2  jdolecek 	tx_tail &= ((lc->lc_txq->lq_nentries * sizeof(*lp)) - 1);
    269  1.3.12.2  jdolecek 	err = hv_ldc_tx_set_qtail(lc->lc_id, tx_tail);
    270  1.3.12.2  jdolecek 	if (err != H_EOK) {
    271  1.3.12.2  jdolecek 		printf("%s: hv_ldc_tx_set_qtail: %d\n", __func__, err);
    272  1.3.12.2  jdolecek 		mutex_exit(&lc->lc_txq->lq_mtx);
    273  1.3.12.2  jdolecek 		return;
    274  1.3.12.2  jdolecek 	}
    275  1.3.12.2  jdolecek 
    276  1.3.12.2  jdolecek 	lc->lc_state = LDC_SND_VERS;
    277  1.3.12.2  jdolecek 	mutex_exit(&lc->lc_txq->lq_mtx);
    278  1.3.12.2  jdolecek }
    279  1.3.12.2  jdolecek 
    280  1.3.12.2  jdolecek void
    281  1.3.12.2  jdolecek ldc_send_ack(struct ldc_conn *lc)
    282  1.3.12.2  jdolecek {
    283  1.3.12.2  jdolecek 	struct ldc_pkt *lp;
    284  1.3.12.2  jdolecek 	uint64_t tx_head, tx_tail, tx_state;
    285  1.3.12.2  jdolecek 	int err;
    286  1.3.12.2  jdolecek 
    287  1.3.12.2  jdolecek 	mutex_enter(&lc->lc_txq->lq_mtx);
    288  1.3.12.2  jdolecek 	err = hv_ldc_tx_get_state(lc->lc_id, &tx_head, &tx_tail, &tx_state);
    289  1.3.12.2  jdolecek 	if (err != H_EOK || tx_state != LDC_CHANNEL_UP) {
    290  1.3.12.2  jdolecek 		mutex_exit(&lc->lc_txq->lq_mtx);
    291  1.3.12.2  jdolecek 		return;
    292  1.3.12.2  jdolecek 	}
    293  1.3.12.2  jdolecek 
    294  1.3.12.2  jdolecek 	lp = (struct ldc_pkt *)(uintptr_t)(lc->lc_txq->lq_va + tx_tail);
    295  1.3.12.2  jdolecek 	bzero(lp, sizeof(struct ldc_pkt));
    296  1.3.12.2  jdolecek 	lp->type = LDC_CTRL;
    297  1.3.12.2  jdolecek 	lp->stype = LDC_ACK;
    298  1.3.12.2  jdolecek 	lp->ctrl = LDC_VERS;
    299  1.3.12.2  jdolecek 	lp->major = 1;
    300  1.3.12.2  jdolecek 	lp->minor = 0;
    301  1.3.12.2  jdolecek 
    302  1.3.12.2  jdolecek 	tx_tail += sizeof(*lp);
    303  1.3.12.2  jdolecek 	tx_tail &= ((lc->lc_txq->lq_nentries * sizeof(*lp)) - 1);
    304  1.3.12.2  jdolecek 	err = hv_ldc_tx_set_qtail(lc->lc_id, tx_tail);
    305  1.3.12.2  jdolecek 	if (err != H_EOK) {
    306  1.3.12.2  jdolecek 		printf("%s: hv_ldc_tx_set_qtail: %d\n", __func__, err);
    307  1.3.12.2  jdolecek 		mutex_exit(&lc->lc_txq->lq_mtx);
    308  1.3.12.2  jdolecek 		return;
    309  1.3.12.2  jdolecek 	}
    310  1.3.12.2  jdolecek 
    311  1.3.12.2  jdolecek 	lc->lc_state = LDC_RCV_VERS;
    312  1.3.12.2  jdolecek 	mutex_exit(&lc->lc_txq->lq_mtx);
    313  1.3.12.2  jdolecek }
    314  1.3.12.2  jdolecek 
    315  1.3.12.2  jdolecek void
    316  1.3.12.2  jdolecek ldc_send_rts(struct ldc_conn *lc)
    317  1.3.12.2  jdolecek {
    318  1.3.12.2  jdolecek 	struct ldc_pkt *lp;
    319  1.3.12.2  jdolecek 	uint64_t tx_head, tx_tail, tx_state;
    320  1.3.12.2  jdolecek 	int err;
    321  1.3.12.2  jdolecek 
    322  1.3.12.2  jdolecek 	mutex_enter(&lc->lc_txq->lq_mtx);
    323  1.3.12.2  jdolecek 	err = hv_ldc_tx_get_state(lc->lc_id, &tx_head, &tx_tail, &tx_state);
    324  1.3.12.2  jdolecek 	if (err != H_EOK || tx_state != LDC_CHANNEL_UP) {
    325  1.3.12.2  jdolecek 		mutex_exit(&lc->lc_txq->lq_mtx);
    326  1.3.12.2  jdolecek 		return;
    327  1.3.12.2  jdolecek 	}
    328  1.3.12.2  jdolecek 
    329  1.3.12.2  jdolecek 	lp = (struct ldc_pkt *)(uintptr_t)(lc->lc_txq->lq_va + tx_tail);
    330  1.3.12.2  jdolecek 	bzero(lp, sizeof(struct ldc_pkt));
    331  1.3.12.2  jdolecek 	lp->type = LDC_CTRL;
    332  1.3.12.2  jdolecek 	lp->stype = LDC_INFO;
    333  1.3.12.2  jdolecek 	lp->ctrl = LDC_RTS;
    334  1.3.12.2  jdolecek 	lp->env = LDC_MODE_UNRELIABLE;
    335  1.3.12.2  jdolecek 	lp->seqid = lc->lc_tx_seqid++;
    336  1.3.12.2  jdolecek 
    337  1.3.12.2  jdolecek 	tx_tail += sizeof(*lp);
    338  1.3.12.2  jdolecek 	tx_tail &= ((lc->lc_txq->lq_nentries * sizeof(*lp)) - 1);
    339  1.3.12.2  jdolecek 	err = hv_ldc_tx_set_qtail(lc->lc_id, tx_tail);
    340  1.3.12.2  jdolecek 	if (err != H_EOK) {
    341  1.3.12.2  jdolecek 		printf("%s: hv_ldc_tx_set_qtail: %d\n", __func__, err);
    342  1.3.12.2  jdolecek 		mutex_exit(&lc->lc_txq->lq_mtx);
    343  1.3.12.2  jdolecek 		return;
    344  1.3.12.2  jdolecek 	}
    345  1.3.12.2  jdolecek 
    346  1.3.12.2  jdolecek 	lc->lc_state = LDC_SND_RTS;
    347  1.3.12.2  jdolecek 	mutex_exit(&lc->lc_txq->lq_mtx);
    348  1.3.12.2  jdolecek }
    349  1.3.12.2  jdolecek 
    350  1.3.12.2  jdolecek void
    351  1.3.12.2  jdolecek ldc_send_rtr(struct ldc_conn *lc)
    352  1.3.12.2  jdolecek {
    353  1.3.12.2  jdolecek 	struct ldc_pkt *lp;
    354  1.3.12.2  jdolecek 	uint64_t tx_head, tx_tail, tx_state;
    355  1.3.12.2  jdolecek 	int err;
    356  1.3.12.2  jdolecek 
    357  1.3.12.2  jdolecek 	mutex_enter(&lc->lc_txq->lq_mtx);
    358  1.3.12.2  jdolecek 	err = hv_ldc_tx_get_state(lc->lc_id, &tx_head, &tx_tail, &tx_state);
    359  1.3.12.2  jdolecek 	if (err != H_EOK || tx_state != LDC_CHANNEL_UP) {
    360  1.3.12.2  jdolecek 		mutex_exit(&lc->lc_txq->lq_mtx);
    361  1.3.12.2  jdolecek 		return;
    362  1.3.12.2  jdolecek 	}
    363  1.3.12.2  jdolecek 
    364  1.3.12.2  jdolecek 	lp = (struct ldc_pkt *)(uintptr_t)(lc->lc_txq->lq_va + tx_tail);
    365  1.3.12.2  jdolecek 	bzero(lp, sizeof(struct ldc_pkt));
    366  1.3.12.2  jdolecek 	lp->type = LDC_CTRL;
    367  1.3.12.2  jdolecek 	lp->stype = LDC_INFO;
    368  1.3.12.2  jdolecek 	lp->ctrl = LDC_RTR;
    369  1.3.12.2  jdolecek 	lp->env = LDC_MODE_UNRELIABLE;
    370  1.3.12.2  jdolecek 	lp->seqid = lc->lc_tx_seqid++;
    371  1.3.12.2  jdolecek 
    372  1.3.12.2  jdolecek 	tx_tail += sizeof(*lp);
    373  1.3.12.2  jdolecek 	tx_tail &= ((lc->lc_txq->lq_nentries * sizeof(*lp)) - 1);
    374  1.3.12.2  jdolecek 	err = hv_ldc_tx_set_qtail(lc->lc_id, tx_tail);
    375  1.3.12.2  jdolecek 	if (err != H_EOK) {
    376  1.3.12.2  jdolecek 		printf("%s: hv_ldc_tx_set_qtail: %d\n", __func__, err);
    377  1.3.12.2  jdolecek 		mutex_exit(&lc->lc_txq->lq_mtx);
    378  1.3.12.2  jdolecek 		return;
    379  1.3.12.2  jdolecek 	}
    380  1.3.12.2  jdolecek 
    381  1.3.12.2  jdolecek 	lc->lc_state = LDC_SND_RTR;
    382  1.3.12.2  jdolecek 	mutex_exit(&lc->lc_txq->lq_mtx);
    383  1.3.12.2  jdolecek }
    384  1.3.12.2  jdolecek 
    385  1.3.12.2  jdolecek void
    386  1.3.12.2  jdolecek ldc_send_rdx(struct ldc_conn *lc)
    387  1.3.12.2  jdolecek {
    388  1.3.12.2  jdolecek 	struct ldc_pkt *lp;
    389  1.3.12.2  jdolecek 	uint64_t tx_head, tx_tail, tx_state;
    390  1.3.12.2  jdolecek 	int err;
    391  1.3.12.2  jdolecek 
    392  1.3.12.2  jdolecek 	mutex_enter(&lc->lc_txq->lq_mtx);
    393  1.3.12.2  jdolecek 	err = hv_ldc_tx_get_state(lc->lc_id, &tx_head, &tx_tail, &tx_state);
    394  1.3.12.2  jdolecek 	if (err != H_EOK || tx_state != LDC_CHANNEL_UP) {
    395  1.3.12.2  jdolecek 		mutex_exit(&lc->lc_txq->lq_mtx);
    396  1.3.12.2  jdolecek 		return;
    397  1.3.12.2  jdolecek 	}
    398  1.3.12.2  jdolecek 
    399  1.3.12.2  jdolecek 	lp = (struct ldc_pkt *)(uintptr_t)(lc->lc_txq->lq_va + tx_tail);
    400  1.3.12.2  jdolecek 	bzero(lp, sizeof(struct ldc_pkt));
    401  1.3.12.2  jdolecek 	lp->type = LDC_CTRL;
    402  1.3.12.2  jdolecek 	lp->stype = LDC_INFO;
    403  1.3.12.2  jdolecek 	lp->ctrl = LDC_RDX;
    404  1.3.12.2  jdolecek 	lp->env = LDC_MODE_UNRELIABLE;
    405  1.3.12.2  jdolecek 	lp->seqid = lc->lc_tx_seqid++;
    406  1.3.12.2  jdolecek 
    407  1.3.12.2  jdolecek 	tx_tail += sizeof(*lp);
    408  1.3.12.2  jdolecek 	tx_tail &= ((lc->lc_txq->lq_nentries * sizeof(*lp)) - 1);
    409  1.3.12.2  jdolecek 	err = hv_ldc_tx_set_qtail(lc->lc_id, tx_tail);
    410  1.3.12.2  jdolecek 	if (err != H_EOK) {
    411  1.3.12.2  jdolecek 		printf("%s: hv_ldc_tx_set_qtail: %d\n", __func__, err);
    412  1.3.12.2  jdolecek 		mutex_exit(&lc->lc_txq->lq_mtx);
    413  1.3.12.2  jdolecek 		return;
    414  1.3.12.2  jdolecek 	}
    415  1.3.12.2  jdolecek 
    416  1.3.12.2  jdolecek 	lc->lc_state = LDC_SND_RDX;
    417  1.3.12.2  jdolecek 	mutex_exit(&lc->lc_txq->lq_mtx);
    418  1.3.12.2  jdolecek }
    419  1.3.12.2  jdolecek 
    420  1.3.12.2  jdolecek int
    421  1.3.12.2  jdolecek ldc_send_unreliable(struct ldc_conn *lc, void *msg, size_t len)
    422  1.3.12.2  jdolecek {
    423  1.3.12.2  jdolecek 	struct ldc_pkt *lp;
    424  1.3.12.2  jdolecek 	uint64_t tx_head, tx_tail, tx_state;
    425  1.3.12.2  jdolecek 	uint64_t tx_avail;
    426  1.3.12.2  jdolecek 	uint8_t *p = msg;
    427  1.3.12.2  jdolecek 	int err;
    428  1.3.12.2  jdolecek 
    429  1.3.12.2  jdolecek 	mutex_enter(&lc->lc_txq->lq_mtx);
    430  1.3.12.2  jdolecek 	err = hv_ldc_tx_get_state(lc->lc_id, &tx_head, &tx_tail, &tx_state);
    431  1.3.12.2  jdolecek 	if (err != H_EOK || tx_state != LDC_CHANNEL_UP) {
    432  1.3.12.2  jdolecek 		mutex_exit(&lc->lc_txq->lq_mtx);
    433  1.3.12.2  jdolecek 		return (EIO);
    434  1.3.12.2  jdolecek 	}
    435  1.3.12.2  jdolecek 
    436  1.3.12.2  jdolecek 	tx_avail = (tx_head - tx_tail) / sizeof(*lp) +
    437  1.3.12.2  jdolecek 	    lc->lc_txq->lq_nentries - 1;
    438  1.3.12.2  jdolecek 	tx_avail %= lc->lc_txq->lq_nentries;
    439  1.3.12.2  jdolecek 	if (len > tx_avail * LDC_PKT_PAYLOAD) {
    440  1.3.12.2  jdolecek 		mutex_exit(&lc->lc_txq->lq_mtx);
    441  1.3.12.2  jdolecek 		return (EWOULDBLOCK);
    442  1.3.12.2  jdolecek 	}
    443  1.3.12.2  jdolecek 
    444  1.3.12.2  jdolecek 	while (len > 0) {
    445  1.3.12.2  jdolecek 		lp = (struct ldc_pkt *)(uintptr_t)(lc->lc_txq->lq_va + tx_tail);
    446  1.3.12.2  jdolecek 		bzero(lp, sizeof(struct ldc_pkt));
    447  1.3.12.2  jdolecek 		lp->type = LDC_DATA;
    448  1.3.12.2  jdolecek 		lp->stype = LDC_INFO;
    449  1.3.12.2  jdolecek 		lp->env = min(len, LDC_PKT_PAYLOAD);
    450  1.3.12.2  jdolecek 		if (p == msg)
    451  1.3.12.2  jdolecek 			lp->env |= LDC_FRAG_START;
    452  1.3.12.2  jdolecek 		if (len <= LDC_PKT_PAYLOAD)
    453  1.3.12.2  jdolecek 			lp->env |= LDC_FRAG_STOP;
    454  1.3.12.2  jdolecek 		lp->seqid = lc->lc_tx_seqid++;
    455  1.3.12.2  jdolecek 		bcopy(p, &lp->major, min(len, LDC_PKT_PAYLOAD));
    456  1.3.12.2  jdolecek 
    457  1.3.12.2  jdolecek 		tx_tail += sizeof(*lp);
    458  1.3.12.2  jdolecek 		tx_tail &= ((lc->lc_txq->lq_nentries * sizeof(*lp)) - 1);
    459  1.3.12.2  jdolecek 		err = hv_ldc_tx_set_qtail(lc->lc_id, tx_tail);
    460  1.3.12.2  jdolecek 		if (err != H_EOK) {
    461  1.3.12.2  jdolecek 			printf("%s: hv_ldc_tx_set_qtail: %d\n", __func__, err);
    462  1.3.12.2  jdolecek 			mutex_exit(&lc->lc_txq->lq_mtx);
    463  1.3.12.2  jdolecek 			return (EIO);
    464  1.3.12.2  jdolecek 		}
    465  1.3.12.2  jdolecek 		p += min(len, LDC_PKT_PAYLOAD);
    466  1.3.12.2  jdolecek 		len -= min(len, LDC_PKT_PAYLOAD);
    467  1.3.12.2  jdolecek 	}
    468  1.3.12.2  jdolecek 
    469  1.3.12.2  jdolecek 	mutex_exit(&lc->lc_txq->lq_mtx);
    470  1.3.12.2  jdolecek 	return (0);
    471  1.3.12.2  jdolecek }
    472  1.3.12.2  jdolecek 
    473  1.3.12.2  jdolecek void
    474  1.3.12.2  jdolecek ldc_reset(struct ldc_conn *lc)
    475  1.3.12.2  jdolecek {
    476  1.3.12.2  jdolecek 	int err;
    477  1.3.12.2  jdolecek 	vaddr_t va;
    478  1.3.12.2  jdolecek 	paddr_t pa;
    479  1.3.12.2  jdolecek 
    480  1.3.12.2  jdolecek 	DPRINTF(("Resetting connection\n"));
    481  1.3.12.2  jdolecek 
    482  1.3.12.2  jdolecek 	mutex_enter(&lc->lc_txq->lq_mtx);
    483  1.3.12.2  jdolecek 
    484  1.3.12.2  jdolecek #if OPENBSD_BUSDMA
    485  1.3.12.2  jdolecek 	err = hv_ldc_tx_qconf(lc->lc_id,
    486  1.3.12.2  jdolecek 	    lc->lc_txq->lq_map->dm_segs[0].ds_addr, lc->lc_txq->lq_nentries);
    487  1.3.12.2  jdolecek #else
    488  1.3.12.2  jdolecek         va = lc->lc_txq->lq_va;
    489  1.3.12.2  jdolecek 	pa = 0;
    490  1.3.12.2  jdolecek 	if (pmap_extract(pmap_kernel(), va, &pa) == FALSE)
    491  1.3.12.2  jdolecek 	  panic("pmap_extract failed %lx\n", va);
    492  1.3.12.2  jdolecek 	err = hv_ldc_tx_qconf(lc->lc_id, pa, lc->lc_txq->lq_nentries);
    493  1.3.12.2  jdolecek #endif
    494  1.3.12.2  jdolecek 	if (err != H_EOK)
    495  1.3.12.2  jdolecek 		printf("%s: hv_ldc_tx_qconf %d\n", __func__, err);
    496  1.3.12.2  jdolecek 
    497  1.3.12.2  jdolecek #if OPENBSD_BUSDMA
    498  1.3.12.2  jdolecek 	err = hv_ldc_rx_qconf(lc->lc_id,
    499  1.3.12.2  jdolecek 	    lc->lc_rxq->lq_map->dm_segs[0].ds_addr, lc->lc_rxq->lq_nentries);
    500  1.3.12.2  jdolecek #else
    501  1.3.12.2  jdolecek         va = lc->lc_rxq->lq_va;
    502  1.3.12.2  jdolecek 	pa = 0;
    503  1.3.12.2  jdolecek 	if (pmap_extract(pmap_kernel(), va, &pa) == FALSE)
    504  1.3.12.2  jdolecek 	  panic("pmap_extract failed %lx\n", va);
    505  1.3.12.2  jdolecek 	err = hv_ldc_tx_qconf(lc->lc_id, pa, lc->lc_rxq->lq_nentries);
    506  1.3.12.2  jdolecek #endif
    507  1.3.12.2  jdolecek 	if (err != H_EOK)
    508  1.3.12.2  jdolecek 		printf("%s: hv_ldc_rx_qconf %d\n", __func__, err);
    509  1.3.12.2  jdolecek 
    510  1.3.12.2  jdolecek 	lc->lc_tx_seqid = 0;
    511  1.3.12.2  jdolecek 	lc->lc_state = 0;
    512  1.3.12.2  jdolecek 	lc->lc_tx_state = lc->lc_rx_state = LDC_CHANNEL_DOWN;
    513  1.3.12.2  jdolecek 	mutex_exit(&lc->lc_txq->lq_mtx);
    514  1.3.12.2  jdolecek 
    515  1.3.12.2  jdolecek 	lc->lc_reset(lc);
    516  1.3.12.2  jdolecek }
    517  1.3.12.2  jdolecek #if OPENBSD_BUSDMA
    518  1.3.12.2  jdolecek struct ldc_queue *
    519  1.3.12.2  jdolecek ldc_queue_alloc(bus_dma_tag_t t, int nentries)
    520  1.3.12.2  jdolecek #else
    521  1.3.12.2  jdolecek struct ldc_queue *
    522  1.3.12.2  jdolecek ldc_queue_alloc(int nentries)
    523  1.3.12.2  jdolecek #endif
    524  1.3.12.2  jdolecek {
    525  1.3.12.2  jdolecek 	struct ldc_queue *lq;
    526  1.3.12.2  jdolecek 	bus_size_t size;
    527  1.3.12.2  jdolecek 	vaddr_t va = 0;
    528  1.3.12.2  jdolecek #if OPENBSD_BUSDMA
    529  1.3.12.2  jdolecek 	int nsegs;
    530  1.3.12.2  jdolecek #endif
    531  1.3.12.2  jdolecek 
    532  1.3.12.2  jdolecek 	lq = kmem_zalloc(sizeof(struct ldc_queue), KM_NOSLEEP);
    533  1.3.12.2  jdolecek 	if (lq == NULL)
    534  1.3.12.2  jdolecek 		return NULL;
    535  1.3.12.2  jdolecek 
    536  1.3.12.2  jdolecek 	mutex_init(&lq->lq_mtx, MUTEX_DEFAULT, IPL_TTY);
    537  1.3.12.2  jdolecek 
    538  1.3.12.2  jdolecek 	size = roundup(nentries * sizeof(struct ldc_pkt), PAGE_SIZE);
    539  1.3.12.2  jdolecek #if OPENBSD_BUSDMA
    540  1.3.12.2  jdolecek 	if (bus_dmamap_create(t, size, 1, size, 0,
    541  1.3.12.2  jdolecek 	    BUS_DMA_NOWAIT | BUS_DMA_ALLOCNOW, &lq->lq_map) != 0)
    542  1.3.12.2  jdolecek 		return (NULL);
    543  1.3.12.2  jdolecek 
    544  1.3.12.2  jdolecek 	if (bus_dmamem_alloc(t, size, PAGE_SIZE, 0, &lq->lq_seg, 1,
    545  1.3.12.2  jdolecek 	    &nsegs, BUS_DMA_NOWAIT) != 0)
    546  1.3.12.2  jdolecek 		goto destroy;
    547  1.3.12.2  jdolecek 
    548  1.3.12.2  jdolecek 	if (bus_dmamem_map(t, &lq->lq_seg, 1, size, (void *)&va,
    549  1.3.12.2  jdolecek 	    BUS_DMA_NOWAIT) != 0)
    550  1.3.12.2  jdolecek 		goto free;
    551  1.3.12.2  jdolecek 
    552  1.3.12.2  jdolecek 	 if (bus_dmamap_load(t, lq->lq_map, (void*)va, size, NULL,
    553  1.3.12.2  jdolecek 	    BUS_DMA_NOWAIT) != 0)
    554  1.3.12.2  jdolecek 		goto unmap;
    555  1.3.12.2  jdolecek #else
    556  1.3.12.2  jdolecek 	 va = (vaddr_t)kmem_zalloc(size, KM_NOSLEEP);
    557  1.3.12.2  jdolecek 	 if (va == 0)
    558  1.3.12.2  jdolecek 		goto free;
    559  1.3.12.2  jdolecek #endif
    560  1.3.12.2  jdolecek 	lq->lq_va = (vaddr_t)va;
    561  1.3.12.2  jdolecek 	lq->lq_nentries = nentries;
    562  1.3.12.2  jdolecek 	return (lq);
    563  1.3.12.2  jdolecek #if OPENBSD_BUSDMA
    564  1.3.12.2  jdolecek unmap:
    565  1.3.12.2  jdolecek 	bus_dmamem_unmap(t, (void*)va, size);
    566  1.3.12.2  jdolecek free:
    567  1.3.12.2  jdolecek 	bus_dmamem_free(t, &lq->lq_seg, 1);
    568  1.3.12.2  jdolecek destroy:
    569  1.3.12.2  jdolecek 	bus_dmamap_destroy(t, lq->lq_map);
    570  1.3.12.2  jdolecek #else
    571  1.3.12.2  jdolecek free:
    572  1.3.12.2  jdolecek 	kmem_free(lq, sizeof(struct ldc_queue));
    573  1.3.12.2  jdolecek #endif
    574  1.3.12.2  jdolecek 	return (NULL);
    575  1.3.12.2  jdolecek }
    576  1.3.12.2  jdolecek 
    577  1.3.12.2  jdolecek void
    578  1.3.12.2  jdolecek #if OPENBSD_BUSDMA
    579  1.3.12.2  jdolecek ldc_queue_free(bus_dma_tag_t t, struct ldc_queue *lq)
    580  1.3.12.2  jdolecek #else
    581  1.3.12.2  jdolecek ldc_queue_free(struct ldc_queue *lq)
    582  1.3.12.2  jdolecek #endif
    583  1.3.12.2  jdolecek {
    584  1.3.12.2  jdolecek 	bus_size_t size;
    585  1.3.12.2  jdolecek 
    586  1.3.12.2  jdolecek 	size = roundup(lq->lq_nentries * sizeof(struct ldc_pkt), PAGE_SIZE);
    587  1.3.12.2  jdolecek 
    588  1.3.12.2  jdolecek #if OPENBSD_BUSDMA
    589  1.3.12.2  jdolecek 	bus_dmamap_unload(t, lq->lq_map);
    590  1.3.12.2  jdolecek 	bus_dmamem_unmap(t, &lq->lq_va, size);
    591  1.3.12.2  jdolecek 	bus_dmamem_free(t, &lq->lq_seg, 1);
    592  1.3.12.2  jdolecek 	bus_dmamap_destroy(t, lq->lq_map);
    593  1.3.12.2  jdolecek #else
    594  1.3.12.2  jdolecek 	kmem_free((void *)lq->lq_va, size);
    595  1.3.12.2  jdolecek #endif
    596  1.3.12.2  jdolecek 	kmem_free(lq, size);
    597  1.3.12.2  jdolecek }
    598  1.3.12.2  jdolecek 
    599  1.3.12.2  jdolecek #if OPENBSD_BUSDMA
    600  1.3.12.2  jdolecek struct ldc_map *
    601  1.3.12.2  jdolecek ldc_map_alloc(bus_dma_tag_t t, int nentries)
    602  1.3.12.2  jdolecek #else
    603  1.3.12.2  jdolecek struct ldc_map *
    604  1.3.12.2  jdolecek ldc_map_alloc(int nentries)
    605  1.3.12.2  jdolecek #endif
    606  1.3.12.2  jdolecek {
    607  1.3.12.2  jdolecek 	struct ldc_map *lm;
    608  1.3.12.2  jdolecek 	bus_size_t size;
    609  1.3.12.2  jdolecek 	vaddr_t va = 0;
    610  1.3.12.2  jdolecek 
    611  1.3.12.2  jdolecek #if OPENBSD_BUSDMA
    612  1.3.12.2  jdolecek 	int nsegs;
    613  1.3.12.2  jdolecek #endif
    614  1.3.12.2  jdolecek 	lm = kmem_zalloc(sizeof(struct ldc_map), KM_NOSLEEP);
    615  1.3.12.2  jdolecek 	if (lm == NULL)
    616  1.3.12.2  jdolecek 		return NULL;
    617  1.3.12.2  jdolecek 
    618  1.3.12.2  jdolecek 	size = roundup(nentries * sizeof(struct ldc_map_slot), PAGE_SIZE);
    619  1.3.12.2  jdolecek 
    620  1.3.12.2  jdolecek #if OPENBSD_BUSDMA
    621  1.3.12.2  jdolecek 	if (bus_dmamap_create(t, size, 1, size, 0,
    622  1.3.12.2  jdolecek 			      BUS_DMA_NOWAIT | BUS_DMA_ALLOCNOW, &lm->lm_map) != 0) {
    623  1.3.12.2  jdolecek 		DPRINTF(("ldc_map_alloc() - bus_dmamap_create() failed\n"));
    624  1.3.12.2  jdolecek 		return (NULL);
    625  1.3.12.2  jdolecek 	}
    626  1.3.12.2  jdolecek 
    627  1.3.12.2  jdolecek 	if (bus_dmamem_alloc(t, size, PAGE_SIZE, 0, &lm->lm_seg, 1,
    628  1.3.12.2  jdolecek 			     &nsegs, BUS_DMA_NOWAIT) != 0) {
    629  1.3.12.2  jdolecek 		DPRINTF(("ldc_map_alloc() - bus_dmamem_alloc() failed\n"));
    630  1.3.12.2  jdolecek 		goto destroy;
    631  1.3.12.2  jdolecek 	}
    632  1.3.12.2  jdolecek 
    633  1.3.12.2  jdolecek 	if (bus_dmamem_map(t, &lm->lm_seg, 1, size, (void *)&va,
    634  1.3.12.2  jdolecek 			   BUS_DMA_NOWAIT) != 0) {
    635  1.3.12.2  jdolecek 		DPRINTF(("ldc_map_alloc() - bus_dmamem_map() failed\n"));
    636  1.3.12.2  jdolecek 		goto free;
    637  1.3.12.2  jdolecek 	}
    638  1.3.12.2  jdolecek 	if (bus_dmamap_load(t, lm->lm_map, (void*)va, size, NULL,
    639  1.3.12.2  jdolecek 			    BUS_DMA_NOWAIT) != 0) {
    640  1.3.12.2  jdolecek 		DPRINTF(("ldc_map_alloc() - bus_dmamap_load() failed\n"));
    641  1.3.12.2  jdolecek 		goto unmap;
    642  1.3.12.2  jdolecek 	}
    643  1.3.12.2  jdolecek #else
    644  1.3.12.2  jdolecek 	va = (vaddr_t)kmem_zalloc(size, KM_NOSLEEP);
    645  1.3.12.2  jdolecek 	if (va == 0)
    646  1.3.12.2  jdolecek 		goto free;
    647  1.3.12.2  jdolecek #endif
    648  1.3.12.2  jdolecek 	lm->lm_slot = (struct ldc_map_slot *)va;
    649  1.3.12.2  jdolecek 	lm->lm_nentries = nentries;
    650  1.3.12.2  jdolecek 	bzero(lm->lm_slot, nentries * sizeof(struct ldc_map_slot));
    651  1.3.12.2  jdolecek 	return (lm);
    652  1.3.12.2  jdolecek 
    653  1.3.12.2  jdolecek #if OPENBSD_BUSDMA
    654  1.3.12.2  jdolecek unmap:
    655  1.3.12.2  jdolecek 	bus_dmamem_unmap(t, (void*)va, size);
    656  1.3.12.2  jdolecek free:
    657  1.3.12.2  jdolecek 	bus_dmamem_free(t, &lm->lm_seg, 1);
    658  1.3.12.2  jdolecek destroy:
    659  1.3.12.2  jdolecek 	bus_dmamap_destroy(t, lm->lm_map);
    660  1.3.12.2  jdolecek #else
    661  1.3.12.2  jdolecek free:
    662  1.3.12.2  jdolecek 	kmem_free(lm, sizeof(struct ldc_map));
    663  1.3.12.2  jdolecek #endif
    664  1.3.12.2  jdolecek 	return (NULL);
    665  1.3.12.2  jdolecek }
    666  1.3.12.2  jdolecek 
    667  1.3.12.2  jdolecek #if OPENBSD_BUSDMA
    668  1.3.12.2  jdolecek void
    669  1.3.12.2  jdolecek ldc_map_free(bus_dma_tag_t t, struct ldc_map *lm)
    670  1.3.12.2  jdolecek #else
    671  1.3.12.2  jdolecek void
    672  1.3.12.2  jdolecek ldc_map_free(struct ldc_map *lm)
    673  1.3.12.2  jdolecek #endif
    674  1.3.12.2  jdolecek {
    675  1.3.12.2  jdolecek 	bus_size_t size;
    676  1.3.12.2  jdolecek 
    677  1.3.12.2  jdolecek 	size = lm->lm_nentries * sizeof(struct ldc_map_slot);
    678  1.3.12.2  jdolecek 	size = roundup(size, PAGE_SIZE);
    679  1.3.12.2  jdolecek 
    680  1.3.12.2  jdolecek #if OPENBSD_BUSDMA
    681  1.3.12.2  jdolecek 	bus_dmamap_unload(t, lm->lm_map);
    682  1.3.12.2  jdolecek 	bus_dmamem_unmap(t, lm->lm_slot, size);
    683  1.3.12.2  jdolecek 	bus_dmamem_free(t, &lm->lm_seg, 1);
    684  1.3.12.2  jdolecek 	bus_dmamap_destroy(t, lm->lm_map);
    685  1.3.12.2  jdolecek #else
    686  1.3.12.2  jdolecek 	kmem_free(lm->lm_slot, size);
    687  1.3.12.2  jdolecek #endif
    688  1.3.12.2  jdolecek 	kmem_free(lm, size);
    689  1.3.12.2  jdolecek }
    690