uturn.c revision 1.1.6.2 1 1.1.6.2 yamt /* $NetBSD: uturn.c,v 1.1.6.2 2014/05/22 11:39:50 yamt Exp $ */
2 1.1.6.2 yamt
3 1.1.6.2 yamt /* $OpenBSD: uturn.c,v 1.6 2007/12/29 01:26:14 kettenis Exp $ */
4 1.1.6.2 yamt
5 1.1.6.2 yamt /*-
6 1.1.6.2 yamt * Copyright (c) 2012 The NetBSD Foundation, Inc.
7 1.1.6.2 yamt * All rights reserved.
8 1.1.6.2 yamt *
9 1.1.6.2 yamt * This code is derived from software contributed to The NetBSD Foundation
10 1.1.6.2 yamt * by Nick Hudson.
11 1.1.6.2 yamt *
12 1.1.6.2 yamt * Redistribution and use in source and binary forms, with or without
13 1.1.6.2 yamt * modification, are permitted provided that the following conditions
14 1.1.6.2 yamt * are met:
15 1.1.6.2 yamt * 1. Redistributions of source code must retain the above copyright
16 1.1.6.2 yamt * notice, this list of conditions and the following disclaimer.
17 1.1.6.2 yamt * 2. Redistributions in binary form must reproduce the above copyright
18 1.1.6.2 yamt * notice, this list of conditions and the following disclaimer in the
19 1.1.6.2 yamt * documentation and/or other materials provided with the distribution.
20 1.1.6.2 yamt *
21 1.1.6.2 yamt * THIS SOFTWARE IS PROVIDED BY THE NETBSD FOUNDATION, INC. AND CONTRIBUTORS
22 1.1.6.2 yamt * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED
23 1.1.6.2 yamt * TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
24 1.1.6.2 yamt * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE FOUNDATION OR CONTRIBUTORS
25 1.1.6.2 yamt * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
26 1.1.6.2 yamt * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
27 1.1.6.2 yamt * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
28 1.1.6.2 yamt * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
29 1.1.6.2 yamt * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
30 1.1.6.2 yamt * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
31 1.1.6.2 yamt * POSSIBILITY OF SUCH DAMAGE.
32 1.1.6.2 yamt */
33 1.1.6.2 yamt
34 1.1.6.2 yamt /*
35 1.1.6.2 yamt * Copyright (c) 2007 Mark Kettenis
36 1.1.6.2 yamt *
37 1.1.6.2 yamt * Permission to use, copy, modify, and distribute this software for any
38 1.1.6.2 yamt * purpose with or without fee is hereby granted, provided that the above
39 1.1.6.2 yamt * copyright notice and this permission notice appear in all copies.
40 1.1.6.2 yamt *
41 1.1.6.2 yamt * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
42 1.1.6.2 yamt * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
43 1.1.6.2 yamt * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
44 1.1.6.2 yamt * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
45 1.1.6.2 yamt * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
46 1.1.6.2 yamt * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
47 1.1.6.2 yamt * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
48 1.1.6.2 yamt */
49 1.1.6.2 yamt
50 1.1.6.2 yamt /*
51 1.1.6.2 yamt * Copyright (c) 2004 Michael Shalayeff
52 1.1.6.2 yamt * All rights reserved.
53 1.1.6.2 yamt *
54 1.1.6.2 yamt * Redistribution and use in source and binary forms, with or without
55 1.1.6.2 yamt * modification, are permitted provided that the following conditions
56 1.1.6.2 yamt * are met:
57 1.1.6.2 yamt * 1. Redistributions of source code must retain the above copyright
58 1.1.6.2 yamt * notice, this list of conditions and the following disclaimer.
59 1.1.6.2 yamt * 2. Redistributions in binary form must reproduce the above copyright
60 1.1.6.2 yamt * notice, this list of conditions and the following disclaimer in the
61 1.1.6.2 yamt * documentation and/or other materials provided with the distribution.
62 1.1.6.2 yamt *
63 1.1.6.2 yamt * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
64 1.1.6.2 yamt * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
65 1.1.6.2 yamt * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
66 1.1.6.2 yamt * IN NO EVENT SHALL THE AUTHOR OR HIS RELATIVES BE LIABLE FOR ANY DIRECT,
67 1.1.6.2 yamt * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
68 1.1.6.2 yamt * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
69 1.1.6.2 yamt * SERVICES; LOSS OF MIND, USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
70 1.1.6.2 yamt * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
71 1.1.6.2 yamt * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING
72 1.1.6.2 yamt * IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
73 1.1.6.2 yamt * THE POSSIBILITY OF SUCH DAMAGE.
74 1.1.6.2 yamt */
75 1.1.6.2 yamt
76 1.1.6.2 yamt /*
77 1.1.6.2 yamt * References:
78 1.1.6.2 yamt * 1. Hardware Cache Coherent Input/Output. Hewlett-Packard Journal, February
79 1.1.6.2 yamt * 1996.
80 1.1.6.2 yamt * 2. PA-RISC 1.1 Architecture and Instruction Set Reference Manual,
81 1.1.6.2 yamt * Hewlett-Packard, February 1994, Third Edition
82 1.1.6.2 yamt */
83 1.1.6.2 yamt
84 1.1.6.2 yamt #include <sys/param.h>
85 1.1.6.2 yamt #include <sys/systm.h>
86 1.1.6.2 yamt #include <sys/device.h>
87 1.1.6.2 yamt #include <sys/reboot.h>
88 1.1.6.2 yamt #include <sys/malloc.h>
89 1.1.6.2 yamt #include <sys/extent.h>
90 1.1.6.2 yamt #include <sys/mbuf.h>
91 1.1.6.2 yamt #include <sys/tree.h>
92 1.1.6.2 yamt
93 1.1.6.2 yamt #include <uvm/uvm.h>
94 1.1.6.2 yamt
95 1.1.6.2 yamt #include <sys/bus.h>
96 1.1.6.2 yamt #include <machine/iomod.h>
97 1.1.6.2 yamt #include <machine/autoconf.h>
98 1.1.6.2 yamt
99 1.1.6.2 yamt #include <hppa/dev/cpudevs.h>
100 1.1.6.2 yamt
101 1.1.6.2 yamt #define UTURNDEBUG
102 1.1.6.2 yamt #ifdef UTURNDEBUG
103 1.1.6.2 yamt
104 1.1.6.2 yamt #define DPRINTF(s) do { \
105 1.1.6.2 yamt if (uturndebug) \
106 1.1.6.2 yamt printf s; \
107 1.1.6.2 yamt } while(0)
108 1.1.6.2 yamt
109 1.1.6.2 yamt int uturndebug = 0;
110 1.1.6.2 yamt #else
111 1.1.6.2 yamt #define DPRINTF(s) /* */
112 1.1.6.2 yamt #endif
113 1.1.6.2 yamt
114 1.1.6.2 yamt struct uturn_regs {
115 1.1.6.2 yamt /* Runway Supervisory Set */
116 1.1.6.2 yamt int32_t unused1[12];
117 1.1.6.2 yamt uint32_t io_command; /* Offset 12 */
118 1.1.6.2 yamt #define UTURN_CMD_TLB_PURGE 33 /* Purge I/O TLB entry */
119 1.1.6.2 yamt #define UTURN_CMD_TLB_DIRECT_WRITE 35 /* I/O TLB Writes */
120 1.1.6.2 yamt
121 1.1.6.2 yamt uint32_t io_status; /* Offset 13 */
122 1.1.6.2 yamt uint32_t io_control; /* Offset 14 */
123 1.1.6.2 yamt #define UTURN_IOCTRL_TLB_REAL 0x00000000
124 1.1.6.2 yamt #define UTURN_IOCTRL_TLB_ERROR 0x00010000
125 1.1.6.2 yamt #define UTURN_IOCTRL_TLB_NORMAL 0x00020000
126 1.1.6.2 yamt
127 1.1.6.2 yamt #define UTURN_IOCTRL_MODE_OFF 0x00000000
128 1.1.6.2 yamt #define UTURN_IOCTRL_MODE_INCLUDE 0x00000080
129 1.1.6.2 yamt #define UTURN_IOCTRL_MODE_PEEK 0x00000180
130 1.1.6.2 yamt
131 1.1.6.2 yamt #define UTURN_VIRTUAL_MODE \
132 1.1.6.2 yamt (UTURN_IOCTRL_TLB_NORMAL | UTURN_IOCTRL_MODE_INCLUDE)
133 1.1.6.2 yamt
134 1.1.6.2 yamt #define UTURN_REAL_MODE \
135 1.1.6.2 yamt UTURN_IOCTRL_MODE_INCLUDE
136 1.1.6.2 yamt
137 1.1.6.2 yamt int32_t unused2[1];
138 1.1.6.2 yamt
139 1.1.6.2 yamt /* Runway Auxiliary Register Set */
140 1.1.6.2 yamt uint32_t io_err_resp; /* Offset 0 */
141 1.1.6.2 yamt uint32_t io_err_info; /* Offset 1 */
142 1.1.6.2 yamt uint32_t io_err_req; /* Offset 2 */
143 1.1.6.2 yamt uint32_t io_err_resp_hi; /* Offset 3 */
144 1.1.6.2 yamt uint32_t io_tlb_entry_m; /* Offset 4 */
145 1.1.6.2 yamt uint32_t io_tlb_entry_l; /* Offset 5 */
146 1.1.6.2 yamt uint32_t unused3[1];
147 1.1.6.2 yamt uint32_t io_pdir_base; /* Offset 7 */
148 1.1.6.2 yamt uint32_t io_io_low_hv; /* Offset 8 */
149 1.1.6.2 yamt uint32_t io_io_high_hv; /* Offset 9 */
150 1.1.6.2 yamt uint32_t unused4[1];
151 1.1.6.2 yamt uint32_t io_chain_id_mask; /* Offset 11 */
152 1.1.6.2 yamt uint32_t unused5[2];
153 1.1.6.2 yamt uint32_t io_io_low; /* Offset 14 */
154 1.1.6.2 yamt uint32_t io_io_high; /* Offset 15 */
155 1.1.6.2 yamt };
156 1.1.6.2 yamt
157 1.1.6.2 yamt
158 1.1.6.2 yamt /* Uturn supports 256 TLB entries */
159 1.1.6.2 yamt #define UTURN_CHAINID_SHIFT 8
160 1.1.6.2 yamt #define UTURN_CHAINID_MASK 0xff
161 1.1.6.2 yamt #define UTURN_TLB_ENTRIES (1 << UTURN_CHAINID_SHIFT)
162 1.1.6.2 yamt
163 1.1.6.2 yamt #define UTURN_IOVP_SIZE PAGE_SIZE
164 1.1.6.2 yamt #define UTURN_IOVP_SHIFT PAGE_SHIFT
165 1.1.6.2 yamt #define UTURN_IOVP_MASK PAGE_MASK
166 1.1.6.2 yamt
167 1.1.6.2 yamt #define UTURN_IOVA(iovp, off) ((iovp) | (off))
168 1.1.6.2 yamt #define UTURN_IOVP(iova) ((iova) & UTURN_IOVP_MASK)
169 1.1.6.2 yamt #define UTURN_IOVA_INDEX(iova) ((iova) >> UTURN_IOVP_SHIFT)
170 1.1.6.2 yamt
171 1.1.6.2 yamt struct uturn_softc {
172 1.1.6.2 yamt device_t sc_dv;
173 1.1.6.2 yamt
174 1.1.6.2 yamt bus_dma_tag_t sc_dmat;
175 1.1.6.2 yamt struct uturn_regs volatile *sc_regs;
176 1.1.6.2 yamt uint64_t *sc_pdir;
177 1.1.6.2 yamt uint32_t sc_chainid_shift;
178 1.1.6.2 yamt
179 1.1.6.2 yamt char sc_mapname[20];
180 1.1.6.2 yamt struct extent *sc_map;
181 1.1.6.2 yamt
182 1.1.6.2 yamt struct hppa_bus_dma_tag sc_dmatag;
183 1.1.6.2 yamt };
184 1.1.6.2 yamt
185 1.1.6.2 yamt /*
186 1.1.6.2 yamt * per-map IOVA page table
187 1.1.6.2 yamt */
188 1.1.6.2 yamt struct uturn_page_entry {
189 1.1.6.2 yamt SPLAY_ENTRY(uturn_page_entry) upe_node;
190 1.1.6.2 yamt paddr_t upe_pa;
191 1.1.6.2 yamt vaddr_t upe_va;
192 1.1.6.2 yamt bus_addr_t upe_iova;
193 1.1.6.2 yamt };
194 1.1.6.2 yamt
195 1.1.6.2 yamt struct uturn_page_map {
196 1.1.6.2 yamt SPLAY_HEAD(uturn_page_tree, uturn_page_entry) upm_tree;
197 1.1.6.2 yamt int upm_maxpage; /* Size of allocated page map */
198 1.1.6.2 yamt int upm_pagecnt; /* Number of entries in use */
199 1.1.6.2 yamt struct uturn_page_entry upm_map[1];
200 1.1.6.2 yamt };
201 1.1.6.2 yamt
202 1.1.6.2 yamt /*
203 1.1.6.2 yamt * per-map UTURN state
204 1.1.6.2 yamt */
205 1.1.6.2 yamt struct uturn_map_state {
206 1.1.6.2 yamt struct uturn_softc *ums_sc;
207 1.1.6.2 yamt bus_addr_t ums_iovastart;
208 1.1.6.2 yamt bus_size_t ums_iovasize;
209 1.1.6.2 yamt struct uturn_page_map ums_map; /* map must be last (array at end) */
210 1.1.6.2 yamt };
211 1.1.6.2 yamt
212 1.1.6.2 yamt int uturnmatch(device_t, cfdata_t, void *);
213 1.1.6.2 yamt void uturnattach(device_t, device_t, void *);
214 1.1.6.2 yamt static device_t uturn_callback(device_t, struct confargs *);
215 1.1.6.2 yamt
216 1.1.6.2 yamt CFATTACH_DECL_NEW(uturn, sizeof(struct uturn_softc),
217 1.1.6.2 yamt uturnmatch, uturnattach, NULL, NULL);
218 1.1.6.2 yamt
219 1.1.6.2 yamt extern struct cfdriver uturn_cd;
220 1.1.6.2 yamt
221 1.1.6.2 yamt int uturn_dmamap_create(void *, bus_size_t, int, bus_size_t, bus_size_t, int,
222 1.1.6.2 yamt bus_dmamap_t *);
223 1.1.6.2 yamt void uturn_dmamap_destroy(void *, bus_dmamap_t);
224 1.1.6.2 yamt int uturn_dmamap_load(void *, bus_dmamap_t, void *, bus_size_t, struct proc *,
225 1.1.6.2 yamt int);
226 1.1.6.2 yamt int uturn_dmamap_load_mbuf(void *, bus_dmamap_t, struct mbuf *, int);
227 1.1.6.2 yamt int uturn_dmamap_load_uio(void *, bus_dmamap_t, struct uio *, int);
228 1.1.6.2 yamt int uturn_dmamap_load_raw(void *, bus_dmamap_t, bus_dma_segment_t *, int,
229 1.1.6.2 yamt bus_size_t, int);
230 1.1.6.2 yamt void uturn_dmamap_unload(void *, bus_dmamap_t);
231 1.1.6.2 yamt void uturn_dmamap_sync(void *, bus_dmamap_t, bus_addr_t, bus_size_t, int);
232 1.1.6.2 yamt int uturn_dmamem_alloc(void *, bus_size_t, bus_size_t, bus_size_t,
233 1.1.6.2 yamt bus_dma_segment_t *, int, int *, int);
234 1.1.6.2 yamt void uturn_dmamem_free(void *, bus_dma_segment_t *, int);
235 1.1.6.2 yamt int uturn_dmamem_map(void *, bus_dma_segment_t *, int, size_t, void **, int);
236 1.1.6.2 yamt void uturn_dmamem_unmap(void *, void *, size_t);
237 1.1.6.2 yamt paddr_t uturn_dmamem_mmap(void *, bus_dma_segment_t *, int, off_t, int, int);
238 1.1.6.2 yamt
239 1.1.6.2 yamt static void uturn_iommu_enter(struct uturn_softc *, bus_addr_t, pa_space_t,
240 1.1.6.2 yamt vaddr_t, paddr_t);
241 1.1.6.2 yamt static void uturn_iommu_remove(struct uturn_softc *, bus_addr_t, bus_size_t);
242 1.1.6.2 yamt
243 1.1.6.2 yamt struct uturn_map_state *uturn_iomap_create(int);
244 1.1.6.2 yamt void uturn_iomap_destroy(struct uturn_map_state *);
245 1.1.6.2 yamt int uturn_iomap_insert_page(struct uturn_map_state *, vaddr_t, paddr_t);
246 1.1.6.2 yamt bus_addr_t uturn_iomap_translate(struct uturn_map_state *, paddr_t);
247 1.1.6.2 yamt void uturn_iomap_clear_pages(struct uturn_map_state *);
248 1.1.6.2 yamt
249 1.1.6.2 yamt static int uturn_iomap_load_map(struct uturn_softc *, bus_dmamap_t, int);
250 1.1.6.2 yamt
251 1.1.6.2 yamt const struct hppa_bus_dma_tag uturn_dmat = {
252 1.1.6.2 yamt NULL,
253 1.1.6.2 yamt uturn_dmamap_create, uturn_dmamap_destroy,
254 1.1.6.2 yamt uturn_dmamap_load, uturn_dmamap_load_mbuf,
255 1.1.6.2 yamt uturn_dmamap_load_uio, uturn_dmamap_load_raw,
256 1.1.6.2 yamt uturn_dmamap_unload, uturn_dmamap_sync,
257 1.1.6.2 yamt
258 1.1.6.2 yamt uturn_dmamem_alloc, uturn_dmamem_free, uturn_dmamem_map,
259 1.1.6.2 yamt uturn_dmamem_unmap, uturn_dmamem_mmap
260 1.1.6.2 yamt };
261 1.1.6.2 yamt
262 1.1.6.2 yamt int
263 1.1.6.2 yamt uturnmatch(device_t parent, cfdata_t cf, void *aux)
264 1.1.6.2 yamt {
265 1.1.6.2 yamt struct confargs *ca = aux;
266 1.1.6.2 yamt
267 1.1.6.2 yamt /* there will be only one */
268 1.1.6.2 yamt if (ca->ca_type.iodc_type != HPPA_TYPE_IOA ||
269 1.1.6.2 yamt ca->ca_type.iodc_sv_model != HPPA_IOA_UTURN)
270 1.1.6.2 yamt return 0;
271 1.1.6.2 yamt
272 1.1.6.2 yamt if (ca->ca_type.iodc_model == 0x58 &&
273 1.1.6.2 yamt ca->ca_type.iodc_revision >= 0x20)
274 1.1.6.2 yamt return 0;
275 1.1.6.2 yamt
276 1.1.6.2 yamt return 1;
277 1.1.6.2 yamt }
278 1.1.6.2 yamt
279 1.1.6.2 yamt void
280 1.1.6.2 yamt uturnattach(device_t parent, device_t self, void *aux)
281 1.1.6.2 yamt {
282 1.1.6.2 yamt struct confargs *ca = aux, nca;
283 1.1.6.2 yamt struct uturn_softc *sc = device_private(self);
284 1.1.6.2 yamt bus_space_handle_t ioh;
285 1.1.6.2 yamt volatile struct uturn_regs *r;
286 1.1.6.2 yamt struct pglist pglist;
287 1.1.6.2 yamt int iova_bits;
288 1.1.6.2 yamt vaddr_t va;
289 1.1.6.2 yamt psize_t size;
290 1.1.6.2 yamt int i;
291 1.1.6.2 yamt
292 1.1.6.2 yamt if (bus_space_map(ca->ca_iot, ca->ca_hpa, IOMOD_HPASIZE, 0, &ioh)) {
293 1.1.6.2 yamt aprint_error(": can't map IO space\n");
294 1.1.6.2 yamt return;
295 1.1.6.2 yamt }
296 1.1.6.2 yamt
297 1.1.6.2 yamt sc->sc_dv = self;
298 1.1.6.2 yamt sc->sc_dmat = ca->ca_dmatag;
299 1.1.6.2 yamt sc->sc_regs = r = bus_space_vaddr(ca->ca_iot, ioh);
300 1.1.6.2 yamt
301 1.1.6.2 yamt aprint_normal(": %x-%x", r->io_io_low << 16, r->io_io_high << 16);
302 1.1.6.2 yamt aprint_normal(": %x-%x", r->io_io_low_hv << 16, r->io_io_high_hv << 16);
303 1.1.6.2 yamt
304 1.1.6.2 yamt aprint_normal(": %s rev %d\n",
305 1.1.6.2 yamt ca->ca_type.iodc_revision < 0x10 ? "U2" : "UTurn",
306 1.1.6.2 yamt ca->ca_type.iodc_revision & 0xf);
307 1.1.6.2 yamt
308 1.1.6.2 yamt /*
309 1.1.6.2 yamt * Setup the iommu.
310 1.1.6.2 yamt */
311 1.1.6.2 yamt
312 1.1.6.2 yamt /* XXX 28 bits gives us 256Mb of iova space */
313 1.1.6.2 yamt /* Calculate based on %age of RAM */
314 1.1.6.2 yamt iova_bits = 28;
315 1.1.6.2 yamt
316 1.1.6.2 yamt /*
317 1.1.6.2 yamt * size is # of pdir entries (64bits) in bytes. 1 entry per IOVA
318 1.1.6.2 yamt * page.
319 1.1.6.2 yamt */
320 1.1.6.2 yamt size = (1 << (iova_bits - UTURN_IOVP_SHIFT)) * sizeof(uint64_t);
321 1.1.6.2 yamt
322 1.1.6.2 yamt /*
323 1.1.6.2 yamt * Chainid is the upper most bits of an IOVP used to determine which
324 1.1.6.2 yamt * TLB entry an IOVP will use.
325 1.1.6.2 yamt */
326 1.1.6.2 yamt sc->sc_chainid_shift = iova_bits - UTURN_CHAINID_SHIFT;
327 1.1.6.2 yamt
328 1.1.6.2 yamt /*
329 1.1.6.2 yamt * Allocate memory for I/O pagetables. They need to be physically
330 1.1.6.2 yamt * contiguous.
331 1.1.6.2 yamt */
332 1.1.6.2 yamt
333 1.1.6.2 yamt if (uvm_pglistalloc(size, 0, -1, PAGE_SIZE, 0, &pglist, 1, 0) != 0)
334 1.1.6.2 yamt panic("%s: no memory", __func__);
335 1.1.6.2 yamt
336 1.1.6.2 yamt va = (vaddr_t)VM_PAGE_TO_PHYS(TAILQ_FIRST(&pglist));
337 1.1.6.2 yamt sc->sc_pdir = (int64_t *)va;
338 1.1.6.2 yamt
339 1.1.6.2 yamt memset(sc->sc_pdir, 0, size);
340 1.1.6.2 yamt
341 1.1.6.2 yamt r->io_chain_id_mask = UTURN_CHAINID_MASK << sc->sc_chainid_shift;
342 1.1.6.2 yamt r->io_pdir_base = VM_PAGE_TO_PHYS(TAILQ_FIRST(&pglist));
343 1.1.6.2 yamt
344 1.1.6.2 yamt r->io_tlb_entry_m = 0;
345 1.1.6.2 yamt r->io_tlb_entry_l = 0;
346 1.1.6.2 yamt
347 1.1.6.2 yamt /* for (i = UTURN_TLB_ENTRIES; i != 0; i--) { */
348 1.1.6.2 yamt for (i = 0; i < UTURN_TLB_ENTRIES; i++) {
349 1.1.6.2 yamt r->io_command =
350 1.1.6.2 yamt UTURN_CMD_TLB_DIRECT_WRITE | (i << sc->sc_chainid_shift);
351 1.1.6.2 yamt }
352 1.1.6.2 yamt /*
353 1.1.6.2 yamt * Go to "Virtual Mode"
354 1.1.6.2 yamt */
355 1.1.6.2 yamt r->io_control = UTURN_VIRTUAL_MODE;
356 1.1.6.2 yamt
357 1.1.6.2 yamt snprintf(sc->sc_mapname, sizeof(sc->sc_mapname), "%s_map",
358 1.1.6.2 yamt device_xname(sc->sc_dv));
359 1.1.6.2 yamt sc->sc_map = extent_create(sc->sc_mapname, 0, (1 << iova_bits),
360 1.1.6.2 yamt 0, 0, EX_NOWAIT);
361 1.1.6.2 yamt
362 1.1.6.2 yamt sc->sc_dmatag = uturn_dmat;
363 1.1.6.2 yamt sc->sc_dmatag._cookie = sc;
364 1.1.6.2 yamt
365 1.1.6.2 yamt /*
366 1.1.6.2 yamt * U2/UTurn is actually a combination of an Upper Bus Converter (UBC)
367 1.1.6.2 yamt * and a Lower Bus Converter (LBC). This driver attaches to the UBC;
368 1.1.6.2 yamt * the LBC isn't very interesting, so we skip it. This is easy, since
369 1.1.6.2 yamt * it always is module 63, hence the MAXMODBUS - 1 below.
370 1.1.6.2 yamt */
371 1.1.6.2 yamt nca = *ca;
372 1.1.6.2 yamt nca.ca_hpabase = r->io_io_low << 16;
373 1.1.6.2 yamt nca.ca_dmatag = &sc->sc_dmatag;
374 1.1.6.2 yamt nca.ca_nmodules = MAXMODBUS - 1;
375 1.1.6.2 yamt pdc_scanbus(self, &nca, uturn_callback);
376 1.1.6.2 yamt }
377 1.1.6.2 yamt
378 1.1.6.2 yamt static device_t
379 1.1.6.2 yamt uturn_callback(device_t self, struct confargs *ca)
380 1.1.6.2 yamt {
381 1.1.6.2 yamt
382 1.1.6.2 yamt return config_found_sm_loc(self, "gedoens", NULL, ca, mbprint,
383 1.1.6.2 yamt mbsubmatch);
384 1.1.6.2 yamt }
385 1.1.6.2 yamt
386 1.1.6.2 yamt /*
387 1.1.6.2 yamt * PDIR entry format (HP bit number)
388 1.1.6.2 yamt *
389 1.1.6.2 yamt * +-------+----------------+----------------------------------------------+
390 1.1.6.2 yamt * |0 3|4 15|16 31|
391 1.1.6.2 yamt * | PPN | Virtual Index | Physical Page Number (PPN) |
392 1.1.6.2 yamt * | [0:3] | [0:11] | [4:19] |
393 1.1.6.2 yamt * +-------+----------------+----------------------------------------------+
394 1.1.6.2 yamt *
395 1.1.6.2 yamt * +-----------------------+-----------------------------------------------+
396 1.1.6.2 yamt * |0 19|20 24| 25 | | | | 30 | 31 |
397 1.1.6.2 yamt * | PPN | Rsvd | PH |Update | Rsvd |Lock | Safe | Valid |
398 1.1.6.2 yamt * | [20:39 | | Enable |Enable | |Enable| DMA | |
399 1.1.6.2 yamt * +-----------------------+-----------------------------------------------+
400 1.1.6.2 yamt *
401 1.1.6.2 yamt */
402 1.1.6.2 yamt
403 1.1.6.2 yamt #define UTURN_PENTRY_PREFETCH 0x40
404 1.1.6.2 yamt #define UTURN_PENTRY_UPDATE 0x20
405 1.1.6.2 yamt #define UTURN_PENTRY_LOCK 0x04 /* eisa devices only */
406 1.1.6.2 yamt #define UTURN_PENTRY_SAFEDMA 0x02 /* use safe dma - for subcacheline */
407 1.1.6.2 yamt #define UTURN_PENTRY_VALID 0x01
408 1.1.6.2 yamt
409 1.1.6.2 yamt static void
410 1.1.6.2 yamt uturn_iommu_enter(struct uturn_softc *sc, bus_addr_t iova, pa_space_t sp,
411 1.1.6.2 yamt vaddr_t va, paddr_t pa)
412 1.1.6.2 yamt {
413 1.1.6.2 yamt uint64_t pdir_entry;
414 1.1.6.2 yamt uint64_t *pdirp;
415 1.1.6.2 yamt uint32_t ci; /* coherent index */
416 1.1.6.2 yamt
417 1.1.6.2 yamt pdirp = &sc->sc_pdir[UTURN_IOVA_INDEX(iova)];
418 1.1.6.2 yamt
419 1.1.6.2 yamt DPRINTF(("%s: iova %lx pdir %p pdirp %p pa %lx", __func__, iova,
420 1.1.6.2 yamt sc->sc_pdir, pdirp, pa));
421 1.1.6.2 yamt
422 1.1.6.2 yamt ci = lci(HPPA_SID_KERNEL, va);
423 1.1.6.2 yamt
424 1.1.6.2 yamt /* setup hints, etc */
425 1.1.6.2 yamt pdir_entry = (UTURN_PENTRY_LOCK | UTURN_PENTRY_SAFEDMA |
426 1.1.6.2 yamt UTURN_PENTRY_VALID);
427 1.1.6.2 yamt
428 1.1.6.2 yamt /*
429 1.1.6.2 yamt * bottom 36 bits of pa map directly into entry to form PPN[4:39]
430 1.1.6.2 yamt * leaving last 12 bits for hints, etc.
431 1.1.6.2 yamt */
432 1.1.6.2 yamt pdir_entry |= (pa & ~PAGE_MASK);
433 1.1.6.2 yamt
434 1.1.6.2 yamt /* mask off top PPN bits */
435 1.1.6.2 yamt pdir_entry &= 0x0000ffffffffffffUL;
436 1.1.6.2 yamt
437 1.1.6.2 yamt /* insert the virtual index bits */
438 1.1.6.2 yamt pdir_entry |= (((uint64_t)ci >> 12) << 48);
439 1.1.6.2 yamt
440 1.1.6.2 yamt /* PPN[0:3] of the 40bit PPN go in entry[0:3] */
441 1.1.6.2 yamt pdir_entry |= ((((uint64_t)pa & 0x000f000000000000UL) >> 48) << 60);
442 1.1.6.2 yamt
443 1.1.6.2 yamt *pdirp = pdir_entry;
444 1.1.6.2 yamt
445 1.1.6.2 yamt DPRINTF((": pdir_entry %llx\n", pdir_entry));
446 1.1.6.2 yamt
447 1.1.6.2 yamt /*
448 1.1.6.2 yamt * We could use PDC_MODEL_CAPABILITIES here
449 1.1.6.2 yamt */
450 1.1.6.2 yamt fdcache(HPPA_SID_KERNEL, (vaddr_t)pdirp, sizeof(uint64_t));
451 1.1.6.2 yamt }
452 1.1.6.2 yamt
453 1.1.6.2 yamt
454 1.1.6.2 yamt static void
455 1.1.6.2 yamt uturn_iommu_remove(struct uturn_softc *sc, bus_addr_t iova, bus_size_t size)
456 1.1.6.2 yamt {
457 1.1.6.2 yamt uint32_t chain_size = 1 << sc->sc_chainid_shift;
458 1.1.6.2 yamt bus_size_t len;
459 1.1.6.2 yamt
460 1.1.6.2 yamt KASSERT((iova & PAGE_MASK) == 0);
461 1.1.6.2 yamt KASSERT((size & PAGE_MASK) == 0);
462 1.1.6.2 yamt
463 1.1.6.2 yamt DPRINTF(("%s: sc %p iova %lx size %lx\n", __func__, sc, iova, size));
464 1.1.6.2 yamt len = size;
465 1.1.6.2 yamt while (len != 0) {
466 1.1.6.2 yamt uint64_t *pdirp = &sc->sc_pdir[UTURN_IOVA_INDEX(iova)];
467 1.1.6.2 yamt
468 1.1.6.2 yamt /* XXX Just the valid bit??? */
469 1.1.6.2 yamt *pdirp = 0;
470 1.1.6.2 yamt
471 1.1.6.2 yamt /*
472 1.1.6.2 yamt * We could use PDC_MODEL_CAPABILITIES here
473 1.1.6.2 yamt */
474 1.1.6.2 yamt fdcache(HPPA_SID_KERNEL, (vaddr_t)pdirp, sizeof(uint64_t));
475 1.1.6.2 yamt
476 1.1.6.2 yamt iova += PAGE_SIZE;
477 1.1.6.2 yamt len -= PAGE_SIZE;
478 1.1.6.2 yamt }
479 1.1.6.2 yamt
480 1.1.6.2 yamt len = size + chain_size;
481 1.1.6.2 yamt
482 1.1.6.2 yamt while (len > chain_size) {
483 1.1.6.2 yamt sc->sc_regs->io_command = UTURN_CMD_TLB_PURGE | iova;
484 1.1.6.2 yamt iova += chain_size;
485 1.1.6.2 yamt len -= chain_size;
486 1.1.6.2 yamt }
487 1.1.6.2 yamt }
488 1.1.6.2 yamt
489 1.1.6.2 yamt int
490 1.1.6.2 yamt uturn_dmamap_create(void *v, bus_size_t size, int nsegments,
491 1.1.6.2 yamt bus_size_t maxsegsz, bus_size_t boundary, int flags, bus_dmamap_t *dmamap)
492 1.1.6.2 yamt {
493 1.1.6.2 yamt struct uturn_softc *sc = v;
494 1.1.6.2 yamt bus_dmamap_t map;
495 1.1.6.2 yamt struct uturn_map_state *ums;
496 1.1.6.2 yamt int error;
497 1.1.6.2 yamt
498 1.1.6.2 yamt error = bus_dmamap_create(sc->sc_dmat, size, nsegments, maxsegsz,
499 1.1.6.2 yamt boundary, flags, &map);
500 1.1.6.2 yamt if (error)
501 1.1.6.2 yamt return (error);
502 1.1.6.2 yamt
503 1.1.6.2 yamt ums = uturn_iomap_create(atop(round_page(size)));
504 1.1.6.2 yamt if (ums == NULL) {
505 1.1.6.2 yamt bus_dmamap_destroy(sc->sc_dmat, map);
506 1.1.6.2 yamt return (ENOMEM);
507 1.1.6.2 yamt }
508 1.1.6.2 yamt
509 1.1.6.2 yamt ums->ums_sc = sc;
510 1.1.6.2 yamt map->_dm_cookie = ums;
511 1.1.6.2 yamt *dmamap = map;
512 1.1.6.2 yamt
513 1.1.6.2 yamt return (0);
514 1.1.6.2 yamt }
515 1.1.6.2 yamt
516 1.1.6.2 yamt void
517 1.1.6.2 yamt uturn_dmamap_destroy(void *v, bus_dmamap_t map)
518 1.1.6.2 yamt {
519 1.1.6.2 yamt struct uturn_softc *sc = v;
520 1.1.6.2 yamt
521 1.1.6.2 yamt /*
522 1.1.6.2 yamt * The specification (man page) requires a loaded
523 1.1.6.2 yamt * map to be unloaded before it is destroyed.
524 1.1.6.2 yamt */
525 1.1.6.2 yamt if (map->dm_nsegs)
526 1.1.6.2 yamt uturn_dmamap_unload(sc, map);
527 1.1.6.2 yamt
528 1.1.6.2 yamt if (map->_dm_cookie)
529 1.1.6.2 yamt uturn_iomap_destroy(map->_dm_cookie);
530 1.1.6.2 yamt map->_dm_cookie = NULL;
531 1.1.6.2 yamt
532 1.1.6.2 yamt bus_dmamap_destroy(sc->sc_dmat, map);
533 1.1.6.2 yamt }
534 1.1.6.2 yamt
535 1.1.6.2 yamt static int
536 1.1.6.2 yamt uturn_iomap_load_map(struct uturn_softc *sc, bus_dmamap_t map, int flags)
537 1.1.6.2 yamt {
538 1.1.6.2 yamt struct uturn_map_state *ums = map->_dm_cookie;
539 1.1.6.2 yamt struct uturn_page_map *upm = &ums->ums_map;
540 1.1.6.2 yamt struct uturn_page_entry *e;
541 1.1.6.2 yamt int err, seg, s;
542 1.1.6.2 yamt paddr_t pa, paend;
543 1.1.6.2 yamt vaddr_t va;
544 1.1.6.2 yamt bus_size_t sgsize;
545 1.1.6.2 yamt bus_size_t align, boundary;
546 1.1.6.2 yamt u_long iovaddr;
547 1.1.6.2 yamt bus_addr_t iova;
548 1.1.6.2 yamt int i;
549 1.1.6.2 yamt
550 1.1.6.2 yamt /* XXX */
551 1.1.6.2 yamt boundary = map->_dm_boundary;
552 1.1.6.2 yamt align = PAGE_SIZE;
553 1.1.6.2 yamt
554 1.1.6.2 yamt uturn_iomap_clear_pages(ums);
555 1.1.6.2 yamt
556 1.1.6.2 yamt for (seg = 0; seg < map->dm_nsegs; seg++) {
557 1.1.6.2 yamt struct hppa_bus_dma_segment *ds = &map->dm_segs[seg];
558 1.1.6.2 yamt
559 1.1.6.2 yamt paend = round_page(ds->ds_addr + ds->ds_len);
560 1.1.6.2 yamt for (pa = trunc_page(ds->ds_addr), va = trunc_page(ds->_ds_va);
561 1.1.6.2 yamt pa < paend; pa += PAGE_SIZE, va += PAGE_SIZE) {
562 1.1.6.2 yamt err = uturn_iomap_insert_page(ums, va, pa);
563 1.1.6.2 yamt if (err) {
564 1.1.6.2 yamt printf("iomap insert error: %d for "
565 1.1.6.2 yamt "va 0x%lx pa 0x%lx\n", err, va, pa);
566 1.1.6.2 yamt bus_dmamap_unload(sc->sc_dmat, map);
567 1.1.6.2 yamt uturn_iomap_clear_pages(ums);
568 1.1.6.2 yamt }
569 1.1.6.2 yamt }
570 1.1.6.2 yamt }
571 1.1.6.2 yamt
572 1.1.6.2 yamt sgsize = ums->ums_map.upm_pagecnt * PAGE_SIZE;
573 1.1.6.2 yamt /* XXXNH */
574 1.1.6.2 yamt s = splhigh();
575 1.1.6.2 yamt err = extent_alloc(sc->sc_map, sgsize, align, boundary,
576 1.1.6.2 yamt EX_NOWAIT | EX_BOUNDZERO, &iovaddr);
577 1.1.6.2 yamt splx(s);
578 1.1.6.2 yamt if (err)
579 1.1.6.2 yamt return (err);
580 1.1.6.2 yamt
581 1.1.6.2 yamt ums->ums_iovastart = iovaddr;
582 1.1.6.2 yamt ums->ums_iovasize = sgsize;
583 1.1.6.2 yamt
584 1.1.6.2 yamt iova = iovaddr;
585 1.1.6.2 yamt for (i = 0, e = upm->upm_map; i < upm->upm_pagecnt; ++i, ++e) {
586 1.1.6.2 yamt e->upe_iova = iova;
587 1.1.6.2 yamt uturn_iommu_enter(sc, e->upe_iova, HPPA_SID_KERNEL, e->upe_va,
588 1.1.6.2 yamt e->upe_pa);
589 1.1.6.2 yamt iova += PAGE_SIZE;
590 1.1.6.2 yamt }
591 1.1.6.2 yamt
592 1.1.6.2 yamt for (seg = 0; seg < map->dm_nsegs; seg++) {
593 1.1.6.2 yamt struct hppa_bus_dma_segment *ds = &map->dm_segs[seg];
594 1.1.6.2 yamt ds->ds_addr = uturn_iomap_translate(ums, ds->ds_addr);
595 1.1.6.2 yamt }
596 1.1.6.2 yamt
597 1.1.6.2 yamt return (0);
598 1.1.6.2 yamt }
599 1.1.6.2 yamt
600 1.1.6.2 yamt int
601 1.1.6.2 yamt uturn_dmamap_load(void *v, bus_dmamap_t map, void *addr, bus_size_t size,
602 1.1.6.2 yamt struct proc *p, int flags)
603 1.1.6.2 yamt {
604 1.1.6.2 yamt struct uturn_softc *sc = v;
605 1.1.6.2 yamt int err;
606 1.1.6.2 yamt
607 1.1.6.2 yamt err = bus_dmamap_load(sc->sc_dmat, map, addr, size, p, flags);
608 1.1.6.2 yamt if (err)
609 1.1.6.2 yamt return (err);
610 1.1.6.2 yamt
611 1.1.6.2 yamt return uturn_iomap_load_map(sc, map, flags);
612 1.1.6.2 yamt }
613 1.1.6.2 yamt
614 1.1.6.2 yamt int
615 1.1.6.2 yamt uturn_dmamap_load_mbuf(void *v, bus_dmamap_t map, struct mbuf *m, int flags)
616 1.1.6.2 yamt {
617 1.1.6.2 yamt struct uturn_softc *sc = v;
618 1.1.6.2 yamt int err;
619 1.1.6.2 yamt
620 1.1.6.2 yamt err = bus_dmamap_load_mbuf(sc->sc_dmat, map, m, flags);
621 1.1.6.2 yamt if (err)
622 1.1.6.2 yamt return (err);
623 1.1.6.2 yamt
624 1.1.6.2 yamt return uturn_iomap_load_map(sc, map, flags);
625 1.1.6.2 yamt }
626 1.1.6.2 yamt
627 1.1.6.2 yamt int
628 1.1.6.2 yamt uturn_dmamap_load_uio(void *v, bus_dmamap_t map, struct uio *uio, int flags)
629 1.1.6.2 yamt {
630 1.1.6.2 yamt struct uturn_softc *sc = v;
631 1.1.6.2 yamt
632 1.1.6.2 yamt printf("load_uio\n");
633 1.1.6.2 yamt
634 1.1.6.2 yamt return (bus_dmamap_load_uio(sc->sc_dmat, map, uio, flags));
635 1.1.6.2 yamt }
636 1.1.6.2 yamt
637 1.1.6.2 yamt int
638 1.1.6.2 yamt uturn_dmamap_load_raw(void *v, bus_dmamap_t map, bus_dma_segment_t *segs,
639 1.1.6.2 yamt int nsegs, bus_size_t size, int flags)
640 1.1.6.2 yamt {
641 1.1.6.2 yamt struct uturn_softc *sc = v;
642 1.1.6.2 yamt
643 1.1.6.2 yamt printf("load_raw\n");
644 1.1.6.2 yamt
645 1.1.6.2 yamt return (bus_dmamap_load_raw(sc->sc_dmat, map, segs, nsegs, size, flags));
646 1.1.6.2 yamt }
647 1.1.6.2 yamt
648 1.1.6.2 yamt void
649 1.1.6.2 yamt uturn_dmamap_unload(void *v, bus_dmamap_t map)
650 1.1.6.2 yamt {
651 1.1.6.2 yamt struct uturn_softc *sc = v;
652 1.1.6.2 yamt struct uturn_map_state *ums = map->_dm_cookie;
653 1.1.6.2 yamt struct uturn_page_map *upm = &ums->ums_map;
654 1.1.6.2 yamt struct uturn_page_entry *e;
655 1.1.6.2 yamt int err, i, s;
656 1.1.6.2 yamt
657 1.1.6.2 yamt /* Remove the IOMMU entries. */
658 1.1.6.2 yamt for (i = 0, e = upm->upm_map; i < upm->upm_pagecnt; ++i, ++e)
659 1.1.6.2 yamt uturn_iommu_remove(sc, e->upe_iova, PAGE_SIZE);
660 1.1.6.2 yamt
661 1.1.6.2 yamt /* Clear the iomap. */
662 1.1.6.2 yamt uturn_iomap_clear_pages(ums);
663 1.1.6.2 yamt
664 1.1.6.2 yamt bus_dmamap_unload(sc->sc_dmat, map);
665 1.1.6.2 yamt
666 1.1.6.2 yamt s = splhigh();
667 1.1.6.2 yamt err = extent_free(sc->sc_map, ums->ums_iovastart,
668 1.1.6.2 yamt ums->ums_iovasize, EX_NOWAIT);
669 1.1.6.2 yamt ums->ums_iovastart = 0;
670 1.1.6.2 yamt ums->ums_iovasize = 0;
671 1.1.6.2 yamt splx(s);
672 1.1.6.2 yamt if (err)
673 1.1.6.2 yamt printf("warning: %ld of IOVA space lost\n", ums->ums_iovasize);
674 1.1.6.2 yamt }
675 1.1.6.2 yamt
676 1.1.6.2 yamt void
677 1.1.6.2 yamt uturn_dmamap_sync(void *v, bus_dmamap_t map, bus_addr_t off,
678 1.1.6.2 yamt bus_size_t len, int ops)
679 1.1.6.2 yamt {
680 1.1.6.2 yamt /* Nothing to do; DMA is cache-coherent. */
681 1.1.6.2 yamt }
682 1.1.6.2 yamt
683 1.1.6.2 yamt int
684 1.1.6.2 yamt uturn_dmamem_alloc(void *v, bus_size_t size, bus_size_t alignment,
685 1.1.6.2 yamt bus_size_t boundary, bus_dma_segment_t *segs,
686 1.1.6.2 yamt int nsegs, int *rsegs, int flags)
687 1.1.6.2 yamt {
688 1.1.6.2 yamt struct uturn_softc *sc = v;
689 1.1.6.2 yamt
690 1.1.6.2 yamt return (bus_dmamem_alloc(sc->sc_dmat, size, alignment, boundary,
691 1.1.6.2 yamt segs, nsegs, rsegs, flags));
692 1.1.6.2 yamt }
693 1.1.6.2 yamt
694 1.1.6.2 yamt void
695 1.1.6.2 yamt uturn_dmamem_free(void *v, bus_dma_segment_t *segs, int nsegs)
696 1.1.6.2 yamt {
697 1.1.6.2 yamt struct uturn_softc *sc = v;
698 1.1.6.2 yamt
699 1.1.6.2 yamt bus_dmamem_free(sc->sc_dmat, segs, nsegs);
700 1.1.6.2 yamt }
701 1.1.6.2 yamt
702 1.1.6.2 yamt int
703 1.1.6.2 yamt uturn_dmamem_map(void *v, bus_dma_segment_t *segs, int nsegs, size_t size,
704 1.1.6.2 yamt void **kvap, int flags)
705 1.1.6.2 yamt {
706 1.1.6.2 yamt struct uturn_softc *sc = v;
707 1.1.6.2 yamt
708 1.1.6.2 yamt return (bus_dmamem_map(sc->sc_dmat, segs, nsegs, size, kvap, flags));
709 1.1.6.2 yamt }
710 1.1.6.2 yamt
711 1.1.6.2 yamt void
712 1.1.6.2 yamt uturn_dmamem_unmap(void *v, void *kva, size_t size)
713 1.1.6.2 yamt {
714 1.1.6.2 yamt struct uturn_softc *sc = v;
715 1.1.6.2 yamt
716 1.1.6.2 yamt bus_dmamem_unmap(sc->sc_dmat, kva, size);
717 1.1.6.2 yamt }
718 1.1.6.2 yamt
719 1.1.6.2 yamt paddr_t
720 1.1.6.2 yamt uturn_dmamem_mmap(void *v, bus_dma_segment_t *segs, int nsegs, off_t off,
721 1.1.6.2 yamt int prot, int flags)
722 1.1.6.2 yamt {
723 1.1.6.2 yamt struct uturn_softc *sc = v;
724 1.1.6.2 yamt
725 1.1.6.2 yamt return (bus_dmamem_mmap(sc->sc_dmat, segs, nsegs, off, prot, flags));
726 1.1.6.2 yamt }
727 1.1.6.2 yamt
728 1.1.6.2 yamt /*
729 1.1.6.2 yamt * Utility function used by splay tree to order page entries by pa.
730 1.1.6.2 yamt */
731 1.1.6.2 yamt static inline int
732 1.1.6.2 yamt upe_compare(struct uturn_page_entry *a, struct uturn_page_entry *b)
733 1.1.6.2 yamt {
734 1.1.6.2 yamt return ((a->upe_pa > b->upe_pa) ? 1 :
735 1.1.6.2 yamt (a->upe_pa < b->upe_pa) ? -1 : 0);
736 1.1.6.2 yamt }
737 1.1.6.2 yamt
738 1.1.6.2 yamt SPLAY_PROTOTYPE(uturn_page_tree, uturn_page_entry, upe_node, upe_compare);
739 1.1.6.2 yamt
740 1.1.6.2 yamt SPLAY_GENERATE(uturn_page_tree, uturn_page_entry, upe_node, upe_compare);
741 1.1.6.2 yamt
742 1.1.6.2 yamt /*
743 1.1.6.2 yamt * Create a new iomap.
744 1.1.6.2 yamt */
745 1.1.6.2 yamt struct uturn_map_state *
746 1.1.6.2 yamt uturn_iomap_create(int n)
747 1.1.6.2 yamt {
748 1.1.6.2 yamt struct uturn_map_state *ums;
749 1.1.6.2 yamt
750 1.1.6.2 yamt /* Safety for heavily fragmented data, such as mbufs */
751 1.1.6.2 yamt n += 4;
752 1.1.6.2 yamt if (n < 16)
753 1.1.6.2 yamt n = 16;
754 1.1.6.2 yamt
755 1.1.6.2 yamt ums = malloc(sizeof(*ums) + (n - 1) * sizeof(ums->ums_map.upm_map[0]),
756 1.1.6.2 yamt M_DEVBUF, M_NOWAIT | M_ZERO);
757 1.1.6.2 yamt if (ums == NULL)
758 1.1.6.2 yamt return (NULL);
759 1.1.6.2 yamt
760 1.1.6.2 yamt /* Initialize the map. */
761 1.1.6.2 yamt ums->ums_map.upm_maxpage = n;
762 1.1.6.2 yamt SPLAY_INIT(&ums->ums_map.upm_tree);
763 1.1.6.2 yamt
764 1.1.6.2 yamt return (ums);
765 1.1.6.2 yamt }
766 1.1.6.2 yamt
767 1.1.6.2 yamt /*
768 1.1.6.2 yamt * Destroy an iomap.
769 1.1.6.2 yamt */
770 1.1.6.2 yamt void
771 1.1.6.2 yamt uturn_iomap_destroy(struct uturn_map_state *ums)
772 1.1.6.2 yamt {
773 1.1.6.2 yamt KASSERT(ums->ums_map.upm_pagecnt == 0);
774 1.1.6.2 yamt
775 1.1.6.2 yamt free(ums, M_DEVBUF);
776 1.1.6.2 yamt }
777 1.1.6.2 yamt
778 1.1.6.2 yamt /*
779 1.1.6.2 yamt * Insert a pa entry in the iomap.
780 1.1.6.2 yamt */
781 1.1.6.2 yamt int
782 1.1.6.2 yamt uturn_iomap_insert_page(struct uturn_map_state *ums, vaddr_t va, paddr_t pa)
783 1.1.6.2 yamt {
784 1.1.6.2 yamt struct uturn_page_map *upm = &ums->ums_map;
785 1.1.6.2 yamt struct uturn_page_entry *e;
786 1.1.6.2 yamt
787 1.1.6.2 yamt if (upm->upm_pagecnt >= upm->upm_maxpage) {
788 1.1.6.2 yamt struct uturn_page_entry upe;
789 1.1.6.2 yamt
790 1.1.6.2 yamt upe.upe_pa = pa;
791 1.1.6.2 yamt if (SPLAY_FIND(uturn_page_tree, &upm->upm_tree, &upe))
792 1.1.6.2 yamt return (0);
793 1.1.6.2 yamt
794 1.1.6.2 yamt return (ENOMEM);
795 1.1.6.2 yamt }
796 1.1.6.2 yamt
797 1.1.6.2 yamt e = &upm->upm_map[upm->upm_pagecnt];
798 1.1.6.2 yamt
799 1.1.6.2 yamt e->upe_pa = pa;
800 1.1.6.2 yamt e->upe_va = va;
801 1.1.6.2 yamt e->upe_iova = 0;
802 1.1.6.2 yamt
803 1.1.6.2 yamt e = SPLAY_INSERT(uturn_page_tree, &upm->upm_tree, e);
804 1.1.6.2 yamt
805 1.1.6.2 yamt /* Duplicates are okay, but only count them once. */
806 1.1.6.2 yamt if (e)
807 1.1.6.2 yamt return (0);
808 1.1.6.2 yamt
809 1.1.6.2 yamt ++upm->upm_pagecnt;
810 1.1.6.2 yamt
811 1.1.6.2 yamt return (0);
812 1.1.6.2 yamt }
813 1.1.6.2 yamt
814 1.1.6.2 yamt /*
815 1.1.6.2 yamt * Translate a physical address (pa) into a IOVA address.
816 1.1.6.2 yamt */
817 1.1.6.2 yamt bus_addr_t
818 1.1.6.2 yamt uturn_iomap_translate(struct uturn_map_state *ums, paddr_t pa)
819 1.1.6.2 yamt {
820 1.1.6.2 yamt struct uturn_page_map *upm = &ums->ums_map;
821 1.1.6.2 yamt struct uturn_page_entry *e;
822 1.1.6.2 yamt struct uturn_page_entry pe;
823 1.1.6.2 yamt paddr_t offset = pa & PAGE_MASK;
824 1.1.6.2 yamt
825 1.1.6.2 yamt pe.upe_pa = trunc_page(pa);
826 1.1.6.2 yamt
827 1.1.6.2 yamt e = SPLAY_FIND(uturn_page_tree, &upm->upm_tree, &pe);
828 1.1.6.2 yamt
829 1.1.6.2 yamt if (e == NULL) {
830 1.1.6.2 yamt panic("couldn't find pa %lx\n", pa);
831 1.1.6.2 yamt return 0;
832 1.1.6.2 yamt }
833 1.1.6.2 yamt
834 1.1.6.2 yamt return (e->upe_iova | offset);
835 1.1.6.2 yamt }
836 1.1.6.2 yamt
837 1.1.6.2 yamt /*
838 1.1.6.2 yamt * Clear the iomap table and tree.
839 1.1.6.2 yamt */
840 1.1.6.2 yamt void
841 1.1.6.2 yamt uturn_iomap_clear_pages(struct uturn_map_state *ums)
842 1.1.6.2 yamt {
843 1.1.6.2 yamt ums->ums_map.upm_pagecnt = 0;
844 1.1.6.2 yamt SPLAY_INIT(&ums->ums_map.upm_tree);
845 1.1.6.2 yamt }
846