Lines Matching refs:kgem_bo
57 static struct kgem_bo *
60 static struct kgem_bo *
202 struct kgem_bo base;
215 static struct kgem_bo *__kgem_freed_bo;
219 static inline int bytes(struct kgem_bo *bo)
254 static void debug_alloc__bo(struct kgem *kgem, struct kgem_bo *bo)
263 static void assert_tiling(struct kgem *kgem, struct kgem_bo *bo)
276 static void assert_cacheing(struct kgem *kgem, struct kgem_bo *bo)
290 static void assert_bo_retired(struct kgem_bo *bo)
431 static void *__kgem_bo_map__gtt(struct kgem *kgem, struct kgem_bo *bo)
484 static void *__kgem_bo_map__wc(struct kgem *kgem, struct kgem_bo *bo)
520 static void *__kgem_bo_map__cpu(struct kgem *kgem, struct kgem_bo *bo)
630 static void kgem_bo_retire(struct kgem *kgem, struct kgem_bo *bo)
650 static void kgem_bo_maybe_retire(struct kgem *kgem, struct kgem_bo *bo)
669 bool kgem_bo_write(struct kgem *kgem, struct kgem_bo *bo,
733 kgem_bo_set_purgeable(struct kgem *kgem, struct kgem_bo *bo)
757 kgem_bo_is_retained(struct kgem *kgem, struct kgem_bo *bo)
778 kgem_bo_clear_purgeable(struct kgem *kgem, struct kgem_bo *bo)
831 static struct kgem_bo *__kgem_bo_init(struct kgem_bo *bo,
853 static struct kgem_bo *__kgem_bo_alloc(int handle, int num_pages)
855 struct kgem_bo *bo;
859 __kgem_freed_bo = *(struct kgem_bo **)bo;
1297 struct kgem_bo *bo;
1333 struct kgem_bo, list));
1339 struct kgem_bo *bo;
1387 static void kgem_fixup_relocs(struct kgem *kgem, struct kgem_bo *bo, int shrink)
1448 static struct kgem_bo *kgem_new_batch(struct kgem *kgem)
1450 struct kgem_bo *last;
2013 kgem_add_handle(struct kgem *kgem, struct kgem_bo *bo)
2031 static void kgem_add_bo(struct kgem *kgem, struct kgem_bo *bo)
2056 static void kgem_bo_binding_free(struct kgem *kgem, struct kgem_bo *bo)
2068 static void kgem_bo_rmfb(struct kgem *kgem, struct kgem_bo *bo)
2079 static void kgem_bo_free(struct kgem *kgem, struct kgem_bo *bo)
2132 *(struct kgem_bo **)bo = __kgem_freed_bo;
2139 struct kgem_bo *bo)
2187 static struct kgem_bo *kgem_bo_replace_io(struct kgem_bo *bo)
2189 struct kgem_bo *base;
2197 __kgem_freed_bo = *(struct kgem_bo **)base;
2218 struct kgem_bo *bo)
2233 struct kgem_bo *bo)
2246 static void _kgem_bo_delete_buffer(struct kgem *kgem, struct kgem_bo *bo)
2258 struct kgem_bo *bo,
2284 static void kgem_bo_move_to_scanout(struct kgem *kgem, struct kgem_bo *bo)
2312 static void kgem_bo_move_to_snoop(struct kgem *kgem, struct kgem_bo *bo)
2341 static bool kgem_bo_move_to_cache(struct kgem *kgem, struct kgem_bo *bo)
2365 static struct kgem_bo *
2368 struct kgem_bo *bo, *first = NULL;
2424 void kgem_bo_undo(struct kgem *kgem, struct kgem_bo *bo)
2446 void kgem_bo_pair_undo(struct kgem *kgem, struct kgem_bo *a, struct kgem_bo *b)
2486 static void __kgem_bo_destroy(struct kgem *kgem, struct kgem_bo *bo)
2578 static void kgem_bo_unref(struct kgem *kgem, struct kgem_bo *bo)
2589 struct kgem_bo *cached;
2591 cached = list_first_entry(&bo->base.vma, struct kgem_bo, vma);
2596 assert(*(struct kgem_bo **)cached->map__gtt == cached);
2597 *(struct kgem_bo **)cached->map__gtt = NULL;
2629 struct kgem_bo *bo, *next;
2672 struct kgem_bo *bo;
2675 struct kgem_bo,
2743 struct kgem_bo *bo;
2849 void __kgem_retire_requests_upto(struct kgem *kgem, struct kgem_bo *bo)
2872 struct kgem_bo *bo;
2906 struct kgem_bo *bo, *next;
2985 kgem_bo_free(kgem, list_first_entry(head, struct kgem_bo, list));
3059 struct kgem_bo *shrink;
3186 struct kgem_bo *bo;
3189 struct kgem_bo,
3208 struct kgem_bo *bo,
3305 struct kgem_bo *bo =
3307 struct kgem_bo,
3375 static struct kgem_bo *
3380 struct kgem_bo *bo;
3391 struct kgem_bo,
3410 struct kgem_bo,
3442 struct kgem_bo,
3673 struct kgem_bo *bo, *found = NULL;
3796 struct kgem_bo *bo, *next;
3815 struct kgem_bo *bo;
3817 bo = list_first_entry(&kgem->scanout, struct kgem_bo, list);
3851 struct kgem_bo, list));
3859 struct kgem_bo *bo;
3868 __kgem_freed_bo = *(struct kgem_bo **)bo;
3893 bo = list_last_entry(&kgem->snoop, struct kgem_bo, list);
3950 struct kgem_bo, list);
4034 struct kgem_bo, list));
4043 struct kgem_bo, list));
4046 struct kgem_bo *bo = __kgem_freed_bo;
4047 __kgem_freed_bo = *(struct kgem_bo **)bo;
4056 static struct kgem_bo *
4059 struct kgem_bo *bo, *first = NULL;
4311 struct kgem_bo *kgem_create_for_name(struct kgem *kgem, uint32_t name)
4315 struct kgem_bo *bo;
4352 struct kgem_bo *kgem_create_for_prime(struct kgem *kgem, int name, uint32_t size)
4358 struct kgem_bo *bo;
4447 int kgem_bo_export_to_prime(struct kgem *kgem, struct kgem_bo *bo)
4466 struct kgem_bo *kgem_create_linear(struct kgem *kgem, int size, unsigned flags)
4468 struct kgem_bo *bo;
4692 inline int kgem_bo_fenced_size(struct kgem *kgem, struct kgem_bo *bo)
4710 static struct kgem_bo *
4714 struct kgem_bo *bo;
4761 struct kgem_bo *bo,
4813 struct kgem_bo *kgem_create_2d(struct kgem *kgem,
4821 struct kgem_bo *bo;
4850 struct kgem_bo *last = NULL;
5470 struct kgem_bo *kgem_create_cpu_2d(struct kgem *kgem,
5476 struct kgem_bo *bo;
5568 void _kgem_bo_destroy(struct kgem *kgem, struct kgem_bo *bo)
5589 *(struct kgem_bo **)bo = __kgem_freed_bo;
5596 static void __kgem_flush(struct kgem *kgem, struct kgem_bo *bo)
5610 void kgem_scanout_flush(struct kgem *kgem, struct kgem_bo *bo)
5643 inline static bool needs_semaphore(struct kgem *kgem, struct kgem_bo *bo)
5655 inline static bool needs_reservation(struct kgem *kgem, struct kgem_bo *bo)
5667 inline static bool needs_batch_flush(struct kgem *kgem, struct kgem_bo *bo)
5738 struct kgem_bo *bo;
5745 while ((bo = va_arg(ap, struct kgem_bo *))) {
5788 bool kgem_check_bo_fenced(struct kgem *kgem, struct kgem_bo *bo)
5891 struct kgem_bo *bo;
5900 while ((bo = va_arg(ap, struct kgem_bo *))) {
5988 struct kgem_bo *bo,
6071 struct kgem_bo *bo,
6165 struct kgem_bo *bo = NULL;
6172 bo = list_last_entry(head, struct kgem_bo, vma);
6208 static void *__kgem_bo_map__gtt_or_wc(struct kgem *kgem, struct kgem_bo *bo)
6235 void *kgem_bo_map__async(struct kgem *kgem, struct kgem_bo *bo)
6254 void *kgem_bo_map(struct kgem *kgem, struct kgem_bo *bo)
6303 void *kgem_bo_map__gtt(struct kgem *kgem, struct kgem_bo *bo)
6317 void *kgem_bo_map__wc(struct kgem *kgem, struct kgem_bo *bo)
6334 void *kgem_bo_map__cpu(struct kgem *kgem, struct kgem_bo *bo)
6351 void *kgem_bo_map__debug(struct kgem *kgem, struct kgem_bo *bo)
6373 uint32_t kgem_bo_flink(struct kgem *kgem, struct kgem_bo *bo)
6397 struct kgem_bo *kgem_create_map(struct kgem *kgem,
6401 struct kgem_bo *bo;
6438 struct kgem_bo *proxy;
6456 void kgem_bo_sync__cpu(struct kgem *kgem, struct kgem_bo *bo)
6492 void kgem_bo_sync__cpu_full(struct kgem *kgem, struct kgem_bo *bo, bool write)
6537 void kgem_bo_sync__gtt(struct kgem *kgem, struct kgem_bo *bo)
6572 struct kgem_bo *bo;
6582 struct kgem_bo *kgem_create_proxy(struct kgem *kgem,
6583 struct kgem_bo *target,
6586 struct kgem_bo *bo;
6662 init_buffer_from_bo(struct kgem_buffer *bo, struct kgem_bo *old)
6688 struct kgem_bo *old;
6732 struct kgem_bo *old;
6768 struct kgem_bo *old;
6848 struct kgem_bo *kgem_create_buffer(struct kgem *kgem,
6854 struct kgem_bo *old;
7227 bool kgem_buffer_is_inplace(struct kgem_bo *_bo)
7233 struct kgem_bo *kgem_create_buffer_2d(struct kgem *kgem,
7238 struct kgem_bo *bo;
7284 struct kgem_bo *kgem_upload_source_image(struct kgem *kgem,
7291 struct kgem_bo *bo;
7327 void kgem_proxy_bo_attach(struct kgem_bo *bo,
7328 struct kgem_bo **ptr)
7338 void kgem_buffer_read_sync(struct kgem *kgem, struct kgem_bo *_bo)
7389 uint32_t kgem_bo_get_binding(struct kgem_bo *bo, uint32_t format)
7402 void kgem_bo_set_binding(struct kgem_bo *bo, uint32_t format, uint16_t offset)
7430 struct kgem_bo *
7432 struct kgem_bo *src,
7438 struct kgem_bo *dst;
7550 struct kgem_bo *bo,