Lines Matching refs:kgem_bo
57 static struct kgem_bo *
60 static struct kgem_bo *
212 struct kgem_bo base;
225 static struct kgem_bo *__kgem_freed_bo;
235 static inline int bytes(struct kgem_bo *bo)
276 static void debug_alloc__bo(struct kgem *kgem, struct kgem_bo *bo)
285 static void assert_tiling(struct kgem *kgem, struct kgem_bo *bo)
301 static void assert_caching(struct kgem *kgem, struct kgem_bo *bo)
315 static void assert_bo_retired(struct kgem_bo *bo)
448 static bool kgem_bo_rmfb(struct kgem *kgem, struct kgem_bo *bo)
461 static bool kgem_set_tiling(struct kgem *kgem, struct kgem_bo *bo,
585 static void *__kgem_bo_map__gtt(struct kgem *kgem, struct kgem_bo *bo)
645 static void *__kgem_bo_map__wc(struct kgem *kgem, struct kgem_bo *bo)
683 static void *__kgem_bo_map__cpu(struct kgem *kgem, struct kgem_bo *bo)
796 static void kgem_bo_retire(struct kgem *kgem, struct kgem_bo *bo)
810 static void kgem_bo_maybe_retire(struct kgem *kgem, struct kgem_bo *bo)
827 bool kgem_bo_write(struct kgem *kgem, struct kgem_bo *bo,
893 kgem_bo_set_purgeable(struct kgem *kgem, struct kgem_bo *bo)
911 kgem_bo_is_retained(struct kgem *kgem, struct kgem_bo *bo)
932 kgem_bo_clear_purgeable(struct kgem *kgem, struct kgem_bo *bo)
985 static struct kgem_bo *__kgem_bo_init(struct kgem_bo *bo,
1007 static struct kgem_bo *__kgem_bo_alloc(int handle, int num_pages)
1009 struct kgem_bo *bo;
1013 __kgem_freed_bo = *(struct kgem_bo **)bo;
1599 struct kgem_bo *bo;
1636 struct kgem_bo, list));
1652 struct kgem_bo *bo;
1711 static void kgem_fixup_relocs(struct kgem *kgem, struct kgem_bo *bo, int shrink)
1780 static int kgem_bo_wait(struct kgem *kgem, struct kgem_bo *bo)
1818 static struct kgem_bo *kgem_new_batch(struct kgem *kgem)
1820 struct kgem_bo *last;
2469 kgem_add_handle(struct kgem *kgem, struct kgem_bo *bo)
2487 static void kgem_add_bo(struct kgem *kgem, struct kgem_bo *bo)
2538 static void kgem_bo_binding_free(struct kgem *kgem, struct kgem_bo *bo)
2550 static void kgem_bo_free(struct kgem *kgem, struct kgem_bo *bo)
2603 *(struct kgem_bo **)bo = __kgem_freed_bo;
2610 struct kgem_bo *bo)
2663 static struct kgem_bo *kgem_bo_replace_io(struct kgem_bo *bo)
2665 struct kgem_bo *base;
2677 __kgem_freed_bo = *(struct kgem_bo **)base;
2698 struct kgem_bo *bo)
2714 struct kgem_bo *bo)
2727 static void _kgem_bo_delete_buffer(struct kgem *kgem, struct kgem_bo *bo)
2739 struct kgem_bo *bo,
2765 static void kgem_bo_move_to_scanout(struct kgem *kgem, struct kgem_bo *bo)
2792 static void kgem_bo_move_to_snoop(struct kgem *kgem, struct kgem_bo *bo)
2823 static bool kgem_bo_move_to_cache(struct kgem *kgem, struct kgem_bo *bo)
2846 static struct kgem_bo *
2849 struct kgem_bo *bo, *first = NULL;
2905 void kgem_bo_undo(struct kgem *kgem, struct kgem_bo *bo)
2927 void kgem_bo_pair_undo(struct kgem *kgem, struct kgem_bo *a, struct kgem_bo *b)
2974 static void __kgem_bo_destroy(struct kgem *kgem, struct kgem_bo *bo)
3064 static void kgem_bo_unref(struct kgem *kgem, struct kgem_bo *bo)
3075 struct kgem_bo *cached;
3077 cached = list_first_entry(&bo->base.vma, struct kgem_bo, vma);
3082 assert(*(struct kgem_bo **)cached->map__gtt == cached);
3083 *(struct kgem_bo **)cached->map__gtt = NULL;
3115 struct kgem_bo *bo, *next;
3146 static bool __kgem_bo_flush(struct kgem *kgem, struct kgem_bo *bo)
3188 struct kgem_bo *bo;
3191 struct kgem_bo,
3253 struct kgem_bo *bo;
3361 bool __kgem_retire_requests_upto(struct kgem *kgem, struct kgem_bo *bo)
3391 struct kgem_bo *bo;
3425 struct kgem_bo *bo, *next;
3481 struct kgem_bo,
3524 kgem_bo_free(kgem, list_first_entry(head, struct kgem_bo, list));
3600 struct kgem_bo *shrink;
3732 struct kgem_bo *bo;
3735 struct kgem_bo,
3757 struct kgem_bo *bo,
3856 struct kgem_bo *bo =
3858 struct kgem_bo,
3926 static struct kgem_bo *first_available(struct kgem *kgem, struct list *list)
3928 struct kgem_bo *bo;
3952 static struct kgem_bo *
3955 struct kgem_bo *bo;
3992 struct kgem_bo,
4212 struct kgem_bo *bo, *found = NULL;
4313 struct kgem_bo *bo, *next;
4332 struct kgem_bo *bo;
4334 bo = list_first_entry(&kgem->scanout, struct kgem_bo, list);
4368 struct kgem_bo, list));
4376 struct kgem_bo *bo;
4386 __kgem_freed_bo = *(struct kgem_bo **)bo;
4412 bo = list_last_entry(&kgem->snoop, struct kgem_bo, list);
4471 struct kgem_bo, list);
4549 struct kgem_bo, list));
4558 struct kgem_bo, list));
4561 struct kgem_bo *bo = __kgem_freed_bo;
4562 __kgem_freed_bo = *(struct kgem_bo **)bo;
4573 static struct kgem_bo *
4576 struct kgem_bo *bo, *first = NULL;
4825 struct kgem_bo *kgem_create_for_name(struct kgem *kgem, uint32_t name)
4829 struct kgem_bo *bo;
4866 struct kgem_bo *kgem_create_for_prime(struct kgem *kgem, int name, uint32_t size)
4872 struct kgem_bo *bo;
4961 int kgem_bo_export_to_prime(struct kgem *kgem, struct kgem_bo *bo)
4982 struct kgem_bo *kgem_create_linear(struct kgem *kgem, int size, unsigned flags)
4984 struct kgem_bo *bo;
5210 inline int kgem_bo_fenced_size(struct kgem *kgem, struct kgem_bo *bo)
5228 static struct kgem_bo *
5232 struct kgem_bo *bo;
5279 struct kgem_bo *bo,
5330 static bool tiling_changed(struct kgem_bo *bo, int tiling, int pitch)
5339 struct kgem_bo *bo,
5358 bool kgem_bo_is_fenced(struct kgem *kgem, struct kgem_bo *bo)
5372 struct kgem_bo *kgem_create_2d(struct kgem *kgem,
5380 struct kgem_bo *bo;
5409 struct kgem_bo *last = NULL;
6039 struct kgem_bo *kgem_create_cpu_2d(struct kgem *kgem,
6045 struct kgem_bo *bo;
6137 void _kgem_bo_destroy(struct kgem *kgem, struct kgem_bo *bo)
6158 *(struct kgem_bo **)bo = __kgem_freed_bo;
6165 static void __kgem_flush(struct kgem *kgem, struct kgem_bo *bo)
6179 void kgem_scanout_flush(struct kgem *kgem, struct kgem_bo *bo)
6218 inline static bool needs_semaphore(struct kgem *kgem, struct kgem_bo *bo)
6230 inline static bool needs_reservation(struct kgem *kgem, struct kgem_bo *bo)
6242 inline static bool needs_batch_flush(struct kgem *kgem, struct kgem_bo *bo)
6313 struct kgem_bo *bo;
6320 while ((bo = va_arg(ap, struct kgem_bo *))) {
6363 bool kgem_check_bo_fenced(struct kgem *kgem, struct kgem_bo *bo)
6466 struct kgem_bo *bo;
6475 while ((bo = va_arg(ap, struct kgem_bo *))) {
6562 struct kgem_bo *src,
6563 struct kgem_bo *dst)
6612 struct kgem_bo *bo,
6695 struct kgem_bo *bo,
6789 struct kgem_bo *bo = NULL;
6796 bo = list_last_entry(head, struct kgem_bo, vma);
6826 static void *__kgem_bo_map__gtt_or_wc(struct kgem *kgem, struct kgem_bo *bo)
6853 void *kgem_bo_map__async(struct kgem *kgem, struct kgem_bo *bo)
6872 void *kgem_bo_map(struct kgem *kgem, struct kgem_bo *bo)
6922 void *kgem_bo_map__gtt(struct kgem *kgem, struct kgem_bo *bo)
6936 void *kgem_bo_map__wc(struct kgem *kgem, struct kgem_bo *bo)
6955 void *kgem_bo_map__cpu(struct kgem *kgem, struct kgem_bo *bo)
6972 void *kgem_bo_map__debug(struct kgem *kgem, struct kgem_bo *bo)
6994 uint32_t kgem_bo_flink(struct kgem *kgem, struct kgem_bo *bo)
7019 struct kgem_bo *kgem_create_map(struct kgem *kgem,
7023 struct kgem_bo *bo;
7078 struct kgem_bo *proxy;
7096 void kgem_bo_sync__cpu(struct kgem *kgem, struct kgem_bo *bo)
7134 void kgem_bo_sync__cpu_full(struct kgem *kgem, struct kgem_bo *bo, bool write)
7184 void kgem_bo_sync__gtt(struct kgem *kgem, struct kgem_bo *bo)
7223 struct kgem_bo *bo;
7233 struct kgem_bo *kgem_create_proxy(struct kgem *kgem,
7234 struct kgem_bo *target,
7237 struct kgem_bo *bo;
7313 init_buffer_from_bo(struct kgem_buffer *bo, struct kgem_bo *old)
7339 struct kgem_bo *old;
7383 struct kgem_bo *old;
7419 struct kgem_bo *old;
7499 struct kgem_bo *kgem_create_buffer(struct kgem *kgem,
7505 struct kgem_bo *old;
7878 bool kgem_buffer_is_inplace(struct kgem_bo *_bo)
7884 struct kgem_bo *kgem_create_buffer_2d(struct kgem *kgem,
7889 struct kgem_bo *bo;
7935 struct kgem_bo *kgem_upload_source_image(struct kgem *kgem,
7942 struct kgem_bo *bo;
7978 void kgem_proxy_bo_attach(struct kgem_bo *bo,
7979 struct kgem_bo **ptr)
7989 void kgem_buffer_read_sync(struct kgem *kgem, struct kgem_bo *_bo)
8040 uint32_t kgem_bo_get_binding(struct kgem_bo *bo, uint32_t format)
8053 void kgem_bo_set_binding(struct kgem_bo *bo, uint32_t format, uint16_t offset)
8081 struct kgem_bo *
8083 struct kgem_bo *src,
8089 struct kgem_bo *dst;
8202 struct kgem_bo *bo,