Home | History | Annotate | Line # | Download | only in kern
vfs_trans.c revision 1.45.2.1
      1  1.45.2.1   bouyer /*	$NetBSD: vfs_trans.c,v 1.45.2.1 2017/06/04 20:35:01 bouyer Exp $	*/
      2       1.1  hannken 
      3       1.1  hannken /*-
      4       1.1  hannken  * Copyright (c) 2007 The NetBSD Foundation, Inc.
      5       1.1  hannken  * All rights reserved.
      6       1.1  hannken  *
      7       1.1  hannken  * This code is derived from software contributed to The NetBSD Foundation
      8       1.1  hannken  * by Juergen Hannken-Illjes.
      9       1.1  hannken  *
     10       1.1  hannken  * Redistribution and use in source and binary forms, with or without
     11       1.1  hannken  * modification, are permitted provided that the following conditions
     12       1.1  hannken  * are met:
     13       1.1  hannken  * 1. Redistributions of source code must retain the above copyright
     14       1.1  hannken  *    notice, this list of conditions and the following disclaimer.
     15       1.1  hannken  * 2. Redistributions in binary form must reproduce the above copyright
     16       1.1  hannken  *    notice, this list of conditions and the following disclaimer in the
     17       1.1  hannken  *    documentation and/or other materials provided with the distribution.
     18       1.1  hannken  *
     19       1.1  hannken  * THIS SOFTWARE IS PROVIDED BY THE NETBSD FOUNDATION, INC. AND CONTRIBUTORS
     20       1.1  hannken  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED
     21       1.1  hannken  * TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
     22       1.1  hannken  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR CONTRIBUTORS
     23       1.1  hannken  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
     24       1.1  hannken  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
     25       1.1  hannken  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
     26       1.1  hannken  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
     27       1.1  hannken  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
     28       1.1  hannken  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
     29       1.1  hannken  * POSSIBILITY OF SUCH DAMAGE.
     30       1.1  hannken  */
     31       1.1  hannken 
     32       1.1  hannken #include <sys/cdefs.h>
     33  1.45.2.1   bouyer __KERNEL_RCSID(0, "$NetBSD: vfs_trans.c,v 1.45.2.1 2017/06/04 20:35:01 bouyer Exp $");
     34       1.1  hannken 
     35       1.1  hannken /*
     36       1.1  hannken  * File system transaction operations.
     37       1.1  hannken  */
     38       1.1  hannken 
     39      1.34    pooka #ifdef _KERNEL_OPT
     40       1.1  hannken #include "opt_ddb.h"
     41      1.34    pooka #endif
     42       1.1  hannken 
     43       1.1  hannken #include <sys/param.h>
     44       1.1  hannken #include <sys/systm.h>
     45      1.26  hannken #include <sys/atomic.h>
     46      1.24    pooka #include <sys/buf.h>
     47      1.12  hannken #include <sys/kmem.h>
     48       1.1  hannken #include <sys/mount.h>
     49      1.26  hannken #include <sys/pserialize.h>
     50       1.1  hannken #include <sys/vnode.h>
     51       1.1  hannken #include <sys/fstrans.h>
     52      1.10       ad #include <sys/proc.h>
     53       1.1  hannken 
     54      1.12  hannken #include <miscfs/specfs/specdev.h>
     55       1.1  hannken 
     56  1.45.2.1   bouyer enum fstrans_lock_type {
     57  1.45.2.1   bouyer 	FSTRANS_SHARED,			/* Granted while not suspending */
     58  1.45.2.1   bouyer 	FSTRANS_EXCL			/* Internal: exclusive lock */
     59  1.45.2.1   bouyer };
     60  1.45.2.1   bouyer 
     61      1.16       ad struct fscow_handler {
     62      1.26  hannken 	LIST_ENTRY(fscow_handler) ch_list;
     63      1.16       ad 	int (*ch_func)(void *, struct buf *, bool);
     64      1.16       ad 	void *ch_arg;
     65      1.16       ad };
     66       1.1  hannken struct fstrans_lwp_info {
     67       1.1  hannken 	struct fstrans_lwp_info *fli_succ;
     68      1.26  hannken 	struct lwp *fli_self;
     69       1.1  hannken 	struct mount *fli_mount;
     70      1.20  hannken 	int fli_trans_cnt;
     71      1.20  hannken 	int fli_cow_cnt;
     72       1.1  hannken 	enum fstrans_lock_type fli_lock_type;
     73      1.26  hannken 	LIST_ENTRY(fstrans_lwp_info) fli_list;
     74       1.1  hannken };
     75       1.1  hannken struct fstrans_mount_info {
     76       1.1  hannken 	enum fstrans_state fmi_state;
     77      1.26  hannken 	unsigned int fmi_ref_cnt;
     78      1.26  hannken 	bool fmi_cow_change;
     79      1.26  hannken 	LIST_HEAD(, fscow_handler) fmi_cow_handler;
     80       1.1  hannken };
     81       1.1  hannken 
     82      1.26  hannken static specificdata_key_t lwp_data_key;	/* Our specific data key. */
     83       1.4       ad static kmutex_t vfs_suspend_lock;	/* Serialize suspensions. */
     84      1.26  hannken static kmutex_t fstrans_lock;		/* Fstrans big lock. */
     85      1.35  hannken static kmutex_t fstrans_mount_lock;	/* Fstrans mount big lock. */
     86      1.26  hannken static kcondvar_t fstrans_state_cv;	/* Fstrans or cow state changed. */
     87      1.26  hannken static kcondvar_t fstrans_count_cv;	/* Fstrans or cow count changed. */
     88      1.26  hannken static pserialize_t fstrans_psz;	/* Pserialize state. */
     89      1.26  hannken static LIST_HEAD(fstrans_lwp_head, fstrans_lwp_info) fstrans_fli_head;
     90      1.26  hannken 					/* List of all fstrans_lwp_info. */
     91       1.1  hannken 
     92      1.38  hannken static inline struct mount *fstrans_normalize_mount(struct mount *);
     93       1.1  hannken static void fstrans_lwp_dtor(void *);
     94      1.26  hannken static void fstrans_mount_dtor(struct mount *);
     95      1.26  hannken static struct fstrans_lwp_info *fstrans_get_lwp_info(struct mount *, bool);
     96  1.45.2.1   bouyer static inline int _fstrans_start(struct mount *, enum fstrans_lock_type, int);
     97      1.26  hannken static bool grant_lock(const enum fstrans_state, const enum fstrans_lock_type);
     98      1.26  hannken static bool state_change_done(const struct mount *);
     99      1.26  hannken static bool cow_state_change_done(const struct mount *);
    100      1.26  hannken static void cow_change_enter(const struct mount *);
    101      1.26  hannken static void cow_change_done(const struct mount *);
    102       1.1  hannken 
    103       1.1  hannken /*
    104      1.26  hannken  * Initialize.
    105       1.1  hannken  */
    106       1.1  hannken void
    107       1.1  hannken fstrans_init(void)
    108       1.1  hannken {
    109      1.28   martin 	int error __diagused;
    110       1.1  hannken 
    111       1.1  hannken 	error = lwp_specific_key_create(&lwp_data_key, fstrans_lwp_dtor);
    112       1.1  hannken 	KASSERT(error == 0);
    113       1.7       ad 
    114       1.4       ad 	mutex_init(&vfs_suspend_lock, MUTEX_DEFAULT, IPL_NONE);
    115      1.26  hannken 	mutex_init(&fstrans_lock, MUTEX_DEFAULT, IPL_NONE);
    116      1.35  hannken 	mutex_init(&fstrans_mount_lock, MUTEX_DEFAULT, IPL_NONE);
    117      1.26  hannken 	cv_init(&fstrans_state_cv, "fstchg");
    118      1.26  hannken 	cv_init(&fstrans_count_cv, "fstcnt");
    119      1.26  hannken 	fstrans_psz = pserialize_create();
    120      1.26  hannken 	LIST_INIT(&fstrans_fli_head);
    121       1.1  hannken }
    122       1.1  hannken 
    123       1.1  hannken /*
    124      1.38  hannken  * Normalize mount.
    125      1.38  hannken  * Return mount if file system supports fstrans, NULL otherwise.
    126      1.38  hannken  */
    127      1.38  hannken static inline struct mount *
    128      1.38  hannken fstrans_normalize_mount(struct mount *mp)
    129      1.38  hannken {
    130      1.38  hannken 
    131      1.39  hannken 	while (mp && mp->mnt_lower)
    132      1.39  hannken 		mp = mp->mnt_lower;
    133      1.38  hannken 	if (mp == NULL)
    134      1.38  hannken 		return NULL;
    135      1.38  hannken 	if ((mp->mnt_iflag & IMNT_HAS_TRANS) == 0)
    136      1.38  hannken 		return NULL;
    137      1.38  hannken 	return mp;
    138      1.38  hannken }
    139      1.38  hannken 
    140      1.38  hannken /*
    141      1.26  hannken  * Deallocate lwp state.
    142       1.1  hannken  */
    143       1.1  hannken static void
    144       1.1  hannken fstrans_lwp_dtor(void *arg)
    145       1.1  hannken {
    146       1.1  hannken 	struct fstrans_lwp_info *fli, *fli_next;
    147       1.1  hannken 
    148       1.1  hannken 	for (fli = arg; fli; fli = fli_next) {
    149      1.20  hannken 		KASSERT(fli->fli_trans_cnt == 0);
    150      1.20  hannken 		KASSERT(fli->fli_cow_cnt == 0);
    151      1.26  hannken 		if (fli->fli_mount != NULL)
    152      1.26  hannken 			fstrans_mount_dtor(fli->fli_mount);
    153       1.1  hannken 		fli_next = fli->fli_succ;
    154      1.30  hannken 		fli->fli_mount = NULL;
    155      1.30  hannken 		membar_sync();
    156      1.30  hannken 		fli->fli_self = NULL;
    157       1.1  hannken 	}
    158      1.26  hannken }
    159      1.26  hannken 
    160      1.26  hannken /*
    161      1.26  hannken  * Dereference mount state.
    162      1.26  hannken  */
    163      1.26  hannken static void
    164      1.26  hannken fstrans_mount_dtor(struct mount *mp)
    165      1.26  hannken {
    166      1.26  hannken 	struct fstrans_mount_info *fmi;
    167      1.26  hannken 
    168      1.35  hannken 	mutex_enter(&fstrans_mount_lock);
    169      1.35  hannken 
    170      1.26  hannken 	fmi = mp->mnt_transinfo;
    171      1.35  hannken 	KASSERT(fmi != NULL);
    172      1.35  hannken 	fmi->fmi_ref_cnt -= 1;
    173      1.35  hannken 	if (fmi->fmi_ref_cnt > 0) {
    174      1.35  hannken 		mutex_exit(&fstrans_mount_lock);
    175      1.26  hannken 		return;
    176      1.35  hannken 	}
    177      1.26  hannken 
    178      1.26  hannken 	KASSERT(fmi->fmi_state == FSTRANS_NORMAL);
    179      1.26  hannken 	KASSERT(LIST_FIRST(&fmi->fmi_cow_handler) == NULL);
    180      1.26  hannken 
    181      1.26  hannken 	mp->mnt_iflag &= ~IMNT_HAS_TRANS;
    182      1.26  hannken 	mp->mnt_transinfo = NULL;
    183      1.26  hannken 
    184      1.35  hannken 	mutex_exit(&fstrans_mount_lock);
    185      1.35  hannken 
    186      1.35  hannken 	kmem_free(fmi, sizeof(*fmi));
    187      1.42  hannken 	vfs_rele(mp);
    188       1.1  hannken }
    189       1.1  hannken 
    190       1.1  hannken /*
    191      1.26  hannken  * Allocate mount state.
    192       1.1  hannken  */
    193      1.16       ad int
    194      1.16       ad fstrans_mount(struct mount *mp)
    195       1.1  hannken {
    196      1.31     matt 	struct fstrans_mount_info *newfmi;
    197      1.16       ad 
    198      1.32    pooka 	newfmi = kmem_alloc(sizeof(*newfmi), KM_SLEEP);
    199      1.31     matt 	newfmi->fmi_state = FSTRANS_NORMAL;
    200      1.31     matt 	newfmi->fmi_ref_cnt = 1;
    201      1.31     matt 	LIST_INIT(&newfmi->fmi_cow_handler);
    202      1.31     matt 	newfmi->fmi_cow_change = false;
    203      1.16       ad 
    204      1.35  hannken 	mutex_enter(&fstrans_mount_lock);
    205      1.31     matt 	mp->mnt_transinfo = newfmi;
    206      1.16       ad 	mp->mnt_iflag |= IMNT_HAS_TRANS;
    207      1.35  hannken 	mutex_exit(&fstrans_mount_lock);
    208       1.1  hannken 
    209      1.43  hannken 	vfs_ref(mp);
    210      1.26  hannken 
    211      1.16       ad 	return 0;
    212       1.1  hannken }
    213       1.1  hannken 
    214       1.1  hannken /*
    215      1.26  hannken  * Deallocate mount state.
    216       1.1  hannken  */
    217      1.16       ad void
    218      1.16       ad fstrans_unmount(struct mount *mp)
    219       1.1  hannken {
    220       1.1  hannken 
    221      1.38  hannken 	if ((mp->mnt_iflag & IMNT_HAS_TRANS) == 0)
    222      1.38  hannken 		return;
    223      1.38  hannken 
    224      1.26  hannken 	KASSERT(mp->mnt_transinfo != NULL);
    225       1.1  hannken 
    226      1.26  hannken 	fstrans_mount_dtor(mp);
    227       1.1  hannken }
    228       1.1  hannken 
    229       1.1  hannken /*
    230      1.26  hannken  * Retrieve the per lwp info for this mount allocating if necessary.
    231      1.20  hannken  */
    232      1.20  hannken static struct fstrans_lwp_info *
    233      1.26  hannken fstrans_get_lwp_info(struct mount *mp, bool do_alloc)
    234      1.20  hannken {
    235      1.26  hannken 	struct fstrans_lwp_info *fli, *res;
    236      1.26  hannken 	struct fstrans_mount_info *fmi;
    237      1.20  hannken 
    238      1.26  hannken 	/*
    239      1.26  hannken 	 * Scan our list for a match clearing entries whose mount is gone.
    240      1.26  hannken 	 */
    241      1.26  hannken 	res = NULL;
    242      1.20  hannken 	for (fli = lwp_getspecific(lwp_data_key); fli; fli = fli->fli_succ) {
    243      1.26  hannken 		if (fli->fli_mount == mp) {
    244      1.26  hannken 			KASSERT(res == NULL);
    245      1.26  hannken 			res = fli;
    246      1.26  hannken 		} else if (fli->fli_mount != NULL &&
    247      1.26  hannken 		    (fli->fli_mount->mnt_iflag & IMNT_GONE) != 0 &&
    248      1.26  hannken 		    fli->fli_trans_cnt == 0 && fli->fli_cow_cnt == 0) {
    249      1.26  hannken 			fstrans_mount_dtor(fli->fli_mount);
    250      1.26  hannken 			fli->fli_mount = NULL;
    251      1.26  hannken 		}
    252      1.20  hannken 	}
    253      1.26  hannken 	if (__predict_true(res != NULL))
    254      1.26  hannken 		return res;
    255      1.20  hannken 
    256      1.26  hannken 	if (! do_alloc)
    257      1.26  hannken 		return NULL;
    258      1.26  hannken 
    259      1.26  hannken 	/*
    260      1.26  hannken 	 * Try to reuse a cleared entry or allocate a new one.
    261      1.26  hannken 	 */
    262      1.26  hannken 	for (fli = lwp_getspecific(lwp_data_key); fli; fli = fli->fli_succ) {
    263      1.26  hannken 		if (fli->fli_mount == NULL) {
    264      1.26  hannken 			KASSERT(fli->fli_trans_cnt == 0);
    265      1.26  hannken 			KASSERT(fli->fli_cow_cnt == 0);
    266      1.26  hannken 			break;
    267      1.26  hannken 		}
    268      1.26  hannken 	}
    269      1.26  hannken 	if (fli == NULL) {
    270      1.30  hannken 		mutex_enter(&fstrans_lock);
    271      1.30  hannken 		LIST_FOREACH(fli, &fstrans_fli_head, fli_list) {
    272      1.30  hannken 			if (fli->fli_self == NULL) {
    273      1.35  hannken 				KASSERT(fli->fli_mount == NULL);
    274      1.30  hannken 				KASSERT(fli->fli_trans_cnt == 0);
    275      1.30  hannken 				KASSERT(fli->fli_cow_cnt == 0);
    276      1.30  hannken 				fli->fli_self = curlwp;
    277      1.30  hannken 				fli->fli_succ = lwp_getspecific(lwp_data_key);
    278      1.30  hannken 				lwp_setspecific(lwp_data_key, fli);
    279      1.30  hannken 				break;
    280      1.30  hannken 			}
    281      1.30  hannken 		}
    282      1.30  hannken 		mutex_exit(&fstrans_lock);
    283      1.30  hannken 	}
    284      1.30  hannken 	if (fli == NULL) {
    285      1.30  hannken 		fli = kmem_alloc(sizeof(*fli), KM_SLEEP);
    286      1.26  hannken 		mutex_enter(&fstrans_lock);
    287      1.26  hannken 		memset(fli, 0, sizeof(*fli));
    288      1.26  hannken 		fli->fli_self = curlwp;
    289      1.26  hannken 		LIST_INSERT_HEAD(&fstrans_fli_head, fli, fli_list);
    290      1.26  hannken 		mutex_exit(&fstrans_lock);
    291      1.26  hannken 		fli->fli_succ = lwp_getspecific(lwp_data_key);
    292      1.26  hannken 		lwp_setspecific(lwp_data_key, fli);
    293      1.20  hannken 	}
    294      1.20  hannken 
    295      1.26  hannken 	/*
    296      1.44  hannken 	 * Attach the entry to the mount if its mnt_transinfo is valid.
    297      1.26  hannken 	 */
    298      1.35  hannken 	mutex_enter(&fstrans_mount_lock);
    299      1.37  hannken 	fmi = mp->mnt_transinfo;
    300      1.44  hannken 	if (__predict_true(fmi != NULL)) {
    301      1.44  hannken 		fli->fli_mount = mp;
    302      1.44  hannken 		fmi->fmi_ref_cnt += 1;
    303      1.44  hannken 	} else {
    304      1.44  hannken 		fli = NULL;
    305      1.44  hannken 	}
    306      1.35  hannken 	mutex_exit(&fstrans_mount_lock);
    307      1.26  hannken 
    308      1.26  hannken 	return fli;
    309      1.26  hannken }
    310      1.26  hannken 
    311      1.26  hannken /*
    312      1.26  hannken  * Check if this lock type is granted at this state.
    313      1.26  hannken  */
    314      1.26  hannken static bool
    315      1.26  hannken grant_lock(const enum fstrans_state state, const enum fstrans_lock_type type)
    316      1.26  hannken {
    317      1.20  hannken 
    318      1.26  hannken 	if (__predict_true(state == FSTRANS_NORMAL))
    319      1.26  hannken 		return true;
    320      1.26  hannken 	if (type == FSTRANS_EXCL)
    321      1.26  hannken 		return true;
    322      1.20  hannken 
    323      1.26  hannken 	return false;
    324      1.20  hannken }
    325      1.20  hannken 
    326      1.20  hannken /*
    327       1.1  hannken  * Start a transaction.  If this thread already has a transaction on this
    328       1.1  hannken  * file system increment the reference counter.
    329       1.1  hannken  */
    330  1.45.2.1   bouyer static inline int
    331       1.1  hannken _fstrans_start(struct mount *mp, enum fstrans_lock_type lock_type, int wait)
    332       1.1  hannken {
    333      1.26  hannken 	int s;
    334      1.40  hannken 	struct mount *lmp;
    335      1.20  hannken 	struct fstrans_lwp_info *fli;
    336       1.1  hannken 	struct fstrans_mount_info *fmi;
    337       1.1  hannken 
    338      1.40  hannken 	if ((lmp = fstrans_normalize_mount(mp)) == NULL)
    339      1.38  hannken 		return 0;
    340      1.38  hannken 
    341      1.18     yamt 	ASSERT_SLEEPABLE();
    342       1.1  hannken 
    343      1.40  hannken 	/*
    344      1.40  hannken 	 * Allocate per lwp info for layered file systems to
    345      1.40  hannken 	 * get a reference to the mount.  No need to increment
    346      1.40  hannken 	 * the reference counter here.
    347      1.40  hannken 	 */
    348      1.40  hannken 	for (lmp = mp; lmp->mnt_lower; lmp = lmp->mnt_lower) {
    349      1.40  hannken 		fli = fstrans_get_lwp_info(lmp, true);
    350      1.40  hannken 	}
    351      1.40  hannken 
    352      1.40  hannken 	if ((fli = fstrans_get_lwp_info(lmp, true)) == NULL)
    353       1.1  hannken 		return 0;
    354       1.1  hannken 
    355      1.20  hannken 	if (fli->fli_trans_cnt > 0) {
    356      1.26  hannken 		KASSERT(lock_type != FSTRANS_EXCL);
    357      1.20  hannken 		fli->fli_trans_cnt += 1;
    358      1.26  hannken 
    359      1.20  hannken 		return 0;
    360       1.1  hannken 	}
    361       1.1  hannken 
    362      1.26  hannken 	s = pserialize_read_enter();
    363      1.40  hannken 	fmi = lmp->mnt_transinfo;
    364      1.26  hannken 	if (__predict_true(grant_lock(fmi->fmi_state, lock_type))) {
    365      1.26  hannken 		fli->fli_trans_cnt = 1;
    366      1.26  hannken 		fli->fli_lock_type = lock_type;
    367      1.26  hannken 		pserialize_read_exit(s);
    368       1.1  hannken 
    369      1.26  hannken 		return 0;
    370      1.26  hannken 	}
    371      1.26  hannken 	pserialize_read_exit(s);
    372       1.8  hannken 
    373      1.26  hannken 	if (! wait)
    374       1.8  hannken 		return EBUSY;
    375       1.1  hannken 
    376      1.26  hannken 	mutex_enter(&fstrans_lock);
    377      1.26  hannken 	while (! grant_lock(fmi->fmi_state, lock_type))
    378      1.26  hannken 		cv_wait(&fstrans_state_cv, &fstrans_lock);
    379      1.20  hannken 	fli->fli_trans_cnt = 1;
    380      1.20  hannken 	fli->fli_lock_type = lock_type;
    381      1.26  hannken 	mutex_exit(&fstrans_lock);
    382       1.1  hannken 
    383       1.1  hannken 	return 0;
    384       1.1  hannken }
    385       1.1  hannken 
    386  1.45.2.1   bouyer void
    387  1.45.2.1   bouyer fstrans_start(struct mount *mp)
    388  1.45.2.1   bouyer {
    389  1.45.2.1   bouyer 	int error __diagused;
    390  1.45.2.1   bouyer 
    391  1.45.2.1   bouyer 	error = _fstrans_start(mp, FSTRANS_SHARED, 1);
    392  1.45.2.1   bouyer 	KASSERT(error == 0);
    393  1.45.2.1   bouyer }
    394  1.45.2.1   bouyer 
    395  1.45.2.1   bouyer int
    396  1.45.2.1   bouyer fstrans_start_nowait(struct mount *mp)
    397  1.45.2.1   bouyer {
    398  1.45.2.1   bouyer 
    399  1.45.2.1   bouyer 	return _fstrans_start(mp, FSTRANS_SHARED, 0);
    400  1.45.2.1   bouyer }
    401  1.45.2.1   bouyer 
    402       1.1  hannken /*
    403       1.1  hannken  * Finish a transaction.
    404       1.1  hannken  */
    405       1.1  hannken void
    406       1.1  hannken fstrans_done(struct mount *mp)
    407       1.1  hannken {
    408      1.26  hannken 	int s;
    409       1.1  hannken 	struct fstrans_lwp_info *fli;
    410       1.1  hannken 	struct fstrans_mount_info *fmi;
    411       1.1  hannken 
    412      1.38  hannken 	if ((mp = fstrans_normalize_mount(mp)) == NULL)
    413      1.38  hannken 		return;
    414      1.44  hannken 	if ((fli = fstrans_get_lwp_info(mp, false)) == NULL)
    415      1.44  hannken 		return;
    416      1.26  hannken 	KASSERT(fli->fli_trans_cnt > 0);
    417      1.26  hannken 
    418      1.26  hannken 	if (fli->fli_trans_cnt > 1) {
    419      1.26  hannken 		fli->fli_trans_cnt -= 1;
    420      1.26  hannken 
    421      1.26  hannken 		return;
    422       1.1  hannken 	}
    423       1.1  hannken 
    424      1.26  hannken 	s = pserialize_read_enter();
    425      1.26  hannken 	fmi = mp->mnt_transinfo;
    426      1.26  hannken 	if (__predict_true(fmi->fmi_state == FSTRANS_NORMAL)) {
    427      1.26  hannken 		fli->fli_trans_cnt = 0;
    428      1.26  hannken 		pserialize_read_exit(s);
    429      1.26  hannken 
    430      1.26  hannken 		return;
    431      1.26  hannken 	}
    432      1.26  hannken 	pserialize_read_exit(s);
    433      1.20  hannken 
    434      1.26  hannken 	mutex_enter(&fstrans_lock);
    435      1.26  hannken 	fli->fli_trans_cnt = 0;
    436      1.26  hannken 	cv_signal(&fstrans_count_cv);
    437      1.26  hannken 	mutex_exit(&fstrans_lock);
    438       1.1  hannken }
    439       1.1  hannken 
    440       1.1  hannken /*
    441       1.1  hannken  * Check if this thread has an exclusive lock.
    442       1.1  hannken  */
    443       1.1  hannken int
    444       1.1  hannken fstrans_is_owner(struct mount *mp)
    445       1.1  hannken {
    446       1.1  hannken 	struct fstrans_lwp_info *fli;
    447       1.1  hannken 
    448      1.38  hannken 	if ((mp = fstrans_normalize_mount(mp)) == NULL)
    449      1.38  hannken 		return 0;
    450      1.38  hannken 	if ((fli = fstrans_get_lwp_info(mp, false)) == NULL)
    451       1.1  hannken 		return 0;
    452       1.1  hannken 
    453      1.35  hannken 	if (fli->fli_trans_cnt == 0)
    454       1.1  hannken 		return 0;
    455       1.1  hannken 
    456       1.1  hannken 	KASSERT(fli->fli_mount == mp);
    457      1.20  hannken 	KASSERT(fli->fli_trans_cnt > 0);
    458      1.26  hannken 
    459       1.2  hannken 	return (fli->fli_lock_type == FSTRANS_EXCL);
    460       1.1  hannken }
    461       1.1  hannken 
    462       1.1  hannken /*
    463      1.26  hannken  * True, if no thread is in a transaction not granted at the current state.
    464      1.26  hannken  */
    465      1.26  hannken static bool
    466      1.26  hannken state_change_done(const struct mount *mp)
    467      1.26  hannken {
    468      1.26  hannken 	struct fstrans_lwp_info *fli;
    469      1.26  hannken 	struct fstrans_mount_info *fmi;
    470      1.26  hannken 
    471      1.26  hannken 	KASSERT(mutex_owned(&fstrans_lock));
    472      1.26  hannken 
    473      1.26  hannken 	fmi = mp->mnt_transinfo;
    474      1.26  hannken 	LIST_FOREACH(fli, &fstrans_fli_head, fli_list) {
    475      1.26  hannken 		if (fli->fli_mount != mp)
    476      1.26  hannken 			continue;
    477      1.26  hannken 		if (fli->fli_trans_cnt == 0)
    478      1.26  hannken 			continue;
    479      1.26  hannken 		if (grant_lock(fmi->fmi_state, fli->fli_lock_type))
    480      1.26  hannken 			continue;
    481      1.26  hannken 
    482      1.26  hannken 		return false;
    483      1.26  hannken 	}
    484      1.26  hannken 
    485      1.26  hannken 	return true;
    486      1.26  hannken }
    487      1.26  hannken 
    488      1.26  hannken /*
    489       1.1  hannken  * Set new file system state.
    490       1.1  hannken  */
    491       1.1  hannken int
    492       1.1  hannken fstrans_setstate(struct mount *mp, enum fstrans_state new_state)
    493       1.1  hannken {
    494      1.26  hannken 	int error;
    495      1.26  hannken 	enum fstrans_state old_state;
    496       1.1  hannken 	struct fstrans_mount_info *fmi;
    497       1.1  hannken 
    498      1.16       ad 	fmi = mp->mnt_transinfo;
    499      1.26  hannken 	old_state = fmi->fmi_state;
    500      1.26  hannken 	if (old_state == new_state)
    501      1.26  hannken 		return 0;
    502       1.1  hannken 
    503      1.26  hannken 	mutex_enter(&fstrans_lock);
    504      1.26  hannken 	fmi->fmi_state = new_state;
    505      1.26  hannken 	pserialize_perform(fstrans_psz);
    506      1.26  hannken 
    507      1.26  hannken 	/*
    508      1.26  hannken 	 * All threads see the new state now.
    509      1.26  hannken 	 * Wait for transactions invalid at this state to leave.
    510      1.26  hannken 	 */
    511      1.26  hannken 	error = 0;
    512      1.26  hannken 	while (! state_change_done(mp)) {
    513      1.26  hannken 		error = cv_wait_sig(&fstrans_count_cv, &fstrans_lock);
    514      1.26  hannken 		if (error) {
    515      1.26  hannken 			new_state = fmi->fmi_state = FSTRANS_NORMAL;
    516      1.26  hannken 			break;
    517      1.26  hannken 		}
    518      1.26  hannken 	}
    519      1.26  hannken 	cv_broadcast(&fstrans_state_cv);
    520      1.26  hannken 	mutex_exit(&fstrans_lock);
    521       1.1  hannken 
    522      1.26  hannken 	if (old_state != new_state) {
    523      1.26  hannken 		if (old_state == FSTRANS_NORMAL)
    524  1.45.2.1   bouyer 			_fstrans_start(mp, FSTRANS_EXCL, 1);
    525      1.26  hannken 		if (new_state == FSTRANS_NORMAL)
    526       1.1  hannken 			fstrans_done(mp);
    527       1.1  hannken 	}
    528       1.1  hannken 
    529      1.26  hannken 	return error;
    530       1.1  hannken }
    531       1.1  hannken 
    532       1.1  hannken /*
    533      1.26  hannken  * Get current file system state.
    534       1.1  hannken  */
    535       1.1  hannken enum fstrans_state
    536       1.1  hannken fstrans_getstate(struct mount *mp)
    537       1.1  hannken {
    538       1.1  hannken 	struct fstrans_mount_info *fmi;
    539       1.1  hannken 
    540      1.16       ad 	fmi = mp->mnt_transinfo;
    541      1.26  hannken 	KASSERT(fmi != NULL);
    542       1.1  hannken 
    543       1.1  hannken 	return fmi->fmi_state;
    544       1.1  hannken }
    545       1.1  hannken 
    546       1.1  hannken /*
    547       1.1  hannken  * Request a filesystem to suspend all operations.
    548       1.1  hannken  */
    549       1.1  hannken int
    550       1.1  hannken vfs_suspend(struct mount *mp, int nowait)
    551       1.1  hannken {
    552       1.4       ad 	int error;
    553       1.1  hannken 
    554      1.38  hannken 	if ((mp = fstrans_normalize_mount(mp)) == NULL)
    555      1.38  hannken 		return EOPNOTSUPP;
    556       1.4       ad 	if (nowait) {
    557       1.4       ad 		if (!mutex_tryenter(&vfs_suspend_lock))
    558       1.4       ad 			return EWOULDBLOCK;
    559       1.4       ad 	} else
    560       1.4       ad 		mutex_enter(&vfs_suspend_lock);
    561       1.1  hannken 
    562      1.36  hannken 	if ((error = VFS_SUSPENDCTL(mp, SUSPEND_SUSPEND)) != 0)
    563       1.4       ad 		mutex_exit(&vfs_suspend_lock);
    564       1.1  hannken 
    565       1.1  hannken 	return error;
    566       1.1  hannken }
    567       1.1  hannken 
    568       1.1  hannken /*
    569       1.1  hannken  * Request a filesystem to resume all operations.
    570       1.1  hannken  */
    571       1.1  hannken void
    572       1.1  hannken vfs_resume(struct mount *mp)
    573       1.1  hannken {
    574       1.1  hannken 
    575      1.38  hannken 	mp = fstrans_normalize_mount(mp);
    576      1.38  hannken 	KASSERT(mp != NULL);
    577      1.38  hannken 
    578       1.1  hannken 	VFS_SUSPENDCTL(mp, SUSPEND_RESUME);
    579       1.4       ad 	mutex_exit(&vfs_suspend_lock);
    580       1.1  hannken }
    581       1.1  hannken 
    582       1.1  hannken 
    583      1.26  hannken /*
    584      1.26  hannken  * True, if no thread is running a cow handler.
    585      1.26  hannken  */
    586      1.26  hannken static bool
    587      1.26  hannken cow_state_change_done(const struct mount *mp)
    588       1.1  hannken {
    589       1.1  hannken 	struct fstrans_lwp_info *fli;
    590      1.28   martin 	struct fstrans_mount_info *fmi __diagused;
    591      1.26  hannken 
    592      1.26  hannken 	fmi = mp->mnt_transinfo;
    593       1.1  hannken 
    594      1.26  hannken 	KASSERT(mutex_owned(&fstrans_lock));
    595      1.26  hannken 	KASSERT(fmi->fmi_cow_change);
    596      1.26  hannken 
    597      1.26  hannken 	LIST_FOREACH(fli, &fstrans_fli_head, fli_list) {
    598      1.26  hannken 		if (fli->fli_mount != mp)
    599      1.26  hannken 			continue;
    600      1.26  hannken 		if (fli->fli_cow_cnt == 0)
    601       1.1  hannken 			continue;
    602      1.26  hannken 
    603      1.26  hannken 		return false;
    604       1.1  hannken 	}
    605      1.26  hannken 
    606      1.26  hannken 	return true;
    607       1.1  hannken }
    608       1.1  hannken 
    609      1.26  hannken /*
    610      1.26  hannken  * Prepare for changing this mounts cow list.
    611      1.26  hannken  * Returns with fstrans_lock locked.
    612      1.26  hannken  */
    613       1.1  hannken static void
    614      1.26  hannken cow_change_enter(const struct mount *mp)
    615       1.1  hannken {
    616       1.1  hannken 	struct fstrans_mount_info *fmi;
    617       1.1  hannken 
    618      1.16       ad 	fmi = mp->mnt_transinfo;
    619       1.1  hannken 
    620      1.26  hannken 	mutex_enter(&fstrans_lock);
    621      1.26  hannken 
    622      1.26  hannken 	/*
    623      1.26  hannken 	 * Wait for other threads changing the list.
    624      1.26  hannken 	 */
    625      1.26  hannken 	while (fmi->fmi_cow_change)
    626      1.26  hannken 		cv_wait(&fstrans_state_cv, &fstrans_lock);
    627      1.26  hannken 
    628      1.26  hannken 	/*
    629      1.26  hannken 	 * Wait until all threads are aware of a state change.
    630      1.26  hannken 	 */
    631      1.26  hannken 	fmi->fmi_cow_change = true;
    632      1.26  hannken 	pserialize_perform(fstrans_psz);
    633      1.26  hannken 
    634      1.26  hannken 	while (! cow_state_change_done(mp))
    635      1.26  hannken 		cv_wait(&fstrans_count_cv, &fstrans_lock);
    636       1.1  hannken }
    637       1.1  hannken 
    638      1.26  hannken /*
    639      1.26  hannken  * Done changing this mounts cow list.
    640      1.26  hannken  */
    641      1.26  hannken static void
    642      1.26  hannken cow_change_done(const struct mount *mp)
    643       1.1  hannken {
    644      1.26  hannken 	struct fstrans_mount_info *fmi;
    645      1.26  hannken 
    646      1.26  hannken 	KASSERT(mutex_owned(&fstrans_lock));
    647      1.26  hannken 
    648      1.26  hannken 	fmi = mp->mnt_transinfo;
    649      1.26  hannken 
    650      1.26  hannken 	fmi->fmi_cow_change = false;
    651      1.26  hannken 	pserialize_perform(fstrans_psz);
    652       1.1  hannken 
    653      1.26  hannken 	cv_broadcast(&fstrans_state_cv);
    654       1.1  hannken 
    655      1.26  hannken 	mutex_exit(&fstrans_lock);
    656       1.1  hannken }
    657      1.12  hannken 
    658      1.26  hannken /*
    659      1.26  hannken  * Add a handler to this mount.
    660      1.26  hannken  */
    661      1.12  hannken int
    662      1.15  hannken fscow_establish(struct mount *mp, int (*func)(void *, struct buf *, bool),
    663      1.15  hannken     void *arg)
    664      1.12  hannken {
    665      1.16       ad 	struct fstrans_mount_info *fmi;
    666      1.31     matt 	struct fscow_handler *newch;
    667      1.12  hannken 
    668      1.16       ad 	if ((mp->mnt_iflag & IMNT_HAS_TRANS) == 0)
    669      1.16       ad 		return EINVAL;
    670      1.16       ad 
    671      1.16       ad 	fmi = mp->mnt_transinfo;
    672      1.26  hannken 	KASSERT(fmi != NULL);
    673      1.12  hannken 
    674      1.32    pooka 	newch = kmem_alloc(sizeof(*newch), KM_SLEEP);
    675      1.31     matt 	newch->ch_func = func;
    676      1.31     matt 	newch->ch_arg = arg;
    677      1.26  hannken 
    678      1.26  hannken 	cow_change_enter(mp);
    679      1.31     matt 	LIST_INSERT_HEAD(&fmi->fmi_cow_handler, newch, ch_list);
    680      1.26  hannken 	cow_change_done(mp);
    681      1.12  hannken 
    682      1.12  hannken 	return 0;
    683      1.12  hannken }
    684      1.12  hannken 
    685      1.26  hannken /*
    686      1.26  hannken  * Remove a handler from this mount.
    687      1.26  hannken  */
    688      1.12  hannken int
    689      1.15  hannken fscow_disestablish(struct mount *mp, int (*func)(void *, struct buf *, bool),
    690      1.12  hannken     void *arg)
    691      1.12  hannken {
    692      1.16       ad 	struct fstrans_mount_info *fmi;
    693      1.12  hannken 	struct fscow_handler *hp = NULL;
    694      1.12  hannken 
    695      1.16       ad 	if ((mp->mnt_iflag & IMNT_HAS_TRANS) == 0)
    696      1.12  hannken 		return EINVAL;
    697      1.12  hannken 
    698      1.16       ad 	fmi = mp->mnt_transinfo;
    699      1.26  hannken 	KASSERT(fmi != NULL);
    700      1.16       ad 
    701      1.26  hannken 	cow_change_enter(mp);
    702      1.26  hannken 	LIST_FOREACH(hp, &fmi->fmi_cow_handler, ch_list)
    703      1.12  hannken 		if (hp->ch_func == func && hp->ch_arg == arg)
    704      1.12  hannken 			break;
    705      1.12  hannken 	if (hp != NULL) {
    706      1.26  hannken 		LIST_REMOVE(hp, ch_list);
    707      1.12  hannken 		kmem_free(hp, sizeof(*hp));
    708      1.12  hannken 	}
    709      1.26  hannken 	cow_change_done(mp);
    710      1.12  hannken 
    711      1.12  hannken 	return hp ? 0 : EINVAL;
    712      1.12  hannken }
    713      1.12  hannken 
    714      1.26  hannken /*
    715      1.26  hannken  * Check for need to copy block that is about to be written.
    716      1.26  hannken  */
    717      1.12  hannken int
    718      1.15  hannken fscow_run(struct buf *bp, bool data_valid)
    719      1.12  hannken {
    720      1.26  hannken 	int error, s;
    721      1.12  hannken 	struct mount *mp;
    722      1.20  hannken 	struct fstrans_lwp_info *fli;
    723      1.16       ad 	struct fstrans_mount_info *fmi;
    724      1.12  hannken 	struct fscow_handler *hp;
    725      1.12  hannken 
    726      1.26  hannken 	/*
    727      1.26  hannken 	 * First check if we need run the copy-on-write handler.
    728      1.26  hannken 	 */
    729      1.17  hannken 	if ((bp->b_flags & B_COWDONE))
    730      1.26  hannken 		return 0;
    731      1.26  hannken 	if (bp->b_vp == NULL) {
    732      1.26  hannken 		bp->b_flags |= B_COWDONE;
    733      1.26  hannken 		return 0;
    734      1.26  hannken 	}
    735      1.12  hannken 	if (bp->b_vp->v_type == VBLK)
    736      1.27  hannken 		mp = spec_node_getmountedfs(bp->b_vp);
    737      1.12  hannken 	else
    738      1.12  hannken 		mp = bp->b_vp->v_mount;
    739      1.26  hannken 	if (mp == NULL || (mp->mnt_iflag & IMNT_HAS_TRANS) == 0) {
    740      1.26  hannken 		bp->b_flags |= B_COWDONE;
    741      1.26  hannken 		return 0;
    742      1.26  hannken 	}
    743      1.12  hannken 
    744      1.26  hannken 	fli = fstrans_get_lwp_info(mp, true);
    745      1.16       ad 	fmi = mp->mnt_transinfo;
    746      1.12  hannken 
    747      1.26  hannken 	/*
    748      1.26  hannken 	 * On non-recursed run check if other threads
    749      1.26  hannken 	 * want to change the list.
    750      1.26  hannken 	 */
    751      1.26  hannken 	if (fli->fli_cow_cnt == 0) {
    752      1.26  hannken 		s = pserialize_read_enter();
    753      1.26  hannken 		if (__predict_false(fmi->fmi_cow_change)) {
    754      1.26  hannken 			pserialize_read_exit(s);
    755      1.26  hannken 			mutex_enter(&fstrans_lock);
    756      1.26  hannken 			while (fmi->fmi_cow_change)
    757      1.26  hannken 				cv_wait(&fstrans_state_cv, &fstrans_lock);
    758      1.26  hannken 			fli->fli_cow_cnt = 1;
    759      1.26  hannken 			mutex_exit(&fstrans_lock);
    760      1.26  hannken 		} else {
    761      1.26  hannken 			fli->fli_cow_cnt = 1;
    762      1.26  hannken 			pserialize_read_exit(s);
    763      1.26  hannken 		}
    764      1.26  hannken 	} else
    765      1.26  hannken 		fli->fli_cow_cnt += 1;
    766      1.20  hannken 
    767      1.26  hannken 	/*
    768      1.26  hannken 	 * Run all copy-on-write handlers, stop on error.
    769      1.26  hannken 	 */
    770      1.26  hannken 	error = 0;
    771      1.26  hannken 	LIST_FOREACH(hp, &fmi->fmi_cow_handler, ch_list)
    772      1.15  hannken 		if ((error = (*hp->ch_func)(hp->ch_arg, bp, data_valid)) != 0)
    773      1.12  hannken 			break;
    774      1.17  hannken  	if (error == 0)
    775      1.17  hannken  		bp->b_flags |= B_COWDONE;
    776      1.15  hannken 
    777      1.26  hannken 	/*
    778      1.26  hannken 	 * Check if other threads want to change the list.
    779      1.26  hannken 	 */
    780      1.26  hannken 	if (fli->fli_cow_cnt > 1) {
    781      1.26  hannken 		fli->fli_cow_cnt -= 1;
    782      1.26  hannken 	} else {
    783      1.26  hannken 		s = pserialize_read_enter();
    784      1.26  hannken 		if (__predict_false(fmi->fmi_cow_change)) {
    785      1.26  hannken 			pserialize_read_exit(s);
    786      1.26  hannken 			mutex_enter(&fstrans_lock);
    787      1.26  hannken 			fli->fli_cow_cnt = 0;
    788      1.26  hannken 			cv_signal(&fstrans_count_cv);
    789      1.26  hannken 			mutex_exit(&fstrans_lock);
    790      1.26  hannken 		} else {
    791      1.26  hannken 			fli->fli_cow_cnt = 0;
    792      1.26  hannken 			pserialize_read_exit(s);
    793      1.26  hannken 		}
    794      1.26  hannken 	}
    795      1.26  hannken 
    796      1.12  hannken 	return error;
    797      1.12  hannken }
    798      1.26  hannken 
    799      1.26  hannken #if defined(DDB)
    800      1.26  hannken void fstrans_dump(int);
    801      1.26  hannken 
    802      1.26  hannken static void
    803      1.26  hannken fstrans_print_lwp(struct proc *p, struct lwp *l, int verbose)
    804      1.26  hannken {
    805      1.26  hannken 	char prefix[9];
    806      1.26  hannken 	struct fstrans_lwp_info *fli;
    807      1.26  hannken 
    808      1.26  hannken 	snprintf(prefix, sizeof(prefix), "%d.%d", p->p_pid, l->l_lid);
    809      1.26  hannken 	LIST_FOREACH(fli, &fstrans_fli_head, fli_list) {
    810      1.26  hannken 		if (fli->fli_self != l)
    811      1.26  hannken 			continue;
    812      1.26  hannken 		if (fli->fli_trans_cnt == 0 && fli->fli_cow_cnt == 0) {
    813      1.26  hannken 			if (! verbose)
    814      1.26  hannken 				continue;
    815      1.26  hannken 		}
    816      1.26  hannken 		printf("%-8s", prefix);
    817      1.26  hannken 		if (verbose)
    818      1.26  hannken 			printf(" @%p", fli);
    819      1.26  hannken 		if (fli->fli_mount != NULL)
    820      1.26  hannken 			printf(" (%s)", fli->fli_mount->mnt_stat.f_mntonname);
    821      1.26  hannken 		else
    822      1.26  hannken 			printf(" NULL");
    823      1.26  hannken 		if (fli->fli_trans_cnt == 0) {
    824      1.26  hannken 			printf(" -");
    825      1.26  hannken 		} else {
    826      1.26  hannken 			switch (fli->fli_lock_type) {
    827      1.26  hannken 			case FSTRANS_SHARED:
    828      1.26  hannken 				printf(" shared");
    829      1.26  hannken 				break;
    830      1.26  hannken 			case FSTRANS_EXCL:
    831      1.26  hannken 				printf(" excl");
    832      1.26  hannken 				break;
    833      1.26  hannken 			default:
    834      1.26  hannken 				printf(" %#x", fli->fli_lock_type);
    835      1.26  hannken 				break;
    836      1.26  hannken 			}
    837      1.26  hannken 		}
    838      1.26  hannken 		printf(" %d cow %d\n", fli->fli_trans_cnt, fli->fli_cow_cnt);
    839      1.26  hannken 		prefix[0] = '\0';
    840      1.26  hannken 	}
    841      1.26  hannken }
    842      1.26  hannken 
    843      1.26  hannken static void
    844      1.26  hannken fstrans_print_mount(struct mount *mp, int verbose)
    845      1.26  hannken {
    846      1.26  hannken 	struct fstrans_mount_info *fmi;
    847      1.26  hannken 
    848      1.26  hannken 	fmi = mp->mnt_transinfo;
    849      1.26  hannken 	if (!verbose && (fmi == NULL || fmi->fmi_state == FSTRANS_NORMAL))
    850      1.26  hannken 		return;
    851      1.26  hannken 
    852      1.26  hannken 	printf("%-16s ", mp->mnt_stat.f_mntonname);
    853      1.26  hannken 	if (fmi == NULL) {
    854      1.26  hannken 		printf("(null)\n");
    855      1.26  hannken 		return;
    856      1.26  hannken 	}
    857      1.26  hannken 	switch (fmi->fmi_state) {
    858      1.26  hannken 	case FSTRANS_NORMAL:
    859      1.26  hannken 		printf("state normal\n");
    860      1.26  hannken 		break;
    861      1.26  hannken 	case FSTRANS_SUSPENDED:
    862      1.26  hannken 		printf("state suspended\n");
    863      1.26  hannken 		break;
    864      1.26  hannken 	default:
    865      1.26  hannken 		printf("state %#x\n", fmi->fmi_state);
    866      1.26  hannken 		break;
    867      1.26  hannken 	}
    868      1.26  hannken }
    869      1.26  hannken 
    870      1.26  hannken void
    871      1.26  hannken fstrans_dump(int full)
    872      1.26  hannken {
    873      1.26  hannken 	const struct proclist_desc *pd;
    874      1.26  hannken 	struct proc *p;
    875      1.26  hannken 	struct lwp *l;
    876      1.26  hannken 	struct mount *mp;
    877      1.26  hannken 
    878      1.26  hannken 	printf("Fstrans locks by lwp:\n");
    879      1.26  hannken 	for (pd = proclists; pd->pd_list != NULL; pd++)
    880      1.26  hannken 		PROCLIST_FOREACH(p, pd->pd_list)
    881      1.26  hannken 			LIST_FOREACH(l, &p->p_lwps, l_sibling)
    882      1.26  hannken 				fstrans_print_lwp(p, l, full == 1);
    883      1.26  hannken 
    884      1.26  hannken 	printf("Fstrans state by mount:\n");
    885      1.41  hannken 	for (mp = _mountlist_next(NULL); mp; mp = _mountlist_next(mp))
    886      1.26  hannken 		fstrans_print_mount(mp, full == 1);
    887      1.26  hannken }
    888      1.26  hannken #endif /* defined(DDB) */
    889