Home | History | Annotate | Line # | Download | only in kern
vfs_trans.c revision 1.26.2.1
      1  1.26.2.1    rmind /*	$NetBSD: vfs_trans.c,v 1.26.2.1 2014/05/18 17:46:08 rmind Exp $	*/
      2       1.1  hannken 
      3       1.1  hannken /*-
      4       1.1  hannken  * Copyright (c) 2007 The NetBSD Foundation, Inc.
      5       1.1  hannken  * All rights reserved.
      6       1.1  hannken  *
      7       1.1  hannken  * This code is derived from software contributed to The NetBSD Foundation
      8       1.1  hannken  * by Juergen Hannken-Illjes.
      9       1.1  hannken  *
     10       1.1  hannken  * Redistribution and use in source and binary forms, with or without
     11       1.1  hannken  * modification, are permitted provided that the following conditions
     12       1.1  hannken  * are met:
     13       1.1  hannken  * 1. Redistributions of source code must retain the above copyright
     14       1.1  hannken  *    notice, this list of conditions and the following disclaimer.
     15       1.1  hannken  * 2. Redistributions in binary form must reproduce the above copyright
     16       1.1  hannken  *    notice, this list of conditions and the following disclaimer in the
     17       1.1  hannken  *    documentation and/or other materials provided with the distribution.
     18       1.1  hannken  *
     19       1.1  hannken  * THIS SOFTWARE IS PROVIDED BY THE NETBSD FOUNDATION, INC. AND CONTRIBUTORS
     20       1.1  hannken  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED
     21       1.1  hannken  * TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
     22       1.1  hannken  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR CONTRIBUTORS
     23       1.1  hannken  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
     24       1.1  hannken  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
     25       1.1  hannken  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
     26       1.1  hannken  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
     27       1.1  hannken  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
     28       1.1  hannken  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
     29       1.1  hannken  * POSSIBILITY OF SUCH DAMAGE.
     30       1.1  hannken  */
     31       1.1  hannken 
     32       1.1  hannken #include <sys/cdefs.h>
     33  1.26.2.1    rmind __KERNEL_RCSID(0, "$NetBSD: vfs_trans.c,v 1.26.2.1 2014/05/18 17:46:08 rmind Exp $");
     34       1.1  hannken 
     35       1.1  hannken /*
     36       1.1  hannken  * File system transaction operations.
     37       1.1  hannken  */
     38       1.1  hannken 
     39       1.1  hannken #include "opt_ddb.h"
     40       1.1  hannken 
     41       1.1  hannken #include <sys/param.h>
     42       1.1  hannken #include <sys/systm.h>
     43      1.26  hannken #include <sys/atomic.h>
     44      1.24    pooka #include <sys/buf.h>
     45      1.12  hannken #include <sys/kmem.h>
     46       1.1  hannken #include <sys/mount.h>
     47      1.26  hannken #include <sys/pserialize.h>
     48       1.1  hannken #include <sys/vnode.h>
     49       1.1  hannken #define _FSTRANS_API_PRIVATE
     50       1.1  hannken #include <sys/fstrans.h>
     51      1.10       ad #include <sys/proc.h>
     52       1.1  hannken 
     53      1.12  hannken #include <miscfs/specfs/specdev.h>
     54       1.1  hannken #include <miscfs/syncfs/syncfs.h>
     55       1.1  hannken 
     56      1.16       ad struct fscow_handler {
     57      1.26  hannken 	LIST_ENTRY(fscow_handler) ch_list;
     58      1.16       ad 	int (*ch_func)(void *, struct buf *, bool);
     59      1.16       ad 	void *ch_arg;
     60      1.16       ad };
     61       1.1  hannken struct fstrans_lwp_info {
     62       1.1  hannken 	struct fstrans_lwp_info *fli_succ;
     63      1.26  hannken 	struct lwp *fli_self;
     64       1.1  hannken 	struct mount *fli_mount;
     65      1.20  hannken 	int fli_trans_cnt;
     66      1.20  hannken 	int fli_cow_cnt;
     67       1.1  hannken 	enum fstrans_lock_type fli_lock_type;
     68      1.26  hannken 	LIST_ENTRY(fstrans_lwp_info) fli_list;
     69       1.1  hannken };
     70       1.1  hannken struct fstrans_mount_info {
     71       1.1  hannken 	enum fstrans_state fmi_state;
     72      1.26  hannken 	unsigned int fmi_ref_cnt;
     73      1.26  hannken 	bool fmi_cow_change;
     74      1.26  hannken 	LIST_HEAD(, fscow_handler) fmi_cow_handler;
     75       1.1  hannken };
     76       1.1  hannken 
     77      1.26  hannken static specificdata_key_t lwp_data_key;	/* Our specific data key. */
     78       1.4       ad static kmutex_t vfs_suspend_lock;	/* Serialize suspensions. */
     79      1.26  hannken static kmutex_t fstrans_lock;		/* Fstrans big lock. */
     80      1.26  hannken static kcondvar_t fstrans_state_cv;	/* Fstrans or cow state changed. */
     81      1.26  hannken static kcondvar_t fstrans_count_cv;	/* Fstrans or cow count changed. */
     82      1.26  hannken static pserialize_t fstrans_psz;	/* Pserialize state. */
     83      1.26  hannken static LIST_HEAD(fstrans_lwp_head, fstrans_lwp_info) fstrans_fli_head;
     84      1.26  hannken 					/* List of all fstrans_lwp_info. */
     85       1.1  hannken 
     86       1.1  hannken static void fstrans_lwp_dtor(void *);
     87      1.26  hannken static void fstrans_mount_dtor(struct mount *);
     88      1.26  hannken static struct fstrans_lwp_info *fstrans_get_lwp_info(struct mount *, bool);
     89      1.26  hannken static bool grant_lock(const enum fstrans_state, const enum fstrans_lock_type);
     90      1.26  hannken static bool state_change_done(const struct mount *);
     91      1.26  hannken static bool cow_state_change_done(const struct mount *);
     92      1.26  hannken static void cow_change_enter(const struct mount *);
     93      1.26  hannken static void cow_change_done(const struct mount *);
     94       1.1  hannken 
     95       1.1  hannken /*
     96      1.26  hannken  * Initialize.
     97       1.1  hannken  */
     98       1.1  hannken void
     99       1.1  hannken fstrans_init(void)
    100       1.1  hannken {
    101  1.26.2.1    rmind 	int error __diagused;
    102       1.1  hannken 
    103       1.1  hannken 	error = lwp_specific_key_create(&lwp_data_key, fstrans_lwp_dtor);
    104       1.1  hannken 	KASSERT(error == 0);
    105       1.7       ad 
    106       1.4       ad 	mutex_init(&vfs_suspend_lock, MUTEX_DEFAULT, IPL_NONE);
    107      1.26  hannken 	mutex_init(&fstrans_lock, MUTEX_DEFAULT, IPL_NONE);
    108      1.26  hannken 	cv_init(&fstrans_state_cv, "fstchg");
    109      1.26  hannken 	cv_init(&fstrans_count_cv, "fstcnt");
    110      1.26  hannken 	fstrans_psz = pserialize_create();
    111      1.26  hannken 	LIST_INIT(&fstrans_fli_head);
    112       1.1  hannken }
    113       1.1  hannken 
    114       1.1  hannken /*
    115      1.26  hannken  * Deallocate lwp state.
    116       1.1  hannken  */
    117       1.1  hannken static void
    118       1.1  hannken fstrans_lwp_dtor(void *arg)
    119       1.1  hannken {
    120       1.1  hannken 	struct fstrans_lwp_info *fli, *fli_next;
    121       1.1  hannken 
    122       1.1  hannken 	for (fli = arg; fli; fli = fli_next) {
    123      1.20  hannken 		KASSERT(fli->fli_trans_cnt == 0);
    124      1.20  hannken 		KASSERT(fli->fli_cow_cnt == 0);
    125      1.26  hannken 		if (fli->fli_mount != NULL)
    126      1.26  hannken 			fstrans_mount_dtor(fli->fli_mount);
    127       1.1  hannken 		fli_next = fli->fli_succ;
    128  1.26.2.1    rmind 		fli->fli_mount = NULL;
    129  1.26.2.1    rmind 		membar_sync();
    130  1.26.2.1    rmind 		fli->fli_self = NULL;
    131       1.1  hannken 	}
    132      1.26  hannken }
    133      1.26  hannken 
    134      1.26  hannken /*
    135      1.26  hannken  * Dereference mount state.
    136      1.26  hannken  */
    137      1.26  hannken static void
    138      1.26  hannken fstrans_mount_dtor(struct mount *mp)
    139      1.26  hannken {
    140      1.26  hannken 	struct fstrans_mount_info *fmi;
    141      1.26  hannken 
    142      1.26  hannken 	fmi = mp->mnt_transinfo;
    143      1.26  hannken 	if (atomic_dec_uint_nv(&fmi->fmi_ref_cnt) > 0)
    144      1.26  hannken 		return;
    145      1.26  hannken 
    146      1.26  hannken 	KASSERT(fmi->fmi_state == FSTRANS_NORMAL);
    147      1.26  hannken 	KASSERT(LIST_FIRST(&fmi->fmi_cow_handler) == NULL);
    148      1.26  hannken 
    149      1.26  hannken 	kmem_free(fmi, sizeof(*fmi));
    150      1.26  hannken 	mp->mnt_iflag &= ~IMNT_HAS_TRANS;
    151      1.26  hannken 	mp->mnt_transinfo = NULL;
    152      1.26  hannken 
    153      1.26  hannken 	vfs_destroy(mp);
    154       1.1  hannken }
    155       1.1  hannken 
    156       1.1  hannken /*
    157      1.26  hannken  * Allocate mount state.
    158       1.1  hannken  */
    159      1.16       ad int
    160      1.16       ad fstrans_mount(struct mount *mp)
    161       1.1  hannken {
    162      1.26  hannken 	int error;
    163      1.16       ad 	struct fstrans_mount_info *new;
    164      1.16       ad 
    165      1.26  hannken 	error = vfs_busy(mp, NULL);
    166      1.26  hannken 	if (error)
    167      1.26  hannken 		return error;
    168      1.16       ad 	if ((new = kmem_alloc(sizeof(*new), KM_SLEEP)) == NULL)
    169      1.16       ad 		return ENOMEM;
    170      1.16       ad 	new->fmi_state = FSTRANS_NORMAL;
    171      1.26  hannken 	new->fmi_ref_cnt = 1;
    172      1.26  hannken 	LIST_INIT(&new->fmi_cow_handler);
    173      1.26  hannken 	new->fmi_cow_change = false;
    174      1.16       ad 
    175      1.16       ad 	mp->mnt_transinfo = new;
    176      1.16       ad 	mp->mnt_iflag |= IMNT_HAS_TRANS;
    177       1.1  hannken 
    178      1.26  hannken 	vfs_unbusy(mp, true, NULL);
    179      1.26  hannken 
    180      1.16       ad 	return 0;
    181       1.1  hannken }
    182       1.1  hannken 
    183       1.1  hannken /*
    184      1.26  hannken  * Deallocate mount state.
    185       1.1  hannken  */
    186      1.16       ad void
    187      1.16       ad fstrans_unmount(struct mount *mp)
    188       1.1  hannken {
    189       1.1  hannken 
    190      1.26  hannken 	KASSERT(mp->mnt_transinfo != NULL);
    191       1.1  hannken 
    192      1.26  hannken 	fstrans_mount_dtor(mp);
    193       1.1  hannken }
    194       1.1  hannken 
    195       1.1  hannken /*
    196      1.26  hannken  * Retrieve the per lwp info for this mount allocating if necessary.
    197      1.20  hannken  */
    198      1.20  hannken static struct fstrans_lwp_info *
    199      1.26  hannken fstrans_get_lwp_info(struct mount *mp, bool do_alloc)
    200      1.20  hannken {
    201      1.26  hannken 	struct fstrans_lwp_info *fli, *res;
    202      1.26  hannken 	struct fstrans_mount_info *fmi;
    203      1.20  hannken 
    204      1.26  hannken 	/*
    205      1.26  hannken 	 * Scan our list for a match clearing entries whose mount is gone.
    206      1.26  hannken 	 */
    207      1.26  hannken 	res = NULL;
    208      1.20  hannken 	for (fli = lwp_getspecific(lwp_data_key); fli; fli = fli->fli_succ) {
    209      1.26  hannken 		if (fli->fli_mount == mp) {
    210      1.26  hannken 			KASSERT(res == NULL);
    211      1.26  hannken 			res = fli;
    212      1.26  hannken 		} else if (fli->fli_mount != NULL &&
    213      1.26  hannken 		    (fli->fli_mount->mnt_iflag & IMNT_GONE) != 0 &&
    214      1.26  hannken 		    fli->fli_trans_cnt == 0 && fli->fli_cow_cnt == 0) {
    215      1.26  hannken 			fstrans_mount_dtor(fli->fli_mount);
    216      1.26  hannken 			fli->fli_mount = NULL;
    217      1.26  hannken 		}
    218      1.20  hannken 	}
    219      1.26  hannken 	if (__predict_true(res != NULL))
    220      1.26  hannken 		return res;
    221      1.20  hannken 
    222      1.26  hannken 	if (! do_alloc)
    223      1.26  hannken 		return NULL;
    224      1.26  hannken 
    225      1.26  hannken 	/*
    226      1.26  hannken 	 * Try to reuse a cleared entry or allocate a new one.
    227      1.26  hannken 	 */
    228      1.26  hannken 	for (fli = lwp_getspecific(lwp_data_key); fli; fli = fli->fli_succ) {
    229      1.26  hannken 		if (fli->fli_mount == NULL) {
    230      1.26  hannken 			KASSERT(fli->fli_trans_cnt == 0);
    231      1.26  hannken 			KASSERT(fli->fli_cow_cnt == 0);
    232      1.26  hannken 			break;
    233      1.26  hannken 		}
    234      1.26  hannken 	}
    235      1.26  hannken 	if (fli == NULL) {
    236  1.26.2.1    rmind 		mutex_enter(&fstrans_lock);
    237  1.26.2.1    rmind 		LIST_FOREACH(fli, &fstrans_fli_head, fli_list) {
    238  1.26.2.1    rmind 			if (fli->fli_self == NULL) {
    239  1.26.2.1    rmind 				KASSERT(fli->fli_trans_cnt == 0);
    240  1.26.2.1    rmind 				KASSERT(fli->fli_cow_cnt == 0);
    241  1.26.2.1    rmind 				fli->fli_self = curlwp;
    242  1.26.2.1    rmind 				fli->fli_succ = lwp_getspecific(lwp_data_key);
    243  1.26.2.1    rmind 				lwp_setspecific(lwp_data_key, fli);
    244  1.26.2.1    rmind 				break;
    245  1.26.2.1    rmind 			}
    246  1.26.2.1    rmind 		}
    247  1.26.2.1    rmind 		mutex_exit(&fstrans_lock);
    248  1.26.2.1    rmind 	}
    249  1.26.2.1    rmind 	if (fli == NULL) {
    250  1.26.2.1    rmind 		fli = kmem_alloc(sizeof(*fli), KM_SLEEP);
    251      1.26  hannken 		mutex_enter(&fstrans_lock);
    252      1.26  hannken 		memset(fli, 0, sizeof(*fli));
    253      1.26  hannken 		fli->fli_self = curlwp;
    254      1.26  hannken 		LIST_INSERT_HEAD(&fstrans_fli_head, fli, fli_list);
    255      1.26  hannken 		mutex_exit(&fstrans_lock);
    256      1.26  hannken 		fli->fli_succ = lwp_getspecific(lwp_data_key);
    257      1.26  hannken 		lwp_setspecific(lwp_data_key, fli);
    258      1.20  hannken 	}
    259      1.20  hannken 
    260      1.26  hannken 	/*
    261      1.26  hannken 	 * Attach the entry to the mount.
    262      1.26  hannken 	 */
    263      1.26  hannken 	fmi = mp->mnt_transinfo;
    264      1.26  hannken 	fli->fli_mount = mp;
    265      1.26  hannken 	atomic_inc_uint(&fmi->fmi_ref_cnt);
    266      1.26  hannken 
    267      1.26  hannken 	return fli;
    268      1.26  hannken }
    269      1.26  hannken 
    270      1.26  hannken /*
    271      1.26  hannken  * Check if this lock type is granted at this state.
    272      1.26  hannken  */
    273      1.26  hannken static bool
    274      1.26  hannken grant_lock(const enum fstrans_state state, const enum fstrans_lock_type type)
    275      1.26  hannken {
    276      1.20  hannken 
    277      1.26  hannken 	if (__predict_true(state == FSTRANS_NORMAL))
    278      1.26  hannken 		return true;
    279      1.26  hannken 	if (type == FSTRANS_EXCL)
    280      1.26  hannken 		return true;
    281      1.26  hannken 	if  (state == FSTRANS_SUSPENDING && type == FSTRANS_LAZY)
    282      1.26  hannken 		return true;
    283      1.20  hannken 
    284      1.26  hannken 	return false;
    285      1.20  hannken }
    286      1.20  hannken 
    287      1.20  hannken /*
    288       1.1  hannken  * Start a transaction.  If this thread already has a transaction on this
    289       1.1  hannken  * file system increment the reference counter.
    290       1.1  hannken  */
    291       1.1  hannken int
    292       1.1  hannken _fstrans_start(struct mount *mp, enum fstrans_lock_type lock_type, int wait)
    293       1.1  hannken {
    294      1.26  hannken 	int s;
    295      1.20  hannken 	struct fstrans_lwp_info *fli;
    296       1.1  hannken 	struct fstrans_mount_info *fmi;
    297       1.1  hannken 
    298      1.18     yamt 	ASSERT_SLEEPABLE();
    299       1.1  hannken 
    300       1.1  hannken 	if (mp == NULL || (mp->mnt_iflag & IMNT_HAS_TRANS) == 0)
    301       1.1  hannken 		return 0;
    302       1.1  hannken 
    303      1.26  hannken 	fli = fstrans_get_lwp_info(mp, true);
    304       1.1  hannken 
    305      1.20  hannken 	if (fli->fli_trans_cnt > 0) {
    306      1.26  hannken 		KASSERT(lock_type != FSTRANS_EXCL);
    307      1.20  hannken 		fli->fli_trans_cnt += 1;
    308      1.26  hannken 
    309      1.20  hannken 		return 0;
    310       1.1  hannken 	}
    311       1.1  hannken 
    312      1.26  hannken 	s = pserialize_read_enter();
    313      1.16       ad 	fmi = mp->mnt_transinfo;
    314      1.26  hannken 	if (__predict_true(grant_lock(fmi->fmi_state, lock_type))) {
    315      1.26  hannken 		fli->fli_trans_cnt = 1;
    316      1.26  hannken 		fli->fli_lock_type = lock_type;
    317      1.26  hannken 		pserialize_read_exit(s);
    318       1.1  hannken 
    319      1.26  hannken 		return 0;
    320      1.26  hannken 	}
    321      1.26  hannken 	pserialize_read_exit(s);
    322       1.8  hannken 
    323      1.26  hannken 	if (! wait)
    324       1.8  hannken 		return EBUSY;
    325       1.1  hannken 
    326      1.26  hannken 	mutex_enter(&fstrans_lock);
    327      1.26  hannken 	while (! grant_lock(fmi->fmi_state, lock_type))
    328      1.26  hannken 		cv_wait(&fstrans_state_cv, &fstrans_lock);
    329      1.20  hannken 	fli->fli_trans_cnt = 1;
    330      1.20  hannken 	fli->fli_lock_type = lock_type;
    331      1.26  hannken 	mutex_exit(&fstrans_lock);
    332       1.1  hannken 
    333       1.1  hannken 	return 0;
    334       1.1  hannken }
    335       1.1  hannken 
    336       1.1  hannken /*
    337       1.1  hannken  * Finish a transaction.
    338       1.1  hannken  */
    339       1.1  hannken void
    340       1.1  hannken fstrans_done(struct mount *mp)
    341       1.1  hannken {
    342      1.26  hannken 	int s;
    343       1.1  hannken 	struct fstrans_lwp_info *fli;
    344       1.1  hannken 	struct fstrans_mount_info *fmi;
    345       1.1  hannken 
    346       1.1  hannken 	if (mp == NULL || (mp->mnt_iflag & IMNT_HAS_TRANS) == 0)
    347       1.1  hannken 		return;
    348       1.1  hannken 
    349      1.26  hannken 	fli = fstrans_get_lwp_info(mp, false);
    350      1.26  hannken 	KASSERT(fli != NULL);
    351      1.26  hannken 	KASSERT(fli->fli_trans_cnt > 0);
    352      1.26  hannken 
    353      1.26  hannken 	if (fli->fli_trans_cnt > 1) {
    354      1.26  hannken 		fli->fli_trans_cnt -= 1;
    355      1.26  hannken 
    356      1.26  hannken 		return;
    357       1.1  hannken 	}
    358       1.1  hannken 
    359      1.26  hannken 	s = pserialize_read_enter();
    360      1.26  hannken 	fmi = mp->mnt_transinfo;
    361      1.26  hannken 	if (__predict_true(fmi->fmi_state == FSTRANS_NORMAL)) {
    362      1.26  hannken 		fli->fli_trans_cnt = 0;
    363      1.26  hannken 		pserialize_read_exit(s);
    364      1.26  hannken 
    365      1.26  hannken 		return;
    366      1.26  hannken 	}
    367      1.26  hannken 	pserialize_read_exit(s);
    368      1.20  hannken 
    369      1.26  hannken 	mutex_enter(&fstrans_lock);
    370      1.26  hannken 	fli->fli_trans_cnt = 0;
    371      1.26  hannken 	cv_signal(&fstrans_count_cv);
    372      1.26  hannken 	mutex_exit(&fstrans_lock);
    373       1.1  hannken }
    374       1.1  hannken 
    375       1.1  hannken /*
    376       1.1  hannken  * Check if this thread has an exclusive lock.
    377       1.1  hannken  */
    378       1.1  hannken int
    379       1.1  hannken fstrans_is_owner(struct mount *mp)
    380       1.1  hannken {
    381       1.1  hannken 	struct fstrans_lwp_info *fli;
    382       1.1  hannken 
    383      1.26  hannken 	if (mp == NULL || (mp->mnt_iflag & IMNT_HAS_TRANS) == 0)
    384       1.1  hannken 		return 0;
    385       1.1  hannken 
    386      1.26  hannken 	fli = fstrans_get_lwp_info(mp, false);
    387      1.20  hannken 	if (fli == NULL || fli->fli_trans_cnt == 0)
    388       1.1  hannken 		return 0;
    389       1.1  hannken 
    390       1.1  hannken 	KASSERT(fli->fli_mount == mp);
    391      1.20  hannken 	KASSERT(fli->fli_trans_cnt > 0);
    392      1.26  hannken 
    393       1.2  hannken 	return (fli->fli_lock_type == FSTRANS_EXCL);
    394       1.1  hannken }
    395       1.1  hannken 
    396       1.1  hannken /*
    397      1.26  hannken  * True, if no thread is in a transaction not granted at the current state.
    398      1.26  hannken  */
    399      1.26  hannken static bool
    400      1.26  hannken state_change_done(const struct mount *mp)
    401      1.26  hannken {
    402      1.26  hannken 	struct fstrans_lwp_info *fli;
    403      1.26  hannken 	struct fstrans_mount_info *fmi;
    404      1.26  hannken 
    405      1.26  hannken 	KASSERT(mutex_owned(&fstrans_lock));
    406      1.26  hannken 
    407      1.26  hannken 	fmi = mp->mnt_transinfo;
    408      1.26  hannken 	LIST_FOREACH(fli, &fstrans_fli_head, fli_list) {
    409      1.26  hannken 		if (fli->fli_mount != mp)
    410      1.26  hannken 			continue;
    411      1.26  hannken 		if (fli->fli_trans_cnt == 0)
    412      1.26  hannken 			continue;
    413      1.26  hannken 		if (grant_lock(fmi->fmi_state, fli->fli_lock_type))
    414      1.26  hannken 			continue;
    415      1.26  hannken 
    416      1.26  hannken 		return false;
    417      1.26  hannken 	}
    418      1.26  hannken 
    419      1.26  hannken 	return true;
    420      1.26  hannken }
    421      1.26  hannken 
    422      1.26  hannken /*
    423       1.1  hannken  * Set new file system state.
    424       1.1  hannken  */
    425       1.1  hannken int
    426       1.1  hannken fstrans_setstate(struct mount *mp, enum fstrans_state new_state)
    427       1.1  hannken {
    428      1.26  hannken 	int error;
    429      1.26  hannken 	enum fstrans_state old_state;
    430       1.1  hannken 	struct fstrans_mount_info *fmi;
    431       1.1  hannken 
    432      1.16       ad 	fmi = mp->mnt_transinfo;
    433      1.26  hannken 	old_state = fmi->fmi_state;
    434      1.26  hannken 	if (old_state == new_state)
    435      1.26  hannken 		return 0;
    436       1.1  hannken 
    437      1.26  hannken 	mutex_enter(&fstrans_lock);
    438      1.26  hannken 	fmi->fmi_state = new_state;
    439      1.26  hannken 	pserialize_perform(fstrans_psz);
    440      1.26  hannken 
    441      1.26  hannken 	/*
    442      1.26  hannken 	 * All threads see the new state now.
    443      1.26  hannken 	 * Wait for transactions invalid at this state to leave.
    444      1.26  hannken 	 */
    445      1.26  hannken 	error = 0;
    446      1.26  hannken 	while (! state_change_done(mp)) {
    447      1.26  hannken 		error = cv_wait_sig(&fstrans_count_cv, &fstrans_lock);
    448      1.26  hannken 		if (error) {
    449      1.26  hannken 			new_state = fmi->fmi_state = FSTRANS_NORMAL;
    450      1.26  hannken 			break;
    451      1.26  hannken 		}
    452      1.26  hannken 	}
    453      1.26  hannken 	cv_broadcast(&fstrans_state_cv);
    454      1.26  hannken 	mutex_exit(&fstrans_lock);
    455       1.1  hannken 
    456      1.26  hannken 	if (old_state != new_state) {
    457      1.26  hannken 		if (old_state == FSTRANS_NORMAL)
    458       1.9  hannken 			fstrans_start(mp, FSTRANS_EXCL);
    459      1.26  hannken 		if (new_state == FSTRANS_NORMAL)
    460       1.1  hannken 			fstrans_done(mp);
    461       1.1  hannken 	}
    462       1.1  hannken 
    463      1.26  hannken 	return error;
    464       1.1  hannken }
    465       1.1  hannken 
    466       1.1  hannken /*
    467      1.26  hannken  * Get current file system state.
    468       1.1  hannken  */
    469       1.1  hannken enum fstrans_state
    470       1.1  hannken fstrans_getstate(struct mount *mp)
    471       1.1  hannken {
    472       1.1  hannken 	struct fstrans_mount_info *fmi;
    473       1.1  hannken 
    474      1.16       ad 	fmi = mp->mnt_transinfo;
    475      1.26  hannken 	KASSERT(fmi != NULL);
    476       1.1  hannken 
    477       1.1  hannken 	return fmi->fmi_state;
    478       1.1  hannken }
    479       1.1  hannken 
    480       1.1  hannken /*
    481       1.1  hannken  * Request a filesystem to suspend all operations.
    482       1.1  hannken  */
    483       1.1  hannken int
    484       1.1  hannken vfs_suspend(struct mount *mp, int nowait)
    485       1.1  hannken {
    486       1.4       ad 	int error;
    487       1.1  hannken 
    488       1.4       ad 	if (nowait) {
    489       1.4       ad 		if (!mutex_tryenter(&vfs_suspend_lock))
    490       1.4       ad 			return EWOULDBLOCK;
    491       1.4       ad 	} else
    492       1.4       ad 		mutex_enter(&vfs_suspend_lock);
    493       1.1  hannken 
    494       1.3  hannken 	mutex_enter(&syncer_mutex);
    495       1.1  hannken 	if ((error = VFS_SUSPENDCTL(mp, SUSPEND_SUSPEND)) != 0) {
    496       1.3  hannken 		mutex_exit(&syncer_mutex);
    497       1.4       ad 		mutex_exit(&vfs_suspend_lock);
    498       1.1  hannken 	}
    499       1.1  hannken 
    500       1.1  hannken 	return error;
    501       1.1  hannken }
    502       1.1  hannken 
    503       1.1  hannken /*
    504       1.1  hannken  * Request a filesystem to resume all operations.
    505       1.1  hannken  */
    506       1.1  hannken void
    507       1.1  hannken vfs_resume(struct mount *mp)
    508       1.1  hannken {
    509       1.1  hannken 
    510       1.1  hannken 	VFS_SUSPENDCTL(mp, SUSPEND_RESUME);
    511       1.3  hannken 	mutex_exit(&syncer_mutex);
    512       1.4       ad 	mutex_exit(&vfs_suspend_lock);
    513       1.1  hannken }
    514       1.1  hannken 
    515       1.1  hannken 
    516      1.26  hannken /*
    517      1.26  hannken  * True, if no thread is running a cow handler.
    518      1.26  hannken  */
    519      1.26  hannken static bool
    520      1.26  hannken cow_state_change_done(const struct mount *mp)
    521       1.1  hannken {
    522       1.1  hannken 	struct fstrans_lwp_info *fli;
    523  1.26.2.1    rmind 	struct fstrans_mount_info *fmi __diagused;
    524      1.26  hannken 
    525      1.26  hannken 	fmi = mp->mnt_transinfo;
    526       1.1  hannken 
    527      1.26  hannken 	KASSERT(mutex_owned(&fstrans_lock));
    528      1.26  hannken 	KASSERT(fmi->fmi_cow_change);
    529      1.26  hannken 
    530      1.26  hannken 	LIST_FOREACH(fli, &fstrans_fli_head, fli_list) {
    531      1.26  hannken 		if (fli->fli_mount != mp)
    532      1.26  hannken 			continue;
    533      1.26  hannken 		if (fli->fli_cow_cnt == 0)
    534       1.1  hannken 			continue;
    535      1.26  hannken 
    536      1.26  hannken 		return false;
    537       1.1  hannken 	}
    538      1.26  hannken 
    539      1.26  hannken 	return true;
    540       1.1  hannken }
    541       1.1  hannken 
    542      1.26  hannken /*
    543      1.26  hannken  * Prepare for changing this mounts cow list.
    544      1.26  hannken  * Returns with fstrans_lock locked.
    545      1.26  hannken  */
    546       1.1  hannken static void
    547      1.26  hannken cow_change_enter(const struct mount *mp)
    548       1.1  hannken {
    549       1.1  hannken 	struct fstrans_mount_info *fmi;
    550       1.1  hannken 
    551      1.16       ad 	fmi = mp->mnt_transinfo;
    552       1.1  hannken 
    553      1.26  hannken 	mutex_enter(&fstrans_lock);
    554      1.26  hannken 
    555      1.26  hannken 	/*
    556      1.26  hannken 	 * Wait for other threads changing the list.
    557      1.26  hannken 	 */
    558      1.26  hannken 	while (fmi->fmi_cow_change)
    559      1.26  hannken 		cv_wait(&fstrans_state_cv, &fstrans_lock);
    560      1.26  hannken 
    561      1.26  hannken 	/*
    562      1.26  hannken 	 * Wait until all threads are aware of a state change.
    563      1.26  hannken 	 */
    564      1.26  hannken 	fmi->fmi_cow_change = true;
    565      1.26  hannken 	pserialize_perform(fstrans_psz);
    566      1.26  hannken 
    567      1.26  hannken 	while (! cow_state_change_done(mp))
    568      1.26  hannken 		cv_wait(&fstrans_count_cv, &fstrans_lock);
    569       1.1  hannken }
    570       1.1  hannken 
    571      1.26  hannken /*
    572      1.26  hannken  * Done changing this mounts cow list.
    573      1.26  hannken  */
    574      1.26  hannken static void
    575      1.26  hannken cow_change_done(const struct mount *mp)
    576       1.1  hannken {
    577      1.26  hannken 	struct fstrans_mount_info *fmi;
    578      1.26  hannken 
    579      1.26  hannken 	KASSERT(mutex_owned(&fstrans_lock));
    580      1.26  hannken 
    581      1.26  hannken 	fmi = mp->mnt_transinfo;
    582      1.26  hannken 
    583      1.26  hannken 	fmi->fmi_cow_change = false;
    584      1.26  hannken 	pserialize_perform(fstrans_psz);
    585       1.1  hannken 
    586      1.26  hannken 	cv_broadcast(&fstrans_state_cv);
    587       1.1  hannken 
    588      1.26  hannken 	mutex_exit(&fstrans_lock);
    589       1.1  hannken }
    590      1.12  hannken 
    591      1.26  hannken /*
    592      1.26  hannken  * Add a handler to this mount.
    593      1.26  hannken  */
    594      1.12  hannken int
    595      1.15  hannken fscow_establish(struct mount *mp, int (*func)(void *, struct buf *, bool),
    596      1.15  hannken     void *arg)
    597      1.12  hannken {
    598      1.16       ad 	struct fstrans_mount_info *fmi;
    599      1.12  hannken 	struct fscow_handler *new;
    600      1.12  hannken 
    601      1.16       ad 	if ((mp->mnt_iflag & IMNT_HAS_TRANS) == 0)
    602      1.16       ad 		return EINVAL;
    603      1.16       ad 
    604      1.16       ad 	fmi = mp->mnt_transinfo;
    605      1.26  hannken 	KASSERT(fmi != NULL);
    606      1.12  hannken 
    607      1.12  hannken 	if ((new = kmem_alloc(sizeof(*new), KM_SLEEP)) == NULL)
    608      1.12  hannken 		return ENOMEM;
    609      1.12  hannken 	new->ch_func = func;
    610      1.12  hannken 	new->ch_arg = arg;
    611      1.26  hannken 
    612      1.26  hannken 	cow_change_enter(mp);
    613      1.26  hannken 	LIST_INSERT_HEAD(&fmi->fmi_cow_handler, new, ch_list);
    614      1.26  hannken 	cow_change_done(mp);
    615      1.12  hannken 
    616      1.12  hannken 	return 0;
    617      1.12  hannken }
    618      1.12  hannken 
    619      1.26  hannken /*
    620      1.26  hannken  * Remove a handler from this mount.
    621      1.26  hannken  */
    622      1.12  hannken int
    623      1.15  hannken fscow_disestablish(struct mount *mp, int (*func)(void *, struct buf *, bool),
    624      1.12  hannken     void *arg)
    625      1.12  hannken {
    626      1.16       ad 	struct fstrans_mount_info *fmi;
    627      1.12  hannken 	struct fscow_handler *hp = NULL;
    628      1.12  hannken 
    629      1.16       ad 	if ((mp->mnt_iflag & IMNT_HAS_TRANS) == 0)
    630      1.12  hannken 		return EINVAL;
    631      1.12  hannken 
    632      1.16       ad 	fmi = mp->mnt_transinfo;
    633      1.26  hannken 	KASSERT(fmi != NULL);
    634      1.16       ad 
    635      1.26  hannken 	cow_change_enter(mp);
    636      1.26  hannken 	LIST_FOREACH(hp, &fmi->fmi_cow_handler, ch_list)
    637      1.12  hannken 		if (hp->ch_func == func && hp->ch_arg == arg)
    638      1.12  hannken 			break;
    639      1.12  hannken 	if (hp != NULL) {
    640      1.26  hannken 		LIST_REMOVE(hp, ch_list);
    641      1.12  hannken 		kmem_free(hp, sizeof(*hp));
    642      1.12  hannken 	}
    643      1.26  hannken 	cow_change_done(mp);
    644      1.12  hannken 
    645      1.12  hannken 	return hp ? 0 : EINVAL;
    646      1.12  hannken }
    647      1.12  hannken 
    648      1.26  hannken /*
    649      1.26  hannken  * Check for need to copy block that is about to be written.
    650      1.26  hannken  */
    651      1.12  hannken int
    652      1.15  hannken fscow_run(struct buf *bp, bool data_valid)
    653      1.12  hannken {
    654      1.26  hannken 	int error, s;
    655      1.12  hannken 	struct mount *mp;
    656      1.20  hannken 	struct fstrans_lwp_info *fli;
    657      1.16       ad 	struct fstrans_mount_info *fmi;
    658      1.12  hannken 	struct fscow_handler *hp;
    659      1.12  hannken 
    660      1.26  hannken 	/*
    661      1.26  hannken 	 * First check if we need run the copy-on-write handler.
    662      1.26  hannken 	 */
    663      1.17  hannken 	if ((bp->b_flags & B_COWDONE))
    664      1.26  hannken 		return 0;
    665      1.26  hannken 	if (bp->b_vp == NULL) {
    666      1.26  hannken 		bp->b_flags |= B_COWDONE;
    667      1.26  hannken 		return 0;
    668      1.26  hannken 	}
    669      1.12  hannken 	if (bp->b_vp->v_type == VBLK)
    670  1.26.2.1    rmind 		mp = spec_node_getmountedfs(bp->b_vp);
    671      1.12  hannken 	else
    672      1.12  hannken 		mp = bp->b_vp->v_mount;
    673      1.26  hannken 	if (mp == NULL || (mp->mnt_iflag & IMNT_HAS_TRANS) == 0) {
    674      1.26  hannken 		bp->b_flags |= B_COWDONE;
    675      1.26  hannken 		return 0;
    676      1.26  hannken 	}
    677      1.12  hannken 
    678      1.26  hannken 	fli = fstrans_get_lwp_info(mp, true);
    679      1.16       ad 	fmi = mp->mnt_transinfo;
    680      1.12  hannken 
    681      1.26  hannken 	/*
    682      1.26  hannken 	 * On non-recursed run check if other threads
    683      1.26  hannken 	 * want to change the list.
    684      1.26  hannken 	 */
    685      1.26  hannken 	if (fli->fli_cow_cnt == 0) {
    686      1.26  hannken 		s = pserialize_read_enter();
    687      1.26  hannken 		if (__predict_false(fmi->fmi_cow_change)) {
    688      1.26  hannken 			pserialize_read_exit(s);
    689      1.26  hannken 			mutex_enter(&fstrans_lock);
    690      1.26  hannken 			while (fmi->fmi_cow_change)
    691      1.26  hannken 				cv_wait(&fstrans_state_cv, &fstrans_lock);
    692      1.26  hannken 			fli->fli_cow_cnt = 1;
    693      1.26  hannken 			mutex_exit(&fstrans_lock);
    694      1.26  hannken 		} else {
    695      1.26  hannken 			fli->fli_cow_cnt = 1;
    696      1.26  hannken 			pserialize_read_exit(s);
    697      1.26  hannken 		}
    698      1.26  hannken 	} else
    699      1.26  hannken 		fli->fli_cow_cnt += 1;
    700      1.20  hannken 
    701      1.26  hannken 	/*
    702      1.26  hannken 	 * Run all copy-on-write handlers, stop on error.
    703      1.26  hannken 	 */
    704      1.26  hannken 	error = 0;
    705      1.26  hannken 	LIST_FOREACH(hp, &fmi->fmi_cow_handler, ch_list)
    706      1.15  hannken 		if ((error = (*hp->ch_func)(hp->ch_arg, bp, data_valid)) != 0)
    707      1.12  hannken 			break;
    708      1.17  hannken  	if (error == 0)
    709      1.17  hannken  		bp->b_flags |= B_COWDONE;
    710      1.15  hannken 
    711      1.26  hannken 	/*
    712      1.26  hannken 	 * Check if other threads want to change the list.
    713      1.26  hannken 	 */
    714      1.26  hannken 	if (fli->fli_cow_cnt > 1) {
    715      1.26  hannken 		fli->fli_cow_cnt -= 1;
    716      1.26  hannken 	} else {
    717      1.26  hannken 		s = pserialize_read_enter();
    718      1.26  hannken 		if (__predict_false(fmi->fmi_cow_change)) {
    719      1.26  hannken 			pserialize_read_exit(s);
    720      1.26  hannken 			mutex_enter(&fstrans_lock);
    721      1.26  hannken 			fli->fli_cow_cnt = 0;
    722      1.26  hannken 			cv_signal(&fstrans_count_cv);
    723      1.26  hannken 			mutex_exit(&fstrans_lock);
    724      1.26  hannken 		} else {
    725      1.26  hannken 			fli->fli_cow_cnt = 0;
    726      1.26  hannken 			pserialize_read_exit(s);
    727      1.26  hannken 		}
    728      1.26  hannken 	}
    729      1.26  hannken 
    730      1.12  hannken 	return error;
    731      1.12  hannken }
    732      1.26  hannken 
    733      1.26  hannken #if defined(DDB)
    734      1.26  hannken void fstrans_dump(int);
    735      1.26  hannken 
    736      1.26  hannken static void
    737      1.26  hannken fstrans_print_lwp(struct proc *p, struct lwp *l, int verbose)
    738      1.26  hannken {
    739      1.26  hannken 	char prefix[9];
    740      1.26  hannken 	struct fstrans_lwp_info *fli;
    741      1.26  hannken 
    742      1.26  hannken 	snprintf(prefix, sizeof(prefix), "%d.%d", p->p_pid, l->l_lid);
    743      1.26  hannken 	LIST_FOREACH(fli, &fstrans_fli_head, fli_list) {
    744      1.26  hannken 		if (fli->fli_self != l)
    745      1.26  hannken 			continue;
    746      1.26  hannken 		if (fli->fli_trans_cnt == 0 && fli->fli_cow_cnt == 0) {
    747      1.26  hannken 			if (! verbose)
    748      1.26  hannken 				continue;
    749      1.26  hannken 		}
    750      1.26  hannken 		printf("%-8s", prefix);
    751      1.26  hannken 		if (verbose)
    752      1.26  hannken 			printf(" @%p", fli);
    753      1.26  hannken 		if (fli->fli_mount != NULL)
    754      1.26  hannken 			printf(" (%s)", fli->fli_mount->mnt_stat.f_mntonname);
    755      1.26  hannken 		else
    756      1.26  hannken 			printf(" NULL");
    757      1.26  hannken 		if (fli->fli_trans_cnt == 0) {
    758      1.26  hannken 			printf(" -");
    759      1.26  hannken 		} else {
    760      1.26  hannken 			switch (fli->fli_lock_type) {
    761      1.26  hannken 			case FSTRANS_LAZY:
    762      1.26  hannken 				printf(" lazy");
    763      1.26  hannken 				break;
    764      1.26  hannken 			case FSTRANS_SHARED:
    765      1.26  hannken 				printf(" shared");
    766      1.26  hannken 				break;
    767      1.26  hannken 			case FSTRANS_EXCL:
    768      1.26  hannken 				printf(" excl");
    769      1.26  hannken 				break;
    770      1.26  hannken 			default:
    771      1.26  hannken 				printf(" %#x", fli->fli_lock_type);
    772      1.26  hannken 				break;
    773      1.26  hannken 			}
    774      1.26  hannken 		}
    775      1.26  hannken 		printf(" %d cow %d\n", fli->fli_trans_cnt, fli->fli_cow_cnt);
    776      1.26  hannken 		prefix[0] = '\0';
    777      1.26  hannken 	}
    778      1.26  hannken }
    779      1.26  hannken 
    780      1.26  hannken static void
    781      1.26  hannken fstrans_print_mount(struct mount *mp, int verbose)
    782      1.26  hannken {
    783      1.26  hannken 	struct fstrans_mount_info *fmi;
    784      1.26  hannken 
    785      1.26  hannken 	fmi = mp->mnt_transinfo;
    786      1.26  hannken 	if (!verbose && (fmi == NULL || fmi->fmi_state == FSTRANS_NORMAL))
    787      1.26  hannken 		return;
    788      1.26  hannken 
    789      1.26  hannken 	printf("%-16s ", mp->mnt_stat.f_mntonname);
    790      1.26  hannken 	if (fmi == NULL) {
    791      1.26  hannken 		printf("(null)\n");
    792      1.26  hannken 		return;
    793      1.26  hannken 	}
    794      1.26  hannken 	switch (fmi->fmi_state) {
    795      1.26  hannken 	case FSTRANS_NORMAL:
    796      1.26  hannken 		printf("state normal\n");
    797      1.26  hannken 		break;
    798      1.26  hannken 	case FSTRANS_SUSPENDING:
    799      1.26  hannken 		printf("state suspending\n");
    800      1.26  hannken 		break;
    801      1.26  hannken 	case FSTRANS_SUSPENDED:
    802      1.26  hannken 		printf("state suspended\n");
    803      1.26  hannken 		break;
    804      1.26  hannken 	default:
    805      1.26  hannken 		printf("state %#x\n", fmi->fmi_state);
    806      1.26  hannken 		break;
    807      1.26  hannken 	}
    808      1.26  hannken }
    809      1.26  hannken 
    810      1.26  hannken void
    811      1.26  hannken fstrans_dump(int full)
    812      1.26  hannken {
    813      1.26  hannken 	const struct proclist_desc *pd;
    814      1.26  hannken 	struct proc *p;
    815      1.26  hannken 	struct lwp *l;
    816      1.26  hannken 	struct mount *mp;
    817      1.26  hannken 
    818      1.26  hannken 	printf("Fstrans locks by lwp:\n");
    819      1.26  hannken 	for (pd = proclists; pd->pd_list != NULL; pd++)
    820      1.26  hannken 		PROCLIST_FOREACH(p, pd->pd_list)
    821      1.26  hannken 			LIST_FOREACH(l, &p->p_lwps, l_sibling)
    822      1.26  hannken 				fstrans_print_lwp(p, l, full == 1);
    823      1.26  hannken 
    824      1.26  hannken 	printf("Fstrans state by mount:\n");
    825  1.26.2.1    rmind 	TAILQ_FOREACH(mp, &mountlist, mnt_list)
    826      1.26  hannken 		fstrans_print_mount(mp, full == 1);
    827      1.26  hannken }
    828      1.26  hannken #endif /* defined(DDB) */
    829