Home | History | Annotate | Line # | Download | only in kern
vfs_trans.c revision 1.35
      1  1.35   hannken /*	$NetBSD: vfs_trans.c,v 1.35 2017/02/17 08:24:07 hannken Exp $	*/
      2   1.1   hannken 
      3   1.1   hannken /*-
      4   1.1   hannken  * Copyright (c) 2007 The NetBSD Foundation, Inc.
      5   1.1   hannken  * All rights reserved.
      6   1.1   hannken  *
      7   1.1   hannken  * This code is derived from software contributed to The NetBSD Foundation
      8   1.1   hannken  * by Juergen Hannken-Illjes.
      9   1.1   hannken  *
     10   1.1   hannken  * Redistribution and use in source and binary forms, with or without
     11   1.1   hannken  * modification, are permitted provided that the following conditions
     12   1.1   hannken  * are met:
     13   1.1   hannken  * 1. Redistributions of source code must retain the above copyright
     14   1.1   hannken  *    notice, this list of conditions and the following disclaimer.
     15   1.1   hannken  * 2. Redistributions in binary form must reproduce the above copyright
     16   1.1   hannken  *    notice, this list of conditions and the following disclaimer in the
     17   1.1   hannken  *    documentation and/or other materials provided with the distribution.
     18   1.1   hannken  *
     19   1.1   hannken  * THIS SOFTWARE IS PROVIDED BY THE NETBSD FOUNDATION, INC. AND CONTRIBUTORS
     20   1.1   hannken  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED
     21   1.1   hannken  * TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
     22   1.1   hannken  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR CONTRIBUTORS
     23   1.1   hannken  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
     24   1.1   hannken  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
     25   1.1   hannken  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
     26   1.1   hannken  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
     27   1.1   hannken  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
     28   1.1   hannken  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
     29   1.1   hannken  * POSSIBILITY OF SUCH DAMAGE.
     30   1.1   hannken  */
     31   1.1   hannken 
     32   1.1   hannken #include <sys/cdefs.h>
     33  1.35   hannken __KERNEL_RCSID(0, "$NetBSD: vfs_trans.c,v 1.35 2017/02/17 08:24:07 hannken Exp $");
     34   1.1   hannken 
     35   1.1   hannken /*
     36   1.1   hannken  * File system transaction operations.
     37   1.1   hannken  */
     38   1.1   hannken 
     39  1.34     pooka #ifdef _KERNEL_OPT
     40   1.1   hannken #include "opt_ddb.h"
     41  1.34     pooka #endif
     42   1.1   hannken 
     43   1.1   hannken #include <sys/param.h>
     44   1.1   hannken #include <sys/systm.h>
     45  1.26   hannken #include <sys/atomic.h>
     46  1.24     pooka #include <sys/buf.h>
     47  1.12   hannken #include <sys/kmem.h>
     48   1.1   hannken #include <sys/mount.h>
     49  1.26   hannken #include <sys/pserialize.h>
     50   1.1   hannken #include <sys/vnode.h>
     51   1.1   hannken #define _FSTRANS_API_PRIVATE
     52   1.1   hannken #include <sys/fstrans.h>
     53  1.10        ad #include <sys/proc.h>
     54   1.1   hannken 
     55  1.12   hannken #include <miscfs/specfs/specdev.h>
     56   1.1   hannken 
     57  1.16        ad struct fscow_handler {
     58  1.26   hannken 	LIST_ENTRY(fscow_handler) ch_list;
     59  1.16        ad 	int (*ch_func)(void *, struct buf *, bool);
     60  1.16        ad 	void *ch_arg;
     61  1.16        ad };
     62   1.1   hannken struct fstrans_lwp_info {
     63   1.1   hannken 	struct fstrans_lwp_info *fli_succ;
     64  1.26   hannken 	struct lwp *fli_self;
     65   1.1   hannken 	struct mount *fli_mount;
     66  1.20   hannken 	int fli_trans_cnt;
     67  1.20   hannken 	int fli_cow_cnt;
     68   1.1   hannken 	enum fstrans_lock_type fli_lock_type;
     69  1.26   hannken 	LIST_ENTRY(fstrans_lwp_info) fli_list;
     70   1.1   hannken };
     71   1.1   hannken struct fstrans_mount_info {
     72   1.1   hannken 	enum fstrans_state fmi_state;
     73  1.26   hannken 	unsigned int fmi_ref_cnt;
     74  1.26   hannken 	bool fmi_cow_change;
     75  1.26   hannken 	LIST_HEAD(, fscow_handler) fmi_cow_handler;
     76   1.1   hannken };
     77   1.1   hannken 
     78  1.26   hannken static specificdata_key_t lwp_data_key;	/* Our specific data key. */
     79   1.4        ad static kmutex_t vfs_suspend_lock;	/* Serialize suspensions. */
     80  1.26   hannken static kmutex_t fstrans_lock;		/* Fstrans big lock. */
     81  1.35   hannken static kmutex_t fstrans_mount_lock;	/* Fstrans mount big lock. */
     82  1.26   hannken static kcondvar_t fstrans_state_cv;	/* Fstrans or cow state changed. */
     83  1.26   hannken static kcondvar_t fstrans_count_cv;	/* Fstrans or cow count changed. */
     84  1.26   hannken static pserialize_t fstrans_psz;	/* Pserialize state. */
     85  1.26   hannken static LIST_HEAD(fstrans_lwp_head, fstrans_lwp_info) fstrans_fli_head;
     86  1.26   hannken 					/* List of all fstrans_lwp_info. */
     87   1.1   hannken 
     88   1.1   hannken static void fstrans_lwp_dtor(void *);
     89  1.26   hannken static void fstrans_mount_dtor(struct mount *);
     90  1.26   hannken static struct fstrans_lwp_info *fstrans_get_lwp_info(struct mount *, bool);
     91  1.26   hannken static bool grant_lock(const enum fstrans_state, const enum fstrans_lock_type);
     92  1.26   hannken static bool state_change_done(const struct mount *);
     93  1.26   hannken static bool cow_state_change_done(const struct mount *);
     94  1.26   hannken static void cow_change_enter(const struct mount *);
     95  1.26   hannken static void cow_change_done(const struct mount *);
     96   1.1   hannken 
     97   1.1   hannken /*
     98  1.26   hannken  * Initialize.
     99   1.1   hannken  */
    100   1.1   hannken void
    101   1.1   hannken fstrans_init(void)
    102   1.1   hannken {
    103  1.28    martin 	int error __diagused;
    104   1.1   hannken 
    105   1.1   hannken 	error = lwp_specific_key_create(&lwp_data_key, fstrans_lwp_dtor);
    106   1.1   hannken 	KASSERT(error == 0);
    107   1.7        ad 
    108   1.4        ad 	mutex_init(&vfs_suspend_lock, MUTEX_DEFAULT, IPL_NONE);
    109  1.26   hannken 	mutex_init(&fstrans_lock, MUTEX_DEFAULT, IPL_NONE);
    110  1.35   hannken 	mutex_init(&fstrans_mount_lock, MUTEX_DEFAULT, IPL_NONE);
    111  1.26   hannken 	cv_init(&fstrans_state_cv, "fstchg");
    112  1.26   hannken 	cv_init(&fstrans_count_cv, "fstcnt");
    113  1.26   hannken 	fstrans_psz = pserialize_create();
    114  1.26   hannken 	LIST_INIT(&fstrans_fli_head);
    115   1.1   hannken }
    116   1.1   hannken 
    117   1.1   hannken /*
    118  1.26   hannken  * Deallocate lwp state.
    119   1.1   hannken  */
    120   1.1   hannken static void
    121   1.1   hannken fstrans_lwp_dtor(void *arg)
    122   1.1   hannken {
    123   1.1   hannken 	struct fstrans_lwp_info *fli, *fli_next;
    124   1.1   hannken 
    125   1.1   hannken 	for (fli = arg; fli; fli = fli_next) {
    126  1.20   hannken 		KASSERT(fli->fli_trans_cnt == 0);
    127  1.20   hannken 		KASSERT(fli->fli_cow_cnt == 0);
    128  1.26   hannken 		if (fli->fli_mount != NULL)
    129  1.26   hannken 			fstrans_mount_dtor(fli->fli_mount);
    130   1.1   hannken 		fli_next = fli->fli_succ;
    131  1.30   hannken 		fli->fli_mount = NULL;
    132  1.30   hannken 		membar_sync();
    133  1.30   hannken 		fli->fli_self = NULL;
    134   1.1   hannken 	}
    135  1.26   hannken }
    136  1.26   hannken 
    137  1.26   hannken /*
    138  1.26   hannken  * Dereference mount state.
    139  1.26   hannken  */
    140  1.26   hannken static void
    141  1.26   hannken fstrans_mount_dtor(struct mount *mp)
    142  1.26   hannken {
    143  1.26   hannken 	struct fstrans_mount_info *fmi;
    144  1.26   hannken 
    145  1.35   hannken 	mutex_enter(&fstrans_mount_lock);
    146  1.35   hannken 
    147  1.26   hannken 	fmi = mp->mnt_transinfo;
    148  1.35   hannken 	KASSERT(fmi != NULL);
    149  1.35   hannken 	fmi->fmi_ref_cnt -= 1;
    150  1.35   hannken 	if (fmi->fmi_ref_cnt > 0) {
    151  1.35   hannken 		mutex_exit(&fstrans_mount_lock);
    152  1.26   hannken 		return;
    153  1.35   hannken 	}
    154  1.26   hannken 
    155  1.26   hannken 	KASSERT(fmi->fmi_state == FSTRANS_NORMAL);
    156  1.26   hannken 	KASSERT(LIST_FIRST(&fmi->fmi_cow_handler) == NULL);
    157  1.26   hannken 
    158  1.26   hannken 	mp->mnt_iflag &= ~IMNT_HAS_TRANS;
    159  1.26   hannken 	mp->mnt_transinfo = NULL;
    160  1.26   hannken 
    161  1.35   hannken 	mutex_exit(&fstrans_mount_lock);
    162  1.35   hannken 
    163  1.35   hannken 	kmem_free(fmi, sizeof(*fmi));
    164  1.26   hannken 	vfs_destroy(mp);
    165   1.1   hannken }
    166   1.1   hannken 
    167   1.1   hannken /*
    168  1.26   hannken  * Allocate mount state.
    169   1.1   hannken  */
    170  1.16        ad int
    171  1.16        ad fstrans_mount(struct mount *mp)
    172   1.1   hannken {
    173  1.26   hannken 	int error;
    174  1.31      matt 	struct fstrans_mount_info *newfmi;
    175  1.16        ad 
    176  1.26   hannken 	error = vfs_busy(mp, NULL);
    177  1.26   hannken 	if (error)
    178  1.26   hannken 		return error;
    179  1.32     pooka 	newfmi = kmem_alloc(sizeof(*newfmi), KM_SLEEP);
    180  1.31      matt 	newfmi->fmi_state = FSTRANS_NORMAL;
    181  1.31      matt 	newfmi->fmi_ref_cnt = 1;
    182  1.31      matt 	LIST_INIT(&newfmi->fmi_cow_handler);
    183  1.31      matt 	newfmi->fmi_cow_change = false;
    184  1.16        ad 
    185  1.35   hannken 	mutex_enter(&fstrans_mount_lock);
    186  1.31      matt 	mp->mnt_transinfo = newfmi;
    187  1.16        ad 	mp->mnt_iflag |= IMNT_HAS_TRANS;
    188  1.35   hannken 	mutex_exit(&fstrans_mount_lock);
    189   1.1   hannken 
    190  1.26   hannken 	vfs_unbusy(mp, true, NULL);
    191  1.26   hannken 
    192  1.16        ad 	return 0;
    193   1.1   hannken }
    194   1.1   hannken 
    195   1.1   hannken /*
    196  1.26   hannken  * Deallocate mount state.
    197   1.1   hannken  */
    198  1.16        ad void
    199  1.16        ad fstrans_unmount(struct mount *mp)
    200   1.1   hannken {
    201   1.1   hannken 
    202  1.26   hannken 	KASSERT(mp->mnt_transinfo != NULL);
    203   1.1   hannken 
    204  1.26   hannken 	fstrans_mount_dtor(mp);
    205   1.1   hannken }
    206   1.1   hannken 
    207   1.1   hannken /*
    208  1.26   hannken  * Retrieve the per lwp info for this mount allocating if necessary.
    209  1.20   hannken  */
    210  1.20   hannken static struct fstrans_lwp_info *
    211  1.26   hannken fstrans_get_lwp_info(struct mount *mp, bool do_alloc)
    212  1.20   hannken {
    213  1.26   hannken 	struct fstrans_lwp_info *fli, *res;
    214  1.26   hannken 	struct fstrans_mount_info *fmi;
    215  1.20   hannken 
    216  1.26   hannken 	/*
    217  1.26   hannken 	 * Scan our list for a match clearing entries whose mount is gone.
    218  1.26   hannken 	 */
    219  1.26   hannken 	res = NULL;
    220  1.20   hannken 	for (fli = lwp_getspecific(lwp_data_key); fli; fli = fli->fli_succ) {
    221  1.26   hannken 		if (fli->fli_mount == mp) {
    222  1.26   hannken 			KASSERT(res == NULL);
    223  1.26   hannken 			res = fli;
    224  1.26   hannken 		} else if (fli->fli_mount != NULL &&
    225  1.26   hannken 		    (fli->fli_mount->mnt_iflag & IMNT_GONE) != 0 &&
    226  1.26   hannken 		    fli->fli_trans_cnt == 0 && fli->fli_cow_cnt == 0) {
    227  1.26   hannken 			fstrans_mount_dtor(fli->fli_mount);
    228  1.26   hannken 			fli->fli_mount = NULL;
    229  1.26   hannken 		}
    230  1.20   hannken 	}
    231  1.26   hannken 	if (__predict_true(res != NULL))
    232  1.26   hannken 		return res;
    233  1.20   hannken 
    234  1.26   hannken 	if (! do_alloc)
    235  1.26   hannken 		return NULL;
    236  1.26   hannken 
    237  1.26   hannken 	/*
    238  1.26   hannken 	 * Try to reuse a cleared entry or allocate a new one.
    239  1.26   hannken 	 */
    240  1.26   hannken 	for (fli = lwp_getspecific(lwp_data_key); fli; fli = fli->fli_succ) {
    241  1.26   hannken 		if (fli->fli_mount == NULL) {
    242  1.26   hannken 			KASSERT(fli->fli_trans_cnt == 0);
    243  1.26   hannken 			KASSERT(fli->fli_cow_cnt == 0);
    244  1.26   hannken 			break;
    245  1.26   hannken 		}
    246  1.26   hannken 	}
    247  1.26   hannken 	if (fli == NULL) {
    248  1.30   hannken 		mutex_enter(&fstrans_lock);
    249  1.30   hannken 		LIST_FOREACH(fli, &fstrans_fli_head, fli_list) {
    250  1.30   hannken 			if (fli->fli_self == NULL) {
    251  1.35   hannken 				KASSERT(fli->fli_mount == NULL);
    252  1.30   hannken 				KASSERT(fli->fli_trans_cnt == 0);
    253  1.30   hannken 				KASSERT(fli->fli_cow_cnt == 0);
    254  1.30   hannken 				fli->fli_self = curlwp;
    255  1.30   hannken 				fli->fli_succ = lwp_getspecific(lwp_data_key);
    256  1.30   hannken 				lwp_setspecific(lwp_data_key, fli);
    257  1.30   hannken 				break;
    258  1.30   hannken 			}
    259  1.30   hannken 		}
    260  1.30   hannken 		mutex_exit(&fstrans_lock);
    261  1.30   hannken 	}
    262  1.30   hannken 	if (fli == NULL) {
    263  1.30   hannken 		fli = kmem_alloc(sizeof(*fli), KM_SLEEP);
    264  1.26   hannken 		mutex_enter(&fstrans_lock);
    265  1.26   hannken 		memset(fli, 0, sizeof(*fli));
    266  1.26   hannken 		fli->fli_self = curlwp;
    267  1.26   hannken 		LIST_INSERT_HEAD(&fstrans_fli_head, fli, fli_list);
    268  1.26   hannken 		mutex_exit(&fstrans_lock);
    269  1.26   hannken 		fli->fli_succ = lwp_getspecific(lwp_data_key);
    270  1.26   hannken 		lwp_setspecific(lwp_data_key, fli);
    271  1.20   hannken 	}
    272  1.20   hannken 
    273  1.26   hannken 	/*
    274  1.26   hannken 	 * Attach the entry to the mount.
    275  1.26   hannken 	 */
    276  1.35   hannken 	mutex_enter(&fstrans_mount_lock);
    277  1.35   hannken 	if (mp == NULL || (mp->mnt_iflag & IMNT_HAS_TRANS) == 0) {
    278  1.35   hannken 		fli = NULL;
    279  1.35   hannken 	} else {
    280  1.35   hannken 		fmi = mp->mnt_transinfo;
    281  1.35   hannken 		KASSERT(fmi != NULL);
    282  1.35   hannken 		fli->fli_mount = mp;
    283  1.35   hannken 		fmi->fmi_ref_cnt += 1;
    284  1.35   hannken 	}
    285  1.35   hannken 	mutex_exit(&fstrans_mount_lock);
    286  1.26   hannken 
    287  1.26   hannken 	return fli;
    288  1.26   hannken }
    289  1.26   hannken 
    290  1.26   hannken /*
    291  1.26   hannken  * Check if this lock type is granted at this state.
    292  1.26   hannken  */
    293  1.26   hannken static bool
    294  1.26   hannken grant_lock(const enum fstrans_state state, const enum fstrans_lock_type type)
    295  1.26   hannken {
    296  1.20   hannken 
    297  1.26   hannken 	if (__predict_true(state == FSTRANS_NORMAL))
    298  1.26   hannken 		return true;
    299  1.26   hannken 	if (type == FSTRANS_EXCL)
    300  1.26   hannken 		return true;
    301  1.26   hannken 	if  (state == FSTRANS_SUSPENDING && type == FSTRANS_LAZY)
    302  1.26   hannken 		return true;
    303  1.20   hannken 
    304  1.26   hannken 	return false;
    305  1.20   hannken }
    306  1.20   hannken 
    307  1.20   hannken /*
    308   1.1   hannken  * Start a transaction.  If this thread already has a transaction on this
    309   1.1   hannken  * file system increment the reference counter.
    310   1.1   hannken  */
    311   1.1   hannken int
    312   1.1   hannken _fstrans_start(struct mount *mp, enum fstrans_lock_type lock_type, int wait)
    313   1.1   hannken {
    314  1.26   hannken 	int s;
    315  1.20   hannken 	struct fstrans_lwp_info *fli;
    316   1.1   hannken 	struct fstrans_mount_info *fmi;
    317   1.1   hannken 
    318  1.18      yamt 	ASSERT_SLEEPABLE();
    319   1.1   hannken 
    320  1.35   hannken 	if (mp == NULL || (fli = fstrans_get_lwp_info(mp, true)) == NULL)
    321   1.1   hannken 		return 0;
    322   1.1   hannken 
    323  1.20   hannken 	if (fli->fli_trans_cnt > 0) {
    324  1.26   hannken 		KASSERT(lock_type != FSTRANS_EXCL);
    325  1.20   hannken 		fli->fli_trans_cnt += 1;
    326  1.26   hannken 
    327  1.20   hannken 		return 0;
    328   1.1   hannken 	}
    329   1.1   hannken 
    330  1.26   hannken 	s = pserialize_read_enter();
    331  1.16        ad 	fmi = mp->mnt_transinfo;
    332  1.26   hannken 	if (__predict_true(grant_lock(fmi->fmi_state, lock_type))) {
    333  1.26   hannken 		fli->fli_trans_cnt = 1;
    334  1.26   hannken 		fli->fli_lock_type = lock_type;
    335  1.26   hannken 		pserialize_read_exit(s);
    336   1.1   hannken 
    337  1.26   hannken 		return 0;
    338  1.26   hannken 	}
    339  1.26   hannken 	pserialize_read_exit(s);
    340   1.8   hannken 
    341  1.26   hannken 	if (! wait)
    342   1.8   hannken 		return EBUSY;
    343   1.1   hannken 
    344  1.26   hannken 	mutex_enter(&fstrans_lock);
    345  1.26   hannken 	while (! grant_lock(fmi->fmi_state, lock_type))
    346  1.26   hannken 		cv_wait(&fstrans_state_cv, &fstrans_lock);
    347  1.20   hannken 	fli->fli_trans_cnt = 1;
    348  1.20   hannken 	fli->fli_lock_type = lock_type;
    349  1.26   hannken 	mutex_exit(&fstrans_lock);
    350   1.1   hannken 
    351   1.1   hannken 	return 0;
    352   1.1   hannken }
    353   1.1   hannken 
    354   1.1   hannken /*
    355   1.1   hannken  * Finish a transaction.
    356   1.1   hannken  */
    357   1.1   hannken void
    358   1.1   hannken fstrans_done(struct mount *mp)
    359   1.1   hannken {
    360  1.26   hannken 	int s;
    361   1.1   hannken 	struct fstrans_lwp_info *fli;
    362   1.1   hannken 	struct fstrans_mount_info *fmi;
    363   1.1   hannken 
    364  1.35   hannken 	if (mp == NULL || (fli = fstrans_get_lwp_info(mp, true)) == NULL)
    365   1.1   hannken 		return;
    366   1.1   hannken 
    367  1.26   hannken 	KASSERT(fli->fli_trans_cnt > 0);
    368  1.26   hannken 
    369  1.26   hannken 	if (fli->fli_trans_cnt > 1) {
    370  1.26   hannken 		fli->fli_trans_cnt -= 1;
    371  1.26   hannken 
    372  1.26   hannken 		return;
    373   1.1   hannken 	}
    374   1.1   hannken 
    375  1.26   hannken 	s = pserialize_read_enter();
    376  1.26   hannken 	fmi = mp->mnt_transinfo;
    377  1.26   hannken 	if (__predict_true(fmi->fmi_state == FSTRANS_NORMAL)) {
    378  1.26   hannken 		fli->fli_trans_cnt = 0;
    379  1.26   hannken 		pserialize_read_exit(s);
    380  1.26   hannken 
    381  1.26   hannken 		return;
    382  1.26   hannken 	}
    383  1.26   hannken 	pserialize_read_exit(s);
    384  1.20   hannken 
    385  1.26   hannken 	mutex_enter(&fstrans_lock);
    386  1.26   hannken 	fli->fli_trans_cnt = 0;
    387  1.26   hannken 	cv_signal(&fstrans_count_cv);
    388  1.26   hannken 	mutex_exit(&fstrans_lock);
    389   1.1   hannken }
    390   1.1   hannken 
    391   1.1   hannken /*
    392   1.1   hannken  * Check if this thread has an exclusive lock.
    393   1.1   hannken  */
    394   1.1   hannken int
    395   1.1   hannken fstrans_is_owner(struct mount *mp)
    396   1.1   hannken {
    397   1.1   hannken 	struct fstrans_lwp_info *fli;
    398   1.1   hannken 
    399  1.35   hannken 	if (mp == NULL || (fli = fstrans_get_lwp_info(mp, false)) == NULL)
    400   1.1   hannken 		return 0;
    401   1.1   hannken 
    402  1.35   hannken 	if (fli->fli_trans_cnt == 0)
    403   1.1   hannken 		return 0;
    404   1.1   hannken 
    405   1.1   hannken 	KASSERT(fli->fli_mount == mp);
    406  1.20   hannken 	KASSERT(fli->fli_trans_cnt > 0);
    407  1.26   hannken 
    408   1.2   hannken 	return (fli->fli_lock_type == FSTRANS_EXCL);
    409   1.1   hannken }
    410   1.1   hannken 
    411   1.1   hannken /*
    412  1.26   hannken  * True, if no thread is in a transaction not granted at the current state.
    413  1.26   hannken  */
    414  1.26   hannken static bool
    415  1.26   hannken state_change_done(const struct mount *mp)
    416  1.26   hannken {
    417  1.26   hannken 	struct fstrans_lwp_info *fli;
    418  1.26   hannken 	struct fstrans_mount_info *fmi;
    419  1.26   hannken 
    420  1.26   hannken 	KASSERT(mutex_owned(&fstrans_lock));
    421  1.26   hannken 
    422  1.26   hannken 	fmi = mp->mnt_transinfo;
    423  1.26   hannken 	LIST_FOREACH(fli, &fstrans_fli_head, fli_list) {
    424  1.26   hannken 		if (fli->fli_mount != mp)
    425  1.26   hannken 			continue;
    426  1.26   hannken 		if (fli->fli_trans_cnt == 0)
    427  1.26   hannken 			continue;
    428  1.26   hannken 		if (grant_lock(fmi->fmi_state, fli->fli_lock_type))
    429  1.26   hannken 			continue;
    430  1.26   hannken 
    431  1.26   hannken 		return false;
    432  1.26   hannken 	}
    433  1.26   hannken 
    434  1.26   hannken 	return true;
    435  1.26   hannken }
    436  1.26   hannken 
    437  1.26   hannken /*
    438   1.1   hannken  * Set new file system state.
    439   1.1   hannken  */
    440   1.1   hannken int
    441   1.1   hannken fstrans_setstate(struct mount *mp, enum fstrans_state new_state)
    442   1.1   hannken {
    443  1.26   hannken 	int error;
    444  1.26   hannken 	enum fstrans_state old_state;
    445   1.1   hannken 	struct fstrans_mount_info *fmi;
    446   1.1   hannken 
    447  1.16        ad 	fmi = mp->mnt_transinfo;
    448  1.26   hannken 	old_state = fmi->fmi_state;
    449  1.26   hannken 	if (old_state == new_state)
    450  1.26   hannken 		return 0;
    451   1.1   hannken 
    452  1.26   hannken 	mutex_enter(&fstrans_lock);
    453  1.26   hannken 	fmi->fmi_state = new_state;
    454  1.26   hannken 	pserialize_perform(fstrans_psz);
    455  1.26   hannken 
    456  1.26   hannken 	/*
    457  1.26   hannken 	 * All threads see the new state now.
    458  1.26   hannken 	 * Wait for transactions invalid at this state to leave.
    459  1.26   hannken 	 */
    460  1.26   hannken 	error = 0;
    461  1.26   hannken 	while (! state_change_done(mp)) {
    462  1.26   hannken 		error = cv_wait_sig(&fstrans_count_cv, &fstrans_lock);
    463  1.26   hannken 		if (error) {
    464  1.26   hannken 			new_state = fmi->fmi_state = FSTRANS_NORMAL;
    465  1.26   hannken 			break;
    466  1.26   hannken 		}
    467  1.26   hannken 	}
    468  1.26   hannken 	cv_broadcast(&fstrans_state_cv);
    469  1.26   hannken 	mutex_exit(&fstrans_lock);
    470   1.1   hannken 
    471  1.26   hannken 	if (old_state != new_state) {
    472  1.26   hannken 		if (old_state == FSTRANS_NORMAL)
    473   1.9   hannken 			fstrans_start(mp, FSTRANS_EXCL);
    474  1.26   hannken 		if (new_state == FSTRANS_NORMAL)
    475   1.1   hannken 			fstrans_done(mp);
    476   1.1   hannken 	}
    477   1.1   hannken 
    478  1.26   hannken 	return error;
    479   1.1   hannken }
    480   1.1   hannken 
    481   1.1   hannken /*
    482  1.26   hannken  * Get current file system state.
    483   1.1   hannken  */
    484   1.1   hannken enum fstrans_state
    485   1.1   hannken fstrans_getstate(struct mount *mp)
    486   1.1   hannken {
    487   1.1   hannken 	struct fstrans_mount_info *fmi;
    488   1.1   hannken 
    489  1.16        ad 	fmi = mp->mnt_transinfo;
    490  1.26   hannken 	KASSERT(fmi != NULL);
    491   1.1   hannken 
    492   1.1   hannken 	return fmi->fmi_state;
    493   1.1   hannken }
    494   1.1   hannken 
    495   1.1   hannken /*
    496   1.1   hannken  * Request a filesystem to suspend all operations.
    497   1.1   hannken  */
    498   1.1   hannken int
    499   1.1   hannken vfs_suspend(struct mount *mp, int nowait)
    500   1.1   hannken {
    501   1.4        ad 	int error;
    502   1.1   hannken 
    503   1.4        ad 	if (nowait) {
    504   1.4        ad 		if (!mutex_tryenter(&vfs_suspend_lock))
    505   1.4        ad 			return EWOULDBLOCK;
    506   1.4        ad 	} else
    507   1.4        ad 		mutex_enter(&vfs_suspend_lock);
    508   1.1   hannken 
    509   1.3   hannken 	mutex_enter(&syncer_mutex);
    510   1.1   hannken 	if ((error = VFS_SUSPENDCTL(mp, SUSPEND_SUSPEND)) != 0) {
    511   1.3   hannken 		mutex_exit(&syncer_mutex);
    512   1.4        ad 		mutex_exit(&vfs_suspend_lock);
    513   1.1   hannken 	}
    514   1.1   hannken 
    515   1.1   hannken 	return error;
    516   1.1   hannken }
    517   1.1   hannken 
    518   1.1   hannken /*
    519   1.1   hannken  * Request a filesystem to resume all operations.
    520   1.1   hannken  */
    521   1.1   hannken void
    522   1.1   hannken vfs_resume(struct mount *mp)
    523   1.1   hannken {
    524   1.1   hannken 
    525   1.1   hannken 	VFS_SUSPENDCTL(mp, SUSPEND_RESUME);
    526   1.3   hannken 	mutex_exit(&syncer_mutex);
    527   1.4        ad 	mutex_exit(&vfs_suspend_lock);
    528   1.1   hannken }
    529   1.1   hannken 
    530   1.1   hannken 
    531  1.26   hannken /*
    532  1.26   hannken  * True, if no thread is running a cow handler.
    533  1.26   hannken  */
    534  1.26   hannken static bool
    535  1.26   hannken cow_state_change_done(const struct mount *mp)
    536   1.1   hannken {
    537   1.1   hannken 	struct fstrans_lwp_info *fli;
    538  1.28    martin 	struct fstrans_mount_info *fmi __diagused;
    539  1.26   hannken 
    540  1.26   hannken 	fmi = mp->mnt_transinfo;
    541   1.1   hannken 
    542  1.26   hannken 	KASSERT(mutex_owned(&fstrans_lock));
    543  1.26   hannken 	KASSERT(fmi->fmi_cow_change);
    544  1.26   hannken 
    545  1.26   hannken 	LIST_FOREACH(fli, &fstrans_fli_head, fli_list) {
    546  1.26   hannken 		if (fli->fli_mount != mp)
    547  1.26   hannken 			continue;
    548  1.26   hannken 		if (fli->fli_cow_cnt == 0)
    549   1.1   hannken 			continue;
    550  1.26   hannken 
    551  1.26   hannken 		return false;
    552   1.1   hannken 	}
    553  1.26   hannken 
    554  1.26   hannken 	return true;
    555   1.1   hannken }
    556   1.1   hannken 
    557  1.26   hannken /*
    558  1.26   hannken  * Prepare for changing this mounts cow list.
    559  1.26   hannken  * Returns with fstrans_lock locked.
    560  1.26   hannken  */
    561   1.1   hannken static void
    562  1.26   hannken cow_change_enter(const struct mount *mp)
    563   1.1   hannken {
    564   1.1   hannken 	struct fstrans_mount_info *fmi;
    565   1.1   hannken 
    566  1.16        ad 	fmi = mp->mnt_transinfo;
    567   1.1   hannken 
    568  1.26   hannken 	mutex_enter(&fstrans_lock);
    569  1.26   hannken 
    570  1.26   hannken 	/*
    571  1.26   hannken 	 * Wait for other threads changing the list.
    572  1.26   hannken 	 */
    573  1.26   hannken 	while (fmi->fmi_cow_change)
    574  1.26   hannken 		cv_wait(&fstrans_state_cv, &fstrans_lock);
    575  1.26   hannken 
    576  1.26   hannken 	/*
    577  1.26   hannken 	 * Wait until all threads are aware of a state change.
    578  1.26   hannken 	 */
    579  1.26   hannken 	fmi->fmi_cow_change = true;
    580  1.26   hannken 	pserialize_perform(fstrans_psz);
    581  1.26   hannken 
    582  1.26   hannken 	while (! cow_state_change_done(mp))
    583  1.26   hannken 		cv_wait(&fstrans_count_cv, &fstrans_lock);
    584   1.1   hannken }
    585   1.1   hannken 
    586  1.26   hannken /*
    587  1.26   hannken  * Done changing this mounts cow list.
    588  1.26   hannken  */
    589  1.26   hannken static void
    590  1.26   hannken cow_change_done(const struct mount *mp)
    591   1.1   hannken {
    592  1.26   hannken 	struct fstrans_mount_info *fmi;
    593  1.26   hannken 
    594  1.26   hannken 	KASSERT(mutex_owned(&fstrans_lock));
    595  1.26   hannken 
    596  1.26   hannken 	fmi = mp->mnt_transinfo;
    597  1.26   hannken 
    598  1.26   hannken 	fmi->fmi_cow_change = false;
    599  1.26   hannken 	pserialize_perform(fstrans_psz);
    600   1.1   hannken 
    601  1.26   hannken 	cv_broadcast(&fstrans_state_cv);
    602   1.1   hannken 
    603  1.26   hannken 	mutex_exit(&fstrans_lock);
    604   1.1   hannken }
    605  1.12   hannken 
    606  1.26   hannken /*
    607  1.26   hannken  * Add a handler to this mount.
    608  1.26   hannken  */
    609  1.12   hannken int
    610  1.15   hannken fscow_establish(struct mount *mp, int (*func)(void *, struct buf *, bool),
    611  1.15   hannken     void *arg)
    612  1.12   hannken {
    613  1.16        ad 	struct fstrans_mount_info *fmi;
    614  1.31      matt 	struct fscow_handler *newch;
    615  1.12   hannken 
    616  1.16        ad 	if ((mp->mnt_iflag & IMNT_HAS_TRANS) == 0)
    617  1.16        ad 		return EINVAL;
    618  1.16        ad 
    619  1.16        ad 	fmi = mp->mnt_transinfo;
    620  1.26   hannken 	KASSERT(fmi != NULL);
    621  1.12   hannken 
    622  1.32     pooka 	newch = kmem_alloc(sizeof(*newch), KM_SLEEP);
    623  1.31      matt 	newch->ch_func = func;
    624  1.31      matt 	newch->ch_arg = arg;
    625  1.26   hannken 
    626  1.26   hannken 	cow_change_enter(mp);
    627  1.31      matt 	LIST_INSERT_HEAD(&fmi->fmi_cow_handler, newch, ch_list);
    628  1.26   hannken 	cow_change_done(mp);
    629  1.12   hannken 
    630  1.12   hannken 	return 0;
    631  1.12   hannken }
    632  1.12   hannken 
    633  1.26   hannken /*
    634  1.26   hannken  * Remove a handler from this mount.
    635  1.26   hannken  */
    636  1.12   hannken int
    637  1.15   hannken fscow_disestablish(struct mount *mp, int (*func)(void *, struct buf *, bool),
    638  1.12   hannken     void *arg)
    639  1.12   hannken {
    640  1.16        ad 	struct fstrans_mount_info *fmi;
    641  1.12   hannken 	struct fscow_handler *hp = NULL;
    642  1.12   hannken 
    643  1.16        ad 	if ((mp->mnt_iflag & IMNT_HAS_TRANS) == 0)
    644  1.12   hannken 		return EINVAL;
    645  1.12   hannken 
    646  1.16        ad 	fmi = mp->mnt_transinfo;
    647  1.26   hannken 	KASSERT(fmi != NULL);
    648  1.16        ad 
    649  1.26   hannken 	cow_change_enter(mp);
    650  1.26   hannken 	LIST_FOREACH(hp, &fmi->fmi_cow_handler, ch_list)
    651  1.12   hannken 		if (hp->ch_func == func && hp->ch_arg == arg)
    652  1.12   hannken 			break;
    653  1.12   hannken 	if (hp != NULL) {
    654  1.26   hannken 		LIST_REMOVE(hp, ch_list);
    655  1.12   hannken 		kmem_free(hp, sizeof(*hp));
    656  1.12   hannken 	}
    657  1.26   hannken 	cow_change_done(mp);
    658  1.12   hannken 
    659  1.12   hannken 	return hp ? 0 : EINVAL;
    660  1.12   hannken }
    661  1.12   hannken 
    662  1.26   hannken /*
    663  1.26   hannken  * Check for need to copy block that is about to be written.
    664  1.26   hannken  */
    665  1.12   hannken int
    666  1.15   hannken fscow_run(struct buf *bp, bool data_valid)
    667  1.12   hannken {
    668  1.26   hannken 	int error, s;
    669  1.12   hannken 	struct mount *mp;
    670  1.20   hannken 	struct fstrans_lwp_info *fli;
    671  1.16        ad 	struct fstrans_mount_info *fmi;
    672  1.12   hannken 	struct fscow_handler *hp;
    673  1.12   hannken 
    674  1.26   hannken 	/*
    675  1.26   hannken 	 * First check if we need run the copy-on-write handler.
    676  1.26   hannken 	 */
    677  1.17   hannken 	if ((bp->b_flags & B_COWDONE))
    678  1.26   hannken 		return 0;
    679  1.26   hannken 	if (bp->b_vp == NULL) {
    680  1.26   hannken 		bp->b_flags |= B_COWDONE;
    681  1.26   hannken 		return 0;
    682  1.26   hannken 	}
    683  1.12   hannken 	if (bp->b_vp->v_type == VBLK)
    684  1.27   hannken 		mp = spec_node_getmountedfs(bp->b_vp);
    685  1.12   hannken 	else
    686  1.12   hannken 		mp = bp->b_vp->v_mount;
    687  1.26   hannken 	if (mp == NULL || (mp->mnt_iflag & IMNT_HAS_TRANS) == 0) {
    688  1.26   hannken 		bp->b_flags |= B_COWDONE;
    689  1.26   hannken 		return 0;
    690  1.26   hannken 	}
    691  1.12   hannken 
    692  1.26   hannken 	fli = fstrans_get_lwp_info(mp, true);
    693  1.16        ad 	fmi = mp->mnt_transinfo;
    694  1.12   hannken 
    695  1.26   hannken 	/*
    696  1.26   hannken 	 * On non-recursed run check if other threads
    697  1.26   hannken 	 * want to change the list.
    698  1.26   hannken 	 */
    699  1.26   hannken 	if (fli->fli_cow_cnt == 0) {
    700  1.26   hannken 		s = pserialize_read_enter();
    701  1.26   hannken 		if (__predict_false(fmi->fmi_cow_change)) {
    702  1.26   hannken 			pserialize_read_exit(s);
    703  1.26   hannken 			mutex_enter(&fstrans_lock);
    704  1.26   hannken 			while (fmi->fmi_cow_change)
    705  1.26   hannken 				cv_wait(&fstrans_state_cv, &fstrans_lock);
    706  1.26   hannken 			fli->fli_cow_cnt = 1;
    707  1.26   hannken 			mutex_exit(&fstrans_lock);
    708  1.26   hannken 		} else {
    709  1.26   hannken 			fli->fli_cow_cnt = 1;
    710  1.26   hannken 			pserialize_read_exit(s);
    711  1.26   hannken 		}
    712  1.26   hannken 	} else
    713  1.26   hannken 		fli->fli_cow_cnt += 1;
    714  1.20   hannken 
    715  1.26   hannken 	/*
    716  1.26   hannken 	 * Run all copy-on-write handlers, stop on error.
    717  1.26   hannken 	 */
    718  1.26   hannken 	error = 0;
    719  1.26   hannken 	LIST_FOREACH(hp, &fmi->fmi_cow_handler, ch_list)
    720  1.15   hannken 		if ((error = (*hp->ch_func)(hp->ch_arg, bp, data_valid)) != 0)
    721  1.12   hannken 			break;
    722  1.17   hannken  	if (error == 0)
    723  1.17   hannken  		bp->b_flags |= B_COWDONE;
    724  1.15   hannken 
    725  1.26   hannken 	/*
    726  1.26   hannken 	 * Check if other threads want to change the list.
    727  1.26   hannken 	 */
    728  1.26   hannken 	if (fli->fli_cow_cnt > 1) {
    729  1.26   hannken 		fli->fli_cow_cnt -= 1;
    730  1.26   hannken 	} else {
    731  1.26   hannken 		s = pserialize_read_enter();
    732  1.26   hannken 		if (__predict_false(fmi->fmi_cow_change)) {
    733  1.26   hannken 			pserialize_read_exit(s);
    734  1.26   hannken 			mutex_enter(&fstrans_lock);
    735  1.26   hannken 			fli->fli_cow_cnt = 0;
    736  1.26   hannken 			cv_signal(&fstrans_count_cv);
    737  1.26   hannken 			mutex_exit(&fstrans_lock);
    738  1.26   hannken 		} else {
    739  1.26   hannken 			fli->fli_cow_cnt = 0;
    740  1.26   hannken 			pserialize_read_exit(s);
    741  1.26   hannken 		}
    742  1.26   hannken 	}
    743  1.26   hannken 
    744  1.12   hannken 	return error;
    745  1.12   hannken }
    746  1.26   hannken 
    747  1.26   hannken #if defined(DDB)
    748  1.26   hannken void fstrans_dump(int);
    749  1.26   hannken 
    750  1.26   hannken static void
    751  1.26   hannken fstrans_print_lwp(struct proc *p, struct lwp *l, int verbose)
    752  1.26   hannken {
    753  1.26   hannken 	char prefix[9];
    754  1.26   hannken 	struct fstrans_lwp_info *fli;
    755  1.26   hannken 
    756  1.26   hannken 	snprintf(prefix, sizeof(prefix), "%d.%d", p->p_pid, l->l_lid);
    757  1.26   hannken 	LIST_FOREACH(fli, &fstrans_fli_head, fli_list) {
    758  1.26   hannken 		if (fli->fli_self != l)
    759  1.26   hannken 			continue;
    760  1.26   hannken 		if (fli->fli_trans_cnt == 0 && fli->fli_cow_cnt == 0) {
    761  1.26   hannken 			if (! verbose)
    762  1.26   hannken 				continue;
    763  1.26   hannken 		}
    764  1.26   hannken 		printf("%-8s", prefix);
    765  1.26   hannken 		if (verbose)
    766  1.26   hannken 			printf(" @%p", fli);
    767  1.26   hannken 		if (fli->fli_mount != NULL)
    768  1.26   hannken 			printf(" (%s)", fli->fli_mount->mnt_stat.f_mntonname);
    769  1.26   hannken 		else
    770  1.26   hannken 			printf(" NULL");
    771  1.26   hannken 		if (fli->fli_trans_cnt == 0) {
    772  1.26   hannken 			printf(" -");
    773  1.26   hannken 		} else {
    774  1.26   hannken 			switch (fli->fli_lock_type) {
    775  1.26   hannken 			case FSTRANS_LAZY:
    776  1.26   hannken 				printf(" lazy");
    777  1.26   hannken 				break;
    778  1.26   hannken 			case FSTRANS_SHARED:
    779  1.26   hannken 				printf(" shared");
    780  1.26   hannken 				break;
    781  1.26   hannken 			case FSTRANS_EXCL:
    782  1.26   hannken 				printf(" excl");
    783  1.26   hannken 				break;
    784  1.26   hannken 			default:
    785  1.26   hannken 				printf(" %#x", fli->fli_lock_type);
    786  1.26   hannken 				break;
    787  1.26   hannken 			}
    788  1.26   hannken 		}
    789  1.26   hannken 		printf(" %d cow %d\n", fli->fli_trans_cnt, fli->fli_cow_cnt);
    790  1.26   hannken 		prefix[0] = '\0';
    791  1.26   hannken 	}
    792  1.26   hannken }
    793  1.26   hannken 
    794  1.26   hannken static void
    795  1.26   hannken fstrans_print_mount(struct mount *mp, int verbose)
    796  1.26   hannken {
    797  1.26   hannken 	struct fstrans_mount_info *fmi;
    798  1.26   hannken 
    799  1.26   hannken 	fmi = mp->mnt_transinfo;
    800  1.26   hannken 	if (!verbose && (fmi == NULL || fmi->fmi_state == FSTRANS_NORMAL))
    801  1.26   hannken 		return;
    802  1.26   hannken 
    803  1.26   hannken 	printf("%-16s ", mp->mnt_stat.f_mntonname);
    804  1.26   hannken 	if (fmi == NULL) {
    805  1.26   hannken 		printf("(null)\n");
    806  1.26   hannken 		return;
    807  1.26   hannken 	}
    808  1.26   hannken 	switch (fmi->fmi_state) {
    809  1.26   hannken 	case FSTRANS_NORMAL:
    810  1.26   hannken 		printf("state normal\n");
    811  1.26   hannken 		break;
    812  1.26   hannken 	case FSTRANS_SUSPENDING:
    813  1.26   hannken 		printf("state suspending\n");
    814  1.26   hannken 		break;
    815  1.26   hannken 	case FSTRANS_SUSPENDED:
    816  1.26   hannken 		printf("state suspended\n");
    817  1.26   hannken 		break;
    818  1.26   hannken 	default:
    819  1.26   hannken 		printf("state %#x\n", fmi->fmi_state);
    820  1.26   hannken 		break;
    821  1.26   hannken 	}
    822  1.26   hannken }
    823  1.26   hannken 
    824  1.26   hannken void
    825  1.26   hannken fstrans_dump(int full)
    826  1.26   hannken {
    827  1.26   hannken 	const struct proclist_desc *pd;
    828  1.26   hannken 	struct proc *p;
    829  1.26   hannken 	struct lwp *l;
    830  1.26   hannken 	struct mount *mp;
    831  1.26   hannken 
    832  1.26   hannken 	printf("Fstrans locks by lwp:\n");
    833  1.26   hannken 	for (pd = proclists; pd->pd_list != NULL; pd++)
    834  1.26   hannken 		PROCLIST_FOREACH(p, pd->pd_list)
    835  1.26   hannken 			LIST_FOREACH(l, &p->p_lwps, l_sibling)
    836  1.26   hannken 				fstrans_print_lwp(p, l, full == 1);
    837  1.26   hannken 
    838  1.26   hannken 	printf("Fstrans state by mount:\n");
    839  1.29  christos 	TAILQ_FOREACH(mp, &mountlist, mnt_list)
    840  1.26   hannken 		fstrans_print_mount(mp, full == 1);
    841  1.26   hannken }
    842  1.26   hannken #endif /* defined(DDB) */
    843