Home | History | Annotate | Line # | Download | only in kern
sys_pipe.c revision 1.34
      1  1.34   thorpej /*	$NetBSD: sys_pipe.c,v 1.34 2003/02/01 06:23:44 thorpej Exp $	*/
      2   1.2  jdolecek 
      3   1.1  jdolecek /*
      4   1.1  jdolecek  * Copyright (c) 1996 John S. Dyson
      5   1.1  jdolecek  * All rights reserved.
      6   1.1  jdolecek  *
      7   1.1  jdolecek  * Redistribution and use in source and binary forms, with or without
      8   1.1  jdolecek  * modification, are permitted provided that the following conditions
      9   1.1  jdolecek  * are met:
     10   1.1  jdolecek  * 1. Redistributions of source code must retain the above copyright
     11   1.1  jdolecek  *    notice immediately at the beginning of the file, without modification,
     12   1.1  jdolecek  *    this list of conditions, and the following disclaimer.
     13   1.1  jdolecek  * 2. Redistributions in binary form must reproduce the above copyright
     14   1.1  jdolecek  *    notice, this list of conditions and the following disclaimer in the
     15   1.1  jdolecek  *    documentation and/or other materials provided with the distribution.
     16   1.1  jdolecek  * 3. Absolutely no warranty of function or purpose is made by the author
     17   1.1  jdolecek  *    John S. Dyson.
     18   1.1  jdolecek  * 4. Modifications may be freely made to this file if the above conditions
     19   1.1  jdolecek  *    are met.
     20   1.1  jdolecek  *
     21  1.24  jdolecek  * $FreeBSD: src/sys/kern/sys_pipe.c,v 1.95 2002/03/09 22:06:31 alfred Exp $
     22   1.1  jdolecek  */
     23   1.1  jdolecek 
     24   1.1  jdolecek /*
     25   1.1  jdolecek  * This file contains a high-performance replacement for the socket-based
     26   1.1  jdolecek  * pipes scheme originally used in FreeBSD/4.4Lite.  It does not support
     27   1.1  jdolecek  * all features of sockets, but does do everything that pipes normally
     28   1.1  jdolecek  * do.
     29   1.2  jdolecek  *
     30   1.2  jdolecek  * Adaption for NetBSD UVM, including uvm_loan() based direct write, was
     31   1.2  jdolecek  * written by Jaromir Dolecek.
     32   1.1  jdolecek  */
     33   1.1  jdolecek 
     34   1.1  jdolecek /*
     35   1.1  jdolecek  * This code has two modes of operation, a small write mode and a large
     36   1.1  jdolecek  * write mode.  The small write mode acts like conventional pipes with
     37   1.1  jdolecek  * a kernel buffer.  If the buffer is less than PIPE_MINDIRECT, then the
     38   1.1  jdolecek  * "normal" pipe buffering is done.  If the buffer is between PIPE_MINDIRECT
     39   1.2  jdolecek  * and PIPE_SIZE in size, it is fully mapped into the kernel (on FreeBSD,
     40   1.2  jdolecek  * those pages are also wired), and the receiving process can copy it directly
     41   1.2  jdolecek  * from the pages in the sending process.
     42   1.1  jdolecek  *
     43   1.1  jdolecek  * If the sending process receives a signal, it is possible that it will
     44   1.1  jdolecek  * go away, and certainly its address space can change, because control
     45   1.1  jdolecek  * is returned back to the user-mode side.  In that case, the pipe code
     46   1.2  jdolecek  * arranges to copy the buffer supplied by the user process on FreeBSD, to
     47   1.2  jdolecek  * a pageable kernel buffer, and the receiving process will grab the data
     48   1.2  jdolecek  * from the pageable kernel buffer.  Since signals don't happen all that often,
     49   1.1  jdolecek  * the copy operation is normally eliminated.
     50   1.2  jdolecek  * For NetBSD, the pages are mapped read-only, COW for kernel by uvm_loan(),
     51   1.2  jdolecek  * so no explicit handling need to be done, all is handled by standard VM
     52   1.2  jdolecek  * facilities.
     53   1.1  jdolecek  *
     54   1.1  jdolecek  * The constant PIPE_MINDIRECT is chosen to make sure that buffering will
     55   1.1  jdolecek  * happen for small transfers so that the system will not spend all of
     56   1.1  jdolecek  * its time context switching.  PIPE_SIZE is constrained by the
     57   1.1  jdolecek  * amount of kernel virtual memory.
     58   1.1  jdolecek  */
     59  1.19     lukem 
     60  1.19     lukem #include <sys/cdefs.h>
     61  1.34   thorpej __KERNEL_RCSID(0, "$NetBSD: sys_pipe.c,v 1.34 2003/02/01 06:23:44 thorpej Exp $");
     62   1.2  jdolecek 
     63   1.1  jdolecek #include <sys/param.h>
     64   1.1  jdolecek #include <sys/systm.h>
     65   1.2  jdolecek #include <sys/proc.h>
     66   1.1  jdolecek #include <sys/fcntl.h>
     67   1.1  jdolecek #include <sys/file.h>
     68   1.1  jdolecek #include <sys/filedesc.h>
     69   1.1  jdolecek #include <sys/filio.h>
     70  1.24  jdolecek #include <sys/kernel.h>
     71  1.24  jdolecek #include <sys/lock.h>
     72   1.1  jdolecek #include <sys/ttycom.h>
     73   1.1  jdolecek #include <sys/stat.h>
     74  1.24  jdolecek #include <sys/malloc.h>
     75   1.1  jdolecek #include <sys/poll.h>
     76   1.2  jdolecek #include <sys/signalvar.h>
     77   1.2  jdolecek #include <sys/vnode.h>
     78   1.2  jdolecek #include <sys/uio.h>
     79   1.2  jdolecek #include <sys/lock.h>
     80   1.2  jdolecek #ifdef __FreeBSD__
     81   1.2  jdolecek #include <sys/mutex.h>
     82  1.24  jdolecek #endif
     83  1.24  jdolecek #ifdef __NetBSD__
     84   1.2  jdolecek #include <sys/select.h>
     85   1.2  jdolecek #include <sys/mount.h>
     86  1.33   thorpej #include <sys/sa.h>
     87   1.2  jdolecek #include <sys/syscallargs.h>
     88   1.2  jdolecek #include <uvm/uvm.h>
     89   1.2  jdolecek #include <sys/sysctl.h>
     90  1.17  jdolecek #include <sys/kernel.h>
     91   1.2  jdolecek #endif /* NetBSD, FreeBSD */
     92   1.2  jdolecek 
     93   1.1  jdolecek #include <sys/pipe.h>
     94   1.1  jdolecek 
     95   1.2  jdolecek #ifdef __NetBSD__
     96  1.17  jdolecek /*
     97  1.17  jdolecek  * Avoid microtime(9), it's slow. We don't guard the read from time(9)
     98  1.17  jdolecek  * with splclock(9) since we don't actually need to be THAT sure the access
     99  1.17  jdolecek  * is atomic.
    100  1.17  jdolecek  */
    101  1.17  jdolecek #define vfs_timestamp(tv)	(*(tv) = time)
    102  1.27  jdolecek 
    103  1.31  christos /* we call it sel_klist */
    104  1.31  christos #define	sel_note		sel_klist
    105  1.27  jdolecek 
    106   1.2  jdolecek #endif
    107   1.1  jdolecek 
    108   1.1  jdolecek /*
    109   1.1  jdolecek  * Use this define if you want to disable *fancy* VM things.  Expect an
    110   1.1  jdolecek  * approx 30% decrease in transfer rate.  This could be useful for
    111   1.2  jdolecek  * OpenBSD.
    112   1.1  jdolecek  */
    113   1.1  jdolecek /* #define PIPE_NODIRECT */
    114   1.1  jdolecek 
    115   1.1  jdolecek /*
    116   1.1  jdolecek  * interfaces to the outside world
    117   1.1  jdolecek  */
    118   1.2  jdolecek #ifdef __FreeBSD__
    119  1.24  jdolecek static int pipe_read(struct file *fp, struct uio *uio,
    120  1.24  jdolecek 		struct ucred *cred, int flags, struct thread *td);
    121  1.24  jdolecek static int pipe_write(struct file *fp, struct uio *uio,
    122  1.24  jdolecek 		struct ucred *cred, int flags, struct thread *td);
    123  1.24  jdolecek static int pipe_close(struct file *fp, struct thread *td);
    124  1.24  jdolecek static int pipe_poll(struct file *fp, int events, struct ucred *cred,
    125  1.24  jdolecek 		struct thread *td);
    126  1.24  jdolecek static int pipe_kqfilter(struct file *fp, struct knote *kn);
    127  1.24  jdolecek static int pipe_stat(struct file *fp, struct stat *sb, struct thread *td);
    128  1.24  jdolecek static int pipe_ioctl(struct file *fp, u_long cmd, caddr_t data, struct thread *td);
    129   1.1  jdolecek 
    130   1.1  jdolecek static struct fileops pipeops = {
    131   1.1  jdolecek 	pipe_read, pipe_write, pipe_ioctl, pipe_poll, pipe_kqfilter,
    132   1.1  jdolecek 	pipe_stat, pipe_close
    133   1.1  jdolecek };
    134   1.1  jdolecek 
    135  1.24  jdolecek #define PIPE_GET_GIANT(pipe)							\
    136  1.24  jdolecek 	do {								\
    137  1.24  jdolecek 		PIPE_UNLOCK(wpipe);					\
    138  1.24  jdolecek 		mtx_lock(&Giant);					\
    139  1.30     perry 	} while (/*CONSTCOND*/ 0)
    140  1.24  jdolecek 
    141  1.24  jdolecek #define PIPE_DROP_GIANT(pipe)						\
    142  1.24  jdolecek 	do {								\
    143  1.24  jdolecek 		mtx_unlock(&Giant);					\
    144  1.24  jdolecek 		PIPE_LOCK(wpipe);					\
    145  1.30     perry 	} while (/*CONSTCOND*/ 0)
    146  1.24  jdolecek 
    147   1.2  jdolecek #endif /* FreeBSD */
    148   1.2  jdolecek 
    149   1.2  jdolecek #ifdef __NetBSD__
    150  1.24  jdolecek static int pipe_read(struct file *fp, off_t *offset, struct uio *uio,
    151  1.24  jdolecek 		struct ucred *cred, int flags);
    152  1.24  jdolecek static int pipe_write(struct file *fp, off_t *offset, struct uio *uio,
    153  1.24  jdolecek 		struct ucred *cred, int flags);
    154  1.24  jdolecek static int pipe_close(struct file *fp, struct proc *p);
    155  1.24  jdolecek static int pipe_poll(struct file *fp, int events, struct proc *p);
    156  1.24  jdolecek static int pipe_fcntl(struct file *fp, u_int com, caddr_t data,
    157  1.24  jdolecek 		struct proc *p);
    158  1.27  jdolecek static int pipe_kqfilter(struct file *fp, struct knote *kn);
    159  1.24  jdolecek static int pipe_stat(struct file *fp, struct stat *sb, struct proc *p);
    160  1.24  jdolecek static int pipe_ioctl(struct file *fp, u_long cmd, caddr_t data, struct proc *p);
    161   1.1  jdolecek 
    162   1.2  jdolecek static struct fileops pipeops =
    163   1.2  jdolecek     { pipe_read, pipe_write, pipe_ioctl, pipe_fcntl, pipe_poll,
    164  1.27  jdolecek       pipe_stat, pipe_close, pipe_kqfilter };
    165  1.24  jdolecek 
    166  1.24  jdolecek /* XXXSMP perhaps use spinlocks & KERNEL_PROC_(UN)LOCK() ? just clear now */
    167  1.24  jdolecek #define PIPE_GET_GIANT(pipe)
    168  1.24  jdolecek #define PIPE_DROP_GIANT(pipe)
    169  1.24  jdolecek #define GIANT_REQUIRED
    170  1.24  jdolecek 
    171   1.2  jdolecek #endif /* NetBSD */
    172   1.1  jdolecek 
    173   1.1  jdolecek /*
    174   1.1  jdolecek  * Default pipe buffer size(s), this can be kind-of large now because pipe
    175   1.1  jdolecek  * space is pageable.  The pipe code will try to maintain locality of
    176   1.1  jdolecek  * reference for performance reasons, so small amounts of outstanding I/O
    177   1.1  jdolecek  * will not wipe the cache.
    178   1.1  jdolecek  */
    179   1.1  jdolecek #define MINPIPESIZE (PIPE_SIZE/3)
    180   1.1  jdolecek #define MAXPIPESIZE (2*PIPE_SIZE/3)
    181   1.1  jdolecek 
    182   1.1  jdolecek /*
    183   1.1  jdolecek  * Maximum amount of kva for pipes -- this is kind-of a soft limit, but
    184   1.1  jdolecek  * is there so that on large systems, we don't exhaust it.
    185   1.1  jdolecek  */
    186   1.1  jdolecek #define MAXPIPEKVA (8*1024*1024)
    187   1.2  jdolecek static int maxpipekva = MAXPIPEKVA;
    188   1.1  jdolecek 
    189   1.1  jdolecek /*
    190   1.1  jdolecek  * Limit for direct transfers, we cannot, of course limit
    191   1.1  jdolecek  * the amount of kva for pipes in general though.
    192   1.1  jdolecek  */
    193   1.1  jdolecek #define LIMITPIPEKVA (16*1024*1024)
    194   1.2  jdolecek static int limitpipekva = LIMITPIPEKVA;
    195   1.1  jdolecek 
    196   1.1  jdolecek /*
    197   1.1  jdolecek  * Limit the number of "big" pipes
    198   1.1  jdolecek  */
    199   1.2  jdolecek #define LIMITBIGPIPES  32
    200   1.2  jdolecek static int maxbigpipes = LIMITBIGPIPES;
    201   1.2  jdolecek static int nbigpipe = 0;
    202   1.1  jdolecek 
    203   1.2  jdolecek /*
    204   1.2  jdolecek  * Amount of KVA consumed by pipe buffers.
    205   1.2  jdolecek  */
    206   1.2  jdolecek static int amountpipekva = 0;
    207  1.34   thorpej 
    208  1.34   thorpej MALLOC_DEFINE(M_PIPE, "pipe", "Pipe structures");
    209   1.1  jdolecek 
    210  1.24  jdolecek static void pipeclose(struct pipe *cpipe);
    211  1.24  jdolecek static void pipe_free_kmem(struct pipe *cpipe);
    212  1.24  jdolecek static int pipe_create(struct pipe **cpipep, int allockva);
    213  1.24  jdolecek static __inline int pipelock(struct pipe *cpipe, int catch);
    214  1.24  jdolecek static __inline void pipeunlock(struct pipe *cpipe);
    215  1.24  jdolecek static __inline void pipeselwakeup(struct pipe *cpipe, struct pipe *sigp);
    216   1.1  jdolecek #ifndef PIPE_NODIRECT
    217  1.24  jdolecek static int pipe_direct_write(struct pipe *wpipe, struct uio *uio);
    218   1.1  jdolecek #endif
    219  1.24  jdolecek static int pipespace(struct pipe *cpipe, int size);
    220   1.2  jdolecek 
    221   1.2  jdolecek #ifdef __NetBSD__
    222   1.2  jdolecek #ifndef PIPE_NODIRECT
    223  1.24  jdolecek static int pipe_loan_alloc(struct pipe *, int);
    224  1.24  jdolecek static void pipe_loan_free(struct pipe *);
    225   1.2  jdolecek #endif /* PIPE_NODIRECT */
    226   1.2  jdolecek 
    227   1.2  jdolecek static struct pool pipe_pool;
    228   1.2  jdolecek #endif /* NetBSD */
    229   1.1  jdolecek 
    230  1.24  jdolecek #ifdef __FreeBSD__
    231  1.24  jdolecek static vm_zone_t pipe_zone;
    232  1.24  jdolecek 
    233  1.24  jdolecek static void pipeinit(void *dummy __unused);
    234  1.24  jdolecek #ifndef PIPE_NODIRECT
    235  1.24  jdolecek static int pipe_build_write_buffer(struct pipe *wpipe, struct uio *uio);
    236  1.24  jdolecek static void pipe_destroy_write_buffer(struct pipe *wpipe);
    237  1.24  jdolecek static void pipe_clone_write_buffer(struct pipe *wpipe);
    238  1.24  jdolecek #endif
    239  1.24  jdolecek 
    240  1.24  jdolecek SYSINIT(vfs, SI_SUB_VFS, SI_ORDER_ANY, pipeinit, NULL);
    241  1.24  jdolecek 
    242  1.24  jdolecek static void
    243  1.24  jdolecek pipeinit(void *dummy __unused)
    244  1.24  jdolecek {
    245  1.24  jdolecek 
    246  1.24  jdolecek 	pipe_zone = zinit("PIPE", sizeof(struct pipe), 0, 0, 4);
    247  1.24  jdolecek }
    248  1.24  jdolecek #endif /* FreeBSD */
    249  1.24  jdolecek 
    250   1.1  jdolecek /*
    251   1.1  jdolecek  * The pipe system call for the DTYPE_PIPE type of pipes
    252   1.1  jdolecek  */
    253   1.1  jdolecek 
    254   1.1  jdolecek /* ARGSUSED */
    255   1.2  jdolecek #ifdef __FreeBSD__
    256   1.1  jdolecek int
    257  1.24  jdolecek pipe(td, uap)
    258  1.24  jdolecek 	struct thread *td;
    259   1.1  jdolecek 	struct pipe_args /* {
    260   1.1  jdolecek 		int	dummy;
    261   1.1  jdolecek 	} */ *uap;
    262   1.2  jdolecek #elif defined(__NetBSD__)
    263   1.2  jdolecek int
    264  1.33   thorpej sys_pipe(l, v, retval)
    265  1.33   thorpej 	struct lwp *l;
    266   1.2  jdolecek 	void *v;
    267   1.2  jdolecek 	register_t *retval;
    268   1.2  jdolecek #endif
    269   1.1  jdolecek {
    270   1.1  jdolecek 	struct file *rf, *wf;
    271   1.1  jdolecek 	struct pipe *rpipe, *wpipe;
    272   1.1  jdolecek 	int fd, error;
    273  1.33   thorpej 	struct proc *p;
    274  1.24  jdolecek #ifdef __FreeBSD__
    275  1.24  jdolecek 	struct mtx *pmtx;
    276   1.1  jdolecek 
    277  1.24  jdolecek 	KASSERT(pipe_zone != NULL, ("pipe_zone not initialized"));
    278   1.1  jdolecek 
    279  1.24  jdolecek 	pmtx = malloc(sizeof(*pmtx), M_TEMP, M_WAITOK | M_ZERO);
    280  1.24  jdolecek 
    281   1.1  jdolecek 	rpipe = wpipe = NULL;
    282   1.6  jdolecek 	if (pipe_create(&rpipe, 1) || pipe_create(&wpipe, 1)) {
    283  1.24  jdolecek 		pipeclose(rpipe);
    284  1.24  jdolecek 		pipeclose(wpipe);
    285  1.24  jdolecek 		free(pmtx, M_TEMP);
    286   1.1  jdolecek 		return (ENFILE);
    287   1.1  jdolecek 	}
    288   1.1  jdolecek 
    289  1.24  jdolecek 	error = falloc(td, &rf, &fd);
    290   1.1  jdolecek 	if (error) {
    291   1.1  jdolecek 		pipeclose(rpipe);
    292   1.1  jdolecek 		pipeclose(wpipe);
    293  1.24  jdolecek 		free(pmtx, M_TEMP);
    294   1.1  jdolecek 		return (error);
    295   1.1  jdolecek 	}
    296   1.1  jdolecek 	fhold(rf);
    297  1.24  jdolecek 	td->td_retval[0] = fd;
    298   1.1  jdolecek 
    299   1.1  jdolecek 	/*
    300   1.1  jdolecek 	 * Warning: once we've gotten past allocation of the fd for the
    301   1.1  jdolecek 	 * read-side, we can only drop the read side via fdrop() in order
    302   1.1  jdolecek 	 * to avoid races against processes which manage to dup() the read
    303   1.1  jdolecek 	 * side while we are blocked trying to allocate the write side.
    304   1.1  jdolecek 	 */
    305  1.24  jdolecek 	FILE_LOCK(rf);
    306   1.1  jdolecek 	rf->f_flag = FREAD | FWRITE;
    307   1.1  jdolecek 	rf->f_type = DTYPE_PIPE;
    308   1.1  jdolecek 	rf->f_data = (caddr_t)rpipe;
    309   1.1  jdolecek 	rf->f_ops = &pipeops;
    310  1.24  jdolecek 	FILE_UNLOCK(rf);
    311  1.24  jdolecek 	error = falloc(td, &wf, &fd);
    312   1.1  jdolecek 	if (error) {
    313  1.24  jdolecek 		struct filedesc *fdp = td->td_proc->p_fd;
    314  1.24  jdolecek 		FILEDESC_LOCK(fdp);
    315  1.24  jdolecek 		if (fdp->fd_ofiles[td->td_retval[0]] == rf) {
    316  1.24  jdolecek 			fdp->fd_ofiles[td->td_retval[0]] = NULL;
    317  1.24  jdolecek 			FILEDESC_UNLOCK(fdp);
    318  1.24  jdolecek 			fdrop(rf, td);
    319  1.24  jdolecek 		} else
    320  1.24  jdolecek 			FILEDESC_UNLOCK(fdp);
    321  1.24  jdolecek 		fdrop(rf, td);
    322   1.1  jdolecek 		/* rpipe has been closed by fdrop(). */
    323   1.1  jdolecek 		pipeclose(wpipe);
    324  1.24  jdolecek 		free(pmtx, M_TEMP);
    325   1.1  jdolecek 		return (error);
    326   1.1  jdolecek 	}
    327  1.24  jdolecek 	FILE_LOCK(wf);
    328   1.1  jdolecek 	wf->f_flag = FREAD | FWRITE;
    329   1.1  jdolecek 	wf->f_type = DTYPE_PIPE;
    330   1.1  jdolecek 	wf->f_data = (caddr_t)wpipe;
    331   1.1  jdolecek 	wf->f_ops = &pipeops;
    332   1.1  jdolecek 	p->p_retval[1] = fd;
    333   1.1  jdolecek 	rpipe->pipe_peer = wpipe;
    334   1.1  jdolecek 	wpipe->pipe_peer = rpipe;
    335  1.24  jdolecek 	mtx_init(pmtx, "pipe mutex", MTX_DEF);
    336  1.24  jdolecek 	rpipe->pipe_mtxp = wpipe->pipe_mtxp = pmtx;
    337  1.24  jdolecek 	fdrop(rf, td);
    338   1.2  jdolecek #endif /* FreeBSD */
    339   1.2  jdolecek 
    340   1.2  jdolecek #ifdef __NetBSD__
    341  1.33   thorpej 	p = l->l_proc;
    342   1.6  jdolecek 	rpipe = wpipe = NULL;
    343   1.6  jdolecek 	if (pipe_create(&rpipe, 1) || pipe_create(&wpipe, 0)) {
    344   1.6  jdolecek 		pipeclose(rpipe);
    345   1.6  jdolecek 		pipeclose(wpipe);
    346   1.6  jdolecek 		return (ENFILE);
    347   1.6  jdolecek 	}
    348   1.6  jdolecek 
    349   1.2  jdolecek 	/*
    350   1.2  jdolecek 	 * Note: the file structure returned from falloc() is marked
    351   1.2  jdolecek 	 * as 'larval' initially. Unless we mark it as 'mature' by
    352   1.2  jdolecek 	 * FILE_SET_MATURE(), any attempt to do anything with it would
    353   1.2  jdolecek 	 * return EBADF, including e.g. dup(2) or close(2). This avoids
    354   1.2  jdolecek 	 * file descriptor races if we block in the second falloc().
    355   1.2  jdolecek 	 */
    356   1.2  jdolecek 
    357   1.2  jdolecek 	error = falloc(p, &rf, &fd);
    358   1.2  jdolecek 	if (error)
    359   1.2  jdolecek 		goto free2;
    360   1.2  jdolecek 	retval[0] = fd;
    361   1.2  jdolecek 	rf->f_flag = FREAD;
    362   1.2  jdolecek 	rf->f_type = DTYPE_PIPE;
    363   1.2  jdolecek 	rf->f_data = (caddr_t)rpipe;
    364   1.2  jdolecek 	rf->f_ops = &pipeops;
    365   1.2  jdolecek 
    366   1.2  jdolecek 	error = falloc(p, &wf, &fd);
    367   1.2  jdolecek 	if (error)
    368   1.2  jdolecek 		goto free3;
    369   1.2  jdolecek 	retval[1] = fd;
    370   1.2  jdolecek 	wf->f_flag = FWRITE;
    371   1.2  jdolecek 	wf->f_type = DTYPE_PIPE;
    372   1.2  jdolecek 	wf->f_data = (caddr_t)wpipe;
    373   1.2  jdolecek 	wf->f_ops = &pipeops;
    374   1.2  jdolecek 
    375   1.2  jdolecek 	rpipe->pipe_peer = wpipe;
    376   1.2  jdolecek 	wpipe->pipe_peer = rpipe;
    377   1.1  jdolecek 
    378   1.2  jdolecek 	FILE_SET_MATURE(rf);
    379   1.2  jdolecek 	FILE_SET_MATURE(wf);
    380   1.2  jdolecek 	FILE_UNUSE(rf, p);
    381   1.2  jdolecek 	FILE_UNUSE(wf, p);
    382   1.1  jdolecek 	return (0);
    383   1.2  jdolecek free3:
    384   1.2  jdolecek 	FILE_UNUSE(rf, p);
    385   1.2  jdolecek 	ffree(rf);
    386  1.11  jdolecek 	fdremove(p->p_fd, retval[0]);
    387   1.2  jdolecek free2:
    388   1.2  jdolecek 	pipeclose(wpipe);
    389   1.2  jdolecek 	pipeclose(rpipe);
    390   1.2  jdolecek #endif /* NetBSD */
    391   1.2  jdolecek 
    392   1.2  jdolecek 	return (error);
    393   1.1  jdolecek }
    394   1.1  jdolecek 
    395   1.1  jdolecek /*
    396   1.1  jdolecek  * Allocate kva for pipe circular buffer, the space is pageable
    397   1.1  jdolecek  * This routine will 'realloc' the size of a pipe safely, if it fails
    398   1.1  jdolecek  * it will retain the old buffer.
    399   1.1  jdolecek  * If it fails it will return ENOMEM.
    400   1.1  jdolecek  */
    401   1.1  jdolecek static int
    402   1.1  jdolecek pipespace(cpipe, size)
    403   1.1  jdolecek 	struct pipe *cpipe;
    404   1.1  jdolecek 	int size;
    405   1.1  jdolecek {
    406   1.2  jdolecek 	caddr_t buffer;
    407   1.2  jdolecek #ifdef __FreeBSD__
    408   1.1  jdolecek 	struct vm_object *object;
    409   1.1  jdolecek 	int npages, error;
    410   1.1  jdolecek 
    411  1.24  jdolecek 	GIANT_REQUIRED;
    412  1.24  jdolecek 	KASSERT(cpipe->pipe_mtxp == NULL || !mtx_owned(PIPE_MTX(cpipe)),
    413  1.24  jdolecek 	       ("pipespace: pipe mutex locked"));
    414  1.24  jdolecek 
    415   1.1  jdolecek 	npages = round_page(size)/PAGE_SIZE;
    416   1.1  jdolecek 	/*
    417   1.1  jdolecek 	 * Create an object, I don't like the idea of paging to/from
    418   1.1  jdolecek 	 * kernel_object.
    419   1.1  jdolecek 	 */
    420   1.1  jdolecek 	object = vm_object_allocate(OBJT_DEFAULT, npages);
    421   1.1  jdolecek 	buffer = (caddr_t) vm_map_min(kernel_map);
    422   1.1  jdolecek 
    423   1.1  jdolecek 	/*
    424   1.1  jdolecek 	 * Insert the object into the kernel map, and allocate kva for it.
    425   1.1  jdolecek 	 * The map entry is, by default, pageable.
    426   1.1  jdolecek 	 */
    427   1.1  jdolecek 	error = vm_map_find(kernel_map, object, 0,
    428   1.1  jdolecek 		(vm_offset_t *) &buffer, size, 1,
    429   1.1  jdolecek 		VM_PROT_ALL, VM_PROT_ALL, 0);
    430   1.1  jdolecek 
    431   1.1  jdolecek 	if (error != KERN_SUCCESS) {
    432   1.1  jdolecek 		vm_object_deallocate(object);
    433   1.1  jdolecek 		return (ENOMEM);
    434   1.1  jdolecek 	}
    435   1.2  jdolecek #endif /* FreeBSD */
    436   1.2  jdolecek 
    437   1.2  jdolecek #ifdef __NetBSD__
    438   1.2  jdolecek 	/*
    439   1.2  jdolecek 	 * Allocate pageable virtual address space. Physical memory is allocated
    440   1.2  jdolecek 	 * on demand.
    441   1.2  jdolecek 	 */
    442   1.2  jdolecek 	buffer = (caddr_t) uvm_km_valloc(kernel_map, round_page(size));
    443   1.2  jdolecek 	if (buffer == NULL)
    444   1.2  jdolecek 		return (ENOMEM);
    445   1.2  jdolecek #endif /* NetBSD */
    446   1.1  jdolecek 
    447   1.1  jdolecek 	/* free old resources if we're resizing */
    448   1.1  jdolecek 	pipe_free_kmem(cpipe);
    449   1.2  jdolecek #ifdef __FreeBSD__
    450   1.1  jdolecek 	cpipe->pipe_buffer.object = object;
    451   1.2  jdolecek #endif
    452   1.1  jdolecek 	cpipe->pipe_buffer.buffer = buffer;
    453   1.1  jdolecek 	cpipe->pipe_buffer.size = size;
    454   1.1  jdolecek 	cpipe->pipe_buffer.in = 0;
    455   1.1  jdolecek 	cpipe->pipe_buffer.out = 0;
    456   1.1  jdolecek 	cpipe->pipe_buffer.cnt = 0;
    457   1.1  jdolecek 	amountpipekva += cpipe->pipe_buffer.size;
    458   1.1  jdolecek 	return (0);
    459   1.1  jdolecek }
    460   1.1  jdolecek 
    461   1.1  jdolecek /*
    462   1.1  jdolecek  * initialize and allocate VM and memory for pipe
    463   1.1  jdolecek  */
    464   1.1  jdolecek static int
    465   1.6  jdolecek pipe_create(cpipep, allockva)
    466   1.1  jdolecek 	struct pipe **cpipep;
    467   1.6  jdolecek 	int allockva;
    468   1.1  jdolecek {
    469   1.1  jdolecek 	struct pipe *cpipe;
    470   1.1  jdolecek 	int error;
    471   1.1  jdolecek 
    472   1.2  jdolecek #ifdef __FreeBSD__
    473   1.1  jdolecek 	*cpipep = zalloc(pipe_zone);
    474   1.2  jdolecek #endif
    475   1.2  jdolecek #ifdef __NetBSD__
    476   1.2  jdolecek 	*cpipep = pool_get(&pipe_pool, M_WAITOK);
    477   1.2  jdolecek #endif
    478   1.1  jdolecek 	if (*cpipep == NULL)
    479   1.1  jdolecek 		return (ENOMEM);
    480   1.1  jdolecek 
    481   1.1  jdolecek 	cpipe = *cpipep;
    482   1.2  jdolecek 
    483  1.11  jdolecek 	/* Initialize */
    484  1.11  jdolecek 	memset(cpipe, 0, sizeof(*cpipe));
    485   1.2  jdolecek 	cpipe->pipe_state = PIPE_SIGNALR;
    486   1.1  jdolecek 
    487  1.24  jdolecek #ifdef __FreeBSD__
    488  1.24  jdolecek 	cpipe->pipe_mtxp = NULL;	/* avoid pipespace assertion */
    489  1.24  jdolecek #endif
    490   1.6  jdolecek 	if (allockva && (error = pipespace(cpipe, PIPE_SIZE)))
    491   1.1  jdolecek 		return (error);
    492   1.1  jdolecek 
    493   1.1  jdolecek 	vfs_timestamp(&cpipe->pipe_ctime);
    494   1.1  jdolecek 	cpipe->pipe_atime = cpipe->pipe_ctime;
    495   1.1  jdolecek 	cpipe->pipe_mtime = cpipe->pipe_ctime;
    496   1.2  jdolecek #ifdef __NetBSD__
    497   1.2  jdolecek 	cpipe->pipe_pgid = NO_PID;
    498   1.2  jdolecek 	lockinit(&cpipe->pipe_lock, PRIBIO | PCATCH, "pipelk", 0, 0);
    499   1.2  jdolecek #endif
    500   1.1  jdolecek 
    501   1.1  jdolecek 	return (0);
    502   1.1  jdolecek }
    503   1.1  jdolecek 
    504   1.1  jdolecek 
    505   1.1  jdolecek /*
    506   1.1  jdolecek  * lock a pipe for I/O, blocking other access
    507   1.1  jdolecek  */
    508   1.1  jdolecek static __inline int
    509   1.1  jdolecek pipelock(cpipe, catch)
    510   1.1  jdolecek 	struct pipe *cpipe;
    511   1.1  jdolecek 	int catch;
    512   1.1  jdolecek {
    513   1.1  jdolecek 	int error;
    514   1.1  jdolecek 
    515   1.2  jdolecek #ifdef __FreeBSD__
    516  1.24  jdolecek 	PIPE_LOCK_ASSERT(cpipe, MA_OWNED);
    517  1.24  jdolecek 	while (cpipe->pipe_state & PIPE_LOCKFL) {
    518   1.1  jdolecek 		cpipe->pipe_state |= PIPE_LWANT;
    519  1.24  jdolecek 		error = msleep(cpipe, PIPE_MTX(cpipe),
    520  1.24  jdolecek 		    catch ? (PRIBIO | PCATCH) : PRIBIO,
    521   1.1  jdolecek 		    "pipelk", 0);
    522   1.2  jdolecek 		if (error != 0)
    523   1.1  jdolecek 			return (error);
    524   1.1  jdolecek 	}
    525  1.24  jdolecek 	cpipe->pipe_state |= PIPE_LOCKFL;
    526   1.1  jdolecek 	return (0);
    527   1.2  jdolecek #endif
    528   1.2  jdolecek 
    529   1.2  jdolecek #ifdef __NetBSD__
    530   1.2  jdolecek 	do {
    531   1.2  jdolecek 		error = lockmgr(&cpipe->pipe_lock, LK_EXCLUSIVE, NULL);
    532   1.2  jdolecek 	} while (!catch && (error == EINTR || error == ERESTART));
    533   1.2  jdolecek 	return (error);
    534   1.2  jdolecek #endif
    535   1.1  jdolecek }
    536   1.1  jdolecek 
    537   1.1  jdolecek /*
    538   1.1  jdolecek  * unlock a pipe I/O lock
    539   1.1  jdolecek  */
    540   1.1  jdolecek static __inline void
    541   1.1  jdolecek pipeunlock(cpipe)
    542   1.1  jdolecek 	struct pipe *cpipe;
    543   1.1  jdolecek {
    544  1.24  jdolecek 
    545   1.2  jdolecek #ifdef __FreeBSD__
    546  1.24  jdolecek 	PIPE_LOCK_ASSERT(cpipe, MA_OWNED);
    547  1.24  jdolecek 	cpipe->pipe_state &= ~PIPE_LOCKFL;
    548   1.1  jdolecek 	if (cpipe->pipe_state & PIPE_LWANT) {
    549   1.1  jdolecek 		cpipe->pipe_state &= ~PIPE_LWANT;
    550   1.1  jdolecek 		wakeup(cpipe);
    551   1.1  jdolecek 	}
    552   1.2  jdolecek #endif
    553   1.2  jdolecek 
    554   1.2  jdolecek #ifdef __NetBSD__
    555   1.2  jdolecek 	lockmgr(&cpipe->pipe_lock, LK_RELEASE, NULL);
    556   1.2  jdolecek #endif
    557   1.1  jdolecek }
    558   1.1  jdolecek 
    559   1.2  jdolecek /*
    560   1.2  jdolecek  * Select/poll wakup. This also sends SIGIO to peer connected to
    561   1.2  jdolecek  * 'sigpipe' side of pipe.
    562   1.2  jdolecek  */
    563   1.1  jdolecek static __inline void
    564   1.3  jdolecek pipeselwakeup(selp, sigp)
    565   1.3  jdolecek 	struct pipe *selp, *sigp;
    566   1.1  jdolecek {
    567  1.27  jdolecek 
    568  1.27  jdolecek #ifdef __FreeBSD__
    569   1.3  jdolecek 	if (selp->pipe_state & PIPE_SEL) {
    570   1.3  jdolecek 		selp->pipe_state &= ~PIPE_SEL;
    571   1.3  jdolecek 		selwakeup(&selp->pipe_sel);
    572   1.1  jdolecek 	}
    573   1.3  jdolecek 	if (sigp && (sigp->pipe_state & PIPE_ASYNC) && sigp->pipe_sigio)
    574   1.3  jdolecek 		pgsigio(sigp->pipe_sigio, SIGIO, 0);
    575  1.31  christos 	KNOTE(&selp->pipe_sel.sel_note, 0);
    576   1.2  jdolecek #endif
    577   1.2  jdolecek 
    578   1.2  jdolecek #ifdef __NetBSD__
    579  1.27  jdolecek 	selnotify(&selp->pipe_sel, 0);
    580  1.27  jdolecek 	if (sigp && (sigp->pipe_state & PIPE_ASYNC) &&
    581  1.27  jdolecek 	    sigp->pipe_pgid != NO_PID) {
    582   1.2  jdolecek 		struct proc *p;
    583   1.2  jdolecek 
    584   1.3  jdolecek 		if (sigp->pipe_pgid < 0)
    585   1.3  jdolecek 			gsignal(-sigp->pipe_pgid, SIGIO);
    586   1.3  jdolecek 		else if (sigp->pipe_pgid > 0 && (p = pfind(sigp->pipe_pgid)) != 0)
    587   1.2  jdolecek 			psignal(p, SIGIO);
    588   1.2  jdolecek 	}
    589   1.2  jdolecek #endif /* NetBSD */
    590   1.1  jdolecek }
    591   1.1  jdolecek 
    592   1.1  jdolecek /* ARGSUSED */
    593   1.2  jdolecek #ifdef __FreeBSD__
    594   1.1  jdolecek static int
    595  1.24  jdolecek pipe_read(fp, uio, cred, flags, td)
    596   1.1  jdolecek 	struct file *fp;
    597   1.1  jdolecek 	struct uio *uio;
    598   1.1  jdolecek 	struct ucred *cred;
    599  1.24  jdolecek 	struct thread *td;
    600   1.2  jdolecek 	int flags;
    601   1.1  jdolecek 	struct proc *p;
    602   1.2  jdolecek #elif defined(__NetBSD__)
    603   1.2  jdolecek static int
    604   1.2  jdolecek pipe_read(fp, offset, uio, cred, flags)
    605   1.2  jdolecek 	struct file *fp;
    606   1.2  jdolecek 	off_t *offset;
    607   1.2  jdolecek 	struct uio *uio;
    608   1.2  jdolecek 	struct ucred *cred;
    609   1.1  jdolecek 	int flags;
    610   1.2  jdolecek #endif
    611   1.1  jdolecek {
    612   1.1  jdolecek 	struct pipe *rpipe = (struct pipe *) fp->f_data;
    613   1.1  jdolecek 	int error;
    614   1.2  jdolecek 	size_t nread = 0;
    615   1.2  jdolecek 	size_t size;
    616   1.2  jdolecek 	size_t ocnt;
    617   1.1  jdolecek 
    618  1.24  jdolecek 	PIPE_LOCK(rpipe);
    619   1.1  jdolecek 	++rpipe->pipe_busy;
    620  1.28  jdolecek 	ocnt = rpipe->pipe_buffer.cnt;
    621  1.28  jdolecek 
    622   1.1  jdolecek 	error = pipelock(rpipe, 1);
    623   1.1  jdolecek 	if (error)
    624   1.1  jdolecek 		goto unlocked_error;
    625   1.2  jdolecek 
    626   1.1  jdolecek 	while (uio->uio_resid) {
    627   1.1  jdolecek 		/*
    628   1.1  jdolecek 		 * normal pipe buffer receive
    629   1.1  jdolecek 		 */
    630   1.1  jdolecek 		if (rpipe->pipe_buffer.cnt > 0) {
    631   1.1  jdolecek 			size = rpipe->pipe_buffer.size - rpipe->pipe_buffer.out;
    632   1.1  jdolecek 			if (size > rpipe->pipe_buffer.cnt)
    633   1.1  jdolecek 				size = rpipe->pipe_buffer.cnt;
    634   1.2  jdolecek 			if (size > uio->uio_resid)
    635   1.2  jdolecek 				size = uio->uio_resid;
    636   1.1  jdolecek 
    637  1.24  jdolecek 			PIPE_UNLOCK(rpipe);
    638   1.1  jdolecek 			error = uiomove(&rpipe->pipe_buffer.buffer[rpipe->pipe_buffer.out],
    639   1.1  jdolecek 					size, uio);
    640  1.24  jdolecek 			PIPE_LOCK(rpipe);
    641   1.1  jdolecek 			if (error)
    642   1.1  jdolecek 				break;
    643   1.1  jdolecek 
    644   1.1  jdolecek 			rpipe->pipe_buffer.out += size;
    645   1.1  jdolecek 			if (rpipe->pipe_buffer.out >= rpipe->pipe_buffer.size)
    646   1.1  jdolecek 				rpipe->pipe_buffer.out = 0;
    647   1.1  jdolecek 
    648   1.1  jdolecek 			rpipe->pipe_buffer.cnt -= size;
    649   1.1  jdolecek 
    650   1.1  jdolecek 			/*
    651   1.1  jdolecek 			 * If there is no more to read in the pipe, reset
    652   1.1  jdolecek 			 * its pointers to the beginning.  This improves
    653   1.1  jdolecek 			 * cache hit stats.
    654   1.1  jdolecek 			 */
    655   1.1  jdolecek 			if (rpipe->pipe_buffer.cnt == 0) {
    656   1.1  jdolecek 				rpipe->pipe_buffer.in = 0;
    657   1.1  jdolecek 				rpipe->pipe_buffer.out = 0;
    658   1.1  jdolecek 			}
    659   1.1  jdolecek 			nread += size;
    660   1.1  jdolecek #ifndef PIPE_NODIRECT
    661   1.1  jdolecek 		/*
    662   1.1  jdolecek 		 * Direct copy, bypassing a kernel buffer.
    663   1.1  jdolecek 		 */
    664   1.1  jdolecek 		} else if ((size = rpipe->pipe_map.cnt) &&
    665   1.1  jdolecek 			   (rpipe->pipe_state & PIPE_DIRECTW)) {
    666   1.1  jdolecek 			caddr_t	va;
    667   1.2  jdolecek 			if (size > uio->uio_resid)
    668   1.2  jdolecek 				size = uio->uio_resid;
    669   1.1  jdolecek 
    670   1.1  jdolecek 			va = (caddr_t) rpipe->pipe_map.kva +
    671   1.1  jdolecek 			    rpipe->pipe_map.pos;
    672  1.24  jdolecek 			PIPE_UNLOCK(rpipe);
    673   1.1  jdolecek 			error = uiomove(va, size, uio);
    674  1.24  jdolecek 			PIPE_LOCK(rpipe);
    675   1.1  jdolecek 			if (error)
    676   1.1  jdolecek 				break;
    677   1.1  jdolecek 			nread += size;
    678   1.1  jdolecek 			rpipe->pipe_map.pos += size;
    679   1.1  jdolecek 			rpipe->pipe_map.cnt -= size;
    680   1.1  jdolecek 			if (rpipe->pipe_map.cnt == 0) {
    681   1.1  jdolecek 				rpipe->pipe_state &= ~PIPE_DIRECTW;
    682   1.1  jdolecek 				wakeup(rpipe);
    683   1.1  jdolecek 			}
    684   1.1  jdolecek #endif
    685   1.1  jdolecek 		} else {
    686   1.1  jdolecek 			/*
    687   1.1  jdolecek 			 * detect EOF condition
    688   1.1  jdolecek 			 * read returns 0 on EOF, no need to set error
    689   1.1  jdolecek 			 */
    690   1.1  jdolecek 			if (rpipe->pipe_state & PIPE_EOF)
    691   1.1  jdolecek 				break;
    692   1.1  jdolecek 
    693   1.1  jdolecek 			/*
    694   1.1  jdolecek 			 * If the "write-side" has been blocked, wake it up now.
    695   1.1  jdolecek 			 */
    696   1.1  jdolecek 			if (rpipe->pipe_state & PIPE_WANTW) {
    697   1.1  jdolecek 				rpipe->pipe_state &= ~PIPE_WANTW;
    698   1.1  jdolecek 				wakeup(rpipe);
    699   1.1  jdolecek 			}
    700   1.1  jdolecek 
    701   1.1  jdolecek 			/*
    702   1.1  jdolecek 			 * Break if some data was read.
    703   1.1  jdolecek 			 */
    704   1.1  jdolecek 			if (nread > 0)
    705   1.1  jdolecek 				break;
    706   1.1  jdolecek 
    707   1.1  jdolecek 			/*
    708   1.2  jdolecek 			 * don't block on non-blocking I/O
    709   1.2  jdolecek 			 */
    710   1.2  jdolecek 			if (fp->f_flag & FNONBLOCK) {
    711   1.2  jdolecek 				error = EAGAIN;
    712   1.2  jdolecek 				break;
    713   1.2  jdolecek 			}
    714   1.2  jdolecek 
    715   1.2  jdolecek 			/*
    716   1.2  jdolecek 			 * Unlock the pipe buffer for our remaining processing.
    717   1.2  jdolecek 			 * We will either break out with an error or we will
    718   1.2  jdolecek 			 * sleep and relock to loop.
    719   1.1  jdolecek 			 */
    720   1.1  jdolecek 			pipeunlock(rpipe);
    721   1.1  jdolecek 
    722   1.1  jdolecek 			/*
    723   1.2  jdolecek 			 * We want to read more, wake up select/poll.
    724   1.1  jdolecek 			 */
    725   1.3  jdolecek 			pipeselwakeup(rpipe, rpipe->pipe_peer);
    726   1.2  jdolecek 
    727   1.2  jdolecek 			rpipe->pipe_state |= PIPE_WANTR;
    728  1.24  jdolecek #ifdef __FreeBSD__
    729  1.24  jdolecek 			error = msleep(rpipe, PIPE_MTX(rpipe), PRIBIO | PCATCH,
    730  1.24  jdolecek 				    "piperd", 0);
    731  1.24  jdolecek #else
    732   1.2  jdolecek 			error = tsleep(rpipe, PRIBIO | PCATCH, "piperd", 0);
    733  1.24  jdolecek #endif
    734   1.2  jdolecek 			if (error != 0 || (error = pipelock(rpipe, 1)))
    735   1.1  jdolecek 				goto unlocked_error;
    736   1.1  jdolecek 		}
    737   1.1  jdolecek 	}
    738   1.1  jdolecek 	pipeunlock(rpipe);
    739   1.1  jdolecek 
    740  1.24  jdolecek 	/* XXX: should probably do this before getting any locks. */
    741   1.1  jdolecek 	if (error == 0)
    742   1.1  jdolecek 		vfs_timestamp(&rpipe->pipe_atime);
    743   1.1  jdolecek unlocked_error:
    744   1.1  jdolecek 	--rpipe->pipe_busy;
    745   1.1  jdolecek 
    746   1.1  jdolecek 	/*
    747   1.2  jdolecek 	 * PIPE_WANTCLOSE processing only makes sense if pipe_busy is 0.
    748   1.1  jdolecek 	 */
    749   1.2  jdolecek 	if ((rpipe->pipe_busy == 0) && (rpipe->pipe_state & PIPE_WANTCLOSE)) {
    750   1.2  jdolecek 		rpipe->pipe_state &= ~(PIPE_WANTCLOSE|PIPE_WANTW);
    751   1.1  jdolecek 		wakeup(rpipe);
    752   1.1  jdolecek 	} else if (rpipe->pipe_buffer.cnt < MINPIPESIZE) {
    753   1.1  jdolecek 		/*
    754   1.1  jdolecek 		 * Handle write blocking hysteresis.
    755   1.1  jdolecek 		 */
    756   1.1  jdolecek 		if (rpipe->pipe_state & PIPE_WANTW) {
    757   1.1  jdolecek 			rpipe->pipe_state &= ~PIPE_WANTW;
    758   1.1  jdolecek 			wakeup(rpipe);
    759   1.1  jdolecek 		}
    760   1.1  jdolecek 	}
    761   1.1  jdolecek 
    762   1.2  jdolecek 	/*
    763   1.2  jdolecek 	 * If anything was read off the buffer, signal to the writer it's
    764   1.2  jdolecek 	 * possible to write more data. Also send signal if we are here for the
    765   1.2  jdolecek 	 * first time after last write.
    766   1.2  jdolecek 	 */
    767   1.2  jdolecek 	if ((rpipe->pipe_buffer.size - rpipe->pipe_buffer.cnt) >= PIPE_BUF
    768   1.2  jdolecek 	    && (ocnt != rpipe->pipe_buffer.cnt || (rpipe->pipe_state & PIPE_SIGNALR))) {
    769   1.3  jdolecek 		pipeselwakeup(rpipe, rpipe->pipe_peer);
    770   1.2  jdolecek 		rpipe->pipe_state &= ~PIPE_SIGNALR;
    771   1.2  jdolecek 	}
    772   1.1  jdolecek 
    773  1.24  jdolecek 	PIPE_UNLOCK(rpipe);
    774   1.1  jdolecek 	return (error);
    775   1.1  jdolecek }
    776   1.1  jdolecek 
    777   1.2  jdolecek #ifdef __FreeBSD__
    778   1.1  jdolecek #ifndef PIPE_NODIRECT
    779   1.1  jdolecek /*
    780   1.1  jdolecek  * Map the sending processes' buffer into kernel space and wire it.
    781   1.1  jdolecek  * This is similar to a physical write operation.
    782   1.1  jdolecek  */
    783   1.1  jdolecek static int
    784   1.1  jdolecek pipe_build_write_buffer(wpipe, uio)
    785   1.1  jdolecek 	struct pipe *wpipe;
    786   1.1  jdolecek 	struct uio *uio;
    787   1.1  jdolecek {
    788   1.2  jdolecek 	size_t size;
    789   1.1  jdolecek 	int i;
    790   1.1  jdolecek 	vm_offset_t addr, endaddr, paddr;
    791   1.1  jdolecek 
    792  1.24  jdolecek 	GIANT_REQUIRED;
    793  1.24  jdolecek 	PIPE_LOCK_ASSERT(wpipe, MA_NOTOWNED);
    794  1.24  jdolecek 
    795   1.2  jdolecek 	size = uio->uio_iov->iov_len;
    796   1.1  jdolecek 	if (size > wpipe->pipe_buffer.size)
    797   1.1  jdolecek 		size = wpipe->pipe_buffer.size;
    798   1.1  jdolecek 
    799   1.1  jdolecek 	endaddr = round_page((vm_offset_t)uio->uio_iov->iov_base + size);
    800   1.1  jdolecek 	addr = trunc_page((vm_offset_t)uio->uio_iov->iov_base);
    801   1.1  jdolecek 	for (i = 0; addr < endaddr; addr += PAGE_SIZE, i++) {
    802   1.1  jdolecek 		vm_page_t m;
    803   1.1  jdolecek 
    804   1.1  jdolecek 		if (vm_fault_quick((caddr_t)addr, VM_PROT_READ) < 0 ||
    805   1.1  jdolecek 		    (paddr = pmap_kextract(addr)) == 0) {
    806   1.1  jdolecek 			int j;
    807   1.1  jdolecek 
    808   1.1  jdolecek 			for (j = 0; j < i; j++)
    809   1.1  jdolecek 				vm_page_unwire(wpipe->pipe_map.ms[j], 1);
    810   1.1  jdolecek 			return (EFAULT);
    811   1.1  jdolecek 		}
    812   1.1  jdolecek 
    813   1.1  jdolecek 		m = PHYS_TO_VM_PAGE(paddr);
    814   1.1  jdolecek 		vm_page_wire(m);
    815   1.1  jdolecek 		wpipe->pipe_map.ms[i] = m;
    816   1.1  jdolecek 	}
    817   1.1  jdolecek 
    818   1.1  jdolecek /*
    819   1.1  jdolecek  * set up the control block
    820   1.1  jdolecek  */
    821   1.1  jdolecek 	wpipe->pipe_map.npages = i;
    822   1.1  jdolecek 	wpipe->pipe_map.pos =
    823   1.1  jdolecek 	    ((vm_offset_t) uio->uio_iov->iov_base) & PAGE_MASK;
    824   1.1  jdolecek 	wpipe->pipe_map.cnt = size;
    825   1.1  jdolecek 
    826   1.1  jdolecek /*
    827   1.1  jdolecek  * and map the buffer
    828   1.1  jdolecek  */
    829   1.1  jdolecek 	if (wpipe->pipe_map.kva == 0) {
    830   1.1  jdolecek 		/*
    831   1.1  jdolecek 		 * We need to allocate space for an extra page because the
    832   1.1  jdolecek 		 * address range might (will) span pages at times.
    833   1.1  jdolecek 		 */
    834   1.1  jdolecek 		wpipe->pipe_map.kva = kmem_alloc_pageable(kernel_map,
    835   1.1  jdolecek 			wpipe->pipe_buffer.size + PAGE_SIZE);
    836   1.1  jdolecek 		amountpipekva += wpipe->pipe_buffer.size + PAGE_SIZE;
    837   1.1  jdolecek 	}
    838   1.1  jdolecek 	pmap_qenter(wpipe->pipe_map.kva, wpipe->pipe_map.ms,
    839   1.1  jdolecek 		wpipe->pipe_map.npages);
    840   1.1  jdolecek 
    841   1.1  jdolecek /*
    842   1.1  jdolecek  * and update the uio data
    843   1.1  jdolecek  */
    844   1.1  jdolecek 
    845   1.1  jdolecek 	uio->uio_iov->iov_len -= size;
    846   1.1  jdolecek 	uio->uio_iov->iov_base += size;
    847   1.1  jdolecek 	if (uio->uio_iov->iov_len == 0)
    848   1.1  jdolecek 		uio->uio_iov++;
    849   1.1  jdolecek 	uio->uio_resid -= size;
    850   1.1  jdolecek 	uio->uio_offset += size;
    851   1.1  jdolecek 	return (0);
    852   1.1  jdolecek }
    853   1.1  jdolecek 
    854   1.1  jdolecek /*
    855   1.1  jdolecek  * unmap and unwire the process buffer
    856   1.1  jdolecek  */
    857   1.1  jdolecek static void
    858   1.1  jdolecek pipe_destroy_write_buffer(wpipe)
    859   1.1  jdolecek 	struct pipe *wpipe;
    860   1.1  jdolecek {
    861   1.1  jdolecek 	int i;
    862   1.1  jdolecek 
    863  1.24  jdolecek 	GIANT_REQUIRED;
    864  1.24  jdolecek 	PIPE_LOCK_ASSERT(wpipe, MA_NOTOWNED);
    865  1.24  jdolecek 
    866   1.1  jdolecek 	if (wpipe->pipe_map.kva) {
    867   1.1  jdolecek 		pmap_qremove(wpipe->pipe_map.kva, wpipe->pipe_map.npages);
    868   1.1  jdolecek 
    869   1.2  jdolecek 		if (amountpipekva > maxpipekva) {
    870   1.1  jdolecek 			vm_offset_t kva = wpipe->pipe_map.kva;
    871   1.1  jdolecek 			wpipe->pipe_map.kva = 0;
    872   1.1  jdolecek 			kmem_free(kernel_map, kva,
    873   1.1  jdolecek 				wpipe->pipe_buffer.size + PAGE_SIZE);
    874   1.1  jdolecek 			amountpipekva -= wpipe->pipe_buffer.size + PAGE_SIZE;
    875   1.1  jdolecek 		}
    876   1.1  jdolecek 	}
    877   1.1  jdolecek 	for (i = 0; i < wpipe->pipe_map.npages; i++)
    878   1.1  jdolecek 		vm_page_unwire(wpipe->pipe_map.ms[i], 1);
    879  1.24  jdolecek 	wpipe->pipe_map.npages = 0;
    880   1.1  jdolecek }
    881   1.1  jdolecek 
    882   1.1  jdolecek /*
    883   1.1  jdolecek  * In the case of a signal, the writing process might go away.  This
    884   1.1  jdolecek  * code copies the data into the circular buffer so that the source
    885   1.1  jdolecek  * pages can be freed without loss of data.
    886   1.1  jdolecek  */
    887   1.1  jdolecek static void
    888   1.1  jdolecek pipe_clone_write_buffer(wpipe)
    889   1.1  jdolecek 	struct pipe *wpipe;
    890   1.1  jdolecek {
    891   1.1  jdolecek 	int size;
    892   1.1  jdolecek 	int pos;
    893   1.1  jdolecek 
    894  1.24  jdolecek 	PIPE_LOCK_ASSERT(wpipe, MA_OWNED);
    895   1.1  jdolecek 	size = wpipe->pipe_map.cnt;
    896   1.1  jdolecek 	pos = wpipe->pipe_map.pos;
    897  1.10   thorpej 	memcpy((caddr_t) wpipe->pipe_buffer.buffer,
    898  1.10   thorpej 	    (caddr_t) wpipe->pipe_map.kva + pos, size);
    899   1.1  jdolecek 
    900   1.1  jdolecek 	wpipe->pipe_buffer.in = size;
    901   1.1  jdolecek 	wpipe->pipe_buffer.out = 0;
    902   1.1  jdolecek 	wpipe->pipe_buffer.cnt = size;
    903   1.1  jdolecek 	wpipe->pipe_state &= ~PIPE_DIRECTW;
    904   1.1  jdolecek 
    905  1.24  jdolecek 	PIPE_GET_GIANT(wpipe);
    906   1.1  jdolecek 	pipe_destroy_write_buffer(wpipe);
    907  1.24  jdolecek 	PIPE_DROP_GIANT(wpipe);
    908   1.1  jdolecek }
    909   1.1  jdolecek 
    910   1.1  jdolecek /*
    911   1.1  jdolecek  * This implements the pipe buffer write mechanism.  Note that only
    912   1.1  jdolecek  * a direct write OR a normal pipe write can be pending at any given time.
    913   1.1  jdolecek  * If there are any characters in the pipe buffer, the direct write will
    914   1.1  jdolecek  * be deferred until the receiving process grabs all of the bytes from
    915   1.1  jdolecek  * the pipe buffer.  Then the direct mapping write is set-up.
    916   1.1  jdolecek  */
    917   1.1  jdolecek static int
    918   1.1  jdolecek pipe_direct_write(wpipe, uio)
    919   1.1  jdolecek 	struct pipe *wpipe;
    920   1.1  jdolecek 	struct uio *uio;
    921   1.1  jdolecek {
    922   1.1  jdolecek 	int error;
    923   1.1  jdolecek 
    924   1.1  jdolecek retry:
    925  1.24  jdolecek 	PIPE_LOCK_ASSERT(wpipe, MA_OWNED);
    926   1.1  jdolecek 	while (wpipe->pipe_state & PIPE_DIRECTW) {
    927   1.1  jdolecek 		if (wpipe->pipe_state & PIPE_WANTR) {
    928   1.1  jdolecek 			wpipe->pipe_state &= ~PIPE_WANTR;
    929   1.1  jdolecek 			wakeup(wpipe);
    930   1.1  jdolecek 		}
    931   1.1  jdolecek 		wpipe->pipe_state |= PIPE_WANTW;
    932  1.24  jdolecek 		error = msleep(wpipe, PIPE_MTX(wpipe),
    933  1.24  jdolecek 		    PRIBIO | PCATCH, "pipdww", 0);
    934   1.1  jdolecek 		if (error)
    935   1.1  jdolecek 			goto error1;
    936   1.1  jdolecek 		if (wpipe->pipe_state & PIPE_EOF) {
    937   1.1  jdolecek 			error = EPIPE;
    938   1.1  jdolecek 			goto error1;
    939   1.1  jdolecek 		}
    940   1.1  jdolecek 	}
    941   1.1  jdolecek 	wpipe->pipe_map.cnt = 0;	/* transfer not ready yet */
    942   1.1  jdolecek 	if (wpipe->pipe_buffer.cnt > 0) {
    943   1.1  jdolecek 		if (wpipe->pipe_state & PIPE_WANTR) {
    944   1.1  jdolecek 			wpipe->pipe_state &= ~PIPE_WANTR;
    945   1.1  jdolecek 			wakeup(wpipe);
    946   1.1  jdolecek 		}
    947  1.18       chs 
    948   1.1  jdolecek 		wpipe->pipe_state |= PIPE_WANTW;
    949  1.24  jdolecek 		error = msleep(wpipe, PIPE_MTX(wpipe),
    950  1.24  jdolecek 		    PRIBIO | PCATCH, "pipdwc", 0);
    951   1.1  jdolecek 		if (error)
    952   1.1  jdolecek 			goto error1;
    953   1.1  jdolecek 		if (wpipe->pipe_state & PIPE_EOF) {
    954   1.1  jdolecek 			error = EPIPE;
    955   1.1  jdolecek 			goto error1;
    956   1.1  jdolecek 		}
    957   1.1  jdolecek 		goto retry;
    958   1.1  jdolecek 	}
    959   1.1  jdolecek 
    960   1.1  jdolecek 	wpipe->pipe_state |= PIPE_DIRECTW;
    961   1.1  jdolecek 
    962  1.24  jdolecek 	PIPE_GET_GIANT(wpipe);
    963   1.1  jdolecek 	error = pipe_build_write_buffer(wpipe, uio);
    964  1.24  jdolecek 	PIPE_DROP_GIANT(wpipe);
    965   1.1  jdolecek 	if (error) {
    966   1.1  jdolecek 		wpipe->pipe_state &= ~PIPE_DIRECTW;
    967   1.1  jdolecek 		goto error1;
    968   1.1  jdolecek 	}
    969   1.1  jdolecek 
    970   1.1  jdolecek 	error = 0;
    971   1.1  jdolecek 	while (!error && (wpipe->pipe_state & PIPE_DIRECTW)) {
    972   1.1  jdolecek 		if (wpipe->pipe_state & PIPE_EOF) {
    973   1.1  jdolecek 			pipelock(wpipe, 0);
    974  1.24  jdolecek 			PIPE_GET_GIANT(wpipe);
    975   1.1  jdolecek 			pipe_destroy_write_buffer(wpipe);
    976  1.24  jdolecek 			PIPE_DROP_GIANT(wpipe);
    977   1.1  jdolecek 			pipeunlock(wpipe);
    978   1.3  jdolecek 			pipeselwakeup(wpipe, wpipe);
    979   1.1  jdolecek 			error = EPIPE;
    980   1.1  jdolecek 			goto error1;
    981   1.1  jdolecek 		}
    982   1.1  jdolecek 		if (wpipe->pipe_state & PIPE_WANTR) {
    983   1.1  jdolecek 			wpipe->pipe_state &= ~PIPE_WANTR;
    984   1.1  jdolecek 			wakeup(wpipe);
    985   1.1  jdolecek 		}
    986   1.3  jdolecek 		pipeselwakeup(wpipe, wpipe);
    987  1.24  jdolecek 		error = msleep(wpipe, PIPE_MTX(wpipe), PRIBIO | PCATCH,
    988  1.24  jdolecek 		    "pipdwt", 0);
    989   1.1  jdolecek 	}
    990   1.1  jdolecek 
    991   1.1  jdolecek 	pipelock(wpipe,0);
    992   1.1  jdolecek 	if (wpipe->pipe_state & PIPE_DIRECTW) {
    993   1.1  jdolecek 		/*
    994   1.1  jdolecek 		 * this bit of trickery substitutes a kernel buffer for
    995   1.1  jdolecek 		 * the process that might be going away.
    996   1.1  jdolecek 		 */
    997   1.1  jdolecek 		pipe_clone_write_buffer(wpipe);
    998   1.1  jdolecek 	} else {
    999  1.24  jdolecek 		PIPE_GET_GIANT(wpipe);
   1000   1.1  jdolecek 		pipe_destroy_write_buffer(wpipe);
   1001  1.24  jdolecek 		PIPE_DROP_GIANT(wpipe);
   1002   1.1  jdolecek 	}
   1003   1.1  jdolecek 	pipeunlock(wpipe);
   1004   1.1  jdolecek 	return (error);
   1005   1.1  jdolecek 
   1006   1.1  jdolecek error1:
   1007   1.1  jdolecek 	wakeup(wpipe);
   1008   1.1  jdolecek 	return (error);
   1009   1.1  jdolecek }
   1010   1.2  jdolecek #endif /* !PIPE_NODIRECT */
   1011   1.2  jdolecek #endif /* FreeBSD */
   1012   1.2  jdolecek 
   1013   1.2  jdolecek #ifdef __NetBSD__
   1014   1.2  jdolecek #ifndef PIPE_NODIRECT
   1015   1.2  jdolecek /*
   1016   1.2  jdolecek  * Allocate structure for loan transfer.
   1017   1.2  jdolecek  */
   1018  1.18       chs static int
   1019  1.18       chs pipe_loan_alloc(wpipe, npages)
   1020   1.2  jdolecek 	struct pipe *wpipe;
   1021   1.2  jdolecek 	int npages;
   1022   1.2  jdolecek {
   1023  1.18       chs 	vsize_t len;
   1024  1.18       chs 
   1025  1.18       chs 	len = (vsize_t)npages << PAGE_SHIFT;
   1026  1.18       chs 	wpipe->pipe_map.kva = uvm_km_valloc_wait(kernel_map, len);
   1027  1.22   thorpej 	if (wpipe->pipe_map.kva == 0)
   1028   1.2  jdolecek 		return (ENOMEM);
   1029   1.2  jdolecek 
   1030  1.18       chs 	amountpipekva += len;
   1031   1.2  jdolecek 	wpipe->pipe_map.npages = npages;
   1032  1.18       chs 	wpipe->pipe_map.pgs = malloc(npages * sizeof(struct vm_page *), M_PIPE,
   1033  1.18       chs 	    M_WAITOK);
   1034   1.2  jdolecek 	return (0);
   1035   1.2  jdolecek }
   1036   1.2  jdolecek 
   1037   1.2  jdolecek /*
   1038   1.2  jdolecek  * Free resources allocated for loan transfer.
   1039   1.2  jdolecek  */
   1040   1.2  jdolecek static void
   1041   1.2  jdolecek pipe_loan_free(wpipe)
   1042   1.2  jdolecek 	struct pipe *wpipe;
   1043   1.2  jdolecek {
   1044  1.18       chs 	vsize_t len;
   1045  1.18       chs 
   1046  1.18       chs 	len = (vsize_t)wpipe->pipe_map.npages << PAGE_SHIFT;
   1047  1.18       chs 	uvm_km_free(kernel_map, wpipe->pipe_map.kva, len);
   1048  1.22   thorpej 	wpipe->pipe_map.kva = 0;
   1049  1.18       chs 	amountpipekva -= len;
   1050  1.18       chs 	free(wpipe->pipe_map.pgs, M_PIPE);
   1051  1.18       chs 	wpipe->pipe_map.pgs = NULL;
   1052   1.2  jdolecek }
   1053   1.2  jdolecek 
   1054   1.2  jdolecek /*
   1055   1.2  jdolecek  * NetBSD direct write, using uvm_loan() mechanism.
   1056   1.2  jdolecek  * This implements the pipe buffer write mechanism.  Note that only
   1057   1.2  jdolecek  * a direct write OR a normal pipe write can be pending at any given time.
   1058   1.2  jdolecek  * If there are any characters in the pipe buffer, the direct write will
   1059   1.2  jdolecek  * be deferred until the receiving process grabs all of the bytes from
   1060   1.2  jdolecek  * the pipe buffer.  Then the direct mapping write is set-up.
   1061   1.2  jdolecek  */
   1062  1.18       chs static int
   1063   1.2  jdolecek pipe_direct_write(wpipe, uio)
   1064   1.2  jdolecek 	struct pipe *wpipe;
   1065   1.2  jdolecek 	struct uio *uio;
   1066   1.2  jdolecek {
   1067   1.5  jdolecek 	int error, npages, j;
   1068  1.18       chs 	struct vm_page **pgs;
   1069   1.2  jdolecek 	vaddr_t bbase, kva, base, bend;
   1070   1.2  jdolecek 	vsize_t blen, bcnt;
   1071   1.5  jdolecek 	voff_t bpos;
   1072   1.5  jdolecek 
   1073   1.2  jdolecek retry:
   1074   1.2  jdolecek 	while (wpipe->pipe_state & PIPE_DIRECTW) {
   1075   1.2  jdolecek 		if (wpipe->pipe_state & PIPE_WANTR) {
   1076   1.2  jdolecek 			wpipe->pipe_state &= ~PIPE_WANTR;
   1077   1.2  jdolecek 			wakeup(wpipe);
   1078   1.2  jdolecek 		}
   1079   1.2  jdolecek 		wpipe->pipe_state |= PIPE_WANTW;
   1080   1.2  jdolecek 		error = tsleep(wpipe, PRIBIO | PCATCH, "pipdww", 0);
   1081   1.2  jdolecek 		if (error)
   1082   1.5  jdolecek 			goto error;
   1083   1.2  jdolecek 		if (wpipe->pipe_state & PIPE_EOF) {
   1084   1.2  jdolecek 			error = EPIPE;
   1085   1.5  jdolecek 			goto error;
   1086   1.2  jdolecek 		}
   1087   1.2  jdolecek 	}
   1088   1.2  jdolecek 	wpipe->pipe_map.cnt = 0;	/* transfer not ready yet */
   1089   1.2  jdolecek 	if (wpipe->pipe_buffer.cnt > 0) {
   1090   1.5  jdolecek 		if (wpipe->pipe_state & PIPE_WANTR) {
   1091   1.2  jdolecek 			wpipe->pipe_state &= ~PIPE_WANTR;
   1092   1.2  jdolecek 			wakeup(wpipe);
   1093   1.2  jdolecek 		}
   1094  1.18       chs 
   1095   1.2  jdolecek 		wpipe->pipe_state |= PIPE_WANTW;
   1096   1.2  jdolecek 		error = tsleep(wpipe, PRIBIO | PCATCH, "pipdwc", 0);
   1097   1.2  jdolecek 		if (error)
   1098   1.5  jdolecek 			goto error;
   1099   1.2  jdolecek 		if (wpipe->pipe_state & PIPE_EOF) {
   1100   1.2  jdolecek 			error = EPIPE;
   1101   1.5  jdolecek 			goto error;
   1102   1.2  jdolecek 		}
   1103   1.2  jdolecek 		goto retry;
   1104   1.2  jdolecek 	}
   1105   1.2  jdolecek 
   1106   1.2  jdolecek 	/*
   1107  1.14  jdolecek 	 * Handle first PIPE_CHUNK_SIZE bytes of buffer. Deal with buffers
   1108  1.14  jdolecek 	 * not aligned to PAGE_SIZE.
   1109   1.5  jdolecek 	 */
   1110  1.14  jdolecek 	bbase = (vaddr_t)uio->uio_iov->iov_base;
   1111   1.5  jdolecek 	base = trunc_page(bbase);
   1112  1.14  jdolecek 	bend = round_page(bbase + uio->uio_iov->iov_len);
   1113   1.5  jdolecek 	blen = bend - base;
   1114   1.5  jdolecek 	bpos = bbase - base;
   1115   1.5  jdolecek 
   1116   1.5  jdolecek 	if (blen > PIPE_DIRECT_CHUNK) {
   1117   1.5  jdolecek 		blen = PIPE_DIRECT_CHUNK;
   1118   1.5  jdolecek 		bend = base + blen;
   1119   1.5  jdolecek 		bcnt = PIPE_DIRECT_CHUNK - bpos;
   1120  1.18       chs 	} else {
   1121  1.14  jdolecek 		bcnt = uio->uio_iov->iov_len;
   1122  1.18       chs 	}
   1123  1.18       chs 	npages = blen >> PAGE_SHIFT;
   1124   1.5  jdolecek 
   1125   1.5  jdolecek 	wpipe->pipe_map.pos = bpos;
   1126   1.5  jdolecek 	wpipe->pipe_map.cnt = bcnt;
   1127   1.5  jdolecek 
   1128   1.5  jdolecek 	/*
   1129   1.5  jdolecek 	 * Free the old kva if we need more pages than we have
   1130   1.5  jdolecek 	 * allocated.
   1131   1.2  jdolecek 	 */
   1132   1.5  jdolecek 	if (wpipe->pipe_map.kva && npages > wpipe->pipe_map.npages)
   1133   1.5  jdolecek 		pipe_loan_free(wpipe);
   1134   1.2  jdolecek 
   1135   1.5  jdolecek 	/* Allocate new kva. */
   1136  1.22   thorpej 	if (wpipe->pipe_map.kva == 0) {
   1137  1.18       chs 		error = pipe_loan_alloc(wpipe, npages);
   1138  1.18       chs 		if (error) {
   1139  1.18       chs 			goto error;
   1140  1.18       chs 		}
   1141  1.18       chs 	}
   1142  1.18       chs 
   1143   1.5  jdolecek 	/* Loan the write buffer memory from writer process */
   1144  1.18       chs 	pgs = wpipe->pipe_map.pgs;
   1145   1.5  jdolecek 	error = uvm_loan(&uio->uio_procp->p_vmspace->vm_map, base, blen,
   1146  1.18       chs 	    pgs, UVM_LOAN_TOPAGE);
   1147  1.18       chs 	if (error) {
   1148  1.18       chs 		pgs = NULL;
   1149   1.5  jdolecek 		goto cleanup;
   1150  1.18       chs 	}
   1151  1.18       chs 
   1152   1.5  jdolecek 	/* Enter the loaned pages to kva */
   1153   1.5  jdolecek 	kva = wpipe->pipe_map.kva;
   1154  1.18       chs 	for (j = 0; j < npages; j++, kva += PAGE_SIZE) {
   1155  1.18       chs 		pmap_kenter_pa(kva, VM_PAGE_TO_PHYS(pgs[j]), VM_PROT_READ);
   1156  1.18       chs 	}
   1157  1.12  jdolecek 	pmap_update(pmap_kernel());
   1158   1.2  jdolecek 
   1159   1.5  jdolecek 	wpipe->pipe_state |= PIPE_DIRECTW;
   1160   1.5  jdolecek 	while (!error && (wpipe->pipe_state & PIPE_DIRECTW)) {
   1161   1.5  jdolecek 		if (wpipe->pipe_state & PIPE_EOF) {
   1162   1.5  jdolecek 			error = EPIPE;
   1163   1.5  jdolecek 			break;
   1164   1.2  jdolecek 		}
   1165   1.5  jdolecek 		if (wpipe->pipe_state & PIPE_WANTR) {
   1166   1.5  jdolecek 			wpipe->pipe_state &= ~PIPE_WANTR;
   1167   1.5  jdolecek 			wakeup(wpipe);
   1168   1.2  jdolecek 		}
   1169   1.5  jdolecek 		pipeselwakeup(wpipe, wpipe);
   1170   1.5  jdolecek 		error = tsleep(wpipe, PRIBIO | PCATCH, "pipdwt", 0);
   1171   1.5  jdolecek 	}
   1172   1.5  jdolecek 
   1173   1.5  jdolecek 	if (error)
   1174   1.5  jdolecek 		wpipe->pipe_state &= ~PIPE_DIRECTW;
   1175   1.2  jdolecek 
   1176  1.18       chs cleanup:
   1177   1.5  jdolecek 	pipelock(wpipe, 0);
   1178  1.21       chs 	if (pgs != NULL) {
   1179  1.21       chs 		pmap_kremove(wpipe->pipe_map.kva, blen);
   1180  1.18       chs 		uvm_unloan(pgs, npages, UVM_LOAN_TOPAGE);
   1181  1.21       chs 	}
   1182   1.5  jdolecek 	if (error || amountpipekva > maxpipekva)
   1183   1.5  jdolecek 		pipe_loan_free(wpipe);
   1184   1.5  jdolecek 	pipeunlock(wpipe);
   1185   1.5  jdolecek 
   1186  1.15  jdolecek 	if (error) {
   1187   1.5  jdolecek 		pipeselwakeup(wpipe, wpipe);
   1188   1.2  jdolecek 
   1189   1.5  jdolecek 		/*
   1190  1.15  jdolecek 		 * If nothing was read from what we offered, return error
   1191  1.18       chs 		 * straight on. Otherwise update uio resid first. Caller
   1192  1.15  jdolecek 		 * will deal with the error condition, returning short
   1193  1.15  jdolecek 		 * write, error, or restarting the write(2) as appropriate.
   1194   1.5  jdolecek 		 */
   1195  1.15  jdolecek 		if (wpipe->pipe_map.cnt == bcnt) {
   1196  1.18       chs error:
   1197  1.15  jdolecek 			wakeup(wpipe);
   1198  1.15  jdolecek 			return (error);
   1199   1.2  jdolecek 		}
   1200   1.2  jdolecek 
   1201  1.15  jdolecek 		bcnt -= wpipe->pipe_map.cnt;
   1202   1.5  jdolecek 	}
   1203   1.2  jdolecek 
   1204  1.18       chs 	uio->uio_resid -= bcnt;
   1205   1.8  jdolecek 	/* uio_offset not updated, not set/used for write(2) */
   1206  1.18       chs 	uio->uio_iov->iov_base = (char *)uio->uio_iov->iov_base + bcnt;
   1207  1.14  jdolecek 	uio->uio_iov->iov_len -= bcnt;
   1208  1.14  jdolecek 	if (uio->uio_iov->iov_len == 0) {
   1209  1.14  jdolecek 		uio->uio_iov++;
   1210  1.14  jdolecek 		uio->uio_iovcnt--;
   1211  1.14  jdolecek 	}
   1212   1.2  jdolecek 
   1213  1.15  jdolecek 	return (error);
   1214   1.2  jdolecek }
   1215   1.2  jdolecek #endif /* !PIPE_NODIRECT */
   1216   1.2  jdolecek #endif /* NetBSD */
   1217   1.2  jdolecek 
   1218   1.2  jdolecek #ifdef __FreeBSD__
   1219   1.1  jdolecek static int
   1220  1.24  jdolecek pipe_write(fp, uio, cred, flags, td)
   1221   1.1  jdolecek 	struct file *fp;
   1222   1.2  jdolecek 	off_t *offset;
   1223   1.1  jdolecek 	struct uio *uio;
   1224   1.1  jdolecek 	struct ucred *cred;
   1225   1.2  jdolecek 	int flags;
   1226  1.24  jdolecek 	struct thread *td;
   1227   1.2  jdolecek #elif defined(__NetBSD__)
   1228   1.2  jdolecek static int
   1229   1.2  jdolecek pipe_write(fp, offset, uio, cred, flags)
   1230   1.2  jdolecek 	struct file *fp;
   1231   1.2  jdolecek 	off_t *offset;
   1232   1.2  jdolecek 	struct uio *uio;
   1233   1.2  jdolecek 	struct ucred *cred;
   1234   1.1  jdolecek 	int flags;
   1235   1.2  jdolecek #endif
   1236   1.1  jdolecek {
   1237   1.1  jdolecek 	int error = 0;
   1238   1.1  jdolecek 	struct pipe *wpipe, *rpipe;
   1239   1.1  jdolecek 
   1240   1.1  jdolecek 	rpipe = (struct pipe *) fp->f_data;
   1241   1.1  jdolecek 	wpipe = rpipe->pipe_peer;
   1242   1.1  jdolecek 
   1243  1.24  jdolecek 	PIPE_LOCK(rpipe);
   1244   1.1  jdolecek 	/*
   1245   1.1  jdolecek 	 * detect loss of pipe read side, issue SIGPIPE if lost.
   1246   1.1  jdolecek 	 */
   1247  1.24  jdolecek 	if ((wpipe == NULL) || (wpipe->pipe_state & PIPE_EOF)) {
   1248  1.24  jdolecek 		PIPE_UNLOCK(rpipe);
   1249   1.1  jdolecek 		return (EPIPE);
   1250  1.24  jdolecek 	}
   1251   1.2  jdolecek 
   1252   1.1  jdolecek 	++wpipe->pipe_busy;
   1253   1.1  jdolecek 
   1254   1.1  jdolecek 	/*
   1255   1.1  jdolecek 	 * If it is advantageous to resize the pipe buffer, do
   1256   1.1  jdolecek 	 * so.
   1257   1.1  jdolecek 	 */
   1258   1.1  jdolecek 	if ((uio->uio_resid > PIPE_SIZE) &&
   1259   1.2  jdolecek 		(nbigpipe < maxbigpipes) &&
   1260   1.2  jdolecek #ifndef PIPE_NODIRECT
   1261   1.1  jdolecek 		(wpipe->pipe_state & PIPE_DIRECTW) == 0 &&
   1262   1.2  jdolecek #endif
   1263   1.1  jdolecek 		(wpipe->pipe_buffer.size <= PIPE_SIZE) &&
   1264   1.1  jdolecek 		(wpipe->pipe_buffer.cnt == 0)) {
   1265   1.1  jdolecek 
   1266   1.1  jdolecek 		if ((error = pipelock(wpipe,1)) == 0) {
   1267  1.24  jdolecek 			PIPE_GET_GIANT(rpipe);
   1268   1.1  jdolecek 			if (pipespace(wpipe, BIG_PIPE_SIZE) == 0)
   1269   1.1  jdolecek 				nbigpipe++;
   1270  1.24  jdolecek 			PIPE_DROP_GIANT(rpipe);
   1271   1.1  jdolecek 			pipeunlock(wpipe);
   1272   1.2  jdolecek 		} else {
   1273   1.2  jdolecek 			/*
   1274   1.8  jdolecek 			 * If an error occurred, unbusy and return, waking up
   1275   1.8  jdolecek 			 * any waiting readers.
   1276   1.2  jdolecek 			 */
   1277   1.2  jdolecek 			--wpipe->pipe_busy;
   1278   1.2  jdolecek 			if (wpipe->pipe_busy == 0
   1279   1.2  jdolecek 			    && (wpipe->pipe_state & PIPE_WANTCLOSE)) {
   1280   1.2  jdolecek 				wpipe->pipe_state &=
   1281   1.2  jdolecek 				    ~(PIPE_WANTCLOSE | PIPE_WANTR);
   1282   1.3  jdolecek 				wakeup(wpipe);
   1283   1.2  jdolecek 			}
   1284   1.1  jdolecek 
   1285   1.2  jdolecek 			return (error);
   1286   1.1  jdolecek 		}
   1287   1.1  jdolecek 	}
   1288  1.18       chs 
   1289   1.2  jdolecek #ifdef __FreeBSD__
   1290  1.24  jdolecek 	/*
   1291  1.24  jdolecek 	 * If an early error occured unbusy and return, waking up any pending
   1292  1.24  jdolecek 	 * readers.
   1293  1.24  jdolecek 	 */
   1294  1.24  jdolecek 	if (error) {
   1295  1.24  jdolecek 		--wpipe->pipe_busy;
   1296  1.24  jdolecek 		if ((wpipe->pipe_busy == 0) &&
   1297  1.24  jdolecek 		    (wpipe->pipe_state & PIPE_WANT)) {
   1298  1.24  jdolecek 			wpipe->pipe_state &= ~(PIPE_WANT | PIPE_WANTR);
   1299  1.24  jdolecek 			wakeup(wpipe);
   1300  1.24  jdolecek 		}
   1301  1.24  jdolecek 		PIPE_UNLOCK(rpipe);
   1302  1.24  jdolecek 		return(error);
   1303  1.24  jdolecek 	}
   1304  1.24  jdolecek 
   1305   1.1  jdolecek 	KASSERT(wpipe->pipe_buffer.buffer != NULL, ("pipe buffer gone"));
   1306   1.2  jdolecek #endif
   1307   1.1  jdolecek 
   1308   1.1  jdolecek 	while (uio->uio_resid) {
   1309  1.26   thorpej 		size_t space;
   1310   1.1  jdolecek 
   1311   1.1  jdolecek #ifndef PIPE_NODIRECT
   1312   1.1  jdolecek 		/*
   1313   1.1  jdolecek 		 * If the transfer is large, we can gain performance if
   1314   1.1  jdolecek 		 * we do process-to-process copies directly.
   1315   1.1  jdolecek 		 * If the write is non-blocking, we don't use the
   1316   1.1  jdolecek 		 * direct write mechanism.
   1317   1.1  jdolecek 		 *
   1318   1.1  jdolecek 		 * The direct write mechanism will detect the reader going
   1319   1.1  jdolecek 		 * away on us.
   1320   1.1  jdolecek 		 */
   1321  1.14  jdolecek 		if ((uio->uio_iov->iov_len >= PIPE_MINDIRECT) &&
   1322   1.1  jdolecek 		    (fp->f_flag & FNONBLOCK) == 0 &&
   1323   1.2  jdolecek 		    (wpipe->pipe_map.kva || (amountpipekva < limitpipekva))) {
   1324   1.2  jdolecek 			error = pipe_direct_write(wpipe, uio);
   1325   1.5  jdolecek 
   1326   1.5  jdolecek 			/*
   1327  1.14  jdolecek 			 * Break out if error occured, unless it's ENOMEM.
   1328  1.14  jdolecek 			 * ENOMEM means we failed to allocate some resources
   1329  1.14  jdolecek 			 * for direct write, so we just fallback to ordinary
   1330  1.14  jdolecek 			 * write. If the direct write was successful,
   1331  1.14  jdolecek 			 * process rest of data via ordinary write.
   1332   1.5  jdolecek 			 */
   1333  1.14  jdolecek 			if (!error)
   1334  1.14  jdolecek 				continue;
   1335  1.14  jdolecek 
   1336   1.5  jdolecek 			if (error != ENOMEM)
   1337   1.1  jdolecek 				break;
   1338   1.1  jdolecek 		}
   1339   1.2  jdolecek #endif /* PIPE_NODIRECT */
   1340   1.1  jdolecek 
   1341   1.1  jdolecek 		/*
   1342   1.1  jdolecek 		 * Pipe buffered writes cannot be coincidental with
   1343   1.1  jdolecek 		 * direct writes.  We wait until the currently executing
   1344   1.1  jdolecek 		 * direct write is completed before we start filling the
   1345   1.1  jdolecek 		 * pipe buffer.  We break out if a signal occurs or the
   1346   1.1  jdolecek 		 * reader goes away.
   1347   1.1  jdolecek 		 */
   1348   1.1  jdolecek 	retrywrite:
   1349   1.1  jdolecek 		while (wpipe->pipe_state & PIPE_DIRECTW) {
   1350   1.1  jdolecek 			if (wpipe->pipe_state & PIPE_WANTR) {
   1351   1.1  jdolecek 				wpipe->pipe_state &= ~PIPE_WANTR;
   1352   1.1  jdolecek 				wakeup(wpipe);
   1353   1.1  jdolecek 			}
   1354  1.24  jdolecek #ifdef __FreeBSD__
   1355  1.24  jdolecek 			error = msleep(wpipe, PIPE_MTX(rpipe), PRIBIO | PCATCH,
   1356  1.24  jdolecek 			    "pipbww", 0);
   1357  1.24  jdolecek #else
   1358   1.1  jdolecek 			error = tsleep(wpipe, PRIBIO | PCATCH, "pipbww", 0);
   1359  1.24  jdolecek #endif
   1360   1.1  jdolecek 			if (wpipe->pipe_state & PIPE_EOF)
   1361   1.1  jdolecek 				break;
   1362   1.1  jdolecek 			if (error)
   1363   1.1  jdolecek 				break;
   1364   1.1  jdolecek 		}
   1365   1.1  jdolecek 		if (wpipe->pipe_state & PIPE_EOF) {
   1366   1.1  jdolecek 			error = EPIPE;
   1367   1.1  jdolecek 			break;
   1368   1.1  jdolecek 		}
   1369   1.1  jdolecek 
   1370   1.1  jdolecek 		space = wpipe->pipe_buffer.size - wpipe->pipe_buffer.cnt;
   1371   1.1  jdolecek 
   1372   1.1  jdolecek 		/* Writes of size <= PIPE_BUF must be atomic. */
   1373  1.14  jdolecek 		if ((space < uio->uio_resid) && (uio->uio_resid <= PIPE_BUF))
   1374   1.1  jdolecek 			space = 0;
   1375   1.1  jdolecek 
   1376  1.16   mycroft 		if (space > 0) {
   1377   1.2  jdolecek 			int size;	/* Transfer size */
   1378   1.2  jdolecek 			int segsize;	/* first segment to transfer */
   1379   1.2  jdolecek 
   1380   1.2  jdolecek 			if ((error = pipelock(wpipe,1)) != 0)
   1381   1.2  jdolecek 				break;
   1382   1.2  jdolecek 
   1383   1.2  jdolecek 			/*
   1384   1.2  jdolecek 			 * It is possible for a direct write to
   1385   1.2  jdolecek 			 * slip in on us... handle it here...
   1386   1.2  jdolecek 			 */
   1387   1.2  jdolecek 			if (wpipe->pipe_state & PIPE_DIRECTW) {
   1388   1.2  jdolecek 				pipeunlock(wpipe);
   1389   1.2  jdolecek 				goto retrywrite;
   1390   1.2  jdolecek 			}
   1391   1.2  jdolecek 			/*
   1392   1.2  jdolecek 			 * If a process blocked in uiomove, our
   1393   1.2  jdolecek 			 * value for space might be bad.
   1394   1.2  jdolecek 			 *
   1395   1.2  jdolecek 			 * XXX will we be ok if the reader has gone
   1396   1.2  jdolecek 			 * away here?
   1397   1.2  jdolecek 			 */
   1398   1.2  jdolecek 			if (space > wpipe->pipe_buffer.size -
   1399   1.1  jdolecek 				    wpipe->pipe_buffer.cnt) {
   1400   1.2  jdolecek 				pipeunlock(wpipe);
   1401   1.2  jdolecek 				goto retrywrite;
   1402   1.2  jdolecek 			}
   1403   1.1  jdolecek 
   1404   1.2  jdolecek 			/*
   1405   1.2  jdolecek 			 * Transfer size is minimum of uio transfer
   1406   1.2  jdolecek 			 * and free space in pipe buffer.
   1407   1.2  jdolecek 			 */
   1408   1.2  jdolecek 			if (space > uio->uio_resid)
   1409   1.2  jdolecek 				size = uio->uio_resid;
   1410   1.2  jdolecek 			else
   1411   1.2  jdolecek 				size = space;
   1412   1.2  jdolecek 			/*
   1413   1.2  jdolecek 			 * First segment to transfer is minimum of
   1414   1.2  jdolecek 			 * transfer size and contiguous space in
   1415   1.2  jdolecek 			 * pipe buffer.  If first segment to transfer
   1416   1.2  jdolecek 			 * is less than the transfer size, we've got
   1417   1.2  jdolecek 			 * a wraparound in the buffer.
   1418   1.2  jdolecek 			 */
   1419   1.2  jdolecek 			segsize = wpipe->pipe_buffer.size -
   1420   1.2  jdolecek 				wpipe->pipe_buffer.in;
   1421   1.2  jdolecek 			if (segsize > size)
   1422   1.2  jdolecek 				segsize = size;
   1423  1.18       chs 
   1424   1.2  jdolecek 			/* Transfer first segment */
   1425   1.1  jdolecek 
   1426  1.24  jdolecek 			PIPE_UNLOCK(rpipe);
   1427   1.2  jdolecek 			error = uiomove(&wpipe->pipe_buffer.buffer[wpipe->pipe_buffer.in],
   1428   1.1  jdolecek 						segsize, uio);
   1429  1.24  jdolecek 			PIPE_LOCK(rpipe);
   1430  1.18       chs 
   1431   1.2  jdolecek 			if (error == 0 && segsize < size) {
   1432   1.2  jdolecek 				/*
   1433   1.2  jdolecek 				 * Transfer remaining part now, to
   1434   1.2  jdolecek 				 * support atomic writes.  Wraparound
   1435   1.2  jdolecek 				 * happened.
   1436   1.2  jdolecek 				 */
   1437   1.2  jdolecek #ifdef DEBUG
   1438   1.2  jdolecek 				if (wpipe->pipe_buffer.in + segsize !=
   1439   1.2  jdolecek 				    wpipe->pipe_buffer.size)
   1440   1.2  jdolecek 					panic("Expected pipe buffer wraparound disappeared");
   1441   1.2  jdolecek #endif
   1442  1.18       chs 
   1443  1.24  jdolecek 				PIPE_UNLOCK(rpipe);
   1444   1.2  jdolecek 				error = uiomove(&wpipe->pipe_buffer.buffer[0],
   1445   1.2  jdolecek 						size - segsize, uio);
   1446  1.24  jdolecek 				PIPE_LOCK(rpipe);
   1447   1.2  jdolecek 			}
   1448   1.2  jdolecek 			if (error == 0) {
   1449   1.2  jdolecek 				wpipe->pipe_buffer.in += size;
   1450   1.2  jdolecek 				if (wpipe->pipe_buffer.in >=
   1451   1.2  jdolecek 				    wpipe->pipe_buffer.size) {
   1452   1.2  jdolecek #ifdef DEBUG
   1453   1.2  jdolecek 					if (wpipe->pipe_buffer.in != size - segsize + wpipe->pipe_buffer.size)
   1454   1.2  jdolecek 						panic("Expected wraparound bad");
   1455   1.2  jdolecek #endif
   1456   1.2  jdolecek 					wpipe->pipe_buffer.in = size - segsize;
   1457   1.1  jdolecek 				}
   1458  1.18       chs 
   1459   1.2  jdolecek 				wpipe->pipe_buffer.cnt += size;
   1460   1.2  jdolecek #ifdef DEBUG
   1461   1.2  jdolecek 				if (wpipe->pipe_buffer.cnt > wpipe->pipe_buffer.size)
   1462   1.2  jdolecek 					panic("Pipe buffer overflow");
   1463   1.2  jdolecek #endif
   1464   1.1  jdolecek 			}
   1465   1.2  jdolecek 			pipeunlock(wpipe);
   1466   1.1  jdolecek 			if (error)
   1467   1.1  jdolecek 				break;
   1468   1.1  jdolecek 		} else {
   1469   1.1  jdolecek 			/*
   1470   1.1  jdolecek 			 * If the "read-side" has been blocked, wake it up now.
   1471   1.1  jdolecek 			 */
   1472   1.1  jdolecek 			if (wpipe->pipe_state & PIPE_WANTR) {
   1473   1.1  jdolecek 				wpipe->pipe_state &= ~PIPE_WANTR;
   1474   1.1  jdolecek 				wakeup(wpipe);
   1475   1.1  jdolecek 			}
   1476   1.1  jdolecek 
   1477   1.1  jdolecek 			/*
   1478   1.1  jdolecek 			 * don't block on non-blocking I/O
   1479   1.1  jdolecek 			 */
   1480   1.1  jdolecek 			if (fp->f_flag & FNONBLOCK) {
   1481   1.1  jdolecek 				error = EAGAIN;
   1482   1.1  jdolecek 				break;
   1483   1.1  jdolecek 			}
   1484   1.1  jdolecek 
   1485   1.1  jdolecek 			/*
   1486   1.1  jdolecek 			 * We have no more space and have something to offer,
   1487   1.1  jdolecek 			 * wake up select/poll.
   1488   1.1  jdolecek 			 */
   1489   1.3  jdolecek 			pipeselwakeup(wpipe, wpipe);
   1490   1.1  jdolecek 
   1491   1.1  jdolecek 			wpipe->pipe_state |= PIPE_WANTW;
   1492  1.24  jdolecek #ifdef __FreeBSD__
   1493  1.24  jdolecek 			error = msleep(wpipe, PIPE_MTX(rpipe),
   1494  1.24  jdolecek 			    PRIBIO | PCATCH, "pipewr", 0);
   1495  1.24  jdolecek #else
   1496   1.1  jdolecek 			error = tsleep(wpipe, PRIBIO | PCATCH, "pipewr", 0);
   1497  1.24  jdolecek #endif
   1498   1.1  jdolecek 			if (error != 0)
   1499   1.1  jdolecek 				break;
   1500   1.1  jdolecek 			/*
   1501   1.1  jdolecek 			 * If read side wants to go away, we just issue a signal
   1502   1.1  jdolecek 			 * to ourselves.
   1503   1.1  jdolecek 			 */
   1504   1.1  jdolecek 			if (wpipe->pipe_state & PIPE_EOF) {
   1505   1.1  jdolecek 				error = EPIPE;
   1506   1.1  jdolecek 				break;
   1507  1.18       chs 			}
   1508   1.1  jdolecek 		}
   1509   1.1  jdolecek 	}
   1510   1.1  jdolecek 
   1511   1.1  jdolecek 	--wpipe->pipe_busy;
   1512   1.2  jdolecek 	if ((wpipe->pipe_busy == 0) && (wpipe->pipe_state & PIPE_WANTCLOSE)) {
   1513   1.2  jdolecek 		wpipe->pipe_state &= ~(PIPE_WANTCLOSE | PIPE_WANTR);
   1514   1.1  jdolecek 		wakeup(wpipe);
   1515   1.1  jdolecek 	} else if (wpipe->pipe_buffer.cnt > 0) {
   1516   1.1  jdolecek 		/*
   1517   1.1  jdolecek 		 * If we have put any characters in the buffer, we wake up
   1518   1.1  jdolecek 		 * the reader.
   1519   1.1  jdolecek 		 */
   1520   1.1  jdolecek 		if (wpipe->pipe_state & PIPE_WANTR) {
   1521   1.1  jdolecek 			wpipe->pipe_state &= ~PIPE_WANTR;
   1522   1.1  jdolecek 			wakeup(wpipe);
   1523   1.1  jdolecek 		}
   1524   1.1  jdolecek 	}
   1525   1.1  jdolecek 
   1526   1.1  jdolecek 	/*
   1527   1.1  jdolecek 	 * Don't return EPIPE if I/O was successful
   1528   1.1  jdolecek 	 */
   1529   1.2  jdolecek 	if ((error == EPIPE) && (wpipe->pipe_buffer.cnt == 0)
   1530   1.2  jdolecek 	    && (uio->uio_resid == 0))
   1531   1.1  jdolecek 		error = 0;
   1532   1.1  jdolecek 
   1533   1.1  jdolecek 	if (error == 0)
   1534   1.1  jdolecek 		vfs_timestamp(&wpipe->pipe_mtime);
   1535   1.1  jdolecek 
   1536   1.1  jdolecek 	/*
   1537   1.2  jdolecek 	 * We have something to offer, wake up select/poll.
   1538   1.2  jdolecek 	 * wpipe->pipe_map.cnt is always 0 in this point (direct write
   1539  1.14  jdolecek 	 * is only done synchronously), so check only wpipe->pipe_buffer.cnt
   1540   1.1  jdolecek 	 */
   1541   1.1  jdolecek 	if (wpipe->pipe_buffer.cnt)
   1542   1.3  jdolecek 		pipeselwakeup(wpipe, wpipe);
   1543   1.1  jdolecek 
   1544   1.2  jdolecek 	/*
   1545   1.2  jdolecek 	 * Arrange for next read(2) to do a signal.
   1546   1.2  jdolecek 	 */
   1547   1.2  jdolecek 	wpipe->pipe_state |= PIPE_SIGNALR;
   1548   1.2  jdolecek 
   1549  1.24  jdolecek 	PIPE_UNLOCK(rpipe);
   1550   1.1  jdolecek 	return (error);
   1551   1.1  jdolecek }
   1552   1.1  jdolecek 
   1553   1.1  jdolecek /*
   1554   1.1  jdolecek  * we implement a very minimal set of ioctls for compatibility with sockets.
   1555   1.1  jdolecek  */
   1556   1.1  jdolecek int
   1557  1.24  jdolecek #ifdef __FreeBSD__
   1558  1.24  jdolecek pipe_ioctl(fp, cmd, data, td)
   1559  1.24  jdolecek 	struct file *fp;
   1560  1.24  jdolecek 	u_long cmd;
   1561  1.24  jdolecek 	caddr_t data;
   1562  1.24  jdolecek 	struct thread *td;
   1563  1.24  jdolecek #else
   1564   1.1  jdolecek pipe_ioctl(fp, cmd, data, p)
   1565   1.1  jdolecek 	struct file *fp;
   1566   1.1  jdolecek 	u_long cmd;
   1567   1.1  jdolecek 	caddr_t data;
   1568   1.1  jdolecek 	struct proc *p;
   1569  1.24  jdolecek #endif
   1570   1.1  jdolecek {
   1571   1.1  jdolecek 	struct pipe *mpipe = (struct pipe *)fp->f_data;
   1572   1.1  jdolecek 
   1573   1.1  jdolecek 	switch (cmd) {
   1574   1.1  jdolecek 
   1575   1.1  jdolecek 	case FIONBIO:
   1576   1.1  jdolecek 		return (0);
   1577   1.1  jdolecek 
   1578   1.1  jdolecek 	case FIOASYNC:
   1579  1.24  jdolecek 		PIPE_LOCK(mpipe);
   1580   1.1  jdolecek 		if (*(int *)data) {
   1581   1.1  jdolecek 			mpipe->pipe_state |= PIPE_ASYNC;
   1582   1.1  jdolecek 		} else {
   1583   1.1  jdolecek 			mpipe->pipe_state &= ~PIPE_ASYNC;
   1584   1.1  jdolecek 		}
   1585  1.24  jdolecek 		PIPE_UNLOCK(mpipe);
   1586   1.1  jdolecek 		return (0);
   1587   1.1  jdolecek 
   1588   1.1  jdolecek 	case FIONREAD:
   1589  1.24  jdolecek 		PIPE_LOCK(mpipe);
   1590   1.2  jdolecek #ifndef PIPE_NODIRECT
   1591   1.1  jdolecek 		if (mpipe->pipe_state & PIPE_DIRECTW)
   1592   1.1  jdolecek 			*(int *)data = mpipe->pipe_map.cnt;
   1593   1.1  jdolecek 		else
   1594   1.2  jdolecek #endif
   1595   1.1  jdolecek 			*(int *)data = mpipe->pipe_buffer.cnt;
   1596  1.24  jdolecek 		PIPE_UNLOCK(mpipe);
   1597   1.1  jdolecek 		return (0);
   1598   1.1  jdolecek 
   1599   1.2  jdolecek #ifdef __FreeBSD__
   1600   1.1  jdolecek 	case FIOSETOWN:
   1601   1.1  jdolecek 		return (fsetown(*(int *)data, &mpipe->pipe_sigio));
   1602   1.1  jdolecek 
   1603   1.1  jdolecek 	case FIOGETOWN:
   1604   1.1  jdolecek 		*(int *)data = fgetown(mpipe->pipe_sigio);
   1605   1.1  jdolecek 		return (0);
   1606   1.1  jdolecek 
   1607   1.1  jdolecek 	/* This is deprecated, FIOSETOWN should be used instead. */
   1608   1.1  jdolecek 	case TIOCSPGRP:
   1609   1.1  jdolecek 		return (fsetown(-(*(int *)data), &mpipe->pipe_sigio));
   1610   1.1  jdolecek 
   1611   1.1  jdolecek 	/* This is deprecated, FIOGETOWN should be used instead. */
   1612   1.1  jdolecek 	case TIOCGPGRP:
   1613   1.1  jdolecek 		*(int *)data = -fgetown(mpipe->pipe_sigio);
   1614   1.1  jdolecek 		return (0);
   1615   1.2  jdolecek #endif /* FreeBSD */
   1616   1.2  jdolecek #ifdef __NetBSD__
   1617   1.2  jdolecek 	case TIOCSPGRP:
   1618   1.2  jdolecek 		mpipe->pipe_pgid = *(int *)data;
   1619   1.2  jdolecek 		return (0);
   1620   1.2  jdolecek 
   1621   1.2  jdolecek 	case TIOCGPGRP:
   1622   1.2  jdolecek 		*(int *)data = mpipe->pipe_pgid;
   1623   1.2  jdolecek 		return (0);
   1624   1.2  jdolecek #endif /* NetBSD */
   1625   1.1  jdolecek 
   1626   1.1  jdolecek 	}
   1627  1.25    atatat 	return (EPASSTHROUGH);
   1628   1.1  jdolecek }
   1629   1.1  jdolecek 
   1630   1.1  jdolecek int
   1631  1.24  jdolecek #ifdef __FreeBSD__
   1632  1.24  jdolecek pipe_poll(fp, events, cred, td)
   1633  1.24  jdolecek 	struct file *fp;
   1634  1.24  jdolecek 	int events;
   1635  1.24  jdolecek 	struct ucred *cred;
   1636  1.24  jdolecek 	struct thread *td;
   1637  1.24  jdolecek #elif defined(__NetBSD__)
   1638  1.24  jdolecek pipe_poll(fp, events, td)
   1639   1.1  jdolecek 	struct file *fp;
   1640   1.1  jdolecek 	int events;
   1641  1.24  jdolecek 	struct proc *td;
   1642  1.24  jdolecek #endif
   1643   1.1  jdolecek {
   1644   1.1  jdolecek 	struct pipe *rpipe = (struct pipe *)fp->f_data;
   1645   1.1  jdolecek 	struct pipe *wpipe;
   1646   1.1  jdolecek 	int revents = 0;
   1647   1.1  jdolecek 
   1648   1.1  jdolecek 	wpipe = rpipe->pipe_peer;
   1649  1.24  jdolecek 	PIPE_LOCK(rpipe);
   1650   1.1  jdolecek 	if (events & (POLLIN | POLLRDNORM))
   1651   1.2  jdolecek 		if ((rpipe->pipe_buffer.cnt > 0) ||
   1652   1.2  jdolecek #ifndef PIPE_NODIRECT
   1653   1.2  jdolecek 		    (rpipe->pipe_state & PIPE_DIRECTW) ||
   1654   1.2  jdolecek #endif
   1655   1.1  jdolecek 		    (rpipe->pipe_state & PIPE_EOF))
   1656   1.1  jdolecek 			revents |= events & (POLLIN | POLLRDNORM);
   1657   1.1  jdolecek 
   1658   1.1  jdolecek 	if (events & (POLLOUT | POLLWRNORM))
   1659   1.2  jdolecek 		if (wpipe == NULL || (wpipe->pipe_state & PIPE_EOF)
   1660   1.2  jdolecek 		    || (
   1661   1.2  jdolecek #ifndef PIPE_NODIRECT
   1662   1.2  jdolecek 		     ((wpipe->pipe_state & PIPE_DIRECTW) == 0) &&
   1663   1.2  jdolecek #endif
   1664   1.1  jdolecek 		     (wpipe->pipe_buffer.size - wpipe->pipe_buffer.cnt) >= PIPE_BUF))
   1665   1.1  jdolecek 			revents |= events & (POLLOUT | POLLWRNORM);
   1666   1.1  jdolecek 
   1667   1.1  jdolecek 	if ((rpipe->pipe_state & PIPE_EOF) ||
   1668   1.1  jdolecek 	    (wpipe == NULL) ||
   1669   1.1  jdolecek 	    (wpipe->pipe_state & PIPE_EOF))
   1670   1.1  jdolecek 		revents |= POLLHUP;
   1671   1.1  jdolecek 
   1672   1.1  jdolecek 	if (revents == 0) {
   1673   1.1  jdolecek 		if (events & (POLLIN | POLLRDNORM)) {
   1674  1.24  jdolecek 			selrecord(td, &rpipe->pipe_sel);
   1675   1.1  jdolecek 			rpipe->pipe_state |= PIPE_SEL;
   1676   1.1  jdolecek 		}
   1677   1.1  jdolecek 
   1678   1.1  jdolecek 		if (events & (POLLOUT | POLLWRNORM)) {
   1679  1.24  jdolecek 			selrecord(td, &wpipe->pipe_sel);
   1680   1.1  jdolecek 			wpipe->pipe_state |= PIPE_SEL;
   1681   1.1  jdolecek 		}
   1682   1.1  jdolecek 	}
   1683  1.24  jdolecek 	PIPE_UNLOCK(rpipe);
   1684   1.1  jdolecek 
   1685   1.1  jdolecek 	return (revents);
   1686   1.1  jdolecek }
   1687   1.1  jdolecek 
   1688   1.1  jdolecek static int
   1689  1.24  jdolecek #ifdef __FreeBSD__
   1690  1.24  jdolecek pipe_stat(fp, ub, td)
   1691   1.1  jdolecek 	struct file *fp;
   1692   1.1  jdolecek 	struct stat *ub;
   1693  1.24  jdolecek 	struct thread *td;
   1694  1.24  jdolecek #else
   1695  1.24  jdolecek pipe_stat(fp, ub, td)
   1696  1.24  jdolecek 	struct file *fp;
   1697  1.24  jdolecek 	struct stat *ub;
   1698  1.24  jdolecek 	struct proc *td;
   1699  1.24  jdolecek #endif
   1700   1.1  jdolecek {
   1701   1.1  jdolecek 	struct pipe *pipe = (struct pipe *)fp->f_data;
   1702   1.1  jdolecek 
   1703   1.9   thorpej 	memset((caddr_t)ub, 0, sizeof(*ub));
   1704  1.32  jdolecek 	ub->st_mode = S_IFIFO | S_IRUSR | S_IWUSR;
   1705   1.1  jdolecek 	ub->st_blksize = pipe->pipe_buffer.size;
   1706   1.1  jdolecek 	ub->st_size = pipe->pipe_buffer.cnt;
   1707   1.2  jdolecek 	ub->st_blocks = (ub->st_size) ? 1 : 0;
   1708   1.2  jdolecek #ifdef __FreeBSD__
   1709   1.1  jdolecek 	ub->st_atimespec = pipe->pipe_atime;
   1710   1.1  jdolecek 	ub->st_mtimespec = pipe->pipe_mtime;
   1711   1.1  jdolecek 	ub->st_ctimespec = pipe->pipe_ctime;
   1712   1.2  jdolecek #endif /* FreeBSD */
   1713   1.2  jdolecek #ifdef __NetBSD__
   1714   1.2  jdolecek 	TIMEVAL_TO_TIMESPEC(&pipe->pipe_atime, &ub->st_atimespec)
   1715   1.2  jdolecek 	TIMEVAL_TO_TIMESPEC(&pipe->pipe_mtime, &ub->st_mtimespec);
   1716   1.2  jdolecek 	TIMEVAL_TO_TIMESPEC(&pipe->pipe_ctime, &ub->st_ctimespec);
   1717   1.2  jdolecek #endif /* NetBSD */
   1718   1.1  jdolecek 	ub->st_uid = fp->f_cred->cr_uid;
   1719   1.1  jdolecek 	ub->st_gid = fp->f_cred->cr_gid;
   1720   1.1  jdolecek 	/*
   1721   1.1  jdolecek 	 * Left as 0: st_dev, st_ino, st_nlink, st_rdev, st_flags, st_gen.
   1722   1.1  jdolecek 	 * XXX (st_dev, st_ino) should be unique.
   1723   1.1  jdolecek 	 */
   1724   1.1  jdolecek 	return (0);
   1725   1.1  jdolecek }
   1726   1.1  jdolecek 
   1727   1.1  jdolecek /* ARGSUSED */
   1728   1.1  jdolecek static int
   1729  1.24  jdolecek #ifdef __FreeBSD__
   1730  1.24  jdolecek pipe_close(fp, td)
   1731   1.1  jdolecek 	struct file *fp;
   1732  1.24  jdolecek 	struct thread *td;
   1733  1.24  jdolecek #else
   1734  1.24  jdolecek pipe_close(fp, td)
   1735  1.24  jdolecek 	struct file *fp;
   1736  1.24  jdolecek 	struct proc *td;
   1737  1.24  jdolecek #endif
   1738   1.1  jdolecek {
   1739   1.1  jdolecek 	struct pipe *cpipe = (struct pipe *)fp->f_data;
   1740   1.1  jdolecek 
   1741   1.2  jdolecek #ifdef __FreeBSD__
   1742   1.1  jdolecek 	fp->f_ops = &badfileops;
   1743   1.2  jdolecek 	funsetown(cpipe->pipe_sigio);
   1744   1.2  jdolecek #endif
   1745   1.1  jdolecek 	fp->f_data = NULL;
   1746   1.1  jdolecek 	pipeclose(cpipe);
   1747   1.1  jdolecek 	return (0);
   1748   1.1  jdolecek }
   1749   1.1  jdolecek 
   1750   1.1  jdolecek static void
   1751   1.1  jdolecek pipe_free_kmem(cpipe)
   1752   1.1  jdolecek 	struct pipe *cpipe;
   1753   1.1  jdolecek {
   1754   1.1  jdolecek 
   1755   1.2  jdolecek #ifdef __FreeBSD__
   1756  1.24  jdolecek 
   1757  1.24  jdolecek 	GIANT_REQUIRED;
   1758  1.24  jdolecek 	KASSERT(cpipe->pipe_mtxp == NULL || !mtx_owned(PIPE_MTX(cpipe)),
   1759  1.24  jdolecek 	       ("pipespace: pipe mutex locked"));
   1760   1.2  jdolecek #endif
   1761  1.24  jdolecek 
   1762   1.1  jdolecek 	if (cpipe->pipe_buffer.buffer != NULL) {
   1763   1.1  jdolecek 		if (cpipe->pipe_buffer.size > PIPE_SIZE)
   1764   1.1  jdolecek 			--nbigpipe;
   1765   1.1  jdolecek 		amountpipekva -= cpipe->pipe_buffer.size;
   1766   1.2  jdolecek #ifdef __FreeBSD__
   1767   1.1  jdolecek 		kmem_free(kernel_map,
   1768   1.1  jdolecek 			(vm_offset_t)cpipe->pipe_buffer.buffer,
   1769   1.1  jdolecek 			cpipe->pipe_buffer.size);
   1770   1.2  jdolecek #elif defined(__NetBSD__)
   1771   1.2  jdolecek 		uvm_km_free(kernel_map,
   1772   1.2  jdolecek 			(vaddr_t)cpipe->pipe_buffer.buffer,
   1773   1.2  jdolecek 			cpipe->pipe_buffer.size);
   1774   1.2  jdolecek #endif /* NetBSD */
   1775   1.1  jdolecek 		cpipe->pipe_buffer.buffer = NULL;
   1776   1.1  jdolecek 	}
   1777   1.1  jdolecek #ifndef PIPE_NODIRECT
   1778  1.22   thorpej 	if (cpipe->pipe_map.kva != 0) {
   1779   1.2  jdolecek #ifdef __FreeBSD__
   1780   1.1  jdolecek 		amountpipekva -= cpipe->pipe_buffer.size + PAGE_SIZE;
   1781   1.1  jdolecek 		kmem_free(kernel_map,
   1782   1.1  jdolecek 			cpipe->pipe_map.kva,
   1783   1.1  jdolecek 			cpipe->pipe_buffer.size + PAGE_SIZE);
   1784   1.2  jdolecek #elif defined(__NetBSD__)
   1785   1.2  jdolecek 		pipe_loan_free(cpipe);
   1786   1.2  jdolecek #endif /* NetBSD */
   1787   1.1  jdolecek 		cpipe->pipe_map.cnt = 0;
   1788  1.22   thorpej 		cpipe->pipe_map.kva = 0;
   1789   1.1  jdolecek 		cpipe->pipe_map.pos = 0;
   1790   1.1  jdolecek 		cpipe->pipe_map.npages = 0;
   1791   1.1  jdolecek 	}
   1792   1.2  jdolecek #endif /* !PIPE_NODIRECT */
   1793   1.1  jdolecek }
   1794   1.1  jdolecek 
   1795   1.1  jdolecek /*
   1796   1.1  jdolecek  * shutdown the pipe
   1797   1.1  jdolecek  */
   1798   1.1  jdolecek static void
   1799   1.1  jdolecek pipeclose(cpipe)
   1800   1.1  jdolecek 	struct pipe *cpipe;
   1801   1.1  jdolecek {
   1802   1.1  jdolecek 	struct pipe *ppipe;
   1803  1.24  jdolecek #ifdef __FreeBSD__
   1804  1.24  jdolecek 	int hadpeer = 0;
   1805  1.24  jdolecek #endif
   1806   1.1  jdolecek 
   1807  1.24  jdolecek 	if (cpipe == NULL)
   1808   1.2  jdolecek 		return;
   1809   1.2  jdolecek 
   1810  1.24  jdolecek 	/* partially created pipes won't have a valid mutex. */
   1811  1.24  jdolecek 	if (PIPE_MTX(cpipe) != NULL)
   1812  1.24  jdolecek 		PIPE_LOCK(cpipe);
   1813  1.24  jdolecek 
   1814   1.3  jdolecek 	pipeselwakeup(cpipe, cpipe);
   1815   1.1  jdolecek 
   1816   1.2  jdolecek 	/*
   1817   1.2  jdolecek 	 * If the other side is blocked, wake it up saying that
   1818   1.2  jdolecek 	 * we want to close it down.
   1819   1.2  jdolecek 	 */
   1820   1.2  jdolecek 	while (cpipe->pipe_busy) {
   1821   1.2  jdolecek 		wakeup(cpipe);
   1822   1.2  jdolecek 		cpipe->pipe_state |= PIPE_WANTCLOSE | PIPE_EOF;
   1823  1.24  jdolecek #ifdef __FreeBSD__
   1824  1.24  jdolecek 		msleep(cpipe, PIPE_MTX(cpipe), PRIBIO, "pipecl", 0);
   1825  1.24  jdolecek #else
   1826   1.2  jdolecek 		tsleep(cpipe, PRIBIO, "pipecl", 0);
   1827  1.24  jdolecek #endif
   1828   1.2  jdolecek 	}
   1829   1.1  jdolecek 
   1830   1.2  jdolecek 	/*
   1831   1.2  jdolecek 	 * Disconnect from peer
   1832   1.2  jdolecek 	 */
   1833   1.2  jdolecek 	if ((ppipe = cpipe->pipe_peer) != NULL) {
   1834  1.24  jdolecek #ifdef __FreeBSD__
   1835  1.24  jdolecek 		hadpeer++;
   1836  1.24  jdolecek #endif
   1837   1.3  jdolecek 		pipeselwakeup(ppipe, ppipe);
   1838   1.1  jdolecek 
   1839   1.2  jdolecek 		ppipe->pipe_state |= PIPE_EOF;
   1840   1.2  jdolecek 		wakeup(ppipe);
   1841  1.24  jdolecek #ifdef __FreeBSD__
   1842  1.31  christos 		KNOTE(&ppipe->pipe_sel.sel_note, 0);
   1843  1.24  jdolecek #endif
   1844   1.2  jdolecek 		ppipe->pipe_peer = NULL;
   1845   1.1  jdolecek 	}
   1846   1.2  jdolecek 	/*
   1847   1.2  jdolecek 	 * free resources
   1848   1.2  jdolecek 	 */
   1849  1.20  jdolecek #ifdef __FreeBSD__
   1850  1.24  jdolecek 	if (PIPE_MTX(cpipe) != NULL) {
   1851  1.24  jdolecek 		PIPE_UNLOCK(cpipe);
   1852  1.24  jdolecek 		if (!hadpeer) {
   1853  1.24  jdolecek 			mtx_destroy(PIPE_MTX(cpipe));
   1854  1.24  jdolecek 			free(PIPE_MTX(cpipe), M_TEMP);
   1855  1.24  jdolecek 		}
   1856  1.24  jdolecek 	}
   1857  1.24  jdolecek 	mtx_lock(&Giant);
   1858   1.2  jdolecek 	pipe_free_kmem(cpipe);
   1859   1.2  jdolecek 	zfree(pipe_zone, cpipe);
   1860  1.24  jdolecek 	mtx_unlock(&Giant);
   1861  1.24  jdolecek #endif
   1862   1.3  jdolecek 
   1863   1.2  jdolecek #ifdef __NetBSD__
   1864  1.24  jdolecek 	if (PIPE_MTX(cpipe) != NULL)
   1865  1.24  jdolecek 		PIPE_UNLOCK(cpipe);
   1866  1.24  jdolecek 
   1867   1.3  jdolecek 	pipe_free_kmem(cpipe);
   1868   1.3  jdolecek 	(void) lockmgr(&cpipe->pipe_lock, LK_DRAIN, NULL);
   1869   1.2  jdolecek 	pool_put(&pipe_pool, cpipe);
   1870   1.2  jdolecek #endif
   1871   1.1  jdolecek }
   1872   1.1  jdolecek 
   1873  1.27  jdolecek static void
   1874  1.27  jdolecek filt_pipedetach(struct knote *kn)
   1875   1.1  jdolecek {
   1876  1.27  jdolecek 	struct pipe *cpipe = (struct pipe *)kn->kn_fp->f_data;
   1877   1.1  jdolecek 
   1878  1.27  jdolecek 	switch(kn->kn_filter) {
   1879   1.1  jdolecek 	case EVFILT_WRITE:
   1880  1.27  jdolecek 		/* need the peer structure, not our own */
   1881   1.1  jdolecek 		cpipe = cpipe->pipe_peer;
   1882  1.27  jdolecek 
   1883  1.27  jdolecek 		/* if reader end already closed, just return */
   1884  1.27  jdolecek 		if (!cpipe)
   1885  1.27  jdolecek 			return;
   1886  1.27  jdolecek 
   1887   1.1  jdolecek 		break;
   1888   1.1  jdolecek 	default:
   1889  1.27  jdolecek 		/* nothing to do */
   1890  1.29  kristerw 		break;
   1891   1.1  jdolecek 	}
   1892  1.24  jdolecek 
   1893  1.27  jdolecek #ifdef DIAGNOSTIC
   1894  1.27  jdolecek 	if (kn->kn_hook != cpipe)
   1895  1.27  jdolecek 		panic("filt_pipedetach: inconsistent knote");
   1896  1.27  jdolecek #endif
   1897   1.1  jdolecek 
   1898  1.24  jdolecek 	PIPE_LOCK(cpipe);
   1899  1.31  christos 	SLIST_REMOVE(&cpipe->pipe_sel.sel_note, kn, knote, kn_selnext);
   1900  1.24  jdolecek 	PIPE_UNLOCK(cpipe);
   1901   1.1  jdolecek }
   1902   1.1  jdolecek 
   1903   1.1  jdolecek /*ARGSUSED*/
   1904   1.1  jdolecek static int
   1905   1.1  jdolecek filt_piperead(struct knote *kn, long hint)
   1906   1.1  jdolecek {
   1907   1.1  jdolecek 	struct pipe *rpipe = (struct pipe *)kn->kn_fp->f_data;
   1908   1.1  jdolecek 	struct pipe *wpipe = rpipe->pipe_peer;
   1909   1.1  jdolecek 
   1910  1.24  jdolecek 	PIPE_LOCK(rpipe);
   1911   1.1  jdolecek 	kn->kn_data = rpipe->pipe_buffer.cnt;
   1912   1.1  jdolecek 	if ((kn->kn_data == 0) && (rpipe->pipe_state & PIPE_DIRECTW))
   1913   1.1  jdolecek 		kn->kn_data = rpipe->pipe_map.cnt;
   1914   1.1  jdolecek 
   1915   1.1  jdolecek 	if ((rpipe->pipe_state & PIPE_EOF) ||
   1916   1.1  jdolecek 	    (wpipe == NULL) || (wpipe->pipe_state & PIPE_EOF)) {
   1917  1.24  jdolecek 		kn->kn_flags |= EV_EOF;
   1918  1.24  jdolecek 		PIPE_UNLOCK(rpipe);
   1919   1.1  jdolecek 		return (1);
   1920   1.1  jdolecek 	}
   1921  1.24  jdolecek 	PIPE_UNLOCK(rpipe);
   1922   1.1  jdolecek 	return (kn->kn_data > 0);
   1923   1.1  jdolecek }
   1924   1.1  jdolecek 
   1925   1.1  jdolecek /*ARGSUSED*/
   1926   1.1  jdolecek static int
   1927   1.1  jdolecek filt_pipewrite(struct knote *kn, long hint)
   1928   1.1  jdolecek {
   1929   1.1  jdolecek 	struct pipe *rpipe = (struct pipe *)kn->kn_fp->f_data;
   1930   1.1  jdolecek 	struct pipe *wpipe = rpipe->pipe_peer;
   1931   1.1  jdolecek 
   1932  1.24  jdolecek 	PIPE_LOCK(rpipe);
   1933   1.1  jdolecek 	if ((wpipe == NULL) || (wpipe->pipe_state & PIPE_EOF)) {
   1934   1.1  jdolecek 		kn->kn_data = 0;
   1935   1.1  jdolecek 		kn->kn_flags |= EV_EOF;
   1936  1.24  jdolecek 		PIPE_UNLOCK(rpipe);
   1937   1.1  jdolecek 		return (1);
   1938   1.1  jdolecek 	}
   1939   1.1  jdolecek 	kn->kn_data = wpipe->pipe_buffer.size - wpipe->pipe_buffer.cnt;
   1940   1.1  jdolecek 	if (wpipe->pipe_state & PIPE_DIRECTW)
   1941   1.1  jdolecek 		kn->kn_data = 0;
   1942   1.1  jdolecek 
   1943  1.24  jdolecek 	PIPE_UNLOCK(rpipe);
   1944   1.1  jdolecek 	return (kn->kn_data >= PIPE_BUF);
   1945   1.1  jdolecek }
   1946  1.27  jdolecek 
   1947  1.27  jdolecek static const struct filterops pipe_rfiltops =
   1948  1.27  jdolecek 	{ 1, NULL, filt_pipedetach, filt_piperead };
   1949  1.27  jdolecek static const struct filterops pipe_wfiltops =
   1950  1.27  jdolecek 	{ 1, NULL, filt_pipedetach, filt_pipewrite };
   1951  1.27  jdolecek 
   1952  1.27  jdolecek /*ARGSUSED*/
   1953  1.27  jdolecek static int
   1954  1.27  jdolecek pipe_kqfilter(struct file *fp, struct knote *kn)
   1955  1.27  jdolecek {
   1956  1.27  jdolecek 	struct pipe *cpipe;
   1957  1.27  jdolecek 
   1958  1.27  jdolecek 	cpipe = (struct pipe *)kn->kn_fp->f_data;
   1959  1.27  jdolecek 	switch (kn->kn_filter) {
   1960  1.27  jdolecek 	case EVFILT_READ:
   1961  1.27  jdolecek 		kn->kn_fop = &pipe_rfiltops;
   1962  1.27  jdolecek 		break;
   1963  1.27  jdolecek 	case EVFILT_WRITE:
   1964  1.27  jdolecek 		kn->kn_fop = &pipe_wfiltops;
   1965  1.27  jdolecek 		cpipe = cpipe->pipe_peer;
   1966  1.27  jdolecek 		if (cpipe == NULL) {
   1967  1.27  jdolecek 			/* other end of pipe has been closed */
   1968  1.27  jdolecek 			return (EBADF);
   1969  1.27  jdolecek 		}
   1970  1.27  jdolecek 		break;
   1971  1.27  jdolecek 	default:
   1972  1.27  jdolecek 		return (1);
   1973  1.27  jdolecek 	}
   1974  1.27  jdolecek 	kn->kn_hook = cpipe;
   1975  1.27  jdolecek 
   1976  1.27  jdolecek 	PIPE_LOCK(cpipe);
   1977  1.31  christos 	SLIST_INSERT_HEAD(&cpipe->pipe_sel.sel_note, kn, kn_selnext);
   1978  1.27  jdolecek 	PIPE_UNLOCK(cpipe);
   1979  1.27  jdolecek 	return (0);
   1980  1.27  jdolecek }
   1981   1.2  jdolecek 
   1982   1.2  jdolecek #ifdef __NetBSD__
   1983   1.2  jdolecek static int
   1984   1.2  jdolecek pipe_fcntl(fp, cmd, data, p)
   1985   1.2  jdolecek 	struct file *fp;
   1986   1.2  jdolecek 	u_int cmd;
   1987   1.2  jdolecek 	caddr_t data;
   1988   1.2  jdolecek 	struct proc *p;
   1989   1.2  jdolecek {
   1990   1.2  jdolecek 	if (cmd == F_SETFL)
   1991   1.2  jdolecek 		return (0);
   1992   1.2  jdolecek 	else
   1993   1.2  jdolecek 		return (EOPNOTSUPP);
   1994   1.2  jdolecek }
   1995   1.2  jdolecek 
   1996   1.2  jdolecek /*
   1997   1.2  jdolecek  * Handle pipe sysctls.
   1998   1.2  jdolecek  */
   1999   1.2  jdolecek int
   2000   1.2  jdolecek sysctl_dopipe(name, namelen, oldp, oldlenp, newp, newlen)
   2001   1.2  jdolecek 	int *name;
   2002   1.2  jdolecek 	u_int namelen;
   2003   1.2  jdolecek 	void *oldp;
   2004   1.2  jdolecek 	size_t *oldlenp;
   2005   1.2  jdolecek 	void *newp;
   2006   1.2  jdolecek 	size_t newlen;
   2007   1.2  jdolecek {
   2008   1.2  jdolecek 	/* All sysctl names at this level are terminal. */
   2009   1.2  jdolecek 	if (namelen != 1)
   2010   1.2  jdolecek 		return (ENOTDIR);		/* overloaded */
   2011   1.2  jdolecek 
   2012   1.2  jdolecek 	switch (name[0]) {
   2013   1.2  jdolecek 	case KERN_PIPE_MAXKVASZ:
   2014   1.2  jdolecek 		return (sysctl_int(oldp, oldlenp, newp, newlen, &maxpipekva));
   2015   1.2  jdolecek 	case KERN_PIPE_LIMITKVA:
   2016   1.2  jdolecek 		return (sysctl_int(oldp, oldlenp, newp, newlen, &limitpipekva));
   2017   1.2  jdolecek 	case KERN_PIPE_MAXBIGPIPES:
   2018   1.2  jdolecek 		return (sysctl_int(oldp, oldlenp, newp, newlen, &maxbigpipes));
   2019   1.2  jdolecek 	case KERN_PIPE_NBIGPIPES:
   2020   1.2  jdolecek 		return (sysctl_rdint(oldp, oldlenp, newp, nbigpipe));
   2021   1.2  jdolecek 	case KERN_PIPE_KVASIZE:
   2022   1.2  jdolecek 		return (sysctl_rdint(oldp, oldlenp, newp, amountpipekva));
   2023   1.2  jdolecek 	default:
   2024   1.2  jdolecek 		return (EOPNOTSUPP);
   2025   1.2  jdolecek 	}
   2026   1.2  jdolecek 	/* NOTREACHED */
   2027   1.2  jdolecek }
   2028   1.2  jdolecek 
   2029   1.2  jdolecek /*
   2030   1.2  jdolecek  * Initialize pipe structs.
   2031   1.2  jdolecek  */
   2032   1.2  jdolecek void
   2033   1.2  jdolecek pipe_init(void)
   2034   1.2  jdolecek {
   2035  1.23   thorpej 	pool_init(&pipe_pool, sizeof(struct pipe), 0, 0, 0, "pipepl", NULL);
   2036   1.2  jdolecek }
   2037   1.2  jdolecek 
   2038   1.2  jdolecek #endif /* __NetBSD __ */
   2039