xmmintrin.h revision 1.1.1.1.8.2
1 1.1.1.1.8.2 tls /* Copyright (C) 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009 2 1.1.1.1.8.2 tls Free Software Foundation, Inc. 3 1.1.1.1.8.2 tls 4 1.1.1.1.8.2 tls This file is part of GCC. 5 1.1.1.1.8.2 tls 6 1.1.1.1.8.2 tls GCC is free software; you can redistribute it and/or modify 7 1.1.1.1.8.2 tls it under the terms of the GNU General Public License as published by 8 1.1.1.1.8.2 tls the Free Software Foundation; either version 3, or (at your option) 9 1.1.1.1.8.2 tls any later version. 10 1.1.1.1.8.2 tls 11 1.1.1.1.8.2 tls GCC is distributed in the hope that it will be useful, 12 1.1.1.1.8.2 tls but WITHOUT ANY WARRANTY; without even the implied warranty of 13 1.1.1.1.8.2 tls MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the 14 1.1.1.1.8.2 tls GNU General Public License for more details. 15 1.1.1.1.8.2 tls 16 1.1.1.1.8.2 tls Under Section 7 of GPL version 3, you are granted additional 17 1.1.1.1.8.2 tls permissions described in the GCC Runtime Library Exception, version 18 1.1.1.1.8.2 tls 3.1, as published by the Free Software Foundation. 19 1.1.1.1.8.2 tls 20 1.1.1.1.8.2 tls You should have received a copy of the GNU General Public License and 21 1.1.1.1.8.2 tls a copy of the GCC Runtime Library Exception along with this program; 22 1.1.1.1.8.2 tls see the files COPYING3 and COPYING.RUNTIME respectively. If not, see 23 1.1.1.1.8.2 tls <http://www.gnu.org/licenses/>. */ 24 1.1.1.1.8.2 tls 25 1.1.1.1.8.2 tls /* Implemented from the specification included in the Intel C++ Compiler 26 1.1.1.1.8.2 tls User Guide and Reference, version 9.0. */ 27 1.1.1.1.8.2 tls 28 1.1.1.1.8.2 tls #ifndef _XMMINTRIN_H_INCLUDED 29 1.1.1.1.8.2 tls #define _XMMINTRIN_H_INCLUDED 30 1.1.1.1.8.2 tls 31 1.1.1.1.8.2 tls #ifndef __SSE__ 32 1.1.1.1.8.2 tls # error "SSE instruction set not enabled" 33 1.1.1.1.8.2 tls #else 34 1.1.1.1.8.2 tls 35 1.1.1.1.8.2 tls /* We need type definitions from the MMX header file. */ 36 1.1.1.1.8.2 tls #include <mmintrin.h> 37 1.1.1.1.8.2 tls 38 1.1.1.1.8.2 tls /* Get _mm_malloc () and _mm_free (). */ 39 1.1.1.1.8.2 tls #include <mm_malloc.h> 40 1.1.1.1.8.2 tls 41 1.1.1.1.8.2 tls /* The Intel API is flexible enough that we must allow aliasing with other 42 1.1.1.1.8.2 tls vector types, and their scalar components. */ 43 1.1.1.1.8.2 tls typedef float __m128 __attribute__ ((__vector_size__ (16), __may_alias__)); 44 1.1.1.1.8.2 tls 45 1.1.1.1.8.2 tls /* Internal data types for implementing the intrinsics. */ 46 1.1.1.1.8.2 tls typedef float __v4sf __attribute__ ((__vector_size__ (16))); 47 1.1.1.1.8.2 tls 48 1.1.1.1.8.2 tls /* Create a selector for use with the SHUFPS instruction. */ 49 1.1.1.1.8.2 tls #define _MM_SHUFFLE(fp3,fp2,fp1,fp0) \ 50 1.1.1.1.8.2 tls (((fp3) << 6) | ((fp2) << 4) | ((fp1) << 2) | (fp0)) 51 1.1.1.1.8.2 tls 52 1.1.1.1.8.2 tls /* Constants for use with _mm_prefetch. */ 53 1.1.1.1.8.2 tls enum _mm_hint 54 1.1.1.1.8.2 tls { 55 1.1.1.1.8.2 tls _MM_HINT_T0 = 3, 56 1.1.1.1.8.2 tls _MM_HINT_T1 = 2, 57 1.1.1.1.8.2 tls _MM_HINT_T2 = 1, 58 1.1.1.1.8.2 tls _MM_HINT_NTA = 0 59 1.1.1.1.8.2 tls }; 60 1.1.1.1.8.2 tls 61 1.1.1.1.8.2 tls /* Bits in the MXCSR. */ 62 1.1.1.1.8.2 tls #define _MM_EXCEPT_MASK 0x003f 63 1.1.1.1.8.2 tls #define _MM_EXCEPT_INVALID 0x0001 64 1.1.1.1.8.2 tls #define _MM_EXCEPT_DENORM 0x0002 65 1.1.1.1.8.2 tls #define _MM_EXCEPT_DIV_ZERO 0x0004 66 1.1.1.1.8.2 tls #define _MM_EXCEPT_OVERFLOW 0x0008 67 1.1.1.1.8.2 tls #define _MM_EXCEPT_UNDERFLOW 0x0010 68 1.1.1.1.8.2 tls #define _MM_EXCEPT_INEXACT 0x0020 69 1.1.1.1.8.2 tls 70 1.1.1.1.8.2 tls #define _MM_MASK_MASK 0x1f80 71 1.1.1.1.8.2 tls #define _MM_MASK_INVALID 0x0080 72 1.1.1.1.8.2 tls #define _MM_MASK_DENORM 0x0100 73 1.1.1.1.8.2 tls #define _MM_MASK_DIV_ZERO 0x0200 74 1.1.1.1.8.2 tls #define _MM_MASK_OVERFLOW 0x0400 75 1.1.1.1.8.2 tls #define _MM_MASK_UNDERFLOW 0x0800 76 1.1.1.1.8.2 tls #define _MM_MASK_INEXACT 0x1000 77 1.1.1.1.8.2 tls 78 1.1.1.1.8.2 tls #define _MM_ROUND_MASK 0x6000 79 1.1.1.1.8.2 tls #define _MM_ROUND_NEAREST 0x0000 80 1.1.1.1.8.2 tls #define _MM_ROUND_DOWN 0x2000 81 1.1.1.1.8.2 tls #define _MM_ROUND_UP 0x4000 82 1.1.1.1.8.2 tls #define _MM_ROUND_TOWARD_ZERO 0x6000 83 1.1.1.1.8.2 tls 84 1.1.1.1.8.2 tls #define _MM_FLUSH_ZERO_MASK 0x8000 85 1.1.1.1.8.2 tls #define _MM_FLUSH_ZERO_ON 0x8000 86 1.1.1.1.8.2 tls #define _MM_FLUSH_ZERO_OFF 0x0000 87 1.1.1.1.8.2 tls 88 1.1.1.1.8.2 tls /* Create a vector of zeros. */ 89 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 90 1.1.1.1.8.2 tls _mm_setzero_ps (void) 91 1.1.1.1.8.2 tls { 92 1.1.1.1.8.2 tls return __extension__ (__m128){ 0.0f, 0.0f, 0.0f, 0.0f }; 93 1.1.1.1.8.2 tls } 94 1.1.1.1.8.2 tls 95 1.1.1.1.8.2 tls /* Perform the respective operation on the lower SPFP (single-precision 96 1.1.1.1.8.2 tls floating-point) values of A and B; the upper three SPFP values are 97 1.1.1.1.8.2 tls passed through from A. */ 98 1.1.1.1.8.2 tls 99 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 100 1.1.1.1.8.2 tls _mm_add_ss (__m128 __A, __m128 __B) 101 1.1.1.1.8.2 tls { 102 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_addss ((__v4sf)__A, (__v4sf)__B); 103 1.1.1.1.8.2 tls } 104 1.1.1.1.8.2 tls 105 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 106 1.1.1.1.8.2 tls _mm_sub_ss (__m128 __A, __m128 __B) 107 1.1.1.1.8.2 tls { 108 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_subss ((__v4sf)__A, (__v4sf)__B); 109 1.1.1.1.8.2 tls } 110 1.1.1.1.8.2 tls 111 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 112 1.1.1.1.8.2 tls _mm_mul_ss (__m128 __A, __m128 __B) 113 1.1.1.1.8.2 tls { 114 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_mulss ((__v4sf)__A, (__v4sf)__B); 115 1.1.1.1.8.2 tls } 116 1.1.1.1.8.2 tls 117 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 118 1.1.1.1.8.2 tls _mm_div_ss (__m128 __A, __m128 __B) 119 1.1.1.1.8.2 tls { 120 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_divss ((__v4sf)__A, (__v4sf)__B); 121 1.1.1.1.8.2 tls } 122 1.1.1.1.8.2 tls 123 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 124 1.1.1.1.8.2 tls _mm_sqrt_ss (__m128 __A) 125 1.1.1.1.8.2 tls { 126 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_sqrtss ((__v4sf)__A); 127 1.1.1.1.8.2 tls } 128 1.1.1.1.8.2 tls 129 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 130 1.1.1.1.8.2 tls _mm_rcp_ss (__m128 __A) 131 1.1.1.1.8.2 tls { 132 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_rcpss ((__v4sf)__A); 133 1.1.1.1.8.2 tls } 134 1.1.1.1.8.2 tls 135 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 136 1.1.1.1.8.2 tls _mm_rsqrt_ss (__m128 __A) 137 1.1.1.1.8.2 tls { 138 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_rsqrtss ((__v4sf)__A); 139 1.1.1.1.8.2 tls } 140 1.1.1.1.8.2 tls 141 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 142 1.1.1.1.8.2 tls _mm_min_ss (__m128 __A, __m128 __B) 143 1.1.1.1.8.2 tls { 144 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_minss ((__v4sf)__A, (__v4sf)__B); 145 1.1.1.1.8.2 tls } 146 1.1.1.1.8.2 tls 147 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 148 1.1.1.1.8.2 tls _mm_max_ss (__m128 __A, __m128 __B) 149 1.1.1.1.8.2 tls { 150 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_maxss ((__v4sf)__A, (__v4sf)__B); 151 1.1.1.1.8.2 tls } 152 1.1.1.1.8.2 tls 153 1.1.1.1.8.2 tls /* Perform the respective operation on the four SPFP values in A and B. */ 154 1.1.1.1.8.2 tls 155 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 156 1.1.1.1.8.2 tls _mm_add_ps (__m128 __A, __m128 __B) 157 1.1.1.1.8.2 tls { 158 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_addps ((__v4sf)__A, (__v4sf)__B); 159 1.1.1.1.8.2 tls } 160 1.1.1.1.8.2 tls 161 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 162 1.1.1.1.8.2 tls _mm_sub_ps (__m128 __A, __m128 __B) 163 1.1.1.1.8.2 tls { 164 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_subps ((__v4sf)__A, (__v4sf)__B); 165 1.1.1.1.8.2 tls } 166 1.1.1.1.8.2 tls 167 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 168 1.1.1.1.8.2 tls _mm_mul_ps (__m128 __A, __m128 __B) 169 1.1.1.1.8.2 tls { 170 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_mulps ((__v4sf)__A, (__v4sf)__B); 171 1.1.1.1.8.2 tls } 172 1.1.1.1.8.2 tls 173 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 174 1.1.1.1.8.2 tls _mm_div_ps (__m128 __A, __m128 __B) 175 1.1.1.1.8.2 tls { 176 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_divps ((__v4sf)__A, (__v4sf)__B); 177 1.1.1.1.8.2 tls } 178 1.1.1.1.8.2 tls 179 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 180 1.1.1.1.8.2 tls _mm_sqrt_ps (__m128 __A) 181 1.1.1.1.8.2 tls { 182 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_sqrtps ((__v4sf)__A); 183 1.1.1.1.8.2 tls } 184 1.1.1.1.8.2 tls 185 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 186 1.1.1.1.8.2 tls _mm_rcp_ps (__m128 __A) 187 1.1.1.1.8.2 tls { 188 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_rcpps ((__v4sf)__A); 189 1.1.1.1.8.2 tls } 190 1.1.1.1.8.2 tls 191 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 192 1.1.1.1.8.2 tls _mm_rsqrt_ps (__m128 __A) 193 1.1.1.1.8.2 tls { 194 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_rsqrtps ((__v4sf)__A); 195 1.1.1.1.8.2 tls } 196 1.1.1.1.8.2 tls 197 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 198 1.1.1.1.8.2 tls _mm_min_ps (__m128 __A, __m128 __B) 199 1.1.1.1.8.2 tls { 200 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_minps ((__v4sf)__A, (__v4sf)__B); 201 1.1.1.1.8.2 tls } 202 1.1.1.1.8.2 tls 203 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 204 1.1.1.1.8.2 tls _mm_max_ps (__m128 __A, __m128 __B) 205 1.1.1.1.8.2 tls { 206 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_maxps ((__v4sf)__A, (__v4sf)__B); 207 1.1.1.1.8.2 tls } 208 1.1.1.1.8.2 tls 209 1.1.1.1.8.2 tls /* Perform logical bit-wise operations on 128-bit values. */ 210 1.1.1.1.8.2 tls 211 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 212 1.1.1.1.8.2 tls _mm_and_ps (__m128 __A, __m128 __B) 213 1.1.1.1.8.2 tls { 214 1.1.1.1.8.2 tls return __builtin_ia32_andps (__A, __B); 215 1.1.1.1.8.2 tls } 216 1.1.1.1.8.2 tls 217 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 218 1.1.1.1.8.2 tls _mm_andnot_ps (__m128 __A, __m128 __B) 219 1.1.1.1.8.2 tls { 220 1.1.1.1.8.2 tls return __builtin_ia32_andnps (__A, __B); 221 1.1.1.1.8.2 tls } 222 1.1.1.1.8.2 tls 223 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 224 1.1.1.1.8.2 tls _mm_or_ps (__m128 __A, __m128 __B) 225 1.1.1.1.8.2 tls { 226 1.1.1.1.8.2 tls return __builtin_ia32_orps (__A, __B); 227 1.1.1.1.8.2 tls } 228 1.1.1.1.8.2 tls 229 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 230 1.1.1.1.8.2 tls _mm_xor_ps (__m128 __A, __m128 __B) 231 1.1.1.1.8.2 tls { 232 1.1.1.1.8.2 tls return __builtin_ia32_xorps (__A, __B); 233 1.1.1.1.8.2 tls } 234 1.1.1.1.8.2 tls 235 1.1.1.1.8.2 tls /* Perform a comparison on the lower SPFP values of A and B. If the 236 1.1.1.1.8.2 tls comparison is true, place a mask of all ones in the result, otherwise a 237 1.1.1.1.8.2 tls mask of zeros. The upper three SPFP values are passed through from A. */ 238 1.1.1.1.8.2 tls 239 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 240 1.1.1.1.8.2 tls _mm_cmpeq_ss (__m128 __A, __m128 __B) 241 1.1.1.1.8.2 tls { 242 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cmpeqss ((__v4sf)__A, (__v4sf)__B); 243 1.1.1.1.8.2 tls } 244 1.1.1.1.8.2 tls 245 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 246 1.1.1.1.8.2 tls _mm_cmplt_ss (__m128 __A, __m128 __B) 247 1.1.1.1.8.2 tls { 248 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cmpltss ((__v4sf)__A, (__v4sf)__B); 249 1.1.1.1.8.2 tls } 250 1.1.1.1.8.2 tls 251 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 252 1.1.1.1.8.2 tls _mm_cmple_ss (__m128 __A, __m128 __B) 253 1.1.1.1.8.2 tls { 254 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cmpless ((__v4sf)__A, (__v4sf)__B); 255 1.1.1.1.8.2 tls } 256 1.1.1.1.8.2 tls 257 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 258 1.1.1.1.8.2 tls _mm_cmpgt_ss (__m128 __A, __m128 __B) 259 1.1.1.1.8.2 tls { 260 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_movss ((__v4sf) __A, 261 1.1.1.1.8.2 tls (__v4sf) 262 1.1.1.1.8.2 tls __builtin_ia32_cmpltss ((__v4sf) __B, 263 1.1.1.1.8.2 tls (__v4sf) 264 1.1.1.1.8.2 tls __A)); 265 1.1.1.1.8.2 tls } 266 1.1.1.1.8.2 tls 267 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 268 1.1.1.1.8.2 tls _mm_cmpge_ss (__m128 __A, __m128 __B) 269 1.1.1.1.8.2 tls { 270 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_movss ((__v4sf) __A, 271 1.1.1.1.8.2 tls (__v4sf) 272 1.1.1.1.8.2 tls __builtin_ia32_cmpless ((__v4sf) __B, 273 1.1.1.1.8.2 tls (__v4sf) 274 1.1.1.1.8.2 tls __A)); 275 1.1.1.1.8.2 tls } 276 1.1.1.1.8.2 tls 277 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 278 1.1.1.1.8.2 tls _mm_cmpneq_ss (__m128 __A, __m128 __B) 279 1.1.1.1.8.2 tls { 280 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cmpneqss ((__v4sf)__A, (__v4sf)__B); 281 1.1.1.1.8.2 tls } 282 1.1.1.1.8.2 tls 283 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 284 1.1.1.1.8.2 tls _mm_cmpnlt_ss (__m128 __A, __m128 __B) 285 1.1.1.1.8.2 tls { 286 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cmpnltss ((__v4sf)__A, (__v4sf)__B); 287 1.1.1.1.8.2 tls } 288 1.1.1.1.8.2 tls 289 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 290 1.1.1.1.8.2 tls _mm_cmpnle_ss (__m128 __A, __m128 __B) 291 1.1.1.1.8.2 tls { 292 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cmpnless ((__v4sf)__A, (__v4sf)__B); 293 1.1.1.1.8.2 tls } 294 1.1.1.1.8.2 tls 295 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 296 1.1.1.1.8.2 tls _mm_cmpngt_ss (__m128 __A, __m128 __B) 297 1.1.1.1.8.2 tls { 298 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_movss ((__v4sf) __A, 299 1.1.1.1.8.2 tls (__v4sf) 300 1.1.1.1.8.2 tls __builtin_ia32_cmpnltss ((__v4sf) __B, 301 1.1.1.1.8.2 tls (__v4sf) 302 1.1.1.1.8.2 tls __A)); 303 1.1.1.1.8.2 tls } 304 1.1.1.1.8.2 tls 305 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 306 1.1.1.1.8.2 tls _mm_cmpnge_ss (__m128 __A, __m128 __B) 307 1.1.1.1.8.2 tls { 308 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_movss ((__v4sf) __A, 309 1.1.1.1.8.2 tls (__v4sf) 310 1.1.1.1.8.2 tls __builtin_ia32_cmpnless ((__v4sf) __B, 311 1.1.1.1.8.2 tls (__v4sf) 312 1.1.1.1.8.2 tls __A)); 313 1.1.1.1.8.2 tls } 314 1.1.1.1.8.2 tls 315 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 316 1.1.1.1.8.2 tls _mm_cmpord_ss (__m128 __A, __m128 __B) 317 1.1.1.1.8.2 tls { 318 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cmpordss ((__v4sf)__A, (__v4sf)__B); 319 1.1.1.1.8.2 tls } 320 1.1.1.1.8.2 tls 321 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 322 1.1.1.1.8.2 tls _mm_cmpunord_ss (__m128 __A, __m128 __B) 323 1.1.1.1.8.2 tls { 324 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cmpunordss ((__v4sf)__A, (__v4sf)__B); 325 1.1.1.1.8.2 tls } 326 1.1.1.1.8.2 tls 327 1.1.1.1.8.2 tls /* Perform a comparison on the four SPFP values of A and B. For each 328 1.1.1.1.8.2 tls element, if the comparison is true, place a mask of all ones in the 329 1.1.1.1.8.2 tls result, otherwise a mask of zeros. */ 330 1.1.1.1.8.2 tls 331 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 332 1.1.1.1.8.2 tls _mm_cmpeq_ps (__m128 __A, __m128 __B) 333 1.1.1.1.8.2 tls { 334 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cmpeqps ((__v4sf)__A, (__v4sf)__B); 335 1.1.1.1.8.2 tls } 336 1.1.1.1.8.2 tls 337 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 338 1.1.1.1.8.2 tls _mm_cmplt_ps (__m128 __A, __m128 __B) 339 1.1.1.1.8.2 tls { 340 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cmpltps ((__v4sf)__A, (__v4sf)__B); 341 1.1.1.1.8.2 tls } 342 1.1.1.1.8.2 tls 343 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 344 1.1.1.1.8.2 tls _mm_cmple_ps (__m128 __A, __m128 __B) 345 1.1.1.1.8.2 tls { 346 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cmpleps ((__v4sf)__A, (__v4sf)__B); 347 1.1.1.1.8.2 tls } 348 1.1.1.1.8.2 tls 349 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 350 1.1.1.1.8.2 tls _mm_cmpgt_ps (__m128 __A, __m128 __B) 351 1.1.1.1.8.2 tls { 352 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cmpgtps ((__v4sf)__A, (__v4sf)__B); 353 1.1.1.1.8.2 tls } 354 1.1.1.1.8.2 tls 355 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 356 1.1.1.1.8.2 tls _mm_cmpge_ps (__m128 __A, __m128 __B) 357 1.1.1.1.8.2 tls { 358 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cmpgeps ((__v4sf)__A, (__v4sf)__B); 359 1.1.1.1.8.2 tls } 360 1.1.1.1.8.2 tls 361 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 362 1.1.1.1.8.2 tls _mm_cmpneq_ps (__m128 __A, __m128 __B) 363 1.1.1.1.8.2 tls { 364 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cmpneqps ((__v4sf)__A, (__v4sf)__B); 365 1.1.1.1.8.2 tls } 366 1.1.1.1.8.2 tls 367 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 368 1.1.1.1.8.2 tls _mm_cmpnlt_ps (__m128 __A, __m128 __B) 369 1.1.1.1.8.2 tls { 370 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cmpnltps ((__v4sf)__A, (__v4sf)__B); 371 1.1.1.1.8.2 tls } 372 1.1.1.1.8.2 tls 373 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 374 1.1.1.1.8.2 tls _mm_cmpnle_ps (__m128 __A, __m128 __B) 375 1.1.1.1.8.2 tls { 376 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cmpnleps ((__v4sf)__A, (__v4sf)__B); 377 1.1.1.1.8.2 tls } 378 1.1.1.1.8.2 tls 379 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 380 1.1.1.1.8.2 tls _mm_cmpngt_ps (__m128 __A, __m128 __B) 381 1.1.1.1.8.2 tls { 382 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cmpngtps ((__v4sf)__A, (__v4sf)__B); 383 1.1.1.1.8.2 tls } 384 1.1.1.1.8.2 tls 385 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 386 1.1.1.1.8.2 tls _mm_cmpnge_ps (__m128 __A, __m128 __B) 387 1.1.1.1.8.2 tls { 388 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cmpngeps ((__v4sf)__A, (__v4sf)__B); 389 1.1.1.1.8.2 tls } 390 1.1.1.1.8.2 tls 391 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 392 1.1.1.1.8.2 tls _mm_cmpord_ps (__m128 __A, __m128 __B) 393 1.1.1.1.8.2 tls { 394 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cmpordps ((__v4sf)__A, (__v4sf)__B); 395 1.1.1.1.8.2 tls } 396 1.1.1.1.8.2 tls 397 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 398 1.1.1.1.8.2 tls _mm_cmpunord_ps (__m128 __A, __m128 __B) 399 1.1.1.1.8.2 tls { 400 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cmpunordps ((__v4sf)__A, (__v4sf)__B); 401 1.1.1.1.8.2 tls } 402 1.1.1.1.8.2 tls 403 1.1.1.1.8.2 tls /* Compare the lower SPFP values of A and B and return 1 if true 404 1.1.1.1.8.2 tls and 0 if false. */ 405 1.1.1.1.8.2 tls 406 1.1.1.1.8.2 tls extern __inline int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 407 1.1.1.1.8.2 tls _mm_comieq_ss (__m128 __A, __m128 __B) 408 1.1.1.1.8.2 tls { 409 1.1.1.1.8.2 tls return __builtin_ia32_comieq ((__v4sf)__A, (__v4sf)__B); 410 1.1.1.1.8.2 tls } 411 1.1.1.1.8.2 tls 412 1.1.1.1.8.2 tls extern __inline int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 413 1.1.1.1.8.2 tls _mm_comilt_ss (__m128 __A, __m128 __B) 414 1.1.1.1.8.2 tls { 415 1.1.1.1.8.2 tls return __builtin_ia32_comilt ((__v4sf)__A, (__v4sf)__B); 416 1.1.1.1.8.2 tls } 417 1.1.1.1.8.2 tls 418 1.1.1.1.8.2 tls extern __inline int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 419 1.1.1.1.8.2 tls _mm_comile_ss (__m128 __A, __m128 __B) 420 1.1.1.1.8.2 tls { 421 1.1.1.1.8.2 tls return __builtin_ia32_comile ((__v4sf)__A, (__v4sf)__B); 422 1.1.1.1.8.2 tls } 423 1.1.1.1.8.2 tls 424 1.1.1.1.8.2 tls extern __inline int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 425 1.1.1.1.8.2 tls _mm_comigt_ss (__m128 __A, __m128 __B) 426 1.1.1.1.8.2 tls { 427 1.1.1.1.8.2 tls return __builtin_ia32_comigt ((__v4sf)__A, (__v4sf)__B); 428 1.1.1.1.8.2 tls } 429 1.1.1.1.8.2 tls 430 1.1.1.1.8.2 tls extern __inline int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 431 1.1.1.1.8.2 tls _mm_comige_ss (__m128 __A, __m128 __B) 432 1.1.1.1.8.2 tls { 433 1.1.1.1.8.2 tls return __builtin_ia32_comige ((__v4sf)__A, (__v4sf)__B); 434 1.1.1.1.8.2 tls } 435 1.1.1.1.8.2 tls 436 1.1.1.1.8.2 tls extern __inline int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 437 1.1.1.1.8.2 tls _mm_comineq_ss (__m128 __A, __m128 __B) 438 1.1.1.1.8.2 tls { 439 1.1.1.1.8.2 tls return __builtin_ia32_comineq ((__v4sf)__A, (__v4sf)__B); 440 1.1.1.1.8.2 tls } 441 1.1.1.1.8.2 tls 442 1.1.1.1.8.2 tls extern __inline int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 443 1.1.1.1.8.2 tls _mm_ucomieq_ss (__m128 __A, __m128 __B) 444 1.1.1.1.8.2 tls { 445 1.1.1.1.8.2 tls return __builtin_ia32_ucomieq ((__v4sf)__A, (__v4sf)__B); 446 1.1.1.1.8.2 tls } 447 1.1.1.1.8.2 tls 448 1.1.1.1.8.2 tls extern __inline int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 449 1.1.1.1.8.2 tls _mm_ucomilt_ss (__m128 __A, __m128 __B) 450 1.1.1.1.8.2 tls { 451 1.1.1.1.8.2 tls return __builtin_ia32_ucomilt ((__v4sf)__A, (__v4sf)__B); 452 1.1.1.1.8.2 tls } 453 1.1.1.1.8.2 tls 454 1.1.1.1.8.2 tls extern __inline int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 455 1.1.1.1.8.2 tls _mm_ucomile_ss (__m128 __A, __m128 __B) 456 1.1.1.1.8.2 tls { 457 1.1.1.1.8.2 tls return __builtin_ia32_ucomile ((__v4sf)__A, (__v4sf)__B); 458 1.1.1.1.8.2 tls } 459 1.1.1.1.8.2 tls 460 1.1.1.1.8.2 tls extern __inline int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 461 1.1.1.1.8.2 tls _mm_ucomigt_ss (__m128 __A, __m128 __B) 462 1.1.1.1.8.2 tls { 463 1.1.1.1.8.2 tls return __builtin_ia32_ucomigt ((__v4sf)__A, (__v4sf)__B); 464 1.1.1.1.8.2 tls } 465 1.1.1.1.8.2 tls 466 1.1.1.1.8.2 tls extern __inline int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 467 1.1.1.1.8.2 tls _mm_ucomige_ss (__m128 __A, __m128 __B) 468 1.1.1.1.8.2 tls { 469 1.1.1.1.8.2 tls return __builtin_ia32_ucomige ((__v4sf)__A, (__v4sf)__B); 470 1.1.1.1.8.2 tls } 471 1.1.1.1.8.2 tls 472 1.1.1.1.8.2 tls extern __inline int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 473 1.1.1.1.8.2 tls _mm_ucomineq_ss (__m128 __A, __m128 __B) 474 1.1.1.1.8.2 tls { 475 1.1.1.1.8.2 tls return __builtin_ia32_ucomineq ((__v4sf)__A, (__v4sf)__B); 476 1.1.1.1.8.2 tls } 477 1.1.1.1.8.2 tls 478 1.1.1.1.8.2 tls /* Convert the lower SPFP value to a 32-bit integer according to the current 479 1.1.1.1.8.2 tls rounding mode. */ 480 1.1.1.1.8.2 tls extern __inline int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 481 1.1.1.1.8.2 tls _mm_cvtss_si32 (__m128 __A) 482 1.1.1.1.8.2 tls { 483 1.1.1.1.8.2 tls return __builtin_ia32_cvtss2si ((__v4sf) __A); 484 1.1.1.1.8.2 tls } 485 1.1.1.1.8.2 tls 486 1.1.1.1.8.2 tls extern __inline int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 487 1.1.1.1.8.2 tls _mm_cvt_ss2si (__m128 __A) 488 1.1.1.1.8.2 tls { 489 1.1.1.1.8.2 tls return _mm_cvtss_si32 (__A); 490 1.1.1.1.8.2 tls } 491 1.1.1.1.8.2 tls 492 1.1.1.1.8.2 tls #ifdef __x86_64__ 493 1.1.1.1.8.2 tls /* Convert the lower SPFP value to a 32-bit integer according to the 494 1.1.1.1.8.2 tls current rounding mode. */ 495 1.1.1.1.8.2 tls 496 1.1.1.1.8.2 tls /* Intel intrinsic. */ 497 1.1.1.1.8.2 tls extern __inline long long __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 498 1.1.1.1.8.2 tls _mm_cvtss_si64 (__m128 __A) 499 1.1.1.1.8.2 tls { 500 1.1.1.1.8.2 tls return __builtin_ia32_cvtss2si64 ((__v4sf) __A); 501 1.1.1.1.8.2 tls } 502 1.1.1.1.8.2 tls 503 1.1.1.1.8.2 tls /* Microsoft intrinsic. */ 504 1.1.1.1.8.2 tls extern __inline long long __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 505 1.1.1.1.8.2 tls _mm_cvtss_si64x (__m128 __A) 506 1.1.1.1.8.2 tls { 507 1.1.1.1.8.2 tls return __builtin_ia32_cvtss2si64 ((__v4sf) __A); 508 1.1.1.1.8.2 tls } 509 1.1.1.1.8.2 tls #endif 510 1.1.1.1.8.2 tls 511 1.1.1.1.8.2 tls /* Convert the two lower SPFP values to 32-bit integers according to the 512 1.1.1.1.8.2 tls current rounding mode. Return the integers in packed form. */ 513 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 514 1.1.1.1.8.2 tls _mm_cvtps_pi32 (__m128 __A) 515 1.1.1.1.8.2 tls { 516 1.1.1.1.8.2 tls return (__m64) __builtin_ia32_cvtps2pi ((__v4sf) __A); 517 1.1.1.1.8.2 tls } 518 1.1.1.1.8.2 tls 519 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 520 1.1.1.1.8.2 tls _mm_cvt_ps2pi (__m128 __A) 521 1.1.1.1.8.2 tls { 522 1.1.1.1.8.2 tls return _mm_cvtps_pi32 (__A); 523 1.1.1.1.8.2 tls } 524 1.1.1.1.8.2 tls 525 1.1.1.1.8.2 tls /* Truncate the lower SPFP value to a 32-bit integer. */ 526 1.1.1.1.8.2 tls extern __inline int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 527 1.1.1.1.8.2 tls _mm_cvttss_si32 (__m128 __A) 528 1.1.1.1.8.2 tls { 529 1.1.1.1.8.2 tls return __builtin_ia32_cvttss2si ((__v4sf) __A); 530 1.1.1.1.8.2 tls } 531 1.1.1.1.8.2 tls 532 1.1.1.1.8.2 tls extern __inline int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 533 1.1.1.1.8.2 tls _mm_cvtt_ss2si (__m128 __A) 534 1.1.1.1.8.2 tls { 535 1.1.1.1.8.2 tls return _mm_cvttss_si32 (__A); 536 1.1.1.1.8.2 tls } 537 1.1.1.1.8.2 tls 538 1.1.1.1.8.2 tls #ifdef __x86_64__ 539 1.1.1.1.8.2 tls /* Truncate the lower SPFP value to a 32-bit integer. */ 540 1.1.1.1.8.2 tls 541 1.1.1.1.8.2 tls /* Intel intrinsic. */ 542 1.1.1.1.8.2 tls extern __inline long long __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 543 1.1.1.1.8.2 tls _mm_cvttss_si64 (__m128 __A) 544 1.1.1.1.8.2 tls { 545 1.1.1.1.8.2 tls return __builtin_ia32_cvttss2si64 ((__v4sf) __A); 546 1.1.1.1.8.2 tls } 547 1.1.1.1.8.2 tls 548 1.1.1.1.8.2 tls /* Microsoft intrinsic. */ 549 1.1.1.1.8.2 tls extern __inline long long __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 550 1.1.1.1.8.2 tls _mm_cvttss_si64x (__m128 __A) 551 1.1.1.1.8.2 tls { 552 1.1.1.1.8.2 tls return __builtin_ia32_cvttss2si64 ((__v4sf) __A); 553 1.1.1.1.8.2 tls } 554 1.1.1.1.8.2 tls #endif 555 1.1.1.1.8.2 tls 556 1.1.1.1.8.2 tls /* Truncate the two lower SPFP values to 32-bit integers. Return the 557 1.1.1.1.8.2 tls integers in packed form. */ 558 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 559 1.1.1.1.8.2 tls _mm_cvttps_pi32 (__m128 __A) 560 1.1.1.1.8.2 tls { 561 1.1.1.1.8.2 tls return (__m64) __builtin_ia32_cvttps2pi ((__v4sf) __A); 562 1.1.1.1.8.2 tls } 563 1.1.1.1.8.2 tls 564 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 565 1.1.1.1.8.2 tls _mm_cvtt_ps2pi (__m128 __A) 566 1.1.1.1.8.2 tls { 567 1.1.1.1.8.2 tls return _mm_cvttps_pi32 (__A); 568 1.1.1.1.8.2 tls } 569 1.1.1.1.8.2 tls 570 1.1.1.1.8.2 tls /* Convert B to a SPFP value and insert it as element zero in A. */ 571 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 572 1.1.1.1.8.2 tls _mm_cvtsi32_ss (__m128 __A, int __B) 573 1.1.1.1.8.2 tls { 574 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cvtsi2ss ((__v4sf) __A, __B); 575 1.1.1.1.8.2 tls } 576 1.1.1.1.8.2 tls 577 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 578 1.1.1.1.8.2 tls _mm_cvt_si2ss (__m128 __A, int __B) 579 1.1.1.1.8.2 tls { 580 1.1.1.1.8.2 tls return _mm_cvtsi32_ss (__A, __B); 581 1.1.1.1.8.2 tls } 582 1.1.1.1.8.2 tls 583 1.1.1.1.8.2 tls #ifdef __x86_64__ 584 1.1.1.1.8.2 tls /* Convert B to a SPFP value and insert it as element zero in A. */ 585 1.1.1.1.8.2 tls 586 1.1.1.1.8.2 tls /* Intel intrinsic. */ 587 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 588 1.1.1.1.8.2 tls _mm_cvtsi64_ss (__m128 __A, long long __B) 589 1.1.1.1.8.2 tls { 590 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cvtsi642ss ((__v4sf) __A, __B); 591 1.1.1.1.8.2 tls } 592 1.1.1.1.8.2 tls 593 1.1.1.1.8.2 tls /* Microsoft intrinsic. */ 594 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 595 1.1.1.1.8.2 tls _mm_cvtsi64x_ss (__m128 __A, long long __B) 596 1.1.1.1.8.2 tls { 597 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cvtsi642ss ((__v4sf) __A, __B); 598 1.1.1.1.8.2 tls } 599 1.1.1.1.8.2 tls #endif 600 1.1.1.1.8.2 tls 601 1.1.1.1.8.2 tls /* Convert the two 32-bit values in B to SPFP form and insert them 602 1.1.1.1.8.2 tls as the two lower elements in A. */ 603 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 604 1.1.1.1.8.2 tls _mm_cvtpi32_ps (__m128 __A, __m64 __B) 605 1.1.1.1.8.2 tls { 606 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_cvtpi2ps ((__v4sf) __A, (__v2si)__B); 607 1.1.1.1.8.2 tls } 608 1.1.1.1.8.2 tls 609 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 610 1.1.1.1.8.2 tls _mm_cvt_pi2ps (__m128 __A, __m64 __B) 611 1.1.1.1.8.2 tls { 612 1.1.1.1.8.2 tls return _mm_cvtpi32_ps (__A, __B); 613 1.1.1.1.8.2 tls } 614 1.1.1.1.8.2 tls 615 1.1.1.1.8.2 tls /* Convert the four signed 16-bit values in A to SPFP form. */ 616 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 617 1.1.1.1.8.2 tls _mm_cvtpi16_ps (__m64 __A) 618 1.1.1.1.8.2 tls { 619 1.1.1.1.8.2 tls __v4hi __sign; 620 1.1.1.1.8.2 tls __v2si __hisi, __losi; 621 1.1.1.1.8.2 tls __v4sf __zero, __ra, __rb; 622 1.1.1.1.8.2 tls 623 1.1.1.1.8.2 tls /* This comparison against zero gives us a mask that can be used to 624 1.1.1.1.8.2 tls fill in the missing sign bits in the unpack operations below, so 625 1.1.1.1.8.2 tls that we get signed values after unpacking. */ 626 1.1.1.1.8.2 tls __sign = __builtin_ia32_pcmpgtw ((__v4hi)0LL, (__v4hi)__A); 627 1.1.1.1.8.2 tls 628 1.1.1.1.8.2 tls /* Convert the four words to doublewords. */ 629 1.1.1.1.8.2 tls __losi = (__v2si) __builtin_ia32_punpcklwd ((__v4hi)__A, __sign); 630 1.1.1.1.8.2 tls __hisi = (__v2si) __builtin_ia32_punpckhwd ((__v4hi)__A, __sign); 631 1.1.1.1.8.2 tls 632 1.1.1.1.8.2 tls /* Convert the doublewords to floating point two at a time. */ 633 1.1.1.1.8.2 tls __zero = (__v4sf) _mm_setzero_ps (); 634 1.1.1.1.8.2 tls __ra = __builtin_ia32_cvtpi2ps (__zero, __losi); 635 1.1.1.1.8.2 tls __rb = __builtin_ia32_cvtpi2ps (__ra, __hisi); 636 1.1.1.1.8.2 tls 637 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_movlhps (__ra, __rb); 638 1.1.1.1.8.2 tls } 639 1.1.1.1.8.2 tls 640 1.1.1.1.8.2 tls /* Convert the four unsigned 16-bit values in A to SPFP form. */ 641 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 642 1.1.1.1.8.2 tls _mm_cvtpu16_ps (__m64 __A) 643 1.1.1.1.8.2 tls { 644 1.1.1.1.8.2 tls __v2si __hisi, __losi; 645 1.1.1.1.8.2 tls __v4sf __zero, __ra, __rb; 646 1.1.1.1.8.2 tls 647 1.1.1.1.8.2 tls /* Convert the four words to doublewords. */ 648 1.1.1.1.8.2 tls __losi = (__v2si) __builtin_ia32_punpcklwd ((__v4hi)__A, (__v4hi)0LL); 649 1.1.1.1.8.2 tls __hisi = (__v2si) __builtin_ia32_punpckhwd ((__v4hi)__A, (__v4hi)0LL); 650 1.1.1.1.8.2 tls 651 1.1.1.1.8.2 tls /* Convert the doublewords to floating point two at a time. */ 652 1.1.1.1.8.2 tls __zero = (__v4sf) _mm_setzero_ps (); 653 1.1.1.1.8.2 tls __ra = __builtin_ia32_cvtpi2ps (__zero, __losi); 654 1.1.1.1.8.2 tls __rb = __builtin_ia32_cvtpi2ps (__ra, __hisi); 655 1.1.1.1.8.2 tls 656 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_movlhps (__ra, __rb); 657 1.1.1.1.8.2 tls } 658 1.1.1.1.8.2 tls 659 1.1.1.1.8.2 tls /* Convert the low four signed 8-bit values in A to SPFP form. */ 660 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 661 1.1.1.1.8.2 tls _mm_cvtpi8_ps (__m64 __A) 662 1.1.1.1.8.2 tls { 663 1.1.1.1.8.2 tls __v8qi __sign; 664 1.1.1.1.8.2 tls 665 1.1.1.1.8.2 tls /* This comparison against zero gives us a mask that can be used to 666 1.1.1.1.8.2 tls fill in the missing sign bits in the unpack operations below, so 667 1.1.1.1.8.2 tls that we get signed values after unpacking. */ 668 1.1.1.1.8.2 tls __sign = __builtin_ia32_pcmpgtb ((__v8qi)0LL, (__v8qi)__A); 669 1.1.1.1.8.2 tls 670 1.1.1.1.8.2 tls /* Convert the four low bytes to words. */ 671 1.1.1.1.8.2 tls __A = (__m64) __builtin_ia32_punpcklbw ((__v8qi)__A, __sign); 672 1.1.1.1.8.2 tls 673 1.1.1.1.8.2 tls return _mm_cvtpi16_ps(__A); 674 1.1.1.1.8.2 tls } 675 1.1.1.1.8.2 tls 676 1.1.1.1.8.2 tls /* Convert the low four unsigned 8-bit values in A to SPFP form. */ 677 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 678 1.1.1.1.8.2 tls _mm_cvtpu8_ps(__m64 __A) 679 1.1.1.1.8.2 tls { 680 1.1.1.1.8.2 tls __A = (__m64) __builtin_ia32_punpcklbw ((__v8qi)__A, (__v8qi)0LL); 681 1.1.1.1.8.2 tls return _mm_cvtpu16_ps(__A); 682 1.1.1.1.8.2 tls } 683 1.1.1.1.8.2 tls 684 1.1.1.1.8.2 tls /* Convert the four signed 32-bit values in A and B to SPFP form. */ 685 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 686 1.1.1.1.8.2 tls _mm_cvtpi32x2_ps(__m64 __A, __m64 __B) 687 1.1.1.1.8.2 tls { 688 1.1.1.1.8.2 tls __v4sf __zero = (__v4sf) _mm_setzero_ps (); 689 1.1.1.1.8.2 tls __v4sf __sfa = __builtin_ia32_cvtpi2ps (__zero, (__v2si)__A); 690 1.1.1.1.8.2 tls __v4sf __sfb = __builtin_ia32_cvtpi2ps (__sfa, (__v2si)__B); 691 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_movlhps (__sfa, __sfb); 692 1.1.1.1.8.2 tls } 693 1.1.1.1.8.2 tls 694 1.1.1.1.8.2 tls /* Convert the four SPFP values in A to four signed 16-bit integers. */ 695 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 696 1.1.1.1.8.2 tls _mm_cvtps_pi16(__m128 __A) 697 1.1.1.1.8.2 tls { 698 1.1.1.1.8.2 tls __v4sf __hisf = (__v4sf)__A; 699 1.1.1.1.8.2 tls __v4sf __losf = __builtin_ia32_movhlps (__hisf, __hisf); 700 1.1.1.1.8.2 tls __v2si __hisi = __builtin_ia32_cvtps2pi (__hisf); 701 1.1.1.1.8.2 tls __v2si __losi = __builtin_ia32_cvtps2pi (__losf); 702 1.1.1.1.8.2 tls return (__m64) __builtin_ia32_packssdw (__hisi, __losi); 703 1.1.1.1.8.2 tls } 704 1.1.1.1.8.2 tls 705 1.1.1.1.8.2 tls /* Convert the four SPFP values in A to four signed 8-bit integers. */ 706 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 707 1.1.1.1.8.2 tls _mm_cvtps_pi8(__m128 __A) 708 1.1.1.1.8.2 tls { 709 1.1.1.1.8.2 tls __v4hi __tmp = (__v4hi) _mm_cvtps_pi16 (__A); 710 1.1.1.1.8.2 tls return (__m64) __builtin_ia32_packsswb (__tmp, (__v4hi)0LL); 711 1.1.1.1.8.2 tls } 712 1.1.1.1.8.2 tls 713 1.1.1.1.8.2 tls /* Selects four specific SPFP values from A and B based on MASK. */ 714 1.1.1.1.8.2 tls #ifdef __OPTIMIZE__ 715 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 716 1.1.1.1.8.2 tls _mm_shuffle_ps (__m128 __A, __m128 __B, int const __mask) 717 1.1.1.1.8.2 tls { 718 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_shufps ((__v4sf)__A, (__v4sf)__B, __mask); 719 1.1.1.1.8.2 tls } 720 1.1.1.1.8.2 tls #else 721 1.1.1.1.8.2 tls #define _mm_shuffle_ps(A, B, MASK) \ 722 1.1.1.1.8.2 tls ((__m128) __builtin_ia32_shufps ((__v4sf)(__m128)(A), \ 723 1.1.1.1.8.2 tls (__v4sf)(__m128)(B), (int)(MASK))) 724 1.1.1.1.8.2 tls #endif 725 1.1.1.1.8.2 tls 726 1.1.1.1.8.2 tls /* Selects and interleaves the upper two SPFP values from A and B. */ 727 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 728 1.1.1.1.8.2 tls _mm_unpackhi_ps (__m128 __A, __m128 __B) 729 1.1.1.1.8.2 tls { 730 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_unpckhps ((__v4sf)__A, (__v4sf)__B); 731 1.1.1.1.8.2 tls } 732 1.1.1.1.8.2 tls 733 1.1.1.1.8.2 tls /* Selects and interleaves the lower two SPFP values from A and B. */ 734 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 735 1.1.1.1.8.2 tls _mm_unpacklo_ps (__m128 __A, __m128 __B) 736 1.1.1.1.8.2 tls { 737 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_unpcklps ((__v4sf)__A, (__v4sf)__B); 738 1.1.1.1.8.2 tls } 739 1.1.1.1.8.2 tls 740 1.1.1.1.8.2 tls /* Sets the upper two SPFP values with 64-bits of data loaded from P; 741 1.1.1.1.8.2 tls the lower two values are passed through from A. */ 742 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 743 1.1.1.1.8.2 tls _mm_loadh_pi (__m128 __A, __m64 const *__P) 744 1.1.1.1.8.2 tls { 745 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_loadhps ((__v4sf)__A, (const __v2sf *)__P); 746 1.1.1.1.8.2 tls } 747 1.1.1.1.8.2 tls 748 1.1.1.1.8.2 tls /* Stores the upper two SPFP values of A into P. */ 749 1.1.1.1.8.2 tls extern __inline void __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 750 1.1.1.1.8.2 tls _mm_storeh_pi (__m64 *__P, __m128 __A) 751 1.1.1.1.8.2 tls { 752 1.1.1.1.8.2 tls __builtin_ia32_storehps ((__v2sf *)__P, (__v4sf)__A); 753 1.1.1.1.8.2 tls } 754 1.1.1.1.8.2 tls 755 1.1.1.1.8.2 tls /* Moves the upper two values of B into the lower two values of A. */ 756 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 757 1.1.1.1.8.2 tls _mm_movehl_ps (__m128 __A, __m128 __B) 758 1.1.1.1.8.2 tls { 759 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_movhlps ((__v4sf)__A, (__v4sf)__B); 760 1.1.1.1.8.2 tls } 761 1.1.1.1.8.2 tls 762 1.1.1.1.8.2 tls /* Moves the lower two values of B into the upper two values of A. */ 763 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 764 1.1.1.1.8.2 tls _mm_movelh_ps (__m128 __A, __m128 __B) 765 1.1.1.1.8.2 tls { 766 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_movlhps ((__v4sf)__A, (__v4sf)__B); 767 1.1.1.1.8.2 tls } 768 1.1.1.1.8.2 tls 769 1.1.1.1.8.2 tls /* Sets the lower two SPFP values with 64-bits of data loaded from P; 770 1.1.1.1.8.2 tls the upper two values are passed through from A. */ 771 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 772 1.1.1.1.8.2 tls _mm_loadl_pi (__m128 __A, __m64 const *__P) 773 1.1.1.1.8.2 tls { 774 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_loadlps ((__v4sf)__A, (const __v2sf *)__P); 775 1.1.1.1.8.2 tls } 776 1.1.1.1.8.2 tls 777 1.1.1.1.8.2 tls /* Stores the lower two SPFP values of A into P. */ 778 1.1.1.1.8.2 tls extern __inline void __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 779 1.1.1.1.8.2 tls _mm_storel_pi (__m64 *__P, __m128 __A) 780 1.1.1.1.8.2 tls { 781 1.1.1.1.8.2 tls __builtin_ia32_storelps ((__v2sf *)__P, (__v4sf)__A); 782 1.1.1.1.8.2 tls } 783 1.1.1.1.8.2 tls 784 1.1.1.1.8.2 tls /* Creates a 4-bit mask from the most significant bits of the SPFP values. */ 785 1.1.1.1.8.2 tls extern __inline int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 786 1.1.1.1.8.2 tls _mm_movemask_ps (__m128 __A) 787 1.1.1.1.8.2 tls { 788 1.1.1.1.8.2 tls return __builtin_ia32_movmskps ((__v4sf)__A); 789 1.1.1.1.8.2 tls } 790 1.1.1.1.8.2 tls 791 1.1.1.1.8.2 tls /* Return the contents of the control register. */ 792 1.1.1.1.8.2 tls extern __inline unsigned int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 793 1.1.1.1.8.2 tls _mm_getcsr (void) 794 1.1.1.1.8.2 tls { 795 1.1.1.1.8.2 tls return __builtin_ia32_stmxcsr (); 796 1.1.1.1.8.2 tls } 797 1.1.1.1.8.2 tls 798 1.1.1.1.8.2 tls /* Read exception bits from the control register. */ 799 1.1.1.1.8.2 tls extern __inline unsigned int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 800 1.1.1.1.8.2 tls _MM_GET_EXCEPTION_STATE (void) 801 1.1.1.1.8.2 tls { 802 1.1.1.1.8.2 tls return _mm_getcsr() & _MM_EXCEPT_MASK; 803 1.1.1.1.8.2 tls } 804 1.1.1.1.8.2 tls 805 1.1.1.1.8.2 tls extern __inline unsigned int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 806 1.1.1.1.8.2 tls _MM_GET_EXCEPTION_MASK (void) 807 1.1.1.1.8.2 tls { 808 1.1.1.1.8.2 tls return _mm_getcsr() & _MM_MASK_MASK; 809 1.1.1.1.8.2 tls } 810 1.1.1.1.8.2 tls 811 1.1.1.1.8.2 tls extern __inline unsigned int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 812 1.1.1.1.8.2 tls _MM_GET_ROUNDING_MODE (void) 813 1.1.1.1.8.2 tls { 814 1.1.1.1.8.2 tls return _mm_getcsr() & _MM_ROUND_MASK; 815 1.1.1.1.8.2 tls } 816 1.1.1.1.8.2 tls 817 1.1.1.1.8.2 tls extern __inline unsigned int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 818 1.1.1.1.8.2 tls _MM_GET_FLUSH_ZERO_MODE (void) 819 1.1.1.1.8.2 tls { 820 1.1.1.1.8.2 tls return _mm_getcsr() & _MM_FLUSH_ZERO_MASK; 821 1.1.1.1.8.2 tls } 822 1.1.1.1.8.2 tls 823 1.1.1.1.8.2 tls /* Set the control register to I. */ 824 1.1.1.1.8.2 tls extern __inline void __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 825 1.1.1.1.8.2 tls _mm_setcsr (unsigned int __I) 826 1.1.1.1.8.2 tls { 827 1.1.1.1.8.2 tls __builtin_ia32_ldmxcsr (__I); 828 1.1.1.1.8.2 tls } 829 1.1.1.1.8.2 tls 830 1.1.1.1.8.2 tls /* Set exception bits in the control register. */ 831 1.1.1.1.8.2 tls extern __inline void __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 832 1.1.1.1.8.2 tls _MM_SET_EXCEPTION_STATE(unsigned int __mask) 833 1.1.1.1.8.2 tls { 834 1.1.1.1.8.2 tls _mm_setcsr((_mm_getcsr() & ~_MM_EXCEPT_MASK) | __mask); 835 1.1.1.1.8.2 tls } 836 1.1.1.1.8.2 tls 837 1.1.1.1.8.2 tls extern __inline void __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 838 1.1.1.1.8.2 tls _MM_SET_EXCEPTION_MASK (unsigned int __mask) 839 1.1.1.1.8.2 tls { 840 1.1.1.1.8.2 tls _mm_setcsr((_mm_getcsr() & ~_MM_MASK_MASK) | __mask); 841 1.1.1.1.8.2 tls } 842 1.1.1.1.8.2 tls 843 1.1.1.1.8.2 tls extern __inline void __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 844 1.1.1.1.8.2 tls _MM_SET_ROUNDING_MODE (unsigned int __mode) 845 1.1.1.1.8.2 tls { 846 1.1.1.1.8.2 tls _mm_setcsr((_mm_getcsr() & ~_MM_ROUND_MASK) | __mode); 847 1.1.1.1.8.2 tls } 848 1.1.1.1.8.2 tls 849 1.1.1.1.8.2 tls extern __inline void __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 850 1.1.1.1.8.2 tls _MM_SET_FLUSH_ZERO_MODE (unsigned int __mode) 851 1.1.1.1.8.2 tls { 852 1.1.1.1.8.2 tls _mm_setcsr((_mm_getcsr() & ~_MM_FLUSH_ZERO_MASK) | __mode); 853 1.1.1.1.8.2 tls } 854 1.1.1.1.8.2 tls 855 1.1.1.1.8.2 tls /* Create a vector with element 0 as F and the rest zero. */ 856 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 857 1.1.1.1.8.2 tls _mm_set_ss (float __F) 858 1.1.1.1.8.2 tls { 859 1.1.1.1.8.2 tls return __extension__ (__m128)(__v4sf){ __F, 0.0f, 0.0f, 0.0f }; 860 1.1.1.1.8.2 tls } 861 1.1.1.1.8.2 tls 862 1.1.1.1.8.2 tls /* Create a vector with all four elements equal to F. */ 863 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 864 1.1.1.1.8.2 tls _mm_set1_ps (float __F) 865 1.1.1.1.8.2 tls { 866 1.1.1.1.8.2 tls return __extension__ (__m128)(__v4sf){ __F, __F, __F, __F }; 867 1.1.1.1.8.2 tls } 868 1.1.1.1.8.2 tls 869 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 870 1.1.1.1.8.2 tls _mm_set_ps1 (float __F) 871 1.1.1.1.8.2 tls { 872 1.1.1.1.8.2 tls return _mm_set1_ps (__F); 873 1.1.1.1.8.2 tls } 874 1.1.1.1.8.2 tls 875 1.1.1.1.8.2 tls /* Create a vector with element 0 as *P and the rest zero. */ 876 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 877 1.1.1.1.8.2 tls _mm_load_ss (float const *__P) 878 1.1.1.1.8.2 tls { 879 1.1.1.1.8.2 tls return _mm_set_ss (*__P); 880 1.1.1.1.8.2 tls } 881 1.1.1.1.8.2 tls 882 1.1.1.1.8.2 tls /* Create a vector with all four elements equal to *P. */ 883 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 884 1.1.1.1.8.2 tls _mm_load1_ps (float const *__P) 885 1.1.1.1.8.2 tls { 886 1.1.1.1.8.2 tls return _mm_set1_ps (*__P); 887 1.1.1.1.8.2 tls } 888 1.1.1.1.8.2 tls 889 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 890 1.1.1.1.8.2 tls _mm_load_ps1 (float const *__P) 891 1.1.1.1.8.2 tls { 892 1.1.1.1.8.2 tls return _mm_load1_ps (__P); 893 1.1.1.1.8.2 tls } 894 1.1.1.1.8.2 tls 895 1.1.1.1.8.2 tls /* Load four SPFP values from P. The address must be 16-byte aligned. */ 896 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 897 1.1.1.1.8.2 tls _mm_load_ps (float const *__P) 898 1.1.1.1.8.2 tls { 899 1.1.1.1.8.2 tls return (__m128) *(__v4sf *)__P; 900 1.1.1.1.8.2 tls } 901 1.1.1.1.8.2 tls 902 1.1.1.1.8.2 tls /* Load four SPFP values from P. The address need not be 16-byte aligned. */ 903 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 904 1.1.1.1.8.2 tls _mm_loadu_ps (float const *__P) 905 1.1.1.1.8.2 tls { 906 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_loadups (__P); 907 1.1.1.1.8.2 tls } 908 1.1.1.1.8.2 tls 909 1.1.1.1.8.2 tls /* Load four SPFP values in reverse order. The address must be aligned. */ 910 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 911 1.1.1.1.8.2 tls _mm_loadr_ps (float const *__P) 912 1.1.1.1.8.2 tls { 913 1.1.1.1.8.2 tls __v4sf __tmp = *(__v4sf *)__P; 914 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_shufps (__tmp, __tmp, _MM_SHUFFLE (0,1,2,3)); 915 1.1.1.1.8.2 tls } 916 1.1.1.1.8.2 tls 917 1.1.1.1.8.2 tls /* Create the vector [Z Y X W]. */ 918 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 919 1.1.1.1.8.2 tls _mm_set_ps (const float __Z, const float __Y, const float __X, const float __W) 920 1.1.1.1.8.2 tls { 921 1.1.1.1.8.2 tls return __extension__ (__m128)(__v4sf){ __W, __X, __Y, __Z }; 922 1.1.1.1.8.2 tls } 923 1.1.1.1.8.2 tls 924 1.1.1.1.8.2 tls /* Create the vector [W X Y Z]. */ 925 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 926 1.1.1.1.8.2 tls _mm_setr_ps (float __Z, float __Y, float __X, float __W) 927 1.1.1.1.8.2 tls { 928 1.1.1.1.8.2 tls return __extension__ (__m128)(__v4sf){ __Z, __Y, __X, __W }; 929 1.1.1.1.8.2 tls } 930 1.1.1.1.8.2 tls 931 1.1.1.1.8.2 tls /* Stores the lower SPFP value. */ 932 1.1.1.1.8.2 tls extern __inline void __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 933 1.1.1.1.8.2 tls _mm_store_ss (float *__P, __m128 __A) 934 1.1.1.1.8.2 tls { 935 1.1.1.1.8.2 tls *__P = __builtin_ia32_vec_ext_v4sf ((__v4sf)__A, 0); 936 1.1.1.1.8.2 tls } 937 1.1.1.1.8.2 tls 938 1.1.1.1.8.2 tls extern __inline float __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 939 1.1.1.1.8.2 tls _mm_cvtss_f32 (__m128 __A) 940 1.1.1.1.8.2 tls { 941 1.1.1.1.8.2 tls return __builtin_ia32_vec_ext_v4sf ((__v4sf)__A, 0); 942 1.1.1.1.8.2 tls } 943 1.1.1.1.8.2 tls 944 1.1.1.1.8.2 tls /* Store four SPFP values. The address must be 16-byte aligned. */ 945 1.1.1.1.8.2 tls extern __inline void __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 946 1.1.1.1.8.2 tls _mm_store_ps (float *__P, __m128 __A) 947 1.1.1.1.8.2 tls { 948 1.1.1.1.8.2 tls *(__v4sf *)__P = (__v4sf)__A; 949 1.1.1.1.8.2 tls } 950 1.1.1.1.8.2 tls 951 1.1.1.1.8.2 tls /* Store four SPFP values. The address need not be 16-byte aligned. */ 952 1.1.1.1.8.2 tls extern __inline void __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 953 1.1.1.1.8.2 tls _mm_storeu_ps (float *__P, __m128 __A) 954 1.1.1.1.8.2 tls { 955 1.1.1.1.8.2 tls __builtin_ia32_storeups (__P, (__v4sf)__A); 956 1.1.1.1.8.2 tls } 957 1.1.1.1.8.2 tls 958 1.1.1.1.8.2 tls /* Store the lower SPFP value across four words. */ 959 1.1.1.1.8.2 tls extern __inline void __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 960 1.1.1.1.8.2 tls _mm_store1_ps (float *__P, __m128 __A) 961 1.1.1.1.8.2 tls { 962 1.1.1.1.8.2 tls __v4sf __va = (__v4sf)__A; 963 1.1.1.1.8.2 tls __v4sf __tmp = __builtin_ia32_shufps (__va, __va, _MM_SHUFFLE (0,0,0,0)); 964 1.1.1.1.8.2 tls _mm_storeu_ps (__P, __tmp); 965 1.1.1.1.8.2 tls } 966 1.1.1.1.8.2 tls 967 1.1.1.1.8.2 tls extern __inline void __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 968 1.1.1.1.8.2 tls _mm_store_ps1 (float *__P, __m128 __A) 969 1.1.1.1.8.2 tls { 970 1.1.1.1.8.2 tls _mm_store1_ps (__P, __A); 971 1.1.1.1.8.2 tls } 972 1.1.1.1.8.2 tls 973 1.1.1.1.8.2 tls /* Store four SPFP values in reverse order. The address must be aligned. */ 974 1.1.1.1.8.2 tls extern __inline void __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 975 1.1.1.1.8.2 tls _mm_storer_ps (float *__P, __m128 __A) 976 1.1.1.1.8.2 tls { 977 1.1.1.1.8.2 tls __v4sf __va = (__v4sf)__A; 978 1.1.1.1.8.2 tls __v4sf __tmp = __builtin_ia32_shufps (__va, __va, _MM_SHUFFLE (0,1,2,3)); 979 1.1.1.1.8.2 tls _mm_store_ps (__P, __tmp); 980 1.1.1.1.8.2 tls } 981 1.1.1.1.8.2 tls 982 1.1.1.1.8.2 tls /* Sets the low SPFP value of A from the low value of B. */ 983 1.1.1.1.8.2 tls extern __inline __m128 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 984 1.1.1.1.8.2 tls _mm_move_ss (__m128 __A, __m128 __B) 985 1.1.1.1.8.2 tls { 986 1.1.1.1.8.2 tls return (__m128) __builtin_ia32_movss ((__v4sf)__A, (__v4sf)__B); 987 1.1.1.1.8.2 tls } 988 1.1.1.1.8.2 tls 989 1.1.1.1.8.2 tls /* Extracts one of the four words of A. The selector N must be immediate. */ 990 1.1.1.1.8.2 tls #ifdef __OPTIMIZE__ 991 1.1.1.1.8.2 tls extern __inline int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 992 1.1.1.1.8.2 tls _mm_extract_pi16 (__m64 const __A, int const __N) 993 1.1.1.1.8.2 tls { 994 1.1.1.1.8.2 tls return __builtin_ia32_vec_ext_v4hi ((__v4hi)__A, __N); 995 1.1.1.1.8.2 tls } 996 1.1.1.1.8.2 tls 997 1.1.1.1.8.2 tls extern __inline int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 998 1.1.1.1.8.2 tls _m_pextrw (__m64 const __A, int const __N) 999 1.1.1.1.8.2 tls { 1000 1.1.1.1.8.2 tls return _mm_extract_pi16 (__A, __N); 1001 1.1.1.1.8.2 tls } 1002 1.1.1.1.8.2 tls #else 1003 1.1.1.1.8.2 tls #define _mm_extract_pi16(A, N) \ 1004 1.1.1.1.8.2 tls ((int) __builtin_ia32_vec_ext_v4hi ((__v4hi)(__m64)(A), (int)(N))) 1005 1.1.1.1.8.2 tls 1006 1.1.1.1.8.2 tls #define _m_pextrw(A, N) _mm_extract_pi16(A, N) 1007 1.1.1.1.8.2 tls #endif 1008 1.1.1.1.8.2 tls 1009 1.1.1.1.8.2 tls /* Inserts word D into one of four words of A. The selector N must be 1010 1.1.1.1.8.2 tls immediate. */ 1011 1.1.1.1.8.2 tls #ifdef __OPTIMIZE__ 1012 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1013 1.1.1.1.8.2 tls _mm_insert_pi16 (__m64 const __A, int const __D, int const __N) 1014 1.1.1.1.8.2 tls { 1015 1.1.1.1.8.2 tls return (__m64) __builtin_ia32_vec_set_v4hi ((__v4hi)__A, __D, __N); 1016 1.1.1.1.8.2 tls } 1017 1.1.1.1.8.2 tls 1018 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1019 1.1.1.1.8.2 tls _m_pinsrw (__m64 const __A, int const __D, int const __N) 1020 1.1.1.1.8.2 tls { 1021 1.1.1.1.8.2 tls return _mm_insert_pi16 (__A, __D, __N); 1022 1.1.1.1.8.2 tls } 1023 1.1.1.1.8.2 tls #else 1024 1.1.1.1.8.2 tls #define _mm_insert_pi16(A, D, N) \ 1025 1.1.1.1.8.2 tls ((__m64) __builtin_ia32_vec_set_v4hi ((__v4hi)(__m64)(A), \ 1026 1.1.1.1.8.2 tls (int)(D), (int)(N))) 1027 1.1.1.1.8.2 tls 1028 1.1.1.1.8.2 tls #define _m_pinsrw(A, D, N) _mm_insert_pi16(A, D, N) 1029 1.1.1.1.8.2 tls #endif 1030 1.1.1.1.8.2 tls 1031 1.1.1.1.8.2 tls /* Compute the element-wise maximum of signed 16-bit values. */ 1032 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1033 1.1.1.1.8.2 tls _mm_max_pi16 (__m64 __A, __m64 __B) 1034 1.1.1.1.8.2 tls { 1035 1.1.1.1.8.2 tls return (__m64) __builtin_ia32_pmaxsw ((__v4hi)__A, (__v4hi)__B); 1036 1.1.1.1.8.2 tls } 1037 1.1.1.1.8.2 tls 1038 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1039 1.1.1.1.8.2 tls _m_pmaxsw (__m64 __A, __m64 __B) 1040 1.1.1.1.8.2 tls { 1041 1.1.1.1.8.2 tls return _mm_max_pi16 (__A, __B); 1042 1.1.1.1.8.2 tls } 1043 1.1.1.1.8.2 tls 1044 1.1.1.1.8.2 tls /* Compute the element-wise maximum of unsigned 8-bit values. */ 1045 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1046 1.1.1.1.8.2 tls _mm_max_pu8 (__m64 __A, __m64 __B) 1047 1.1.1.1.8.2 tls { 1048 1.1.1.1.8.2 tls return (__m64) __builtin_ia32_pmaxub ((__v8qi)__A, (__v8qi)__B); 1049 1.1.1.1.8.2 tls } 1050 1.1.1.1.8.2 tls 1051 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1052 1.1.1.1.8.2 tls _m_pmaxub (__m64 __A, __m64 __B) 1053 1.1.1.1.8.2 tls { 1054 1.1.1.1.8.2 tls return _mm_max_pu8 (__A, __B); 1055 1.1.1.1.8.2 tls } 1056 1.1.1.1.8.2 tls 1057 1.1.1.1.8.2 tls /* Compute the element-wise minimum of signed 16-bit values. */ 1058 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1059 1.1.1.1.8.2 tls _mm_min_pi16 (__m64 __A, __m64 __B) 1060 1.1.1.1.8.2 tls { 1061 1.1.1.1.8.2 tls return (__m64) __builtin_ia32_pminsw ((__v4hi)__A, (__v4hi)__B); 1062 1.1.1.1.8.2 tls } 1063 1.1.1.1.8.2 tls 1064 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1065 1.1.1.1.8.2 tls _m_pminsw (__m64 __A, __m64 __B) 1066 1.1.1.1.8.2 tls { 1067 1.1.1.1.8.2 tls return _mm_min_pi16 (__A, __B); 1068 1.1.1.1.8.2 tls } 1069 1.1.1.1.8.2 tls 1070 1.1.1.1.8.2 tls /* Compute the element-wise minimum of unsigned 8-bit values. */ 1071 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1072 1.1.1.1.8.2 tls _mm_min_pu8 (__m64 __A, __m64 __B) 1073 1.1.1.1.8.2 tls { 1074 1.1.1.1.8.2 tls return (__m64) __builtin_ia32_pminub ((__v8qi)__A, (__v8qi)__B); 1075 1.1.1.1.8.2 tls } 1076 1.1.1.1.8.2 tls 1077 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1078 1.1.1.1.8.2 tls _m_pminub (__m64 __A, __m64 __B) 1079 1.1.1.1.8.2 tls { 1080 1.1.1.1.8.2 tls return _mm_min_pu8 (__A, __B); 1081 1.1.1.1.8.2 tls } 1082 1.1.1.1.8.2 tls 1083 1.1.1.1.8.2 tls /* Create an 8-bit mask of the signs of 8-bit values. */ 1084 1.1.1.1.8.2 tls extern __inline int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1085 1.1.1.1.8.2 tls _mm_movemask_pi8 (__m64 __A) 1086 1.1.1.1.8.2 tls { 1087 1.1.1.1.8.2 tls return __builtin_ia32_pmovmskb ((__v8qi)__A); 1088 1.1.1.1.8.2 tls } 1089 1.1.1.1.8.2 tls 1090 1.1.1.1.8.2 tls extern __inline int __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1091 1.1.1.1.8.2 tls _m_pmovmskb (__m64 __A) 1092 1.1.1.1.8.2 tls { 1093 1.1.1.1.8.2 tls return _mm_movemask_pi8 (__A); 1094 1.1.1.1.8.2 tls } 1095 1.1.1.1.8.2 tls 1096 1.1.1.1.8.2 tls /* Multiply four unsigned 16-bit values in A by four unsigned 16-bit values 1097 1.1.1.1.8.2 tls in B and produce the high 16 bits of the 32-bit results. */ 1098 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1099 1.1.1.1.8.2 tls _mm_mulhi_pu16 (__m64 __A, __m64 __B) 1100 1.1.1.1.8.2 tls { 1101 1.1.1.1.8.2 tls return (__m64) __builtin_ia32_pmulhuw ((__v4hi)__A, (__v4hi)__B); 1102 1.1.1.1.8.2 tls } 1103 1.1.1.1.8.2 tls 1104 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1105 1.1.1.1.8.2 tls _m_pmulhuw (__m64 __A, __m64 __B) 1106 1.1.1.1.8.2 tls { 1107 1.1.1.1.8.2 tls return _mm_mulhi_pu16 (__A, __B); 1108 1.1.1.1.8.2 tls } 1109 1.1.1.1.8.2 tls 1110 1.1.1.1.8.2 tls /* Return a combination of the four 16-bit values in A. The selector 1111 1.1.1.1.8.2 tls must be an immediate. */ 1112 1.1.1.1.8.2 tls #ifdef __OPTIMIZE__ 1113 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1114 1.1.1.1.8.2 tls _mm_shuffle_pi16 (__m64 __A, int const __N) 1115 1.1.1.1.8.2 tls { 1116 1.1.1.1.8.2 tls return (__m64) __builtin_ia32_pshufw ((__v4hi)__A, __N); 1117 1.1.1.1.8.2 tls } 1118 1.1.1.1.8.2 tls 1119 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1120 1.1.1.1.8.2 tls _m_pshufw (__m64 __A, int const __N) 1121 1.1.1.1.8.2 tls { 1122 1.1.1.1.8.2 tls return _mm_shuffle_pi16 (__A, __N); 1123 1.1.1.1.8.2 tls } 1124 1.1.1.1.8.2 tls #else 1125 1.1.1.1.8.2 tls #define _mm_shuffle_pi16(A, N) \ 1126 1.1.1.1.8.2 tls ((__m64) __builtin_ia32_pshufw ((__v4hi)(__m64)(A), (int)(N))) 1127 1.1.1.1.8.2 tls 1128 1.1.1.1.8.2 tls #define _m_pshufw(A, N) _mm_shuffle_pi16 (A, N) 1129 1.1.1.1.8.2 tls #endif 1130 1.1.1.1.8.2 tls 1131 1.1.1.1.8.2 tls /* Conditionally store byte elements of A into P. The high bit of each 1132 1.1.1.1.8.2 tls byte in the selector N determines whether the corresponding byte from 1133 1.1.1.1.8.2 tls A is stored. */ 1134 1.1.1.1.8.2 tls extern __inline void __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1135 1.1.1.1.8.2 tls _mm_maskmove_si64 (__m64 __A, __m64 __N, char *__P) 1136 1.1.1.1.8.2 tls { 1137 1.1.1.1.8.2 tls __builtin_ia32_maskmovq ((__v8qi)__A, (__v8qi)__N, __P); 1138 1.1.1.1.8.2 tls } 1139 1.1.1.1.8.2 tls 1140 1.1.1.1.8.2 tls extern __inline void __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1141 1.1.1.1.8.2 tls _m_maskmovq (__m64 __A, __m64 __N, char *__P) 1142 1.1.1.1.8.2 tls { 1143 1.1.1.1.8.2 tls _mm_maskmove_si64 (__A, __N, __P); 1144 1.1.1.1.8.2 tls } 1145 1.1.1.1.8.2 tls 1146 1.1.1.1.8.2 tls /* Compute the rounded averages of the unsigned 8-bit values in A and B. */ 1147 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1148 1.1.1.1.8.2 tls _mm_avg_pu8 (__m64 __A, __m64 __B) 1149 1.1.1.1.8.2 tls { 1150 1.1.1.1.8.2 tls return (__m64) __builtin_ia32_pavgb ((__v8qi)__A, (__v8qi)__B); 1151 1.1.1.1.8.2 tls } 1152 1.1.1.1.8.2 tls 1153 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1154 1.1.1.1.8.2 tls _m_pavgb (__m64 __A, __m64 __B) 1155 1.1.1.1.8.2 tls { 1156 1.1.1.1.8.2 tls return _mm_avg_pu8 (__A, __B); 1157 1.1.1.1.8.2 tls } 1158 1.1.1.1.8.2 tls 1159 1.1.1.1.8.2 tls /* Compute the rounded averages of the unsigned 16-bit values in A and B. */ 1160 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1161 1.1.1.1.8.2 tls _mm_avg_pu16 (__m64 __A, __m64 __B) 1162 1.1.1.1.8.2 tls { 1163 1.1.1.1.8.2 tls return (__m64) __builtin_ia32_pavgw ((__v4hi)__A, (__v4hi)__B); 1164 1.1.1.1.8.2 tls } 1165 1.1.1.1.8.2 tls 1166 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1167 1.1.1.1.8.2 tls _m_pavgw (__m64 __A, __m64 __B) 1168 1.1.1.1.8.2 tls { 1169 1.1.1.1.8.2 tls return _mm_avg_pu16 (__A, __B); 1170 1.1.1.1.8.2 tls } 1171 1.1.1.1.8.2 tls 1172 1.1.1.1.8.2 tls /* Compute the sum of the absolute differences of the unsigned 8-bit 1173 1.1.1.1.8.2 tls values in A and B. Return the value in the lower 16-bit word; the 1174 1.1.1.1.8.2 tls upper words are cleared. */ 1175 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1176 1.1.1.1.8.2 tls _mm_sad_pu8 (__m64 __A, __m64 __B) 1177 1.1.1.1.8.2 tls { 1178 1.1.1.1.8.2 tls return (__m64) __builtin_ia32_psadbw ((__v8qi)__A, (__v8qi)__B); 1179 1.1.1.1.8.2 tls } 1180 1.1.1.1.8.2 tls 1181 1.1.1.1.8.2 tls extern __inline __m64 __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1182 1.1.1.1.8.2 tls _m_psadbw (__m64 __A, __m64 __B) 1183 1.1.1.1.8.2 tls { 1184 1.1.1.1.8.2 tls return _mm_sad_pu8 (__A, __B); 1185 1.1.1.1.8.2 tls } 1186 1.1.1.1.8.2 tls 1187 1.1.1.1.8.2 tls /* Loads one cache line from address P to a location "closer" to the 1188 1.1.1.1.8.2 tls processor. The selector I specifies the type of prefetch operation. */ 1189 1.1.1.1.8.2 tls #ifdef __OPTIMIZE__ 1190 1.1.1.1.8.2 tls extern __inline void __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1191 1.1.1.1.8.2 tls _mm_prefetch (const void *__P, enum _mm_hint __I) 1192 1.1.1.1.8.2 tls { 1193 1.1.1.1.8.2 tls __builtin_prefetch (__P, 0, __I); 1194 1.1.1.1.8.2 tls } 1195 1.1.1.1.8.2 tls #else 1196 1.1.1.1.8.2 tls #define _mm_prefetch(P, I) \ 1197 1.1.1.1.8.2 tls __builtin_prefetch ((P), 0, (I)) 1198 1.1.1.1.8.2 tls #endif 1199 1.1.1.1.8.2 tls 1200 1.1.1.1.8.2 tls /* Stores the data in A to the address P without polluting the caches. */ 1201 1.1.1.1.8.2 tls extern __inline void __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1202 1.1.1.1.8.2 tls _mm_stream_pi (__m64 *__P, __m64 __A) 1203 1.1.1.1.8.2 tls { 1204 1.1.1.1.8.2 tls __builtin_ia32_movntq ((unsigned long long *)__P, (unsigned long long)__A); 1205 1.1.1.1.8.2 tls } 1206 1.1.1.1.8.2 tls 1207 1.1.1.1.8.2 tls /* Likewise. The address must be 16-byte aligned. */ 1208 1.1.1.1.8.2 tls extern __inline void __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1209 1.1.1.1.8.2 tls _mm_stream_ps (float *__P, __m128 __A) 1210 1.1.1.1.8.2 tls { 1211 1.1.1.1.8.2 tls __builtin_ia32_movntps (__P, (__v4sf)__A); 1212 1.1.1.1.8.2 tls } 1213 1.1.1.1.8.2 tls 1214 1.1.1.1.8.2 tls /* Guarantees that every preceding store is globally visible before 1215 1.1.1.1.8.2 tls any subsequent store. */ 1216 1.1.1.1.8.2 tls extern __inline void __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1217 1.1.1.1.8.2 tls _mm_sfence (void) 1218 1.1.1.1.8.2 tls { 1219 1.1.1.1.8.2 tls __builtin_ia32_sfence (); 1220 1.1.1.1.8.2 tls } 1221 1.1.1.1.8.2 tls 1222 1.1.1.1.8.2 tls /* The execution of the next instruction is delayed by an implementation 1223 1.1.1.1.8.2 tls specific amount of time. The instruction does not modify the 1224 1.1.1.1.8.2 tls architectural state. */ 1225 1.1.1.1.8.2 tls extern __inline void __attribute__((__gnu_inline__, __always_inline__, __artificial__)) 1226 1.1.1.1.8.2 tls _mm_pause (void) 1227 1.1.1.1.8.2 tls { 1228 1.1.1.1.8.2 tls __asm__ __volatile__ ("rep; nop" : : ); 1229 1.1.1.1.8.2 tls } 1230 1.1.1.1.8.2 tls 1231 1.1.1.1.8.2 tls /* Transpose the 4x4 matrix composed of row[0-3]. */ 1232 1.1.1.1.8.2 tls #define _MM_TRANSPOSE4_PS(row0, row1, row2, row3) \ 1233 1.1.1.1.8.2 tls do { \ 1234 1.1.1.1.8.2 tls __v4sf __r0 = (row0), __r1 = (row1), __r2 = (row2), __r3 = (row3); \ 1235 1.1.1.1.8.2 tls __v4sf __t0 = __builtin_ia32_unpcklps (__r0, __r1); \ 1236 1.1.1.1.8.2 tls __v4sf __t1 = __builtin_ia32_unpcklps (__r2, __r3); \ 1237 1.1.1.1.8.2 tls __v4sf __t2 = __builtin_ia32_unpckhps (__r0, __r1); \ 1238 1.1.1.1.8.2 tls __v4sf __t3 = __builtin_ia32_unpckhps (__r2, __r3); \ 1239 1.1.1.1.8.2 tls (row0) = __builtin_ia32_movlhps (__t0, __t1); \ 1240 1.1.1.1.8.2 tls (row1) = __builtin_ia32_movhlps (__t1, __t0); \ 1241 1.1.1.1.8.2 tls (row2) = __builtin_ia32_movlhps (__t2, __t3); \ 1242 1.1.1.1.8.2 tls (row3) = __builtin_ia32_movhlps (__t3, __t2); \ 1243 1.1.1.1.8.2 tls } while (0) 1244 1.1.1.1.8.2 tls 1245 1.1.1.1.8.2 tls /* For backward source compatibility. */ 1246 1.1.1.1.8.2 tls #ifdef __SSE2__ 1247 1.1.1.1.8.2 tls # include <emmintrin.h> 1248 1.1.1.1.8.2 tls #endif 1249 1.1.1.1.8.2 tls 1250 1.1.1.1.8.2 tls #endif /* __SSE__ */ 1251 1.1.1.1.8.2 tls #endif /* _XMMINTRIN_H_INCLUDED */ 1252
Indexes created Sat Mar 28 00:23:22 UTC 2026