diff options
Diffstat (limited to 'arch/sparc/lib/atomic_64.S')
| -rw-r--r-- | arch/sparc/lib/atomic_64.S | 36 |
1 files changed, 16 insertions, 20 deletions
diff --git a/arch/sparc/lib/atomic_64.S b/arch/sparc/lib/atomic_64.S index 0268210ca168..59186e0fcf39 100644 --- a/arch/sparc/lib/atomic_64.S +++ b/arch/sparc/lib/atomic_64.S | |||
| @@ -21,7 +21,7 @@ atomic_add: /* %o0 = increment, %o1 = atomic_ptr */ | |||
| 21 | add %g1, %o0, %g7 | 21 | add %g1, %o0, %g7 |
| 22 | cas [%o1], %g1, %g7 | 22 | cas [%o1], %g1, %g7 |
| 23 | cmp %g1, %g7 | 23 | cmp %g1, %g7 |
| 24 | bne,pn %icc, 2f | 24 | bne,pn %icc, BACKOFF_LABEL(2f, 1b) |
| 25 | nop | 25 | nop |
| 26 | retl | 26 | retl |
| 27 | nop | 27 | nop |
| @@ -36,7 +36,7 @@ atomic_sub: /* %o0 = decrement, %o1 = atomic_ptr */ | |||
| 36 | sub %g1, %o0, %g7 | 36 | sub %g1, %o0, %g7 |
| 37 | cas [%o1], %g1, %g7 | 37 | cas [%o1], %g1, %g7 |
| 38 | cmp %g1, %g7 | 38 | cmp %g1, %g7 |
| 39 | bne,pn %icc, 2f | 39 | bne,pn %icc, BACKOFF_LABEL(2f, 1b) |
| 40 | nop | 40 | nop |
| 41 | retl | 41 | retl |
| 42 | nop | 42 | nop |
| @@ -51,11 +51,10 @@ atomic_add_ret: /* %o0 = increment, %o1 = atomic_ptr */ | |||
| 51 | add %g1, %o0, %g7 | 51 | add %g1, %o0, %g7 |
| 52 | cas [%o1], %g1, %g7 | 52 | cas [%o1], %g1, %g7 |
| 53 | cmp %g1, %g7 | 53 | cmp %g1, %g7 |
| 54 | bne,pn %icc, 2f | 54 | bne,pn %icc, BACKOFF_LABEL(2f, 1b) |
| 55 | add %g7, %o0, %g7 | 55 | add %g1, %o0, %g1 |
| 56 | sra %g7, 0, %o0 | ||
| 57 | retl | 56 | retl |
| 58 | nop | 57 | sra %g1, 0, %o0 |
| 59 | 2: BACKOFF_SPIN(%o2, %o3, 1b) | 58 | 2: BACKOFF_SPIN(%o2, %o3, 1b) |
| 60 | .size atomic_add_ret, .-atomic_add_ret | 59 | .size atomic_add_ret, .-atomic_add_ret |
| 61 | 60 | ||
| @@ -67,11 +66,10 @@ atomic_sub_ret: /* %o0 = decrement, %o1 = atomic_ptr */ | |||
| 67 | sub %g1, %o0, %g7 | 66 | sub %g1, %o0, %g7 |
| 68 | cas [%o1], %g1, %g7 | 67 | cas [%o1], %g1, %g7 |
| 69 | cmp %g1, %g7 | 68 | cmp %g1, %g7 |
| 70 | bne,pn %icc, 2f | 69 | bne,pn %icc, BACKOFF_LABEL(2f, 1b) |
| 71 | sub %g7, %o0, %g7 | 70 | sub %g1, %o0, %g1 |
| 72 | sra %g7, 0, %o0 | ||
| 73 | retl | 71 | retl |
| 74 | nop | 72 | sra %g1, 0, %o0 |
| 75 | 2: BACKOFF_SPIN(%o2, %o3, 1b) | 73 | 2: BACKOFF_SPIN(%o2, %o3, 1b) |
| 76 | .size atomic_sub_ret, .-atomic_sub_ret | 74 | .size atomic_sub_ret, .-atomic_sub_ret |
| 77 | 75 | ||
| @@ -83,7 +81,7 @@ atomic64_add: /* %o0 = increment, %o1 = atomic_ptr */ | |||
| 83 | add %g1, %o0, %g7 | 81 | add %g1, %o0, %g7 |
| 84 | casx [%o1], %g1, %g7 | 82 | casx [%o1], %g1, %g7 |
| 85 | cmp %g1, %g7 | 83 | cmp %g1, %g7 |
| 86 | bne,pn %xcc, 2f | 84 | bne,pn %xcc, BACKOFF_LABEL(2f, 1b) |
| 87 | nop | 85 | nop |
| 88 | retl | 86 | retl |
| 89 | nop | 87 | nop |
| @@ -98,7 +96,7 @@ atomic64_sub: /* %o0 = decrement, %o1 = atomic_ptr */ | |||
| 98 | sub %g1, %o0, %g7 | 96 | sub %g1, %o0, %g7 |
| 99 | casx [%o1], %g1, %g7 | 97 | casx [%o1], %g1, %g7 |
| 100 | cmp %g1, %g7 | 98 | cmp %g1, %g7 |
| 101 | bne,pn %xcc, 2f | 99 | bne,pn %xcc, BACKOFF_LABEL(2f, 1b) |
| 102 | nop | 100 | nop |
| 103 | retl | 101 | retl |
| 104 | nop | 102 | nop |
| @@ -113,11 +111,10 @@ atomic64_add_ret: /* %o0 = increment, %o1 = atomic_ptr */ | |||
| 113 | add %g1, %o0, %g7 | 111 | add %g1, %o0, %g7 |
| 114 | casx [%o1], %g1, %g7 | 112 | casx [%o1], %g1, %g7 |
| 115 | cmp %g1, %g7 | 113 | cmp %g1, %g7 |
| 116 | bne,pn %xcc, 2f | 114 | bne,pn %xcc, BACKOFF_LABEL(2f, 1b) |
| 117 | add %g7, %o0, %g7 | ||
| 118 | mov %g7, %o0 | ||
| 119 | retl | ||
| 120 | nop | 115 | nop |
| 116 | retl | ||
| 117 | add %g1, %o0, %o0 | ||
| 121 | 2: BACKOFF_SPIN(%o2, %o3, 1b) | 118 | 2: BACKOFF_SPIN(%o2, %o3, 1b) |
| 122 | .size atomic64_add_ret, .-atomic64_add_ret | 119 | .size atomic64_add_ret, .-atomic64_add_ret |
| 123 | 120 | ||
| @@ -129,10 +126,9 @@ atomic64_sub_ret: /* %o0 = decrement, %o1 = atomic_ptr */ | |||
| 129 | sub %g1, %o0, %g7 | 126 | sub %g1, %o0, %g7 |
| 130 | casx [%o1], %g1, %g7 | 127 | casx [%o1], %g1, %g7 |
| 131 | cmp %g1, %g7 | 128 | cmp %g1, %g7 |
| 132 | bne,pn %xcc, 2f | 129 | bne,pn %xcc, BACKOFF_LABEL(2f, 1b) |
| 133 | sub %g7, %o0, %g7 | ||
| 134 | mov %g7, %o0 | ||
| 135 | retl | ||
| 136 | nop | 130 | nop |
| 131 | retl | ||
| 132 | sub %g1, %o0, %o0 | ||
| 137 | 2: BACKOFF_SPIN(%o2, %o3, 1b) | 133 | 2: BACKOFF_SPIN(%o2, %o3, 1b) |
| 138 | .size atomic64_sub_ret, .-atomic64_sub_ret | 134 | .size atomic64_sub_ret, .-atomic64_sub_ret |