Wired Intelligent Edge

last person joined: 2 days ago 

Bring performance and reliability to your network with the Aruba Core, Aggregation, and Access layer switches. Discuss the latest features and functionality of the ArubaOS-Switch and ArubaOS-CX devices, and find ways to improve security across your network to bring together a mobile first solution.
Expand all | Collapse all

Aruba CX UBT Load Balancing

This thread has been viewed 18 times
  • 1.  Aruba CX UBT Load Balancing

    Posted 10 days ago
    Hi All,

    We have two controllers in a cluster for UBT on Aruba CX. When the switch download the bucket-map, it only lists one controller (10.0.200.105) as the A-UAC, so all clients terminate only on one controller in the cluster. I am sure at some point, it did alternate between the controllers in the cluster, but not anymore?

    I noticed one bucket, 236 is flipped around, but that's it.

    This seems to happen on all switches. Any ideas ? Is it something that changed on the controllers/cluster since there is not much tweaking that is done from the switch side ? Anything we can check on the controllers ?

    6300M# sh run ubt
    ubt-client-vlan 4091
    ubt zone default vrf default
    primary-controller ip 10.0.200.104
    backup-controller ip 10.0.200.105
    enable


    6300M# sh ubt state

    =====================================================================
    Zone default:
    =====================================================================

    Local Master Server (LMS) State:

    LMS Type IP Address State Role
    ---------------------------------------------------------------------
    Primary : 10.0.200.104 ready_for_bootstrap operational_primary
    Secondary : 10.0.200.105 ready_for_bootstrap operational_secondary

    Switch Anchor Controller (SAC) State:

    IP Address MAC Address State
    -----------------------------------------------------------------
    Active : 10.0.200.104 00:1a:1e:07:11:b0 registered
    Standby : 10.0.200.105 00:1a:1e:07:07:08 registered

    User Anchor Controller(UAC): 10.0.200.105


    6300M# sh ubt information

    =====================================================================
    Zone default:
    =====================================================================
    SAC Information :

    Active : 10.0.200.104
    Standby : 10.0.200.105

    Node List Information :

    Cluster Name : aruba-wired-cluster

    Cluster Alias Name :

    Node List :
    ----------------
    10.0.200.104
    10.0.200.105

    Bucket Map Information :

    Bucket Map Active : [0...255]

    Bucket ID A-UAC S-UAC Connectivity
    ----------------------------------------------------------
    0 10.0.200.105 10.0.200.104 L2
    1 10.0.200.105 10.0.200.104 L2
    2 10.0.200.105 10.0.200.104 L2
    3 10.0.200.105 10.0.200.104 L2
    4 10.0.200.105 10.0.200.104 L2
    5 10.0.200.105 10.0.200.104 L2
    6 10.0.200.105 10.0.200.104 L2
    7 10.0.200.105 10.0.200.104 L2
    8 10.0.200.105 10.0.200.104 L2
    9 10.0.200.105 10.0.200.104 L2
    10 10.0.200.105 10.0.200.104 L2
    11 10.0.200.105 10.0.200.104 L2
    12 10.0.200.105 10.0.200.104 L2
    13 10.0.200.105 10.0.200.104 L2
    14 10.0.200.105 10.0.200.104 L2
    15 10.0.200.105 10.0.200.104 L2
    16 10.0.200.105 10.0.200.104 L2
    17 10.0.200.105 10.0.200.104 L2
    18 10.0.200.105 10.0.200.104 L2
    19 10.0.200.105 10.0.200.104 L2
    20 10.0.200.105 10.0.200.104 L2
    21 10.0.200.105 10.0.200.104 L2
    22 10.0.200.105 10.0.200.104 L2
    23 10.0.200.105 10.0.200.104 L2
    24 10.0.200.105 10.0.200.104 L2
    25 10.0.200.105 10.0.200.104 L2
    26 10.0.200.105 10.0.200.104 L2
    27 10.0.200.105 10.0.200.104 L2
    28 10.0.200.105 10.0.200.104 L2
    29 10.0.200.105 10.0.200.104 L2
    30 10.0.200.105 10.0.200.104 L2
    31 10.0.200.105 10.0.200.104 L2
    32 10.0.200.105 10.0.200.104 L2
    33 10.0.200.105 10.0.200.104 L2
    34 10.0.200.105 10.0.200.104 L2
    35 10.0.200.105 10.0.200.104 L2
    36 10.0.200.105 10.0.200.104 L2
    37 10.0.200.105 10.0.200.104 L2
    38 10.0.200.105 10.0.200.104 L2
    39 10.0.200.105 10.0.200.104 L2
    40 10.0.200.105 10.0.200.104 L2
    41 10.0.200.105 10.0.200.104 L2
    42 10.0.200.105 10.0.200.104 L2
    43 10.0.200.105 10.0.200.104 L2
    44 10.0.200.105 10.0.200.104 L2
    45 10.0.200.105 10.0.200.104 L2
    46 10.0.200.105 10.0.200.104 L2
    47 10.0.200.105 10.0.200.104 L2
    48 10.0.200.105 10.0.200.104 L2
    49 10.0.200.105 10.0.200.104 L2
    50 10.0.200.105 10.0.200.104 L2
    51 10.0.200.105 10.0.200.104 L2
    52 10.0.200.105 10.0.200.104 L2
    53 10.0.200.105 10.0.200.104 L2
    54 10.0.200.105 10.0.200.104 L2
    55 10.0.200.105 10.0.200.104 L2
    56 10.0.200.105 10.0.200.104 L2
    57 10.0.200.105 10.0.200.104 L2
    58 10.0.200.105 10.0.200.104 L2
    59 10.0.200.105 10.0.200.104 L2
    60 10.0.200.105 10.0.200.104 L2
    61 10.0.200.105 10.0.200.104 L2
    62 10.0.200.105 10.0.200.104 L2
    63 10.0.200.105 10.0.200.104 L2
    64 10.0.200.105 10.0.200.104 L2
    65 10.0.200.105 10.0.200.104 L2
    66 10.0.200.105 10.0.200.104 L2
    67 10.0.200.105 10.0.200.104 L2
    68 10.0.200.105 10.0.200.104 L2
    69 10.0.200.105 10.0.200.104 L2
    70 10.0.200.105 10.0.200.104 L2
    71 10.0.200.105 10.0.200.104 L2
    72 10.0.200.105 10.0.200.104 L2
    73 10.0.200.105 10.0.200.104 L2
    74 10.0.200.105 10.0.200.104 L2
    75 10.0.200.105 10.0.200.104 L2
    76 10.0.200.105 10.0.200.104 L2
    77 10.0.200.105 10.0.200.104 L2
    78 10.0.200.105 10.0.200.104 L2
    79 10.0.200.105 10.0.200.104 L2
    80 10.0.200.105 10.0.200.104 L2
    81 10.0.200.105 10.0.200.104 L2
    82 10.0.200.105 10.0.200.104 L2
    83 10.0.200.105 10.0.200.104 L2
    84 10.0.200.105 10.0.200.104 L2
    85 10.0.200.105 10.0.200.104 L2
    86 10.0.200.105 10.0.200.104 L2
    87 10.0.200.105 10.0.200.104 L2
    88 10.0.200.105 10.0.200.104 L2
    89 10.0.200.105 10.0.200.104 L2
    90 10.0.200.105 10.0.200.104 L2
    91 10.0.200.105 10.0.200.104 L2
    92 10.0.200.105 10.0.200.104 L2
    93 10.0.200.105 10.0.200.104 L2
    94 10.0.200.105 10.0.200.104 L2
    95 10.0.200.105 10.0.200.104 L2
    96 10.0.200.105 10.0.200.104 L2
    97 10.0.200.105 10.0.200.104 L2
    98 10.0.200.105 10.0.200.104 L2
    99 10.0.200.105 10.0.200.104 L2
    100 10.0.200.105 10.0.200.104 L2
    101 10.0.200.105 10.0.200.104 L2
    102 10.0.200.105 10.0.200.104 L2
    103 10.0.200.105 10.0.200.104 L2
    104 10.0.200.105 10.0.200.104 L2
    105 10.0.200.105 10.0.200.104 L2
    106 10.0.200.105 10.0.200.104 L2
    107 10.0.200.105 10.0.200.104 L2
    108 10.0.200.105 10.0.200.104 L2
    109 10.0.200.105 10.0.200.104 L2
    110 10.0.200.105 10.0.200.104 L2
    111 10.0.200.105 10.0.200.104 L2
    112 10.0.200.105 10.0.200.104 L2
    113 10.0.200.105 10.0.200.104 L2
    114 10.0.200.105 10.0.200.104 L2
    115 10.0.200.105 10.0.200.104 L2
    116 10.0.200.105 10.0.200.104 L2
    117 10.0.200.105 10.0.200.104 L2
    118 10.0.200.105 10.0.200.104 L2
    119 10.0.200.105 10.0.200.104 L2
    120 10.0.200.105 10.0.200.104 L2
    121 10.0.200.105 10.0.200.104 L2
    122 10.0.200.105 10.0.200.104 L2
    123 10.0.200.105 10.0.200.104 L2
    124 10.0.200.105 10.0.200.104 L2
    125 10.0.200.105 10.0.200.104 L2
    126 10.0.200.105 10.0.200.104 L2
    127 10.0.200.105 10.0.200.104 L2
    128 10.0.200.105 10.0.200.104 L2
    129 10.0.200.105 10.0.200.104 L2
    130 10.0.200.105 10.0.200.104 L2
    131 10.0.200.105 10.0.200.104 L2
    132 10.0.200.105 10.0.200.104 L2
    133 10.0.200.105 10.0.200.104 L2
    134 10.0.200.105 10.0.200.104 L2
    135 10.0.200.105 10.0.200.104 L2
    136 10.0.200.105 10.0.200.104 L2
    137 10.0.200.105 10.0.200.104 L2
    138 10.0.200.105 10.0.200.104 L2
    139 10.0.200.105 10.0.200.104 L2
    140 10.0.200.105 10.0.200.104 L2
    141 10.0.200.105 10.0.200.104 L2
    142 10.0.200.105 10.0.200.104 L2
    143 10.0.200.105 10.0.200.104 L2
    144 10.0.200.105 10.0.200.104 L2
    145 10.0.200.105 10.0.200.104 L2
    146 10.0.200.105 10.0.200.104 L2
    147 10.0.200.105 10.0.200.104 L2
    148 10.0.200.105 10.0.200.104 L2
    149 10.0.200.105 10.0.200.104 L2
    150 10.0.200.105 10.0.200.104 L2
    151 10.0.200.105 10.0.200.104 L2
    152 10.0.200.105 10.0.200.104 L2
    153 10.0.200.105 10.0.200.104 L2
    154 10.0.200.105 10.0.200.104 L2
    155 10.0.200.105 10.0.200.104 L2
    156 10.0.200.105 10.0.200.104 L2
    157 10.0.200.105 10.0.200.104 L2
    158 10.0.200.105 10.0.200.104 L2
    159 10.0.200.105 10.0.200.104 L2
    160 10.0.200.105 10.0.200.104 L2
    161 10.0.200.105 10.0.200.104 L2
    162 10.0.200.105 10.0.200.104 L2
    163 10.0.200.105 10.0.200.104 L2
    164 10.0.200.105 10.0.200.104 L2
    165 10.0.200.105 10.0.200.104 L2
    166 10.0.200.105 10.0.200.104 L2
    167 10.0.200.105 10.0.200.104 L2
    168 10.0.200.105 10.0.200.104 L2
    169 10.0.200.105 10.0.200.104 L2
    170 10.0.200.105 10.0.200.104 L2
    171 10.0.200.105 10.0.200.104 L2
    172 10.0.200.105 10.0.200.104 L2
    173 10.0.200.105 10.0.200.104 L2
    174 10.0.200.105 10.0.200.104 L2
    175 10.0.200.105 10.0.200.104 L2
    176 10.0.200.105 10.0.200.104 L2
    177 10.0.200.105 10.0.200.104 L2
    178 10.0.200.105 10.0.200.104 L2
    179 10.0.200.105 10.0.200.104 L2
    180 10.0.200.105 10.0.200.104 L2
    181 10.0.200.105 10.0.200.104 L2
    182 10.0.200.105 10.0.200.104 L2
    183 10.0.200.105 10.0.200.104 L2
    184 10.0.200.105 10.0.200.104 L2
    185 10.0.200.105 10.0.200.104 L2
    186 10.0.200.105 10.0.200.104 L2
    187 10.0.200.105 10.0.200.104 L2
    188 10.0.200.105 10.0.200.104 L2
    189 10.0.200.105 10.0.200.104 L2
    190 10.0.200.105 10.0.200.104 L2
    191 10.0.200.105 10.0.200.104 L2
    192 10.0.200.105 10.0.200.104 L2
    193 10.0.200.105 10.0.200.104 L2
    194 10.0.200.105 10.0.200.104 L2
    195 10.0.200.105 10.0.200.104 L2
    196 10.0.200.105 10.0.200.104 L2
    197 10.0.200.105 10.0.200.104 L2
    198 10.0.200.105 10.0.200.104 L2
    199 10.0.200.105 10.0.200.104 L2
    200 10.0.200.105 10.0.200.104 L2
    201 10.0.200.105 10.0.200.104 L2
    202 10.0.200.105 10.0.200.104 L2
    203 10.0.200.105 10.0.200.104 L2
    204 10.0.200.105 10.0.200.104 L2
    205 10.0.200.105 10.0.200.104 L2
    206 10.0.200.105 10.0.200.104 L2
    207 10.0.200.105 10.0.200.104 L2
    208 10.0.200.105 10.0.200.104 L2
    209 10.0.200.105 10.0.200.104 L2
    210 10.0.200.105 10.0.200.104 L2
    211 10.0.200.105 10.0.200.104 L2
    212 10.0.200.105 10.0.200.104 L2
    213 10.0.200.105 10.0.200.104 L2
    214 10.0.200.105 10.0.200.104 L2
    215 10.0.200.105 10.0.200.104 L2
    216 10.0.200.105 10.0.200.104 L2
    217 10.0.200.105 10.0.200.104 L2
    218 10.0.200.105 10.0.200.104 L2
    219 10.0.200.105 10.0.200.104 L2
    220 10.0.200.105 10.0.200.104 L2
    221 10.0.200.105 10.0.200.104 L2
    222 10.0.200.105 10.0.200.104 L2
    223 10.0.200.105 10.0.200.104 L2
    224 10.0.200.105 10.0.200.104 L2
    225 10.0.200.105 10.0.200.104 L2
    226 10.0.200.105 10.0.200.104 L2
    227 10.0.200.105 10.0.200.104 L2
    228 10.0.200.105 10.0.200.104 L2
    229 10.0.200.105 10.0.200.104 L2
    230 10.0.200.105 10.0.200.104 L2
    231 10.0.200.105 10.0.200.104 L2
    232 10.0.200.105 10.0.200.104 L2
    233 10.0.200.105 10.0.200.104 L2
    234 10.0.200.105 10.0.200.104 L2
    235 10.0.200.105 10.0.200.104 L2
    236 10.0.200.104 10.0.200.105 L2
    237 10.0.200.105 10.0.200.104 L2
    238 10.0.200.105 10.0.200.104 L2
    239 10.0.200.105 10.0.200.104 L2
    240 10.0.200.105 10.0.200.104 L2
    241 10.0.200.105 10.0.200.104 L2
    242 10.0.200.105 10.0.200.104 L2
    243 10.0.200.105 10.0.200.104 L2
    244 10.0.200.105 10.0.200.104 L2
    245 10.0.200.105 10.0.200.104 L2
    246 10.0.200.105 10.0.200.104 L2
    247 10.0.200.105 10.0.200.104 L2
    248 10.0.200.105 10.0.200.104 L2
    249 10.0.200.105 10.0.200.104 L2
    250 10.0.200.105 10.0.200.104 L2
    251 10.0.200.105 10.0.200.104 L2
    252 10.0.200.105 10.0.200.104 L2
    253 10.0.200.105 10.0.200.104 L2
    254 10.0.200.105 10.0.200.104 L2
    255 10.0.200.105 10.0.200.104 L2
    6300M#


    6300M# sh ubt statistics

    UBT Statistics

    =====================================================================
    Zone default:
    =====================================================================
    Control Plane Statistics

    Active : 10.0.200.105
    Bootstrap Tx : 7 Bootstrap Ack Rx : 1
    Nodelist Rx : 2 Nodelist Ack Tx : 3
    Bucketmap Rx : 1 Bucketmap Ack Tx : 1
    Failover Tx : 0 Failover Ack Rx : 0
    Unbootstrap Tx : 0 Unbootstrap Ack Rx : 0
    Heartbeat Tx : 3428857 Heartbeat Ack Rx : 3428853

    Standby : 10.0.200.104
    Bootstrap Tx : 7 Bootstrap Ack Rx : 1
    Nodelist Rx : 2 Nodelist Ack Tx : 3
    Bucketmap Rx : 1 Bucketmap Ack Tx : 1
    Failover Tx : 0 Failover Ack Rx : 0
    Unbootstrap Tx : 0 Unbootstrap Ack Rx : 0
    Heartbeat Tx : 3428857 Heartbeat Ack Rx : 3428853

    UAC : 10.0.200.104
    Bootstrap Tx : 2 Bootstrap Ack Rx : 2
    Unbootstrap Tx : 0 Unbootstrap Ack Rx : 0
    Keepalive Tx : 0 Keepalive Ack Rx : 0

    UAC : 10.0.200.105
    Bootstrap Tx : 9345 Bootstrap Ack Rx : 8861
    Unbootstrap Tx : 4363 Unbootstrap Ack Rx : 4363
    Keepalive Tx : 0 Keepalive Ack Rx : 0

    Data Plane Statistics
    UAC Packets Tx Packets Rx
    ------------------------------------------------

    10.0.200.104 : 88 12215104

    10.0.200.105 : 6723929732 60534931338

    User Statistics :

    UAC User-Count
    ---------------------------------------
    10.0.200.104 0
    10.0.200.105 135


  • 2.  RE: Aruba CX UBT Load Balancing

    Posted 9 days ago
    Are the controllers really in a cluster, like controlled by an MCR (MM) or AOS-10 and Central?

    And are both controllers in the cluster of the same type?

    When I try the same, I see that the lower end (0-127) ends up on one, and the higher end (128-255) on the other:
    ....
    123        192.168.31.33   192.168.31.34        L2
    124        192.168.31.33   192.168.31.34        L2
    125        192.168.31.33   192.168.31.34        L2
    126        192.168.31.33   192.168.31.34        L2
    127        192.168.31.33   192.168.31.34        L2
    128        192.168.31.34   192.168.31.33        L2
    129        192.168.31.34   192.168.31.33        L2
    130        192.168.31.34   192.168.31.33        L2
    131        192.168.31.34   192.168.31.33        L2
    132        192.168.31.34   192.168.31.33        L2
    133        192.168.31.34   192.168.31.33        L2
    ....​

    Can you check on the gateways/contollers what each node's priority is?
    (c2c-gw9004-33) #show lc-cluster group-membership
    
    Cluster Enabled, Profile Name = "auto_gwcluster_112_0"
    Heartbeat Threshold = 900 msec (default)
    Cluster Info Table
    ------------------
    Type IPv4 Address    Priority Connection-Type STATUS
    ---- --------------- -------- --------------- ------
    self   192.168.31.33      128             N/A CONNECTED (Leader)
    peer   192.168.31.34      128    L2-Connected CONNECTED (Member)​

    From what you see, it may be priority 1 and 255... This command also shows if the cluster is operating correctly.

    What you see doesn't look right, and it might help to request your Partner or Aruba TAC to have a look as interactively troubleshooting you may get a much faster resolution.

    Upgrading to a recent switch firmware may help/worth trying as well. I'm on 10.08.1021, but haven't seen the same as you see with other versions either.



    ------------------------------
    Herman Robers
    ------------------------
    If you have urgent issues, always contact your Aruba partner, distributor, or Aruba TAC Support. Check https://www.arubanetworks.com/support-services/contact-support/ for how to contact Aruba TAC. Any opinions expressed here are solely my own and not necessarily that of Hewlett Packard Enterprise or Aruba Networks.

    In case your problem is solved, please invest the time to post a follow-up with the information on how you solved it. Others can benefit from that.
    ------------------------------



  • 3.  RE: Aruba CX UBT Load Balancing

    Posted 4 days ago
    Hi Herman,

    It is controlled by an MCR, yes:

    (ArubaMM1) [mynode] #show switches
    
    All Switches
    ------------
    IP Address    IPv6 Address  Name               Location          Type     Model       Version        Status  Configuration State  Config Sync Time (sec)  Config ID
    ----------    ------------  ----               --------          ----     -----       -------        ------  -------------------  ----------------------  ---------
    10.0.200.15   None          ArubaMM1           Building1.floor1  master   ArubaMM-VA  8.8.0.2_81788  up      UPDATE SUCCESSFUL    0                       797
    10.0.200.104  None          aruba7210-wired-1  Building1.floor1  MD       Aruba7210   8.8.0.2_81788  up      UPDATE SUCCESSFUL    10                      797
    10.0.200.105  None          aruba7210-wired-2  Building1.floor1  MD       Aruba7210   8.8.0.2_81788  up      UPDATE SUCCESSFUL    10                      797​

    and they are in a cluster:

    (aruba7210-wired-1) #show lc-cluster group-membership
    
    Cluster Enabled, Profile Name = "aruba-wired-cluster"
    Redundancy Mode On
    Active Client Rebalance Threshold = 50%
    Standby Client Rebalance Threshold = 75%
    Unbalance Threshold = 5%
    Heartbeat Threshold = 900 msec
    AP Load Balancing: Enabled
    Active AP Rebalance Threshold = 20%
    Active AP Unbalance Threshold = 5%
    Active AP Rebalance AP Count = 50
    Active AP Rebalance Timer = 1 minutes
    Cluster Info Table
    ------------------
    Type IPv4 Address    Priority Connection-Type STATUS
    ---- --------------- -------- --------------- ------
    self    10.0.200.104      128             N/A CONNECTED (Leader)
    peer    10.0.200.105      128    L2-Connected CONNECTED (Member)​

    Anything else we can check ? I think it's a MC thing, since one of them was upgraded during a reboot and I think it started then.

    Thank you !


  • 4.  RE: Aruba CX UBT Load Balancing

    Posted 4 days ago
    Maybe best to work with TAC if you are in a production environment. If it is after reboot/upgrade, you may attempt to reboot the gateways one by one and allow them to leave/join the cluster and see if that rebalances. If you need to do a root-cause analysis, make sure that you open a TAC case before the issue is resolved.

    With these settings and priorities, the bucket-map should be similar to my what I shared from my lab (50% on each of the controllers).

    ------------------------------
    Herman Robers
    ------------------------
    If you have urgent issues, always contact your Aruba partner, distributor, or Aruba TAC Support. Check https://www.arubanetworks.com/support-services/contact-support/ for how to contact Aruba TAC. Any opinions expressed here are solely my own and not necessarily that of Hewlett Packard Enterprise or Aruba Networks.

    In case your problem is solved, please invest the time to post a follow-up with the information on how you solved it. Others can benefit from that.
    ------------------------------



  • 5.  RE: Aruba CX UBT Load Balancing

    Posted 4 days ago
    Will do, thanks !