Агрегація каналів та балансування трафіку по IP для СГД
У більшості сучасних серверів на борту зазвичай є мінімум два 1Gb інтерфейси під дані і один 100Mb для менеджменту.
Теоретична частина
Як правило, 2-4 сервери не навантажують 1Gb лінки за пропускною здатністю, використання всіх лінків одночасно позитивно позначається на швидкості взаємодії вузлів мережі та на пропускній спроможності в пікових навантаженнях.
Далі (для спрощення) описані маніпуляції з одним контролером, одним сервером та протоколом NFS.
Зверніть увагу, параметр "lacp" у рядку "ifgrp createlacpvif1 -b ip e0d e0b e0c e0a", відповідаєDynamic Multi-Modeу документації і має збігатися з налаштуваннями на свічі. TR -3802 Так само не забудьте про правильні налаштуванняflowcontrolяк з боку сховища, так і свічки. Якщо сховище «відправляє» (flowcontrolsend) контролю потоку, то «з іншого боку» свіч може бути налаштований на «прийом» управління потоком (flowcontrolreceive on). І навпаки: якщо ніхто не відправляє, то ніхто й не повинен бути налаштований на ухвалення. Детальніше про flowcontrol.
Відмовостійкість для NFS
До VMware ESXi підключено такі датастори
Отже видно, що за інтерфейсом e0a (стовпець Pkts Out) трафік практично не відправляється.
Ідемо на бік свитчу (світч усереднює дані за період у кілька хвилин, тому утилізація лише 80%, а не майже 100%) і бачимо, що порт Ethernet 1/11 практично не приймає кадри.
Зверніть увагу на "modeactive" (LACP ) у налаштуванні інтерфейсу рядкаchannel-group 1 mode active.Mode active(LACP ) відповідаєDynamic Multi-Modeу NetApp. Детальнішедивись TR-3802. Зверніть увагу також на "flowcontrol receive on", установка цього параметра може змінюватись і залежить від декількох параметрів: швидкості порту і типу комутатора. Якщо сховище "відправляє" (flowcontrolsend) повідомлення про контроль потоку, то "з іншого боку" свіч повинен бути налаштований на "прийом" управління потоком (flowcontrolreceive on). Детальніше про flowcontrol. І не забуваємо про рекомендації щодо налаштування Spanning-Tree, де бажано включити RSTP або пропрієтарний Rapid‐PVST+ та встановити порти свитча підключених до кінцевих вузлів, у станspanning-tree portfast. Системи NetApp FAS підтримують CDP, його можна увімкнути або залишити вимкненим.
Зверніть увагу на "modeactive" (LACP ) у налаштуванні інтерфейсу рядкаchannel-group 1 mode active.Mode active(LACP ) відповідаєDynamic Multi-Modeу NetApp. Детальніше дивись TR-3802. Зверніть увагу також на "flowcontrol receive on", установка цього параметра може змінюватись і залежить від декількох параметрів: швидкості порту і типу комутатора. Якщо сховище "відправляє" (flowcontrolsend) повідомлення про контроль потоку, то "з іншого боку" свіч повинен бути налаштований на "прийом" управління потоком (flowcontrolreceive on). Детальніше про flowcontrol. І не забуваємо про рекомендації щодо налаштування Spanning-Tree, де бажано включити RSTP або пропрієтарний Rapid‐PVST+ та встановити порти свитча підключених до кінцевих вузлів, у станspanning-tree portfast. Системи NetApp FAS підтримують CDP, його можна увімкнути або залишити вимкненим.
Приклад для Cisco IOS Release 12.2(33)SXI and later releases
Зверніть увагу на "modeactive" (LACP ) у налаштуванні інтерфейсу рядкаchannel-group 11 mode active.Mode active(LACP ) відповідаєDynamic Multi-Modeу NetApp Докладніше дивись TR -3802. Также зверніть увагу на "flowcontrol receive on", установка цього параметра може змінюватись і залежить від декількох параметрів: швидкості порту і типу комутатора Якщо сховище «відправляє» (flowcontrolsend) повідомлення про контроль потоку, то «з іншого боку» свіч повинен бути налаштований на «прийом» управління потоком (flowcontrolreceive on).Докладніше про flowcontrol. І не забуваємо про рекомендації з налаштування Spanning-Tree, де бажано включити RSTP або пропрієтарний Rapid‐PVST+ і встановити порти свитча підключених до кінцевих вузлів, у станspanning-tree portfast. Системи NetApp FAS підтримують CDP, його можна включити або залишити вимкненим.
Зверніть увагу на "modeactive" (LACP ) у налаштуванні інтерфейсу рядкаchannel-group 1 mode active.Mode active(LACP ) відповідаєDynamic Multi-Modeу NetApp. Детальніше дивись TR-3802. Зверніть увагу також на "flowcontrol off", установка цього параметра може змінюватись і залежить від декількох параметрів: швидкості порту і типу комутатора. Якщо сховище «не відправляє і приймає» команди (flowcontroloff) контролю потоку, то «з іншого боку» свіч теж має «не приймати і відправляти» їх. Детальніше про flowcontrol. І не забуваємо про рекомендації щодо налаштування Spanning-Tree, де бажано включити RSTP і встановити порти світчу підключених до кінцевих вузлів у станspanning-tree portfast.
Зверніть увагу, якщо flowcontrol, у конфігурації, ніде не фігурує,значить він у стані "flowcontrol auto", і якщо на портах сховища, які підключені до комутатора, flowcontol вимкнений, то на свічі на відповідних портах він буде в стані "off". Встановлення параметра flowcontrol може змінюватись, і залежить від декількох параметрів: швидкості порту та типу комутатора. Якщо сховище «не відправляє і приймає» команди (flowcontroloff) контролю потоку, то «з іншого боку» свіч теж має «не приймати і відправляти» їх. Детальніше про flowcontrol. І не забуваємо про рекомендації щодо налаштування Spanning-Tree, де бажано включити RSTP і встановити порти світчу підключених до кінцевих вузлів у станspanning-tree portfast.
Видно навантаження на прийом (Rx) для контролера в стовпці «Rx Util» та завантаження на передачу (Tx) для сервера в стовпці «Tx Util». При цьому видно, що два датастори ділять один лінк контролера.
Чому це відбувається? Та тому що хеш суми двох IP пар збігаються, змушуючи алгоритм вибирати один і той самий лінк. Тобто потрібно просто підібрати інші IP.
Алгоритм SuperFastHash
До речі, для швидкого отримання результату дуже зручно скористатися онлайн компілятором.
Як користуватися табличкою
Видно, що для кожного сервера трафік із різними аліасами на одному контролері йтиме за різними інтерфейсами. Аналогічно трафік з різних серверів на один IP СХД піде різними інтерфейсами.
При написанні використовувалися матеріали Олександра Гордієнка, Агрегація каналів та балансування трафіку IP з боку NetApp.
Зауваження про помилки в тексті прошу направляти в ЛЗ.
А у нас тут можна отримати грант на тестовий період Яндекс.Хмари. Варто лише у полі «секретний пароль»ввести «Хабр»