Поняття NetFlow складається з 2-х слів: Net - мережа і Flow - потік. Відповідно, NetFlow означає Мережевий Потік. Це поняття застосувала компанія Cisco Systems для своєї технології, використовуваної в операційній системі Cisco IOS. Відповідно до NetFlowпротоколом виконується аналіз пакетів, що проходять через певний інтерфейс мережевого пристрою, на основі чого формується інформація в певному форматі про параметри різних мережевих потоків, що проходять через цей інтерфейс, і ця інформація передається по IP мережі спеціальною програмою, званої NetFlow колектором (NetFlow collector ). Програма NetFlowколлектор, встановлюється на якомусь комп'ютері (сервері) мережі, і займається збиранням та первинною обробкою інформації від одного або групи мережевих пристроїв, що передають дані в форматі NetFlow. Далі вже використовуються програми, що аналізують зібрані дані і надають користувачу необхідні йому звіти про роботу мережі.

Чим же характерний мережевий потік? Мережевий потік ідентифікується, як односпрямований потік пакетів між певним джерелом і приймачем даних, які характеризуються IP адресами і використовуваними портами. Якщо ж бути точнішим, то для унікальної ідентифікації потоку використовується 7 полів:

• IP ад­реса джерела дан­их;
• IP  ад­рес приймача даних;
• Но­мер пор­ту джерела дан­их;
• Но­мер пор­ту приймача даних;
• Тип про­токо­лу 3-го рів­ня;
• Тип сер­ви­су IP па­кетів (ToS);
• Вхідний логічний інтерфейс.

МАЛЮНОК 1

Приклад мережевого потоку через мережевий інтерфейс Inf1 (127.0.0.1) з IP порту 61418 з IP адресою 10.10.5.24 на IP порт 5060 мережевого пристрою з IP адресою 195.5.0.116 з використанням протоколу UDP і типом сервісу, рівним 0, показаний на Малюнку 1. У більшості випадків, як правило, присутній і зворотний мережевий потік з аналогічними параметрами (іноді може відрізнятися Тип сервісу - ToS). Зворотний мережевий потік з аналогічними параметрами буде відсутній для групових і широкомовних розсилок, так як приймачами даних у цих випадках виступають спеціальні (групові або широкомовні) IP адреси. Перелік таких IP адрес можна знайти в RFC 3330 [1].

Перераховані вище поля є ключовими в протоколі NetFlow всіх версій.

Розглянемо, які версії протоколу NetFlow існують. Версія 1 протоколу NetFlow на сьогоднішній день вже застаріла і не використовується. Версії 2-4, а також версія 6 ніколи не включалися в Cisco IOS, і, відповідно, не підтримуються. Однією з найбільш популярних стала версія 5, в який була додана інформація про номери автономних систем, використовуваних у протоколі граничного шлюзу (Border Gateway Protocol - BGP), і номер потоку. Ця версія досі використовується, якщо немає потреби у додатковій інформації, яка надається більш пізніми версіями протоколу. Версія 7 стала розвитком версії 5 і вона стала підтримуватися в серії комутаторів Cisco Catalyst. У версії 8 була введена можливість агрегації даних, що актуально при великих обсягах даних протоколу NetFlow. І, нарешті, в останній версії, 9-й, протоколу NetFlow кількість полів істотно збільшилася в порівнянні з версією 5. Ці додаткові поля дозволяють розширити і уточнити інформацію, що проходить в мережевому потоці. Наприклад, версія 9 включає інформацію 2-го рівня мережевої моделі: підтримка IPv6, групових (Muticast) розсилок, параметри протоколів MPLS, BGP та інше. Але основне нововведення версії 9 - це використання шаблонів, що забезпечує легке розширення протоколу за рахунок використання нових типів шаблонів даних. Більш докладний опис протоколу NetFlow версій 5 і 9 буде наведено нижче.

Оскільки компанія Cisco Systems застосувала протокол NetFlow в операційній системі Cisco IOS, то, відповідно, він використовувався в пристроях цієї компанії, зокрема, в маршрутизаторах, серверах доступу. В даний час, завдяки своїй успішності і подальшому удосконаленню, цей протокол застосовується і в інших мережевих пристроях (комутаторах, точках доступу тощо) цієї компанії.На базі NetFlow версії 9 співтовариством IETF був прийнятий стандарт IP­FIX(IPFlow Infor­ma­ti­oneXport) ,який застосовується рядом виробників мережевого устаткування, зокрема, Avaya-Nortel та іншими. Були також створені подібні NetFlow протоколи іншими компаніями - виробниками мережевого обладнання:

- Flow (Fo­und­ry Net­works),

- NetS­tre­am (HP - 3Com, H3C, Hu­awei),

- Cflowd (Al­ca­tel, Lu­cent),

- Jflow & cflowd (Ju­nIPer Net­works),

- та інші.

Існують також програми - сенсори NetFlow або подібних йому протоколів для комп'ютерів з різними операційними системами, які дозволяють формувати інформацію про мережеві потоки, які проходять через інтерфейси комп'ютера.

Інформація, отримана за допомогою NetFlow протоколу, може використовуватися в цілому ряді програм:

• Моніторинг мережі.

  Дані NetFlow протоколу дозволяють здійснювати моніторинг стану мережі. За допомогою програм, що обробляють накопичені дані від NetFlow колекторів, можна оцінити трафік по окремим мережевим пристріям (піковий, усереднений, за певним інтерфейсом і т.п.), виявляти проблеми, що виникають в мережі (перевантаження або відмова якихось мережевих пристроїв, несанкціоновані дії в мережі тощо) і відповідно швидко приймати рішення щодо усунення цих проблем.

• Моніторинг додатків.

  Дані NetFlow протоколу дозволяють мережевим адміністраторам мати точну інформацію те, які додаток в який час використовуються в мережі, виявляти, які з додатку найбільшим чином навантажують мережу. Це може використовуватися для планування нових сервісів, таких як передача голосу через IP (VoIP), IPTV, відео по запиту і т.п., і розподілу програмних додатків в мережі.

• Моніторинг користувачів.

  Дані NetFlow протоколу дозволяють збирати детальну інформацію по кожному користувачеві мережі, про те які мережеві ресурси їм використовуються в конкретний момент часу, які використовуються додатки, з якими IP адресами працює тощо. Ця інформація може використовуватися для ефективного планування мережі та розподілу доступу користувачів до мережевих ресурсів, визначення необхідної для них смуги пропускання, а також виявлення можливих проблем з безпекою.

• Планування розвитку мережі.

  Якщо забезпечити збір та аналіз даних NetFlow протоколу за тривалий період часу, то можна виявити тенденції щодо зростання мережі та на основі цих даних завчасно спланувати необхідне її розвиток, за рахунок збільшення числа або продуктивності маршрутизаторів, розширення смуги пропускання, зміни в політиці маршрутизації мережевих потоків. NetFlow протокол дозволяє мінімізувати загальну вартість мережевих операцій і в теж час збільшити продуктивність мережі, її можливості і надійність. NetFlow дозволяє виявити небажаний зовнішній трафік, контролювати якість сервісу (QOS) і аналізувати наслідки впровадження в мережу нових мережевих додатків.

• Аналіз безпеки в мережі.

  Використовуючи NetFlow протокол можна ідентифікувати і класифікувати атаки по відмові в обслуговуванні (DDOS атаки), виявляти трафік, генерований вірусами і троянськими програмами в реальному часі. Аналізуючи мережеве поведінку, можна оперативно виявити аномалії в мережі і вжити заходів для їх усунення.

• Облік використовуваних мережевих ресурсів. Биллинг.

  Існує кілька механізмів для обліку використовуваних користувачами мережевих ресурсів. Один з них, який широко використовується, це на основі даних NetFlow протоколу. Він забезпечує точною інформацією про переданому / прийнятому трафіку, на які або з яких IP адрес, за яким портам і в який конкретно час. На підставі чого можна виставляти користувачам рахунку, якщо користувачем не використовується безлімітний пакет. 

NetFlow кешування і експорт

Розглянемо механізм, того, як відбувається збір інформації про мережеві потоки і їх експортування в обладнанні Cisco Systems. Програмний модуль на мережевому пристрої переглядає пакети, що проходять через мережевий інтерфейс, і на підставі їх аналізу формує дані по кожному мережевому потоку, що проходить через цей інтерфейс у форматі NetFlow протоколу. Ці дані у вигляді окремих записів по кожному мережевому потоку тимчасово складаються в кеш (кешируются). Кожен запис про потік має унікальний ідентифікатор. Періодично дані з кешу пересилаються через мережевий інтерфейс на комп'ютер (сервер), на якому встановлена ​​програма NetFlow колектора (Малюнок 2).

Таким чином, використання NetFlow протоколу кілька додатково завантажує мережевий інтерфейс. Однак, завдяки дуже високій ефективності протоколу, передані за допомогою нього дані займають лише близько 1,5% від трафіку комутатора або маршрутизатора [2]. NetFlow протокол підраховує практично всі пакети і забезпечує стислий, але досить інформативний огляд по всьому мережевому трафіку по заданому мережному інтерфейсу. Експортування даних з кеша виконується за певними правилами:

• Записи про мережеві потоках зберігаються в кеші заданий проміжок часу. По закінченню цього часу вони віддаляються. За умовчанням в пристроях Cisco Systems записи можуть зберігатися 30 хвилин.

• Якщо кеш повністю заповнюється, то частина записів видаляється.

• TCP з'єднання, у яких припинився потік (FIN) або до яких застосовано перезавантаження (RST), будуть вважатися такими, що втратили силу.

МАЛЮНОК 2

Записи про мережеві потоки, що втратили чинність групуються в "NetFlow Export" дейтаграми і експортуються на мережевий пристрій (комп'ютер), з встановленим NetFlow колектором. Такі дейтаграми можуть містити до 30 записів для NetFlow протоколів версій 5 або 9. Налаштування NetFlow протоколу виконується для кожного інтерфейсу мережевого пристрою. Для експорту інформації потрібно вказати IP адрес і номер порту пристрою, де працюватиме NetFlow колектор. 

NetF­low аг­ре­гація

Як згадувалося вище, починаючи з версії 8, протокол NetFlow підтримує агрегацію даних. Використовувати агрегацію рекомендується, якщо очікується великий обсяг даних по цьому протоколу від безлічі мережевих пристроїв з великою кількістю інтерфейсів. Застосування агрегації дозволяє знизить ширину смуги пропускання, необхідну для передачі NetFlow даних, знизити навантаження на комп'ютер з NetFlow колектором і заощадити обсяг жорсткого диска, необхідний для зберігання оброблених колектором NetFlow даних. Хоча, зрозуміло, що при цьому частина інформації буде загублена. Компанією Cisco Systems пропонується 11 варіантів схем агрегації: шість, заснованих, на параметрі Тип сервісу (ToS) і п'ять, які не використовують цей параметр.

Схеми агрегації без ToS:

• по автономним системам;
• по префіксу приймача даних;
• по пре­фік­су;
• на основі протокол - порт;
• по префіксу джерела даних.

Схеми агрегації на основі ToS:

• автономна система — ToS;
• префікс приймача даних  — ToS;
• префікс — ToS;
• про­токол — порт — ToS;
• префікс джерела даних — ToS;
• пре­фікс — порт.   

По­ля NetF­low версії 5

Короткий опис полів, які містяться в NetFlow протоколі версії 5, наведено в Таблиці 1.

Таб­ли­ця 1

Для більшості завдань, які вирішуються адміністратором мережі і які перераховувалися на початку статті, зазначених вище полів достатньо для проведення детального аналізу роботи мережі. 

По­ля NetF­low версії 9

Короткий опис полів, які містяться в NetFlow протоколі версії 9 [3], наведено в Таблиці 2.

Таб­ли­ця 2

Як видно з Таблиці 2, число полів в протоколі NetFlow версії 9 істотно розширено порівняно з версією 5, але це розширення в першу чергу пов'язано з параметрами маршрутизації протоколу BGP та протоколу мультипротокольной коммутацііMPLS. Також включається інформація по МАС адресам, що може бути в ряді випадків цікаво для аналізу. Якщо користувач не зацікавлений в подібних полях, то він може обмежитися використанням NetFlow проколу версії 5. 

NetFlow колектори та програми аналізу

В даний час існує цілий ряд програм, які виконують збір та обробку NetFlow інформації.

Наша компанія, "Софт Пі Ай", готова запропонувати користувачам ряд своїх програмних рішень для NetFlow протоколу.

Soft­PI Flow Col­lector
Система SoftPI Flow Collector призначена для збору інформації про мережеві потоки у форматах NetFlow версій 5 або 9 (Cisco Systems), RFlow і IPFIX (RFC 5101, 5102), а також гнучкою агрегації зібраної інформації з подальшим збереженням у сховищі одного з трьох типів: база даних Microsoft SQL, база даних MySQL або текстовий файл, розташованих на комп'ютерах з операційними системами Windows XP / 2003 / Vista / 2008/7 (Microsoft). У разі використання в якості сховища даних Microsoft SQL Server 2008R2. в комплект поставки входять довідкові бази даних IP протоколів і IP портів, а також набір звітів, що дозволяють проводити аналіз роботи мережі. Крім цього користувач може самостійно розширити перелік необхідних звітів, створивши їх за допомогою служби звітності SQL Server (SQL Server Reporting Services - SSRS), або модернізувати існуючі.

Flan­sys   
Система Flansys призначена для аналізу трафіку в мережі і може використовуватися:

• адміністраторами мережі - для моніторингу різних параметрів мережевих пристроїв і оптимізації роботи мережі;
• співробітниками служби безпеки - для своєчасного виявлення небажаного трафіку і контролю за станом мережевих пристроїв;
• звичайними користувачами - для аналізу мережевого трафіку власного комп'ютера і виявлення аномалій.

Система Flansys містить в собі:

• NetFlow колектор,
• сховище NetFlow інформації на базі Microsoft SQL Server,
• програму Flansys, що забезпечує моніторинг та аналіз як інформації в реальному часі, так і раніше накопиченої,
• служба Flansys Alarm призначена для аналізу інформації про мережеві потоки в режимі реального часу та оповіщення про задані мережеві події або виконання користувальницького сценарію.

Біллінгова система Tariscope
Ta­ris­co­pe забезпечує облік послуг, наданих в IP мережах на підставі даних протоколу NetFlow (включає в себе NetFlow колектор), ведення даних по абонентам, виставлення рахунків та інших документів, облік карток попередньої оплати та інші послуги.

fSo­nar   
Програма fSo­nar є NetFlow сенсором і призначена для генерації потоку даних в форматі протоколу NetFlow версії 5 або 9 про мережеву активність на одному або групі мережевих інтерфейсів комп'ютера, що працює під управлінням операційної системи Windows (Microsoft).

Література

1. RFC3330 - Spe­ci­al-Use IPv4 Add­res­ses.

2. NetF­low Ser­vi­ces So­lu Gu­ide.ti­ons

3. Cis­co IOS NetF­low Ver­si­on 9 Flow-Re­cord For­mat.