Етапи налаштування

Налагодження та запуск системи SoftPI Flow Collector проводиться у програмі "Налаштування колектора мережевих потоків", і цей процес складається з наступних етапів:

• налаштування параметрів збору даних (компонент "Збір даних");
• визначитися, який тип сховища буде використовуватися. У разі якщо в якості сховища передбачається Microsoft SQL Server або MySQL, необхідно завантажити інсталяцію відповідного SQl сервера і встановити на комп'ютері *;
• налаштування параметрів сховища даних (компонент "Сховище");
• налаштування параметрів агрегації при необхідності (компонент "Агрегація");
• запуск служби (компонент "Служба").

* У разі вибору в якості сховища Microsoft SQL Server 2008 R2 для його установки в системі можна скористатися рекомендаціями, викладеними в статті.

Налаштування параметрів збору даних

Запустіть програму "Налаштування колектора мережевих потоків" і виберіть компонент "Збір даних". Програма прийме вигляд, як показано на малюнку нижче.

Малюнок 1.

У позиції "Слухати порти" введіть перелік IP портів, які повинні використовуватися для прийому даних службою Flow Collector (служба працює тільки з використанням UDP протоколу). У разі використання більше одного порту їх номери повинні вводиться через кому. За замовчуванням заданий IP порт 2055, який зазвичай використовується для NetFlow протоколу. Для IPFIX протоколу відповідно до RFC 5101 повинен використовуватися порт 4739 для незахищеного з'єднання, яке виконується через UDP протокол. Однак, не всі виробники дотримуються цієї вимоги. Тому слід в документації на телекомунікаційне обладнання точно визначити номер IP порту, який використовується для передачі даних NetFlow, IPFIX або RFlow протоколів.

Flow колектор крім обробки надходящого потоку даних і запису його в сховище виконує резервне копіювання потоку даних в бінарний файл у тому вигляді, в якому ці дані надійшли на мережевий інтерфейс.

У позиції "Папка з логами" можна змінити шлях до папки, куди будуть записуватися файли з бінарної інформацією, отриманою від телекомунікаційного пристрою. За замовчуванням задається папка: \ ProgramData \ NetFlow \.

 Виберіть у списку "Новий файл" період створення нового лог файлу для бінарних даних, одержуваних від телекомунікаційного пристрою. Можливі варіанти вибору:

• Не створювати;
• Кож­ну годину;
• Кожен день;
• Кожен мі­сяць.

Незалежно від обраного періоду в позиції "Новий файл" можна в позиції "Макс. розмір логу" визначити розмір лог файлу, після досягнення якого буде створюватися новий файл. За замовчуванням використовується значення: 200 Мбайт.

Для зменшення обсягу, займаного лог файлом, можна виконувати його стиснення. Стиснення виконується відразу ж при запису даних у файл. Можливе використання різних алгоритмів стиснення даних, що визначається вибором у списку "Стиснення". Можливі варіанти:

• Без стиснення;
• Zip;
• Bzip;
• Zlib.

Служба Flow Collector може вести журнал результатів своєї роботи з різним ступенем деталізації. Ступінь деталізації визначається значенням параметра, заданого у списку "Журналювання". Можливі наступні варіанти:

• Ста­тус,
• Кри­тичні помилки,
• Помилки,
• Попередження,
• Інформація,
• Ре­комен­да­ції,
• Налагодження.

"Статус" - це найменш детальний рівень. "Налагодження" - найбільш детальний рівень, наприклад, відображається IP адреси пристроїв, з яких надходять дані. За замовчуванням задається рівень "Інформація".

Задайте в розділі "Дозволені джерела потоків" IP адреси телекомунікаційних пристроїв, з яких служба Flow Collector повинна отримувати інформацію. Для додавання нового IP адреси клацніть по кнопці "Додати". З'явиться вікно "Джерело даних", показане на малюнку нижче.

Малюнок 2.

У позиції "IP адреса" введіть IP адресу необхідного пристрою.

Позиція "Опис" носить інформаційний характер і не обов'язкова для введення.

Примітка. Служба Flow Collector може сама додавати в список "Дозволені джерела потоків" IP адреси телекомунікаційних пристроїв, від яких надходять дані. Але якщо для конкретного пристрою не встановлено прапор у цьому списку, дані з цього пристрою не будуть оброблятися. Відповідно, для обробки даних з необхідних джерел даних встановіть прапорець в стовпці "Адреса".

Після введення всіх перерахованих вище параметрів клацніть по кнопці "Зберегти", яка знаходиться на панелі інструментів програми."

Налаштування параметрів сховища даних

Як зазначалося вище, перед налаштуванням параметрів сховища, користувач повинен визначитися, який тип сховища буде використовуватися. У разі якщо в якості сховища передбачається використовувати Microsoft SQL Server або MySQL, необхідно завантажити відповідну інсталяцію і встановити на комп'ютері.

Рекомендуємо використовувати як сховища Microsoft SQL Server 2014 або 2012. При використанні будь-якого з цих серверів в якості сховища і виборі полів для збереження інформації про мережеві потоках, аналогічних полях протоколу NetFlow версії 5, користувачеві Flow Collector буде доступний режим "Звіти". В іншому випадку користувач повинен сам знайти додаток, що забезпечить отримання звітів з необхідного сховища інформації.

Виберіть компонент "Сховище". При цьому програма прийме вигляд, подібний показаному на малюнку нижче.

Малюнок 3.

Визначте перелік полів, які будуть оброблятися і зберігатися в сховище інформації. Для цього можна скористатися встановленими наборами полів. Вибір встановлених наборів полів виконується у списку "Передустановка".

Можна вибрати один з наступних варіантів:

• Ос­новні NetF­low v5 – забезпечується вибір найбільш часто використовуваних полів протоколу NetFlow версії 5;
• Ос­новні   NetF­low v9 - забезпечується вибір найбільш часто використовуваних полів протоколу NetFlow версії 9;
• Ос­новні   IP­FIX - забезпечується вибір найбільш часто використовуваних полів протоколу IPFIX;
• Всі  NetF­low v5 - забезпечується вибір всіх полів протоколу NetFlow версії 5;
• Всі NetF­low v9 - забезпечується вибір всіх полів протоколу NetFlow версії 9;
• Всі IP­FIX - забезпечується вибір всіх полів протоколу IPFIX.

Якщо користувача цікавить який-небудь специфічний набір, який не відповідає жодному з перерахованих вище, користувач може сам вибрати необхідні поля, встановивши прапори в стовпці "#", в необхідних рядках таблиці.

 Якщо користувач планує отримувати дані від декількох мережевих пристроїв, які використовують різні протоколи, то відповідно, необхідно вибрати поля, підтримувані у всіх необхідних типах протоколів.

Таблиця полів містить наступні стовпці:

• # - показує вибрано чи ні це поле.
• Наз­ва­ — відображає назву поля;
• Вер­сія — відображає тип протоколу і версію, до якого відноситься конкретне поле;
• Опи­с — наводиться короткий опис поля;
• Код по­ля — ім'я поля, яке використовується в базі даних. Це ім'я також використовується в позиції "Текст команди" для автоматичного створення запиту до бази даних для запису даних.

Таблиця підтримує можливості сортування інформації. Для цього необхідно клацнути по найменуванні необхідного стовпця. Клацання правою кнопкою миші по рядку таблиці з найменуваннями стовпців призводить до появи меню, подібного тому, яке показаного на малюнку.

Малюнок 4.

Filtering "- вибір цього пункту меню приводить до появи додаткового меню, в якому користувач має встановити прапори навпроти букв, які є першими в найменування будь-якого з полів. Це призводить до відповідної фільтрації інформації.

"Сортувати 'ХХХХ' по зростанню". Дозволяє впорядкувати за зростанням поле 'ХХХХ'. Обране поле 'ХХХХ' визначається тим, на найменуванні якого з стовпців знаходився курсор в момент виконання клацання для виклику меню.

"Сортувати 'ХХХХ' спаданням". Дозволяє впорядкувати за спаданням поле 'ХХХХ'.

"Групувати за 'ХХХХ'". Дозволяє згрупувати дані в таблиці за першими літерами слів в обраному стовпці.

"Фіксувати угруповання по 'ХХХХ'". З'являється в меню тільки після того, як встановлена ​​угруповання з якого-небудь стовпцю. Цей режим меню відключає подальшу сортування інформації в таблиці. Відключається цей пункт за допомогою пункту меню "Відключити угруповання".

"Відключити угруповання". Відключає попередньо встановлений режим угруповання даних у таблиці.

Для швидкого пошуку необхідного параметра в таблиці рекомендується використовувати режим пошуку. Він здійснюється шляхом введення шуканої інформації в позицію зі словом "Пошук", розташованої в правій частині панелі інструментів програми.

У тому випадку, якщо для аналізу накопичених даних користувач планує скористатися можливостями режиму "Звіти" програми "Налаштування колектора мережевих потоків", то необхідно:

• вибрати в позиції "Тип сховища" значення "MS SQL";
• вибрати як полів, поля протоколу NetFlow версії 5.

У списку "Тип сховища" можливі такі варіанти:

• MS SQL – використовується для сховища на базі Microsoft SQL Server 2014/2012/2008/2005/2000. Якщо ви не маєте придбаного Microsoft SQL Server і не плануєте його придбання, то рекомендуємо використовувати безкоштовну редакцію Express для Microsoft SQL Server 2014/2012.
• MySQL – використовується для сховища з відповідним найменуванням,
• CSV fi­le –як сховище використовується текстовий файл з роздільниками (формат файлу - CSV).

Якщо вибрали значення MS SQL, то в позиції "Сервер" введіть найменування сервера або його IP адресу (при необхідності з ім'ям сервера).

У позиціях "Користувач", "Пароль" введіть відповідно ім'я користувача і його пароль, з якими служба Flow Collector буде підключатися до SQL сервера. При використанні Microsoft SQL Server на тому ж комп'ютері, де проводиться настройка і буде працювати служба Flow Collector, за замовчуванням буде використовуватися Windows аутентифікація. У цьому випадку введення імені користувача і пароля не потрібний.

У позиції "База" введіть найменування бази даних, в яку будуть міститися дані. При початковому налаштуванні таку базу потрібно створити. Для цього клацніть по кнопці "Створити", яка знаходиться в тому ж рядку, що і позиція "База". У разі успішного завершення операції створення бази даних на екрані з'явиться повідомлення: "База даних 'xxxxxxxx' створена успішно", де xxxxхxxx - найменування бази даних.

У позиції "Таблиця" введіть найменування таблиці в створеній базі даних, до якої будуть міститися дані. При початковому налаштуванні таку таблицю потрібно створити. Для цього клацніть по кнопці "Створити", яка знаходиться в тому ж рядку, що і позиція "Таблиця". З'явиться вікно, подібне до того, яке показано на малюнку нижче.

Малюнок 5.

Позиція "Ім'я таблиці" відображає ім'я створюваної таблиці.

Таблиця "Вибрані поля" містить поля, які користувач вибрав у вікні, показаному на малюнку компонента "Сховище".

Поле "Створити ключове поле" використовується для завдання ключового поля в таблиці, яке в подальшому при вибірках даних з таблиці дозволяє вибрати конкретну запис за її унікальним ідентифікатором (ключовим словом). Можливі наступні варіанти:

• Не створювати. Використовується за замовчуванням, коли НЕ передбачається виконувати зазначені вище вибірки. Відсутність ключового поля дозволяє дещо знизити обсяг бази даних.
• bi­gint. Формат bigint рекомендується встановлювати при необхідності в ключовому полі і відносно невисокому трафіку і відповідному обсязі інформації, що надходить в базу даних.
• GU­ID. Глобальний унікальний 128-й бітовий ідентифікатор. Рекомендується його використовувати при необхідності в ключовому полі і високому трафіку, якому відповідає великий обсяг інформації, що надходить в базу даних.

Після вибору необхідних параметрів, натисніть на кнопку "ОК". У разі успішного завершення операції створення таблиці на екрані з'явиться повідомлення: "Таблиця 'xxxxxxxx' успішно створена", де xxxxxxx - найменування таблиці.

Для перевірки правильності заданих параметрів Microsoft SQL Server-а клацніть по кнопці "Тест з'єднання". У разі вдалого з'єднання з SQL сервером з'явиться повідомлення: "З'єднання перевірено". При невдалій спробі підключення слід перевірити правильність введених параметром.

У разі вибору в списку "Тип сховища" значення "MySQL" поруч з позицією "Сервер" з'являється позиція "Порт", де задається номер IP порту, за яким здійснюється підключення до MySQL сервера. За умовчанням в цьому полі встановлено значення: 3306.

У разі вибору в списку "Тип сховища" значення "CSV file" вікно програми частково змінює вигляд, як показано на малюнок нижче.

Малюнок 6.

У позиції "Шаблон" задаються шлях і шаблон для найменування файлу. При цьому для завдання імені файлу використовуються наступні позначення:

% Y% - рік;

% M% - місяць;

% D% - день;

% Dev% - IP адреса обладнання, з якого збираються дані.

Файл за замовчуванням має розширення log.

У позиції "Роздільник" користувач може ввести символ роздільник полів у файлі.

У позиції "Макс. Розмір" задається максимально допустимий розмір файлу. При досягненні встановленого значення автоматично буде створено новий файл.

Після завдання всіх необхідних параметрів в компоненті "Сховище" клацніть по кнопці "Зберегти" на панелі інструментів програми.

Налаштування параметрів агрегації

Налаштування параметрів агрегації слід виконувати, коли планується агрегувати дані по якомусь з полів. Застосування агрегації часом дозволяє істотно знизити обсяг бази даних, але за рахунок втрати повної деталізації.

Для установки параметрів агрегації виберіть компонент "Агрегація". Вікно програми прийме вигляд, подібний малюнку.

Малюнок 7.

Користувач може встановити агрегацію по кожному з полів, зазначених у таблиці "Агрегований дані по полях". Таблиця містить 4-е стовпці:

• #. Використовується для вибору або скасування вибору конкретного поля.
• Назва по­ля. Відображає ім'я поля..
• Вер­сія. Відображається тип протоколу і номер версії, до яких належить поле.
• Опи­с. Наводиться короткий опис поля.
• Тип дан­их. Вказується тип даних, які зберігаються в конкретному полі.

Увага. За умовчанням встановлено агрегування по ряду полів. Якщо ви не маєте потребу в такому агрегировании, то видаліть прапорці з вибраних полів.

Значення за замовчуванням для параметра "Інтервал запису в базу" становить 3000 мілісекунд. Користувач може за своїм розсудом змінити період запису в базу даних. При цьому слід мати на увазі, що зменшення значення інтервалу запису в базу призводить до збільшення навантаження на процесор комп'ютера. Збільшення цього інтервалу знижує навантаження на процесор, але користувач протягом цього інтервалу не може мати доступу до даних отриманим в цей період і, відповідно, їх аналізувати.

У разі завдання декількох полів для агрегування, агрегування буде виконуватися для сукупності заданих полів.

Для роботи з даними таблиці (сортування, групування, пошук) застосовні ті ж методи, які описані для таблиці компонента "Сховище".

Установка і запуск служби Flow Collector

Для установки і запуску служби Flow Collector виберіть компонент "Служба" у програмі "Налаштування колектора мережевих потоків". Вікно програми прийме вигляд, показаний на малюнку.

  Малюнок 8.

У позиції "Статус сервісу" відображається поточний стану служби.

Для запуску служби клацніть по посиланню "Запустити службу". При вдалому запуску це посилання буде замінена на "Зупинити службу", а посилання відключити службу стане неактивною.

Для зупинки служби клацніть по посиланню «Зупинити службу". Після зупинки служби посилання змінити своє значення на "Запустити службу" і стане активною посилання "Відключити службу".

Для відстеження подробиць роботи служби Flow Collector клацніть на посилання "Відкрити журнал роботи" або ж виберіть цей компонент у переліку компонентів програми.

Посилання "Налаштування параметрів" призводить до переходу програми для роботи з компонентом "Збір даних"