Коли НСІ стає проблемою

Коли ж, начебто, технічна проблема ведення довідників потрапляє у фокус уваги бізнесу? По-перше, при автоматизації наскрізних бізнес-процесів, коли інтегруються кілька ІС. Наприклад, робота з клієнтом, який бажає взяти кредит, починається в CRM, де формується заявка, збираються дані про клієнта і бажані умови кредитування. Зібрана інформація передається в АБС для розрахунку умов кредиту та графіка платежів та у скорингову систему для оцінки кредитних ризиків. Для ілюстрації розглянемо передачу атрибута «підлога». Довідники «Підлога» у системах можуть виглядати по-різному (див. рис. 1).

Мал. 1. Довідники «Підлога» у різних системах

Очевидно, що значення атрибута «підлога», отримане з CRM, не буде коректно оброблено АБС та скоринговою системою. Щоб різні додатки «розуміли» одне одного, вони мають або говорити однією мовою – мати однакові довідники, чи спілкуватися через перекладача – десь мають бути зафіксовані правила зіставлення довідників. Другим випадком, який привертає увагу бізнесу, є побудова консолідованої звітності.

Наприклад, в єдине сховище завантажуються дані кредитних договорів з облікових систем філій компанії. Потрібно подивитися ґендерний розподіл укладених договорів та загальної суми виданих кредитів за період. Якщо довідники в облікових системах філій ведуться незалежно, то з великим ступенем ймовірності ми отримаємо ситуацію з попереднього прикладу, коли жіноча стать – це і «Female», і «Жіноча», і «Дружина», може бути ще щось невраховане. І за яким значенням робити вибірку договорів? Ми отримуємо проблему при побудові найпростішого звіту. Таким чином, неузгодженість довідкових даних у різних системах-джерела можепризвести до некоректних операцій агрегації та, отже, низької якості даних у звітах.

І третя проблема – отримання коректної інформації на минулу дату. Досить часто виникає потреба пред'явити контролюючим органам дані за минулі періоди (3, 5 і більше років). Але довідкові дані змінюються, і старі записи посилаються на нові довідкові значення, інформація стає некоректною. На компанію можуть бути накладені штрафні санкції. Отже, окрім зберігання історичних даних, потрібно зберігати всі зміни довідкової інформації.

Як зазвичай вирішуються перелічені проблеми? На жаль, часто для цього використовуються організаційні методи. Наприклад, у компанії може бути вироблений спеціальний регламент. Відповідно до нього у разі зміни запису в довіднику однієї системи слід змінити відповідні записи в аналогічних довідниках інших систем. Зрозуміло, що будь-яка неузгодженість у діях користувачів, які відповідають за ведення довідників, а також помилки, пов'язані з людським фактором, призведуть до некоректних обробок інтеграційних взаємодій між ІС. І такий сценарій розвитку подій дуже вірогідний.

Другий спосіб, досить популярний останнім часом, – використання для керування НСІ систем класу MDM (Master Data Management). Ці рішення призначені для отримання якісних консолідованих основних даних компанії. Найчастіше це інформація про контрагентів (клієнтів) або номенклатуру (товарів). Системи MDM забезпечують повний цикл обробки основних даних: перевірку, очищення та приведення до єдиного формату, виділення атрибутів із слабо структурованих текстових даних, дедуплікацію та виключення «сміттєвих» даних, збагачення інформацією із зовнішніх тавнутрішніх систем. В результаті рішення створює «золоті записи», що є найбільш повними та коректними консолідованими довідковими даними, використовуваними як еталонні.

Варто зазначити, що системи класу MDM можуть здійснювати управління НСІ для інформаційного обміну, проте для вирішення цього завдання вони надмірні, дорогі і недостатньо продуктивні.

Як управляти НСІ?

Отже, які основні складності зустрічаються на шляху до повного порозуміння інформаційних систем та коректної консолідованої звітності?

Не всі інформаційні системи вміють працювати із довідниками, що завантажуються ззовні.
Не завжди вимоги до показників якості бізнес-процесів компанії дозволяють вести НСІ централізовано, витрачаючи час на введення та узгодження довідкових даних у центральній системі управління НСІ.
Не для всіх довідників можна виділити єдину майстер-систему, яка відповідає за їхнє ведення. Наприклад, бухгалтерія найчастіше не довіряє даними про контрагенти, отримані з CRM, а співробітники відділу продажів не можуть чекати, поки запис про клієнта додадуть до бухгалтерської програми.
Не завжди використовувані довідники збігаються за структурою та кількістю записів.

Наприклад, довідник статусів кредитного договору плоский, а такий же довідник у CRM-системі має 3 рівні ієрархії.

На сьогоднішній день розроблено багато сценаріїв управління довідковими даними, часом витончених. І дуже важко знайти на ринку рішення, яке дозволяє їх реалізувати. На наш досвід, на практиці все це різноманіття в умовах української дійсності зводиться до 2 основних сценаріїв. Їхня комбінація покриває практично всі інформаційні потоки, які виникають при організації інтеграційних потоків.процесів та побудову сховищ даних.

Перший сценарій – це реплікація довідників. Якщо для ведення довідника можна вибрати єдину майстер-систему, а інші ІВ вміють працювати з довідниками, що завантажуються ззовні, найправильніше використовувати саме його. У чому полягає? Кожен довідник ведеться лише в одній ІТ-системі (джерелі). Нові та змінені записи довідника передаються до системи управління НСІ. Довідкова інформація надається системам-споживачам (див. рис. 2).

Мал. 2. Реплікація довідників

Процес реплікації може бути реалізований як за online-схемою (довідкові значення відразу передаються кінцевим системам), так і за варіантом offline (періодична передача даних будь-яким плановим завданням). Та чи інша схема вибирається у кожному даному випадку виходячи з специфіки інтеграційних процесів.

В результаті у всіх системах-споживачах один і той самий запис має однаковий первинний ключ, який пов'язаний з ключем системи-джерела. Це дозволяє організувати інформаційний обмін між ІС та формувати корпоративну звітність без додаткових витрат на вивірку та перекодування даних. Цей сценарій є найкращим, але, на жаль, його не завжди вдається реалізувати.

При неможливості використання системами загальних довідників (неоднозначне відповідність записів між собою, різний ступінь деталізації, особливості архітектури ІС) інтеграція даних виконується шляхом взаємного зіставлення довідників систем-учасників інформаційного обміну.

Традиційно таке зіставлення виявляється «розмазаним» по всій ІТ-інфраструктурі: ESB-адаптерах, ETL-процедурах, процедурах побудови звітів тощо. При цьому бізнес-підрозділи не мають доступу домеханізмів зіставлення довідників, тому коригувати процес доводиться ІТ-департаменту. Актуалізація відповідності відбувається із великим запізненням, т.к. зміни мають бути внесені у всіх точках. До того ж, частина інформації може губитися через проблеми з комунікаціями між підрозділами.

Другий актуальний для української дійсності сценарій – це централізоване керування зіставленням довідників.

Довідники ведуться незалежно у ІТ-системах.
Нові та змінені записи довідників передаються до системи управління НСІ.
У системі управління НСІ налаштовуються правила зіставлення записів.
За наявності змін у структурі вихідних довідників повідомляються особи, відповідальні за налаштування правил зіставлення.

При інформаційному обміні довідкові дані передаються в систему управління НСІ та перетворюються відповідно до налаштованих правил на терміни системи-приймача (див. рис. 3).

Мал. 3. Перекодування довідкових значень/ідентифікаторів під час передачі даних

В результаті зіставлення довідників ведеться централізовано, зміни відстежуються, всі правила зіставлення налаштовуються в одній системі. І, що важливо, доопрацювання ІТ-систем не потрібно.

Використовуючи наш великий проектний досвід, ми розробили рішення, яке поєднує обидва описані вище сценарії. Воно включає створену нашою компанією технологічну платформу та експертизу з управління НСІ. Рішення дозволяє швидко та ефективно організувати процес управління довідковими даними та забезпечує:

Підтримка сценаріїв централізованого ведення НДІ (реплікація довідників). Ведення довідників можливе через інтерфейс як системи керуванняНСІ, і обраної «майстер-системи».
Зіставлення довідників (у разі, якщо неможливе їх централізоване відання). При цьому бізнес-користувачі можуть самостійно зіставляти значення довідників із різних систем без залучення технічних фахівців. З появою в інформаційному потоці даних, для яких не зіставлені довідкові значення, бізнес-користувачам, відповідальним за виконання відповідної бізнес-операції, надсилається автоматичне повідомлення.
Підтримка версійності довідкових даних – отримання історичних даних на конкретну дату. Така можливість унеможливлює ведення версійності в облікових та операційних системах, які для цього не призначені.

Таким чином, комплексне рішення поєднує весь набір базової функціональності для ефективного управління НСІ. Воно дозволяє уникнути необхідності впровадження «важких» технологічних платформ для вирішення задачі інтеграції.