Огляд Бізнес-аналітика та великі дані в Україні 2015, Мистецтво аналітики як зробити дані
Мистецтво аналітики: як зробити дані джерелом прибутку
Проект «Мистецтво аналітики» компанії Teradata розкриває красу та глибину сучасних засобів аналізу інформації. Передова візуалізація - вид мистецтва, який наочно показує зазвичай невидиму суть подій. Дивно, але найскладніші формули та гігабайти даних можна перетворити на картинку, яка зрозуміла навіть дитині.
Проект The Art of Analytics («Мистецтво аналітики») демонструє естетичну та практичну цінність досконалих систем візуалізації даних. У сучасному світі тисячі подій, персон та об'єктів можуть бути пов'язані між собою мільйонами зв'язків. Комп'ютерні системи збору даних можуть виявити ці зв'язки, але охопити їх одним поглядом і, тим більше, відстежити динаміку не зможе навіть геній з абсолютною пам'яттю. Великі дані стали по-справжньому більшими, і звичні графіки та стовпці цифр уже не можуть наочно відобразити результати складного аналізу.
Для вирішення проблеми аналізу та наочного відображення великих обсягів складних даних використовуються спеціальні технології, такі як платформа масивно-паралельних обчислень Teradata Aster та засіб візуалізації Aster Lens. Аналітичну платформу можна використовувати для виконання складних завдань, наприклад, аналізу активності соцмереж, виявлення шахрайства, виявлення кіберзагроз, виявлення фактів відмивання грошей. Система візуалізації представляє результати аналізу як зображень: складних графіків з сполучних ліній і точок подій. Ці зображення іноді дуже красиві та нагадують абстрактні картини зі складною павутиною різнокольорових ліній та яскравих зірок.
У проекті The Art of Analytics компанія Teradata зібрала понад 20 картин-візуалізацій від провідних дослідників даних із усього світу. Кожнакартина неповторна і результат певного практичного дослідження. Але водночас вони мають і естетичну цінність. Розглянемо кілька найбільш яскравих візуалізацій та прикладів практичної користі подібних аналітичних картин.
Фонтани сумнівних зв'язків
Дослідник TeradataЦи-лінь (Мері) Сі (Qiling (Mary) Shi) працює у сфері банківської безпеки: аналізує ризики у складній китайській комерційній системі.
Для одного великого китайського банку Цілінь Сі провела аналіз руху грошових потоків між компаніями. Система Teradata Aster опрацювала дуже великий обсяг інформації: понад 60 млн. записів про 670 тис. компаній. У результаті було побудовано графік, що з 3883 точок і 3943 ліній.
Дослідний аналітик за допомогою наочних транзакційних «фонтанів» може одним поглядом оцінити «здоров'я» ринку та виявити ранні ознаки кризи. Стрілки вказують напрямок фінансових потоків
На візуалізації транзакції виглядають як різнокольорові фонтани, що розсилають фінансові потоки. Наочність зображення допомагає виявити заплутані зв'язки між безліччю компаній, прихованих від звичайних інструментів моніторингу.
Такий аналіз корисний у багатьох випадках, наприклад, для виявлення незаконного виведення та відмивання грошей, нецільового витрачання кредитних коштів. Також візуалізація допомагає перевірити активність компанії, оцінити її фінансову стійкість, знайти найважливіших гравців на ринку та слабкі місця у ланцюжку постачальників, які можуть обрушити ринок. Фінансовий потік можна відстежувати, наприклад, протягом днів, створюючи повну картину взаємозалежності компаній. Завдяки цьому банки можуть проводити більш ефективну політику кредитування та управління активами. Іноді завдякивізуалізації неочевидна в інших випадках підтримка невеликої компанії може врятувати весь ринок.
Салют на честь поручителів
Консультант Центру експертизи Big data компанії TeradataЮй-Жуй Чжан (Yurui Zhang) візуалізував складну картину на ринку кредитування нерухомості. Насамперед бізнес-аналітика в цій галузі спрямована на запобігання кризам та обвалам ринку та великим фінансовим втратам для девелоперів та банків.
Для продажу житлових будинків або квартир у новому будинку девелопери під свою поруку пропонують покупцям вигідні кредити, які зазвичай набувачам житла не по кишені. Покупець у цьому випадку добре захищений: якщо ціна на нерухомість різко впаде, можна буде припинити виплати позик та перекласти цю проблему на девелопера. Але якщо девелопер виступає поручителем безлічі таких кредитів, у разі кризи він не зможе покрити всі борги по позиках, навіть з урахуванням продажу житла, що подешевшало. Для банку це означає значні фінансові втрати.
Структура поручительських зв'язків девелопера та позичальника схожі на вибух феєрверку. На візуалізації точки - це позичальники, а лінії - зв'язки між позичальниками та девелоперами
Щоб оцінити потенційні ризики, необхідно проаналізувати всі поручительські зв'язки девелопера та набувача житла. Девелопери з найбільшою кількістю таких зв'язків для банку є найбільш ризикованими клієнтами. При цьому можна використовувати аналітику соцмереж для встановлення відносин позичальника та поручителя. Найпростіше поручительські зв'язки побачити саме у графічному відображенні — у наочній візуалізації, де око миттєво «чіпляється» за найгустішу мережу ліній поруки.
Ще один приклад аналітики надійності поруки. На цей развізуалізація дозволяє виявити перехресні схеми поруки, які багаторазово збільшують фінансові ризики для банків. На зображенні добре видно, як пов'язані між собою позичальники та поручителі. Крапки - це позичальники та поручителі, товщина ліній - сума кредиту
За допомогою тих-таки аналітичних інструментів Teradata Юй-Жуй Чжан також проаналізував фінансові ризики при видачі кредитів компаніям. При кредитуванні важливо розпізнати перехресну поруку, коли кілька компаній виступають поручителями один в одного, щоб залучити більші кредити. Коли у схемі перехресної поруки беруть участь десятки компаній, корпоративних структур та підрозділів у різних країнах — дуже складно виявити факт перехресної поруки. Тим часом воно несе додаткові ризики: банк може втратити відразу багато кредитів на сотні мільйонів доларів.
Подібна візуалізація може використовуватися для аналізу заявок про автокредитування, що надходять з автосалонів. У деяких випадках поручителями виступають пов'язані один з одним організації. Це може викликати ефект доміно і завдати банку серйозних фінансових збитків. На зображенні чітко видно такі взаємопов'язані структури (сині та фіолетові точки). Лініями відзначені зв'язки між поручителем та доручаним. Різні кольори - це приналежність до певного виробника та дилера
Букет смакових відтінків
Аналітик TeradataКайлаш Пуран (Kailash Purang) із Сінгапуру за допомогою нових технологій вирішив дуже незвичайне завдання: наочно продемонстрував смакові відтінки 86 односолодових брендів шотландського віскі. Цьому напою вже понад 700 років, і розібратися в різноманітті смаків можуть лише небагато висококласних експертів.
Візуалізаціяпоказує 12 смакових характеристик віскі: горіховий присмак, медові нотки, насолоду і т.д. За допомогою ліній можна простежити зв'язок між смаковими відтінками майже сотні найкращих брендів шотландського віскі та визначити їх спільні риси.
Аналітика такого типу зазвичай застосовується для продовольчого ринку, коли потрібно позиціонувати бренд, розробити нові типи смаків та створити рекомендації щодо заміни продукту на близькі аналоги.
На графіку, схожому на лист рослини, крапки є брендами віскі. Схожі за смаком напої розташовані поруч один з одним, а лінії з'єднують усі бренди між собою.
Наочна візуалізація в цьому випадку доступна будь-якому бармену або офіціанту, якому потрібно замінити відсутній сорт віскі на схожий напій іншої марки. Для цього достатньо вибрати найближчий по лінії графіка аналог.
Лондонський аналітик TeradataКрістофер Хіллман (Christopher Hillman) створив класичну візуалізацію твіттер-шторму. Лавиноподібне поширення реакцію повідомлення на твіттері дуже складно відстежити, оскільки він викликає масу реакцій (позитивних і негативних) і швидко стає глобальним.
За допомогою візуалізації легко виявити причину твіттер-шторму — перше провокаційне повідомлення. Також можна чітко побачити негативну реакцію: негативні твіти виділяються великою групою поза епіцентру шторму.
Вітрила логістики
АналітикФренсіс Лок (Frances Luk) працює в аналітичній групі Teradata в Австралії та Новій Зеландії. У цьому регіоні дуже розвинені морські контейнерні перевезення, і логістичні компанії потребують аналізу експлуатації контейнерів. Це важлива робота, оскільки, наприклад, один новий цільнометалевий40-футовий контейнер коштує від $4 тис. Великі морські держави обробляють мільйони контейнерів щорічно. Так, у 2014 р. обіг контейнерів в українських портах становив майже 4,5 млн 20-футових контейнерів.
Величезну кількість дорогих контейнерів необхідно регулярно перевіряти та ремонтувати, адже в контейнері може бути дуже дорогий вантаж. Фахівці у цій галузі добре пам'ятають випадок 2011 р., коли в Австралійському порту під час навантаження контейнер зірвався із шестиметрової висоти. Усередині було 5544 пляшок червоного вина на загальну суму $1 млн. Усі вони розбилися.
Контейнери часто ушкоджуються під час транспортування та операцій із завантаження або розвантаження. Витрати на ремонт лягають на логістичні компанії.
Аналітик Френсіс Лок допомогла Maersk, одній із найбільших логістичних компаній планети розібратися, які фактори впливають на ремонтні витрати та тривалість служби контейнерів. До цього компанія не могла впоратися із цим завданням, але сучасні інструменти аналізу та візуалізації вирішили проблему.
На візуалізації вузли в правому нижньому кутку - це пошкодження контейнерів. Крапки на верхній кривій є товарами. Лінії показують, який тип товару перевозився у контейнерах досі його ушкодження. Товщина лінії означає витрати, пов'язані з ремонтом пошкоджень
Деякі результати аналізу не стали одкровенням для замовника. Зокрема, найтовстіша лінія вказує, що найчастіше контейнери пошкоджуються при перевезенні металобрухту. Проте, тепер логістична компанія може обґрунтувати цінову політику щодо деяких типів вантажів і цілком охопити ситуацію з контейнерним парком.
Ще одна візуалізація показує якість ремонту контейнерів у різнихпостачальників відповідних ремонтних послуг На першій колонці відмічені випадки попереднього ремонту, а на другій наступного. Лінії, що ведуть до кінця графіка, означають очікуваний ремонт. У свою чергу лінії, які ведуть до другого ремонту, — несподіваний ремонт. Таким чином можна оцінити статистику ремонту без відвідування кожної ремонтної майстерні.
Зазвичай контейнери ремонтуються поруч із портом і одразу ж вирушають на навантаження. За допомогою візуалізації логістична компанія спромоглася оцінити якість ремонту у різних підрядників. Раніше це було складно, оскільки контейнери постійно в дорозі і розкидані по всьому світу. Якщо між ремонтами занадто маленький проміжок часу, то висока ймовірність, що попередній ремонт був зроблений неякісно. Крім того, аналітика допомагає визначити термін служби контейнера до наступного ремонту, спрогнозувати простий контейнер та можливі збитки.
Не просто мистецтво
Аналітика великих даних вже давно перетворилася на доповнення до презентації на оперативний інструмент моніторингу та прогнозування. Більше того, вона стала мистецтвом пояснювати складні речі за допомогою простих образів, виражати недоступні більшості заплутані математичні зв'язки зрозумілими всіма лініями, кольорами та геометричними фігурами.
Проект The Art of Analytics показує силу асоціативної графіки. Дивно, але з її допомогою можна пояснити основи квантової фізики учням молодших класів. Потрібен лише талант художника та відповідний аналітичний інструмент.