Яндекс Метеум як працює система прогнозування погоди з точністю до дому
Щоб зрозуміти, чим відрізняється нова технологія метеуму від класичних, потрібно уявляти, як в даний час влаштований світ погодних моделей. Наразі існує кілька основних моделей, які застосовуються для короткострокового прогнозування погоди. Серед основних – модель з відкритим вихідним кодом WRF та модель GFS. Обидві технології мають декілька різних векторів розвитку. Короткий принцип прогнозування погоди розглянемо з прикладу WRF.
Класична метеорологія
За своєю суттю модель WRF - це open-source програма, написана на Фортрані, яка відображає накопичені знання вчених про фізику, динаміку, атмосферу і, відповідно, про погоду. Ця модель створена для опису складної динамічної системи, якою є атмосфера Землі. Принцип роботи цієї моделі можна поділити на дві умовні складові: прогнозування фізики та динаміки. Фізичні модулі WRF стежать за теплом, яке поглинається та виділяється атмосферою, а також за утворенням опадів у певному місці та у певний час. До динамічної інформації належить утворення циклонів, троянда вітрів, рух повітряних мас тощо.
На малюнку зображено зріз сітки моделі атмосфери. Результати фізичних розрахунків нагріву та охолодження атмосфери відображені кольором осередків. Стрілки демонструють рух повітряних мас. За фізичну складову відповідає набір напівемпіричних моделей, за динаміку – вдосконалена версія рівняння Ейлера. Саме у вирішенні цього рівняння і полягає основна складність прогнозування погоди, а точніше, у правильному параметризуванні процесів, що впливають на атмосферу ззовні. До таких процесіввідноситься сонячна радіація, теплове випромінювання ґрунту, парникові гази і т.д. І це лише мала частина того, що варто врахувати під час прогнозування погоди.
Це було б нездійсненне завдання, якби не накопичений досвід людства у сфері спостереження метеоумов. Для цього були створені такі речі, як метеостанції, супутникові спектрометри, радари, лідори та багато іншого. Для того, щоб досягти необхідної точності прогнозування, потрібно використовувати 10000 метеостанцій по всьому світу, 80 метеорологічних супутників і близько 1500 радіологічних станцій. Тому дані про спостереження за станом атмосфери, отримані в одну мить, є терабайтами інформації стаціонарних вимірювань, радарних сканувань і фотографій із супутників.
Система Метеум
Система розрахункових областей чисельної моделі в Метеумі спроектована таким чином, щоб покривати територію прогнозування двома способами: на сітці з великою роздільною здатністю (6x6 км.) та на сітці з дрібною роздільною здатністю (2x2 км.). На малюнку зображено початкове розташування розрахункових областей. Червоний - зовнішній домен з сіткою 6x6 км, сині - вкладені області з роздільною здатністю 2x2 км. За словами компанії, це базове розташування областей, надалі спектр покриття системи постійно розширюватиметься.
Ці сітки взаємодіють одна з одною, передаючи необхідну погодну інформацію. Щоб обробити і зберігати параметри атмосфери, необхідні величезні обчислювальні потужності. Щодня на кластери Яндекса надходить більше 10Тб прогнозів, а для того, щоб спрогнозувати погоду на 48 годин, з необхідною точністю деталізації потрібно понад 6 годин обробки.
Система отримання та обробки даних для розрахунку моделі, та їхпоєднання алгоритм асиміляції — це складний процес, що з багатьох ланок. Так що не вдаватимемося в подробиці, а краще поговоримо про машинне навчання, яке і стало головною особливістю системи Метеум.
Машинне навчання
Основною розрахунковою моделлю на кластерах Яндекса є WRF. Крім того, система отримує прогнози для 1200 міст по всьому світу, зроблені компанією Foreca. Більш детальна інформація про стан атмосфери надходить до Метеуму з американської моделі GFS, яка, до речі, вважається однією з найточніших моделей у світі та має дозвіл у 0,25°. Дані цих моделей про різну метеорологічну обстановку дозволяють системі точніше підібрати коригування до прогнозу і правильно вибрати вихідні дані.
Слід врахувати, більшість прогнозів спотворюють деякі параметри. Припустимо, завищують кількість опадів або занижують температуру в межах міста. Людині просто неможливо визначити таку множину закономірностей, а ось для машинного навчання — це цілком здійсненне завдання. Для визначення взаємозв'язку між прогнозами моделей та реальною погодною обстановкою у Метеумі використовується популярний алгоритм машинного навчання Матрікснет.
Матрікснет приймає архіви оброблених прогнозів від моделей і порівнює їх із реальною метеорологічною обстановкою, яка є спостереженням тисяч метеорологічних станцій, супутників і радарів. В результаті всіх звірок виходить кінцева формула коригування прогнозу погоди, який є оптимальним у конкретний час.
На жаль, деякі ділянки віддалених територій не можуть надати достатню інформацію про параметри атмосфери через те, що метеозміри там вкрай рідкісні. Тому дляПобудови гіперлокального прогнозу Метеум використовує великий обсяг даних, що побічно вказують на погодну обстановку в цих районах.
Як працює Метеум
Як писалося раніше, відмінність Метеума — це безперервний розрахунок прогнозу погоди в режимі реального часу. Щоразу, коли користувач звертається до сервісу, інформація з різних погодних моделей надходить до системи. Прогнози WRF та GFS знаходяться на спеціальному мікросервісі, важать близько 60 Гб та оновлюються щохвилини. Обсяги та частота оновлення прогнозу від Foreca значно нижчі.
Далі всі ці дані разом з реальною метеорологічною обстановкою, отриманою від метеостанцій, відправляються Матрікснет, де складається загальний прогноз погоди. Всі ті процеси, які були описані вище, відбуваються щоразу, коли користувач заходить в Яндекс.Погоду. Роблячи запит, він посилає в Метеум свої географічні координати, а система аналізує фактичну метеорологічну обстановку, тип підстилаючої поверхні і складає власний прогноз погоди для конкретного розташування користувача.
Підсумок
За власними оцінками компанії (незалежних вимірів поки що не проводилося), зараз система Метеум надає найточніший прогноз погоди. Наприклад, температурний прогноз Метеума помиляється на 35% менше, ніж у найближчих конкурентів системи.
Підписуйтесь на наш ненудний канал у Telegram, щоб нічого не пропустити.