Живі 3D мітки - це

«Живі 3D мітки»— це одна з низки технологій доповненої реальності, розроблена в Україні в 2010 р.

Зміст

Принцип роботи технології

Доповнена реальність- одна з низки існуючих технологій взаємодії людини та комп'ютера (складова частина змішаної, а також розширеної реальності).

Її основна мета - це візуальне поєднання двох незалежних просторів: світу реальних об'єктів навколо людини і віртуального світу, створеного на комп'ютері.

Основа технології доповненої реальності – це система оптичного трекінгу. Це означає, що "очима" системи стає камера, а "руками" - мітки (або маркери). Камера розпізнає мітки в реальному світі, переносить їх у віртуальне середовище, а потім накладає один шар реальності на інший і так створює світ доповненої реальності.

Інтерактивне рішення доповненої реальності "живі 3D мітки" працює як на базі маркерної, так і безмаркерної технології. Основна відмінність двох типів технологій – в алгоритмі розпізнавання маркерів доповненої реальності.

Типи інсталяцій системи "живі 3D мітки"

Технологія«живі 3D мітки»спочатку створена для роботи на різних проекційних системах та для різних типів інсталяцій: від мобільної та до складних проекційних рішень на базі стереоскопічних 3D технологій. На сьогоднішній день вона вже відтестована у роботі на різних 3D системах: на безочковому 3D дисплеї на базі лентикулярної технології, на 3D дисплеї на базі технології кругової поляризації, на 3D екрані зворотної проекції на базі технології лінійної поляризації, а також на проекційній технології типу Infitec.

Know-how: алгоритм розпізнавання маркерів

Мітки- це візуальніідентифікатори віртуальних 2D та 3D моделей.

Технологічне know-how та новизна технології полягає у спеціальному алгоритмі, закладеному в технологію їхнього розпізнавання.

Маркерна технологія

Ця технологія була розроблена та офіційно захищена на початку 2010 р.

Вона працює на базі спеціально розробленихчорно-білихабокольорових контрастних міток. "Жива 3D мітка" на базі маркерної технології відрізняється від інших типів міток своєю рамкою. Це тонкий контур із чотирьох ліній та опорних точок на кутах квадрата. Крапки використовуються для того, щоб «камера» безпомилково визначила кути мітки і точно перенесла її положення та орієнтацію з реального простору до віртуального.

Рамка мітки має бути максимально чіткою та контрастною порівняно з іншими об'єктами реального світу. Її основна функція – задати точний розмір та положення мітки для камери. Технологія зручна тим, що подібні мітки легко розпізнаються камерою і дають їй жорсткішу прив'язку до віртуальної моделі. Подібні маркерні системи працюють дуже надійно за умови гарного освітлення навіть за наявності непрофесійної оптики. "Жива 3D мітка" на маркерній основі виглядає як картинка всередині спеціальної графічної рамки.

Рамка мітки є тонким контуром з чотирьох ліній і опорних точок на кутах квадрата. Точки використовуються для того, щоб камера та ПЗ безпомилково визначили кути мітки і точно перенесли її положення та орієнтацію з реального простору у віртуальне.

Основне завдання системи - визначити тривимірне положення реальної мітки за її знімком, отриманим за допомогою камери.

Алгоритм розпізнавання маркера відбувається поетапно:

Після цього як би користувач не переміщав мітку в реальномупросторі, віртуальна 3D модель на ній точно слідуватиме за рухом мітки.

Безмаркерна технологія

Ця технологія була розроблена в середині 2011 р.

Убезмаркерноїтехнології програмне забезпечення EligoVision знаходить «живу 3D мітку» не по квадратній рамці з опорними точками, а по комбінації з кількох десятків «особливих точок» - контрастних плям на вибраному зображенні. Технологічне «ноу-хау» полягає у спеціальному алгоритмі, закладеному у технологію розпізнавання будь-якого графічного зображення.

Онлайн плагін EView

Цей плагін був спеціально розроблений для зручності користувачів. Він дозволяє переглядати додатки доповненої реальності на «живих 3D мітках», не завантажуючи окремі програми для кожного з програм.

Тепер для того, щоб побачити 3D модель на «живій 3D мітці», користувачеві достатньо одного разу завантажити та встановити плагін на жорсткий диск ПК, а потім просто відкривати web-сторінки з демо-версіями програм та підвантажувати їх безпосередньо з сервера розробника, не завантажуючи додаткові програми на свій ПК.

• Microsoft Windows (2000, XP, Vista, 7);
• Linux (32-bit, 64-bit).

• Microsoft Internet Explorer (версії 5.01 та вище);
• Mozilla Firefox;
• Opera;
• Google Chrome.

• вбудована реалізація технології доповненої реальності;
• візуалізація 3D сцен із використанням апаратних засобів (графічної карти), що дозволяє демонструвати складні високополігональні 3D моделі з фотографічною якістю відображення у реальному масштабі часу;
• зберігання та передача контенту демонстрації у зашифрованому вигляді, що не дозволяє стороннім особам заволодіти вихіднимимультимедійні матеріали.

Студія доповненої реальності (AR студія)

AR студія- це новий спосіб представлення ілюстративного матеріалу широкої аудиторії на базі технології доповненої реальності.

Мета створення подібної системи — дати доповідачу або ведучому значно більшу свободу у використанні у презентації нових 3D візуальних засобів.

Традиційно при виступі на великій сцені доповідач змушений мати мітку доповненої реальності вертикально перед собою і направляти її на фронтальну камеру для коректного відображення «прив'язки» віртуальної 3D моделі поверх зображення мітки. Такий спосіб ускладнює виступ і обмежує доповідача у пересуванні та керуванні міткою.

В AR студії використовується кілька камер різного стандарту, каліброваних між собою за спеціальною схемою, що дозволяє вирішити проблему обмеження області взаємодії мітки з камерою. В результаті доповідач отримує більшу гнучкість під час презентації, вільно переміщуючи мітку у горизонтальній та вертикальній областях.

Принцип роботи AR студії

Якщо мітку не вдалося визначити за допомогою верхньої камери, то здійснюється її пошук на зображенні, отриманому з передньої камери.

Зараз в AR студії використовується схема із двох модулів реєстрації сигналу (камер). Надалі планується доповнити систему ще двома камерами.

Процес створення «живої 3D мітки»

1. Перший крок -ідея. Розробляється концепція моделі, її анімація та ефекти. Наприклад, потрібно створити фотореалістичну модель сови, оживити її анімацією і прив'язати до неї аудіо.

2. У програмі для 3D моделювання дизайнером повністю створюєтьсякаркасмоделі. Модель сірої неясності створюваласявручну на основі багатьох фотографій. Потім на створений каркас накладаються текстури – пір'я, дзьоб, пазурі, на дерево – текстура кори, зрізу тощо.

Оскільки «жива 3D мітка» може бути в інтерактивній зоні необмежено довго, то може пройти не одна, а кілька десятків ітерацій одного сюжету. Тому анімація, зазвичай, робиться циклічною, з плавними переходами між стадіями.

4. Існує також пряма залежність між розміром самої мітки та розміром запрограмованої на неї віртуальної моделі. «Підгонка» моделі розраховується заздалегідь, як вихідний стандарт використовується найзручніший для користувача розмір.

5. Модель потрібно посадити на мітку так, щоб при її внесенні в інтерактивну зону картинкою до користувача, модель з'являлася б обличчям до нього, а не боком або спиною. Камера чітко зчитує розташування картинки на мітці і садить 3D модель саме так, як вона заздалегідь запрограмована.

6. Один із складних етапів - це програмуванняфізики моделі. Будь-який рух та зміна положення реальної мітки в реальному просторі тягне за собою зміну моделі у віртуальному просторі.

Можливості поведінки 3D моделі на конкретній мітці прораховуються математично на програмному рівні. Наприклад, у випадку з міткою з совою можна запрограмувати фізику так, що птах злітатиме з гілки при нахилі мітки перед камерою. На цьому етапі програмуються і анімуються всілякі взаємозв'язки між різними «живими 3D мітками», наприклад, з'єднання у реальному часі кількох елементів конструктора, кожен із яких запрограмований на окремій мітці.

7. Наступна стадія – програмуванняаудіодля моделі. Аудіофайл «нарізається» у потрібному форматі потрібноїдовжини і програмним чином «прив'язується» до картинки на мітці. Коли система розпізнає зображення, вона автоматично завантажує аудіофайл. Якщо в зону дії системи потрапляє кілька міток з аудіо, то в більшості випадків система автоматично ставить режим без звуку (mute). До мітки прив'язується аудіофайл будь-якої тривалості, він може відтворюватися циклічно, один раз або кілька заданих разів з потрібними інтервалами.

8. Зовнішнійдизайн мітки: картинкою для мітки може бути будь-яке зображення, у тому числі і штрих-код. Однак користувачам швидше і легше навчитися працювати з очевидними графічними символами, наприклад із зображенням сови, ніж зі штрих кодом.

9. Завершальним етапом є зведення всіх стадій у віртуальному інтерактивному середовищі доповненої реальності. Система «живі 3D мітки» працює у відкритому програмному середовищі –OpenSceneGraph. У цьому середовищі написані спеціальні програмні бібліотеки, математичні модулі та алгоритми. Вони дозволяють працювати з додатками доповненої реальності на різних дисплейних системах.

---