УДК 004.77
Олександр Дрижал, викладач кафедри теорії і методик викладання природничо-математичних дисциплін і технологій Хмельницького обласного інституту післядипломної педагогічної освіти
ХАРАКТЕРИСТИКИ СУЧАСНИХ ТЕХНОЛОГІЙ ЦИФРОВОГО СВІТУ
У статті розглянуто основні поняття, котрі пов’язанні з технологією доповненої реальності (AR). Також описано використання даної технології у підручниках і використання цієї технології на уроці без використання підручника. Розглянуто додатки доповненої реальності, як українського та закордонного виробництва.
Ключові слова: Доповнена реальність, AR (Augmented Reality), реальність, VR (Virtual Reality) віртуальна реальність, мобільний додаток, мітка доповненої реальності, маркер доповненої реальності.
Olexandr Dryzhal, Lecturer of the Department of Theory and Methods of Teaching Natural and Mathematical Disciplines and Technologies Khmelnytsky Regional Institute of Postgraduate Education
CHARACTERISTICS OF MODERN TECHNOLOGIES OF THE DIGITAL WORLD
This article describes the basic concepts behind augmented reality (AR) technology. It also describes the use of this technology in textbooks and the use of this technology in a lesson without the use of a textbook. Applications of augmented reality, both Ukrainian and foreign production, are considered.
Keywords: Augmented Reality, AR, Reality, Virtual Reality, VR, Mobile App, Augmented Reality Label, Augmented Reality Marker..
З розвитком цифрових технологій, мережі Інтернет, мобільних цифрових пристроїв свій розвиток і вдосконалення розпочали різні галузі наук, зокрема військова, медична, розважальна, наукова і освітня галузі. Перші прототипи чи ідеї віртуальної реальності та доповненої реальності ми спостерігали у фантастичних фільмах 90-х років, а зараз це життя в якому ми живемо та розвиваємося, прогрес не стоїть на місті.
Перші хто у світі почав розвиток цих технологій це військова галузь, зокрема окуляри, сканери, які дозволяли бачити невидимий об’єкт на відстані та його характеристики, згодом доповнену реальність використовували у маркетингу, щоб захопити увагу об’єктами, що оживають, зараз це освіта та друкування сучасних книг, які оживають. Раніше це були лише фантастичні відео в кіно, зараз це реальне поєднання друкованої книги з доповненою реальністю. Віртуальні екскурсії, занурення у глибини океану, подорожі у вигаданому світі усе це та набагато більше дозволяє технологія віртуальної реальності. Але у цій статті більше уваги приділяється іншій технології, яка межує з цифровим простором та реальними об’єктами, які знаходяться навколо нас у освітньому процесі. Доповнена реальність є більш доступною технологією, тому що використовує мобільний пристрій (смартфон, планшет) для застосування. Мобільний додаток з AR (доповненою реальністю) можна вільно завантажувати на пристроях Android та Apple відповідно з Play Market та Apple Store.
Крім того за останні 4 роки (2018-2022рр.) спостерігається зацікавленість українських політехнічних університетів у створенні додатків з доповненою реальність, зокрема це київські та харківські ВНЗ. Тому також у даній статті буде звернута увага на українські розробки.
Також починаючи з 2016 року публічно виходить інформація про технологію Portals Holoportation, що дозволяє передавати на відстань тривимірні об'єкти (3D), такі як людину. І відповідно виникає ефект присутності її в іншому місці.
Основні характеристики понять
Реальнвсть (R)-Віртуальна реальнівсть (VR)-Доповнена реальність (AR)
Реа́льність (від лат. realis — речовинний, дійсний, від res — річ, предмет) — філософський термін, який означає усе те, що існує (існувало чи існуватиме) насправді. Окреслення того, що існує насправді, а що насправді не існує — складне онтологічне питання, а тому серед філософів термін реальність вживається в різних значеннях в залежності від філософського напрямку чи школи. Реальність також визначається як властивість речі, її справжній стан, те як вона існує насправді, а не те як вона уявляється. Реальність також можна розглядати як відчуття людини, перебуваючи у природньому для неї середовищі. [2, 3]
Протилежні до реальності поняття суть «ілюзія», «фантазія», «ідеальне». Синонімом поняття «реальність» у повсякденному вжитку часто виступає поняття «дійсність», однак, наприклад, у філософії діалектичного матеріалізму дійсність визначається як філософська категорія, що протиставляється можливості, тобто дійсність — це реалізована можливість.
Іноді, під «реальністю» розуміють даність об'єктів в найширшому смислі, і говорять, наприклад, про віртуальну реальність — штучно створений комп'ютерною імітацією ілюзорний світ. Змішана реальність, відповідно, частково відтворює в комп'ютерній симуляції реальний світ, додаючи до нього штучно створені елементи.
Поняття реальності вивчається розділом філософії — онтологією. Коло проблем, на які вона намагається дати відповідь, включають питання: чи реальний я? чи реальні мої думки? чи реальний світ, що мене оточує? чи реальні абстрактні поняття? тощо.
Віртуа́льна реа́льність (англ. Virtual reality) — різновид реальності в формі тотожності матеріального й ідеального, що створюється та існує завдяки іншій реальності. У вужчому розумінні — ілюзія дійсності, створювана за допомогою комп'ютерних систем, які забезпечують зорові, звукові та інші відчуття. [2, 3]
Поняття віртуальної реальності походить від «віртуальність», що початково позначало в схоластиці зв'язок між реальностями, що належать до різних рівнів, переважно між реальністю божественною і земною. У другій половині ХХ століття під віртуальністю стали розуміти можливе, потенційне, умоглядне. З 1980-х поширився термін «віртуальна реальність» для позначення комп'ютерних систем, що дають користувачеві інтерактивне стереоскопічне зображення. Зрештою його головним значенням стала імітація дійсності з допомогою комп'ютера і різних пристроїв, що діють на органи чуття.
Існують різні підходи до розуміння віртуальної реальності. Різні дослідники описують її як справжнє буття, небуття, неповне буття. Н. А. Носов визначав такі характеристики віртуальної реальності, що вважаються в сучасних дослідженнях основними:
Породженість — віртуальна реальність створюється активністю іншої реальності, зовнішньої щодо неї (константної);
Актуальність — віртуальна реальність існує тільки «тут і тепер», поки активна константна реальність;
Автономність — у віртуальній реальності свій час, простір і закони існування, що можуть бути відмінними від таких у константній реальності;
Інтерактивність — віртуальна реальність може взаємодіяти з іншими реальностями, в тому числі і з тією, що її створює.
До них часом додаються такі, як перетвореність (віртуальна реальність є перетворена інша реальність), спостережуваність (вона є реальністю, якщо її можна сприймати органами чуття), потенційність (вона є тим, що можливе, але не втілене), символічність, відмінність від справжньої реальності, ірраціональність.
Сфери використання віртуальної реальності:
Навчання — моделювання складної чи небезпечної діяльності, наприклад, керування транспортом, хірургічних операцій.
Наука — візуалізація внутрішньої будови об'єктів, молекулярних і атомних структур. Зокрема в медицині віртуальна реальність забезпечує дистанційне і точне керування інструментами.
Дизайн — побудова й редагування тривимірних моделей механізмів, споруд тощо; симуляція та дослідження різних впливів на них.
Розваги — віртуальні тури, екскурсії, відеоігри з ефектом занурення в ігровий світ.
Військова сфера - тренування пілотів, водіїв, операторів, підрозділів з імітацією збройних сутичок тощо.
Допо́внена реа́льність (англ. augmented reality, AR), — термін, що позначає всі проекти, спрямовані на доповнення реальності будь-якими віртуальними елементами. Доповнена реальність — складова частина змішаної реальності (англ. mixed reality), в яку також входить «доповнена віртуальність» (коли реальні об'єкти інтегруються у віртуальне середовище).[2, 3]
Найпоширеніші приклади доповненої реальності — паралельна лицьової кольорова лінія, що показує знаходження найближчого польового гравця до воріт при телетрансляції футбольних матчів, стрілки з вказівкою відстані від місця штрафного удару до воріт, намальована траєкторія шайби під час хокею тощо.
Сам термін імовірно був запропонований при співпраці з корпорацією Boeing дослідником Томом Коделом (англ. Tom Caudell) в 1990 році. Існує кілька визначень доповненої реальності: дослідник Рональд Азума (англ. Ronald Azuma) в 1997 році визначив доповнену реальність як систему, яка:
Поєднує віртуальне і реальне
Взаємодіє в реальному часі
Працює в 3D
У 1994 році Пол Мілграм (англ. Paul Milgram) і Фуміо Кісін (англ. Fumio Kishino) описали Континуум Віртуальність-Реальність (англ. Milgram's Reality-Virtuality Continuum) — простір між реальністю і віртуальністю, між якими розташована доповнена реальність (ближче до реальності) і доповнена віртуальність (ближче до віртуальності).
Іноді використовують як синоніми назви «розширена реальність», «поліпшена реальність», «збагачена реальність».
Джерела стверджують, що Apple може представити окуляри доповненої реальності, створені у співпраці з Carl Zeiss AG, влітку 2017 року.
Корпорація Microsoft 2018 року запустила проект HoloLens — окуляри змішаної реальності. На основі цієї розробки найбільший китайський інтернет-магазин Taobao створив модель MR Buy — окуляри, що можуть ідентифікувати такі товари, як одяг та аксесуари, і надавати про них загальну інформацію (місця, де можна придбати, ціну, відгуки покупців). Також окуляри мають доступ до асортименту Taobao, що допомагає користувачам отримати інформацію і про інші товари магазину, які є в наявності. Взаємодія з інформацією, наданою окулярами, можлива не тільки за допомогою рухів рукам, а й очима.
Апаратна частина пристрою для роботи з доповненою реальністю дуже складна. Вона складається з наступних частин: процесор, дисплеї, різноманітні датчики, та пристрої вводу інформації. Сучасні мобільні пристрої, як смартфони або планшети,мають в собі всі зазначені елементи, а також камеру та МЕМС (акселерометр, GPS, цифровий компас), що роблять їх придатними до використання в якості платформи для AR.
Система розпізнання — це основа технології доповненої реальності. Вона використовується для ідентифікації об'єктів та людей в реальному часі в фізичному просторі, основані на обчисленні даних о геолокації, просторової орієнтації та часу або визначення форм, атрибутів та характерних ознак об'єкту. Таким чином, системи розпізнання для доповненої реальності можна поділити на локаціїно-залежні та об'єктно-залежні. При цьому об'єктно-залежне розпізнання також може бути реалізовано двома способами: за допомогою штучних маркерів та без них.
Важливу роль в системі розпізнавання зіграв SLAM - метод одночасної локалізації та побудування карти, використовуваний для побудови карти в невідомому просторі з одночасним контролем поточного місцезнаходження і пройденого шляху. У спрощеному вигляді, SLAM - це спосіб розпізнавання оточення та місця розташування камери, шляхом розкладання картинки на геометричні об'єкти і лінії. Після чого кожної окремої формі система присвоює точку (або декілька точок), фіксуючи їх розташування в просторових координатах на послідовних кадрах відео потоку. Таким чином, умовно будівля розкладається на площині стін, вікна, межі та інші елементи, що виділяються. А умовна кімната - на площини (підлога, стеля, стіни) і об'єкти всередині. Завдяки тому, що алгоритм дозволяє запам'ятовувати положення точок в просторі, повернувшись в цю саму кімнату з іншої ви побачите точки на тих же місцях, де вони і перебували раніше.
Особливо сильний поштовх цей метод отримав після того як виробники смартфонів почали вбудовувати додаткові камери для розрахунку глибини різкості в свої апарати.
Не варто думати, що SLAM — це продвинута версія звичайного розпізнавання образів і відстеження маркерів. Швидше, це інструмент, який набагато краще підходить для орієнтації систем доповненої реальності в просторі. Він дає системі зрозуміти, де знаходиться користувач. Але набагато гірше підходить для розпізнання що саме знаходиться перед камерою.
Найгучнішою подією доповненої реальності останніх років стали окуляри Google Glass, які побачили світ у 2013, з якими є невелика плутанина. Незважаючи на те, що саме вони багатьом першими приходять на думку, коли мова заходить про доповнену реальність, до неї ці окуляри відношення майже не мали. Віртуальне середовище практично не взаємодіяло з реальним. Хіба що навігацію можна зарахувати до AR-контенту, але і вона була реалізована в стилі карт для телефону, а не динамічних вивісок над дорогою.
Проте, окуляри вміли робити фото та знімати відео за командою, з автоматичною відправкою в хмару. Цей не ставший масовим експеримент все ж зробив свою справу: запустив хвилю, давши зрозуміти іншим компаніям, що можна серйозно братися за розробку пристроїв доповненої реальності для широких мас.
Естафету одразу прийняла Microsoft, через пару років завуальовано анонсувала (а в 2016 і представила) окуляри змішаної реальності Hololens. Правда, тільки для розробників і журналістів. Продукт складний, його досі розробляють. Але в інтернеті багато захоплених оглядів, де люди діляться своїм досвідом взаємодії з віртуальним середовищем.
Окуляри Microsoft Hololense
Hololens не вимагають підключення до іншого ПК або телефону. У окуляр чотири камери, за допомогою яких пристрій аналізує кімнату (або інше навколишнє середовище) і поєднує віртуальні об'єкти з реальним світом.
Окуляри дозволяють практично повноцінно працювати з Windows 10, причому, назва «Windows» набуває нового сенсу: вікна системи легко вішаються на стіни на манер, власне, вікон. Окуляри запам'ятовують приміщення, тому, коли користувач повертається в ту ж саму кімнату, всі вікна додатків і інші елементи змішаної реальності чекають його на своїх місцях.
Зараз існує близько десятка найбільш перспективних розробників і продуктів для доповненої реальності в форм-факторі окулярів: Vuzix, Sony, ODG, Solos.
Поки що доповнена реальність в основному зустрічається в смартфонах. Це зручність, готова технічна база, широка поширеність пристроїв і простота написання програмного забезпечення.
Розроблені спеціально під фото для соцмереж додатки пропонують приблизно одні й ті ж функції: маски для обличчя і розміщення персонажів в просторі. Тобто - розваги. Але все більше компаній розуміють важливість цієї ніші і представляють більш утилітарні програми: віртуальні рулетки, перекладачі, що розпізнають текст з камери, додатки, що можуть визначати зірки по зображенню з камери, тощо.
Саме в мобільному сегменті зараз сконцентровані найцікавіші AR-стартапи для масового ринку: YouAR, 6D, Selerio.
Однією з найбільш інвестуючих в технологію компаній є Facebook, який перевіряє нові ідеї на своїй масовій користувацькой базі.
Поширення у збройних силах провідних країнах світу різноманітних тактичних засобів доповненої реальності (для екіпажів літаків, вертольотів, суден, бойових машин, танків, в екіпіровці солдат тощо) робить актуальним завдання стандартизації відповідної технології візуалізації та протоколів передачі даних.
Основними напрямами стандартизації при цьому вважаються: таксономія і категоризація відповідної термінології; операційні сценарії використання засобів AR різними категоріями користувачів; мінімальні військові вимоги до спроможностей AR засобів, типовий інтерфейс користувача, топологія фреймів візуалізації AR даних на дисплеях (фрейм вибору режимів роботи та індикації поточного з них (налагодження, бойовий, тренувальний тощо); фрейм відображення основної візуальної інформації та фрейм візуалізації даних GPS і параметрів руху транспортного засобу, зокрема, за допомогою одного чи кількох навігаційних кілець, що використовуються, наприклад, в системі ARC4 (США)); типові AR символи для різних функцій та категорій користувачів; основні технічні специфікації (наприклад, максимальна кількість анотацій, що одночасно виводяться на дисплей та їхня щільність на одиницю відстані); протокол передачі AR даних (структура та розміри типового блоку даних).
Найбільш простим варіантом реалізації тактичних систем доповненої реальності є використання анотативної символіки (Annotative Augmentation), в подальшому відбудеться перехід й до анімованих символів (Simulative Augmentation) та символів, що синтезуються на основі алгоритмів штучного інтелекту.
Стосовно візуальних анотативних символів стандартизації підлягають розміри ікон (тактичних символів), їхні колір та його варіації у просторі і часі, 2D та 3D форми візуалізації, текстовий контент, час існування (поновлення), гіперпосилання, зміст і обсяги регіональної інформації.
Типовими категоріями анотативних тактичних симовлів є: положення дружніх підрозділів, передній край та позиції противника (історичні, поточні та прогнозовані), місця знаходження саморобних вибухових пристроїв (історія, виявлені, але не знищені, ймовірні або підозрілі), дороги, мости, підземна інфраструктура, розчищені майданчики для вертольотів, локальні культурні пам'ятки тощо.
В якості важливого показника мінімальних вимог до спроможностей тактичних систем AR слід вказати діапазон дальностей 15 — 30 км, в межах якого має бути забезпечена оперативна генерація інформації для підтримки послуг AR. Середовищем поширення даних доповненої реальності може бути Федеративна мережа місій (FMN). При цьому необхідно досягти взаємосумісності між форматом (моделлю) даних, які централізовано формуються у штабах, і програмним забезпеченням пристроїв відтворення AR символів, яке має ідентифікувати тип даних і відправити їх на дисплей (візуальні дані), динаміки (акустичні символи) чи тактильні елементи (рукавички, пояси тощо).
В перспективі, з впровадженням Інтернету речей, цю проблему можливо вирішити через надання кожному з відтворювальних пристроїв унікальної IP-адреси в мережі й застосування звичайної IP-адресації для передачі AR даних. Доки цього не відбулося, система доповненої реальності за допомогою стандартизованого протоколу має розрізняти типи даних та фізичний принцип їх відтворення.
Технологія доповненої реальності є потужним інструментом відпрацювання 3D-топології сховищ боєприпасів на місцевості з вибором сукупності боєприпасів у стеках та відстаней між ними на основі динамічної візуалізації зон ризиків. Поширення інформації про такі зони дозволить обирати безпечні місця дислокації та найменш ризикові маршрути пересування підрозділів. Крім того, на окулярах AR або ж відповідних дисплеях можуть відображатися відомості про стан та історію боєприпасів.
Технологія Portals Holoportation, якою в реальності уже користуються політики, щоб отримати їх присутність в тому місці, де їх очікують бачити, а самі в цей час знаходяться у потрібному їм безпечному місці. Особливо це стосується, коли політик на камеру знімається один.
Microsoft Research продемонструвала технологию holoportation у 2016 році. Мова йде про технологію захвату повноцінної тривимірної моделі людини, яку можна стиснути та передати в будь-яку точку земної кулі і відтворити в режимі реального часу. При використанні гарнітури доповненої реальності HoloLens участники розмови можуть бачити і чути один одного, ніби знаходяться в одній кімнаті. Тобто викладач/учитель в майбутньому може себе телепортувати в будь-який клас планети, а реально буде знаходитися у себе вдома. А його 3 D модель в реальному часі буде відтворювати усе в класі з студентами/учнями.
Використання AR (доповненої реальності) в освітньому середовищі Нової української школи
Для ознайомлення дітей з самим поняттям Доповненої реальності (AR) можна під час вивчення інноваційних технологій зокрема інтернет-ресурс «Шкільні уроки про нові технології» [9, 13].
Для проведення уроку потрібно:
Проектор для демонстрації відео та слайдів;
Класна дошка, крейда або маркери;
Смартфони на платформі Android чи iOS із додатком Futurio;
Додаток Futurio: AppStore, Google Play;
Презентація: відкрити презентацію;
Відеоматеріали;
Роздрукований А4-маркер для практичної роботи в класі та домашньої роботи. Завантажити маркер.
Приклад маркера для уроку з використання додатку FUTURIO
Маркер завантажується у pdf-форматі і роздруковується на чорно-білому принтері. При застосуванні учитель та учні сканують роздрукований аркуш своїм мобільним пристроєм. Зображення «оживає» на пристрої.
В залежності від маркеру і запрограмованого об’єкта на екрані пристрою з’являються різні об’єкти.
Якщо говорити про вітчизняний контент [1, 4, 7, 10, 11], то розробки Харківського національного університету ім. В.М. Каразіна, які пов’язані з фізичними явищами і їх краще використовувати на уроках природознавства та фізики. Зокрема додаток Electricity AR
Маркери до яких можна завантажити із серверів [8] даного ВНЗ
Дані маркери це позначки елементів електричного кола з вмістом AR, а на мобільному пристрої це елемент, який є насправді. Відповідно це покращує в учнів запам’ятовування схем і їх розуміння.
Використання доповненої реальності (AR) є одним із фактором сучасної освіти. Доповнена реальність розширює можливості друкованих підручників роблячи їх інтерактивними та цікавими для дітей. Тому за AR є майбутнє у освітній галузі, а от до віртуальної реальності варто відноситися обережно, тому що вона може викликати залежність і як наслідок психічні розлади. Звісно усі ці технології будуть випробовуватися часом і моделями їх використання і досліджень їх впливу та висновків ще немає. Тому вибір завжди залишається за людиною… Використовувати чи не використовувати!
Література та використанні джерела
Вежі (Skyscrapers AR) (Electricity AR) [Електронний ресурс]. Режим доступу: https://play.google.com/store/apps/details?id=com.dmatsokin.skyscrapers&hl=uk (Дата звернення: (25.09.2019р)
Вікіпедія, стаття про віртуальну реальність (VR) [Електронний ресурс]. Режим доступу: https://uk.wikipedia.org/wiki/%D0%92%D1%96%D1%80%D1%82%D1%83%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0_%D1%80%D0%B5%D0%B0%D0%BB%D1%8C%D0%BD%D1%96%D1%81%D1%82%D1%8C (Дата звернення: 25.09.2019р)
Вікіпедія, стаття про доповнену реальність (AR) [Електронний ресурс]. Режим доступу: https://uk.wikipedia.org/wiki/%D0%94%D0%BE%D0%BF%D0%BE%D0%B2%D0%BD%D0%B5%D0%BD%D0%B0_%D1%80%D0%B5%D0%B0%D0%BB%D1%8C%D0%BD%D1%96%D1%81%D1%82%D1%8C (Дата звернення: 25.09.2019р)
Додаток «Растішка» [Електронний ресурс]. Режим доступу: https://play.google.com/store/apps/details?id=com.Wear.Rastishka&hl=uk (Дата звернення:(25.09.2019р)
Додаток для сканування власноруч створеної доповненої реальності Blippar - The Augmented Reality [Електронний ресурс]. Режим доступу: https://play.google.com/store/apps/details?id=com.blippar.ar.android&hl=uk (Дата звернення: (25.09.2019р)
Додаток з розмальовками та інтерактивними моделями Quiver - 3D Coloring App (AR) [Електронний ресурс]. Режим доступу: https://play.google.com/store/apps/details?id=com.puteko.colarmix&hl=uk (Дата звернення: (25.09.2019р)
Елементи електричного кола (Electricity AR) [Електронний ресурс]. Режим доступу: https://play.google.com/store/apps/details?id=com.dmatsokin.electro&hl=uk (Дата звернення: (25.09.2019р)
Маркери до AR для додатків розроблених Харківським національним університетом ім. В.М. Каразіна [Електронний ресурс]. Режим доступу: http://kfk.rf.gd/Android/ (Дата звернення: (25.09.2019р)
Мобільний додаток Futurio - зростаюча бібліотека AR на основі шкільних уроків [Електронний ресурс]. Режим доступу: https://play.google.com/store/apps/details?id=com.ftr.futurio&hl=uk (Дата звернення: (25.09.2019р)
Мости AR [Електронний ресурс]. Режим доступу: https://play.google.com/store/apps/details?id=com.dmatsokin.bridges&hl=uk (Дата звернення: (25.09.2019р)
Пристрої Да Вінчі Da Vinci Machines AR [Електронний ресурс]. Режим доступу: https://play.google.com/store/apps/details?id=com.dmatsokin.vinci1&hl=uk (Дата звернення: 25.09.2019р)
Сайт з маркерами AR додатку Quiver - 3D Coloring App [Електронний ресурс]. Режим доступу: http://www.quivervision.com/ (Дата звернення: (25.09.2019р)
Сайт з презентаціями до уроків про нові технології з маркерами AR Futurio [Електронний ресурс]. Режим доступу: http://thefuture.news/ (Дата звернення: (25.09.2019р)
Сайт сервісу Blippar [Електронний ресурс]. Режим доступу: https://www.blippar.com/ (Дата звернення: (25.09.2019р)
