Технологии виртуальной (VR) и дополненной реальности (AR) у широкой аудитории пока чаще ассоциируются с мобильными развлечениями типа Pakemon Go и игровыми приставками. На самом деле игровой сектор – лишь часть двух быстро растущих индустрий, суммарный объём которых в 2018 году превысил 19 миллиардов долларов США. Строительство, медицина, образование, наука, спорт, бизнес и даже порно – сфера применения VR и AR шире, чем мы думаем.

Как применяют технологии дополненной и виртуальной реальности в Казахстане и что нужно сделать, чтобы привлечь внимание крупных IT-компаний к своему стартапу, рассказывает Ярослав Халиуллин.

Ярославу 19 лет. Учась в старших классах, он создал нейросеть по написанию диссертаций и рефератов, и его работой заинтересовался Google. Вскоре после окончания алматинского IT-лицея получил приглашение на работу в интерактивную лабораторию Singularity Lab, где разрабатывают игры, приложения и умные решения с технологиями VR и AR. Параллельно Ярослав готовится к запуску стартапа, который, возможно, спасёт чью-то жизнь.

Связать карьеру с миром высоких технологий Ярослав решил в шестом классе, когда его первая компьютерная игра заняла призовое место на локальном чемпионате. Потом было создание оболочки операционной системы для одноплатового компьютера и выпуск дополнения для игрового движка Unity – крупнейшей платформы для разработки игр. Оно воспроизводило стереоскопическое изображение для VR-шлемов и работало лучше, чем аналоги. Позже компания связалась с алматинским программистом и выкупила его дополнение, которым теперь пользуются разработчики по всему миру. Работу и проектную деятельность Ярослав совмещает с дистанционным обучением на программиста в Томском университете систем управления и радиоэлектроники и гарвардскими курсами по программированию CS50.

Неэтичная нейросеть и сотрудничество с Google

Это была нейросеть, которая пишет диссертации, эссе и другие текстовые работы на русском и английском языках. Причём так, что сложно определить, кто автор работы – человек или машина. Нейросеть подобна маленькому ребёнку – она учится, допускает ошибки, потом понимает, что обожглась и работу нужно переделать. Сначала она училась составлять слова, потом словосочетания, предложения, а затем связывать их между собой. Каждая работа подразумевает ответ на какой-то вопрос. Допустим, картофель – клубень? Нейросеть ищет ответ на этот вопрос, прочитывает 100 первых страниц в поисковике Google и находит более релевантные ответы. У неё было несколько достоверных источников информации. Она составляла рейтинг из полученных данных, выбирая более точные, затем перефразировала текст и выдавала готовый ответ.

Весь процесс с момента подачи вопроса или темы работы до конечного результата занимал секунд 40.

Для проверки достоверности источников я использовал Google API – интерфейс, который показывает индексацию всех сайтов и их рейтинг. В век информационных технологий очень много спама и недостоверной информации, и Google старается её отсеивать. Сейчас я понимаю, что на самом деле это немного не точно и нейросеть могла брать недостоверную информацию, потому что Google тоже ошибается.

Нейросеть размещена в облачном сервисе и работает на базе открытой программной библиотеки для машинного обучения TensorFlow от Google. Я загрузил в неё почти терабайт разных книг. Когда начал загружать литературу русских классиков, она сломалась. Просто разучилась писать, ставить запятые, правильно форматировать текст. В какой-то момент мне понадобились люди, которые будут её ежедневно кормить какой-то информацией. Мне не хватало интернета, чтобы загружать в неё ежедневно по терабайту новых текстов.

Я написал в Google: "Привет, я школьник из Казахстана, написал нейросеть, посмотрите”. Отправил им исходники. Через неделю мне ответили и предложили провести бета-тест. На сайт зашли 50 000 человек, нейросеть "упала". На следующий день её восстановили, поставили лимиты повыше, и с мая по август 2018 года она получала информацию от пользователей. Прочитав итоговый документ, пользователь мог поставить оценку нейросети. Если пять, значит, она хорошо выполнила работу и можно ничего не менять, а если единица – была допущена ошибка и текст нужно переписать. Бета-тест нужен был, чтобы доучить систему.

Изначально я хотел на этом заработать и поставить для каждой выполненной работы какую-то цену. Сейчас проект не активен. В Google сказали, что они пока не будут использовать нейросеть в каких-то коммерческих целях и тем более обнародовать. Это неэтично, потому что обесценивает человеческие знания. Мне не жалко сделать сервис общедоступным, просто это реально немного некрасиво по отношению к учителям и преподавателям вузов и школ.

Когда человек пишет сам, он показывает свои знания и заинтересованность. Если всё будет автоматизировано, какой в этом смысл?

У меня появилась другая цель. Я хочу переделать нейросеть, чтобы она писала книжки. "Яндекс" недавно представил нейросеть, которая пишет стихотворения. Они ей тоже "скормили" много разной литературы. На запрос "напиши в стиле Пушкина" нейросеть формулирует стихотворение, близкое по стилю Пушкину. Таким же запросом может быть: "напиши мне новую книгу "Властелин колец".

Первая помощь по QR-коду

По статистике ВОЗ, 70% смертей в случаях, когда человеку стало плохо, происходит из-за того, что ему в первые пять минут не оказали помощь. Эта штучка может решить проблему, если станет виральной, как телефон у каждого. NFC SAVIOR – это умный браслет. Я придумал его с ребятами из моей школы – Эльдар Жигалов и Никита Климович, они учатся в 11 и 9 классах. Идею мы подсмотрели у испанского аналога, но она там иначе реализована – просто браслетик с QR-кодом для страховки. Мы же хотели сделать устройство более функциональным. Допустим, если кому-то на улице стало плохо, но у него есть такой браслет, любой неравнодушный может просто приложить к нему телефон и получить всю необходимую информацию.

Многие телефоны оснащены чипом NFC, он используется для бесконтактной оплаты, как в Apple Pay. Для идентификации объектов в браслет встроена RFID-метка. Карточки ОНАЙ работают по такому же принципу. Метка считывается в момент контакта телефона с браслетом, и на экране смартфона открывается информация о человеке: имя, дата рождения, ИИН, номер поликлиники, к которой он прикреплён, группа крови, контакты доверенных лиц, реальные и потенциальные риски для здоровья. Если у человека астма, он может указать, например: у меня в сумке всегда лежит ингалятор, можете им воспользоваться. Чтобы охватить весь доступный спектр устройств, мы добавили во вторую версию браслетов QR-код. Отсканировав его, также можно будет получить необходимую информацию.

Мы запустили проект в декабре 2018 года, нашли компанию, которая делает браслеты в Китае, и перепробовали множество образцов: металлические, силиконовые, пластиковые и бумажные. В итоге остановились на силиконовом, как самом практичном варианте в условиях повседневного ношения. Мы показали проект на разных конкурсах, чтобы получить отзывы. Нам сказали, что с детской руки браслет точно спадёт, поэтому следующая версия будет регулироваться по размеру.

На поддержку проекта в обшей сложности мы потратили около 2000 долларов. Один такой браслет вместе с QR-кодом и печатью будет стоить полторы тысячи тенге. Мы старались максимально дёшево сделать, чтобы каждый мог его купить. При нормальном ношении браслет прослужит очень долго. Запустить проект хотелось бы где-нибудь в Штатах. У нас легко реализовать, но продать и запустить проще там, как и добиться популярности. В течение лета – в начале осени планируем решить все организационные вопросы, получить новую партию браслетов и подготовиться к заказам.

Как тебе такое, Илон Маск?

К каждому крупному проекту я стараюсь приплетать какую-нибудь известную фирму, чтобы она была у всех на слуху: Microsoft, Google, "Яндекс". Для проекта с браслетом вообще хотел Илона Маска попросить написать мне что-нибудь.

Я написал ему в "Твиттер": "привет мы из Казахстана, сейчас делаем такой-то проект, хотели бы получить от тебя отзыв". Он ответил мне LOL и больше ничего.

Все думают, что очень сложно достучаться до крупных компаний. Нет, это реально, одно письмо, и просто ждёшь ответа. Да, бывает, не отвечают, но, если проект достойный, они ответят и помогут какими-то своими ресурсами. А если проект очень крутой, будут его курировать.

Все мои проекты строятся на том, что я берусь за то, в чём вообще не разбираюсь. Моя первая цель и один из пунктов мотивации – научиться не просто решать сложные задачки, а сделать свой продукт с нуля и запустить его. Когда получается, это очень приятно. А то, что потом приобретается, заработок или слава, не так интересно, как сам путь. Мне нравится цитата: "Иногда путь важнее цели".

Я совсем недавно задумался, зачем и когда нужно идти в проекты. Лучший возраст – с 12 до 15 лет. Это такой период, когда ребёнок ищет себе кумира. В "Инстаграме", на "Ютубе", в телевизоре. Как правило, этим кумиром становится какой-то разукрашенный чувак, поющий про наркотики. И вот тут система даёт трещину, и человек уходит не туда. С 12 до 15 лет нужно заинтересовать подростка и показать ему, что можно двигать прогресс, где бы ты не находился, неважно в Штатах, Казахстане или на Северном полюсе. Я говорил об этом родителям, когда преподавал робототехнику: отдавайте своих детей в такие кружки, пока не поздно.

VR и AR не только для развлечений

В Singularity Lab меня пригласили после создания дополнения для Unity. Про меня написали статью, после которой мне предложили учиться в КБТУ на гранте. После второй статьи о КБТУ мне написал шеф cо словами: "Зачем тебе учиться, давай лучше практиковаться, у нас для этого всё есть".

Интерактивная лаборатория Singularity Lab занимается виртуальной и дополненной реальностью, интерактивными технологиями, в сфере искусственного интеллекта мы тоже работаем. Я пришёл сюда на должность разработчика, делал игры для мобильного шлема, потом меня перевели на проект Questi – мобильное приложение с квестами в дополненной реальности. Мы сделали совместный квест с Музеем музыкальных инструментов имени Ыкыласа и Музеем искусств имени Кастеева. Это мощная маркетинговая платформа – привлечь внимание к бренду с помощью геймификации. В режиме прогулки человек узнаёт что-то новое, получает баллы и может обменять на купон от брендов-партнёров. При этом пользователи могут рассказать свою историю и бесплатно создать авторский квест.

В 2018 году в Петропавловске проходил саммит пограничных стран, к которому был построен it-центр Digital URPAQ – новый Дворец школьников, где мы отвечали за несколько зон. Путин и Назарбаев как раз посещали этот дворец. В нескольких помещениях на стенах проецируются игры и в центре одной из комнат установлен кристалл. Дети выполняют в играх задания, получают баллы, и кристалл постепенно наполняется энергией. В зоне спортивных игр работают сенсорные проекции, там дети кидают мячи и занимаются скалолазанием. В классе познания установлены большие сенсорные столы с обучающими и образовательными играми.

Также мы недавно выпустили игру JetX в Steam для виртуальной реальности и компьютеров. Это космическая гонка, стрелялка, аркада для шлемов. Её разработка началась ещё до моего прихода и длилась три года.

На самом деле развлечения – небольшая часть рынка VR и AR. Виртуальная реальность дорога для обычного обывателя. Чтобы купить шлем и собрать компьютер, нужно три тысячи долларов. При этом рынок развлечения сейчас растёт, я молчу про рынок VR-порно – он самый большой. Виртуальная реальность востребована и в медицине, и в промышленности – там, где нужно работать с дорогостоящим оборудованием. Мы можем разработать симулятор, научить, как им пользоваться и не сломать. То есть полный use-кейс для обучения.

У нас была демонстративная демка для нефтегазового предприятия по замене труб. В ней работник откручивает кусок трубы сломанный, меняет, закручивает обратно или, например, пожар тушит, вариантов много. У нас есть специальный контроллер в виде перчатки, которая отслеживает активность пальцев. С его помощью можно учиться выполнять точные операции.

Ещё у нас есть свой вариант с МРТ, чтобы доктора могли изучать результаты сканирования в трёхмерном формате через шлемы. Также мы ведём крупный проект для строительства. Шлем позволяет архитекторам увидеть модель здания в готовом варианте. Обнаружив, какую-то ошибку при проектировании, её можно исправить, не снимая шлем, а встроенный рентген позволяет увидеть, где находятся трубы и проводка, есть ли проблемные места.

Особенности проектной деятельности в Казахстане

Первая проблема проектной деятельности в Казахстане – малое количество конкурсов, и проводятся они не особо заинтересованными людьми, просто для галочки. В апреле мы участвовали в TechnoCup. Как правило, то, что проводит управление образования, делается, чтобы показать: смотрите, у нас школьники что-то могут. Но обычно ребята с серьёзными проектами пропускают наши конкурсы и участвуют где-нибудь в Штатах, Германии. У нас в школе есть мальчик, который в Сколково защищал проект.

А не участвуют, потому что нет никакой мотивации. На таких мероприятиях человек выступил с проектом, занял первое место, и всё, дальше ничего не происходит. Обратная ситуация с компаниями: если человек занял призовое место, значит, проект крутой и компания либо пригласит его на работу, либо возьмёт его проект под реализацию. Например, Chocofamily часто предлагает решать свои кейсы. DAR запустил конкурс социальных и коммерческих проектов с призовым фондом 30 миллионов тенге. Мы тоже там участвуем.

Естественно, выйти с проектом из Казахстана на мировой рынок намного сложнее, чем, например, в Штатах. Все тренды идут с Запада. В таких странах, как США, Германия, Финляндия и Китай, государство даёт различные льготы и возможности для развития технологичных стартапов. Например, в 2010 году в финскую компанию Supercell, выпустившую Clash of Clans и другие популярные игры, частные фонды вложили инвестиции, а государство предоставило отличные возможности для работы. Сейчас доходы Supercell составляют весомый процент всей экономики Финляндии.

У нас меньше возможности, но у нас и конкуренция меньше. Эти два фактора нивелируют возможность выйти куда-то. Есть программа Питера Тиля – основателя PayPal, он ежегодно инвестирует миллионы долларов в реализацию проектов из разных отраслей. Не обязательно IT, это может быть проект про экологию или про вязание плюшевых мишек – без разницы. И ты можешь потратить эти деньги как на реализацию проекта, так и на саморазвитие, оплатить себе обучение. Таких фондов много и конкурсов за рубежом тоже. Даже взять Technovation для девочек, он дает колоссальные возможности. В сфере компьютерных игр есть Global Game Jam, где каждый год разработчики со всего мира делают игры за 48 часов.

В 2019 году от Казахстана участвовало 20 команд, включая нашу компанию. Конкурс собрал 47 000 участников из 113 стран мира, было сделано более 9000 игр. Мы заняли третье место и стали первой командой из Казахстана и СНГ, кто вообще занял какое-то место на Global Game Jam. Наша игра называется Red Neck Redemption – это отсылка к Red Dead Redemption. Тема конкурса звучала так: "Что для вас значит дом". В игре есть персонажи – люди, которые загрязняют твой дом, а ты играешь за природу и можешь пустить в них молнию, начать извержение вулкана. Игра получилась весёлой, нас оценили.

За последние пять лет в Казахстане стали более лояльно относиться к играм-симуляторам. Рынок растёт, стабилизируется, и заинтересованных людей становится больше. Радует ещё то, что технологии виртуальной реальности постепенно становятся доступнее для рядового пользователя. Перспективы есть всегда. Не хватает только людей, которые смогут стать драйверами этого прогресса.