Қазақстандық ғалым қалай ым тілін жасанды интеллект арқылы сөйлетті

Қазақстандық ғалым Нұрзада Амангелді жасанды интеллект көмегімен мәтін, аудио және видеоны ым тіліне аударатын Sign Bridge платформасын әзірледі. Жобаға жеті жыл жұмсаған зерттеуші қазақ ым тіліндегі 2300-ден астам сөзді жинап, ақпаратты виртуалды аватар арқылы жеткізетін жүйе жасаған. Алайда ғалымның айтуынша, Қазақстанда ым тілінің ресми стандарты мен заңнамалық мәртебесінің болмауы технологияны дамытуға кедергі келтіріп отыр.

Информбюро тілшісі Sign Bridge жобасының негізін қалаған Нұрзада Амангелдімен сұхбаттасып, ғылым мен әлеуметтік мәселені ұштастырып, ақпаратты ым-ишара тіліне аударатын технологияны қалай жасап шығарғанын білді. 

Sign Bridge қалай дүниеге келді

"2018 жылы докторантураға түскенде зерттеу тақырыбым ретінде ым тілінде сөйлейтін адамдарыдың мәселесін таңдадым. 2019 жылы саңыраулар қоғамдастығына барып, олардың мәселелерін тыңдап, қажет материалдарды жинадым. Мұны жай ғана ғылыми мәселе ретінде емес, түп тамырында үлкен әлеуметтік мәселе жатқанын түсіндім. Содан бері бұл тек докторлық диссертация ғана емес, өмірлік миссиямның бір бөлігіне айналды. Білім беру саласында – балабақшада, мектепте де ым тілінде сөйлейтін жандарға ақпарат пен білім қолжетімді емес екенін көрдім. Бала кезден бастап жұмысқа орналасуға дейінгі кедергілердің бәрі осы білім алу мүмкіндігінің жоқтығынан туындайды. Міне, осы екі ортадағы, екі қоғамның арасындағы алтын көпір болсын деп жобамызды SignBridge деп атадық. Негізгі идеясы – ым арқылы көпір орнату", – дейді Нұрзада Амангелді. 

“Ым тілінің стандарды да, мәртебесі де жоқ”

– Мәселені зерттеу бір бөлек, ал одан өнім шығару мүлдем бөлек нәрсе. Жобаны жүзеге асыру кезінде қандай қиындықтар болды?

– Иә, өте күрделі жоба. Жеті жыл уақытымды осыған арнаған адам ретінде мәселені біліп тұрып үнсіз қалу, оны шешуге атсалыспасам – өзіме сұрақ қоюшы едім. Диссертацияны қорғап болған соң дипломды қалтаға салып қоя салуға немесе тек қағаз жүзіндегі ғылыми жобалармен шектелуге де болар еді. Бірақ бұл адамның энергиясын жеп қояды. Мәселені көріп-біліп тұрған соң қолдан келгеннің бәрін жасау керек.

Ең үлкен мәселе – Қазақстанда ым тілінің ресми стандарты жоқ және оған тиісті мәртебе берілмеген. Мен мұны 2022 жылдан бері айтып келемін. Мәртебесі және стандарты болмаған соң, ешқандай талап та, шектеу де қойылмайды. Әсіресе, қазақ ым тіліне келгенде бұл “бар, бірақ жоқ” нәрсеге айналып отыр. Мысалы, қазақ тілінің мемлекеттік тіл деген мәртебесі болмаса, ол да осындай күй кешер еді. Бұл – Кеңес үкіметі заманының салдары деп ойлаймын. Ол кезде ым тілі тұрмақ, табиғи тілдің өзі құрып кете жаздады ғой.

– Заңнама тұрғысынан көтерілді ме?

– Заңнама деңгейінде көтерілді. Әлеуметтік кодекске ым тілі ым тілінде сөйлейтін адамдардың өзара сөйлесу тілі деп белгіленуі керек болған. Түпкі мақсат – мұны “Тіл туралы” заңға енгізу. Әлемдегі дамыған мемлекеттердің көбінде ым тілі заңмен қорғалған.

Sign Bridge және жасанды интеллект

– Жоба туралы кеңінен айтып өтсеңіз. Sign Bridge адамдарға бұл қалай көмектеседі?

– Бұл – жасанды интеллектке негізделген шешім. Қазір елімізде жасанды  интеллект қарқынды дамып жатыр. Ал оны уақытылы қолданбасақ, кеш қаламыз. Біздің шешімді сайт, виджет немесе мобильді қосымша деп қарауға болады. Жүйенің жұмыс істеу логикасы мынада: алдымен бағдарламалық қаңқа (софт) жасалады. Компьютерлік көру әдістері арқылы ым тіліндегі сөздердің дұрыс көрсетілуі қамтамасыз етіледі. Табиғи тілді ым тіліне түрлендіру үшін терең оқыту (deep learning) модельдері қолданылады. Ең соңында деректер виртуалды аватарға беріледі.

Бұл – үздіксіз жұмыс істейтін жүйе. Қазіргі таңда аудио, видео, мәтіндік материалдың бәрін ым тіліне бейімдеп бере аламыз. Қазақ тіліндегі ым тіліне 2300-ден астам сөз жинадық. Табиғи тілдегі сөздік қорымыз үлкен болғанымен, ал ым тілдерінде сөздік қор шектеулі. Тіпті ағылшын тілінде де сөздік қор көп дегенде 4 мың сөзден асады. Сондықтан табиғи тілдегі мәтінді ым тіліне икемдеп түсіндіру өте маңызды.

– Бейнесөздік қалай жасалды? Жасанды интеллект қалай қолдандыңыздар?

– Басында бес сурдоаудармашымен келісімшартқа отырып, 2500 сөз жинадық. Бір сөзді бірнеше рет жазу арқылы 250 мыңға жуық видео базасын құрдық. Кейін шынайы материалдарды аудару барысында жаңа сөздер пайда болды. Сурдоаудармашылармен ақылдасып, базаны үнемі ұлғайтып отырамыз.

Ым тілінде көрсетілетін сөздерді машина түсіну үшін кілттік нүктелерді шешіп алу керек, яғни қозғалыс цифрға айналу керек, ол үшін компьютерлік көру әдістерін қолданамыз. Одан кейін табиғи тілдегі мәтінді ым тіліне айналыдур үшін терең оқыту моделдерін қолданамыз. Бірақ моделдің кірісі мен шығысына ережеге негізделген әдістер орнатылған, ол қысқаша фильтр деуге болады. Бұл жерде жасанды интеллектің бірнеше шешімі қаңқаның әрбір буынына біріктірілген. Мысалы, табиғи тілдегі мәтін ым тіліне түрленіп шығады, бірақ ол жерде базада жоқ сөздерді дактильді әріппен көрсету керек. Оны біз қайтадан ережеге бағындырып, тазалаймыз. Қаңқаның арғы жағында команданың үздіксіз жұмысы бар. 

– Нейрожеліге адамның бет қимылы мен сезімін жеткізуді қалай үйреттіңіздер?

– Ым тілінде ақпараттың 50 пайызы қол қимылымен берілсе, қалған 50 пайызы – бет әлпет пен еріннің қозғалысы (мимика). Біз осы мәселемен өте көп алыстық. Қолдың нүктелері сияқты, еріннің де нүктелерін бөлек шешіп алып, нейрожеліге оқыттық. Қазақтың 42 әрпінің дыбысталуына сай аватардың ерні дәл солай қозғалуға тиіс. 

Ал қол қимылына келер болсақ, ым тілдерінде ұқсастық бар. Елу-алпыс пайыз қол қимылы ұқсауы мүмкін. Бірақ ерін табиғи тілге байланысты қозғалады әрі табиғи эмоциялар бар. Эмоцияны бөлек алып, қол мен ерінді үйлестіру арқылы осындай деңгейге жеттік.

“Біздің шешіміміз – батыл шешім”

– Бұл жобаның шетелде баламасы бар ма? Жобаны жасаған кезде басқа да шешімдерге сүйендіңіздер ме?

– Ғалым болған соң күнде жаңа шешімдер туралы мақалаларды оқып, зерттеп отырамын. Тілді компьютерге түсіндіру үшін формальдау керек. Әлемде осыған ұқсас екі-үш шешім бар, бірақ біздің шешімді өте батыл шешім деп ойлаймын. Өйткені біз оны жасап қана қойған жоқпыз. Күнделікті үздіксіз жұмыс істеп, жетілдіріп жатырмыз.

Ғылым саласында жүргеннен кейін өте дамыған мемлекеттердің өзін де де сурдоаудармашылар тапшы екенін білемін. Қазақстанда “судроаудармашы” деген мамандық жоқ және ол классикалық мамандықтар тізіміне енбеген. Сурдопедагог деген де мамандық жоқ, арнайы педагогиканың ішіндегі құрамдас мамандық қана болып отыр. Қазақстанда да, дамыған мемлекеттерде де осындай мәселе бар. Ал оның жалғыз шешімі – жасанды интеллект қолдану арқылы адамдардың өмірін жеңілдету. Сондықтан осы шешімімізді батыл шешім деп нық айта аламын.

– Сурдоаудармашылармен қалай жұмыс істедіңіздер?

– Үш ай бойы сөз жинадық. Бес сурдоаудармашыға күнде 60 сөз жіберіп, ым тіліндегі аудармасын сұрадық. Олардың әрқайсы әртүрлі көрсетті. Ым тілінің мәртебесі, стандарты болмауы, арнайы мамандықтың жоқтығы осы мәселе келіп тіреледі. Сурдоаудармашылар орталықтардан, жақындарынан үйренеді. Қалыпты қоғам мен саңыраулардың арасында ғана емес, олардың өз арасында да үлкен көпір бар. 

Жасанды интеллект, ақпараттық технология бірізділендіреді. Стандарт болмаған соң сарапшылармен ақылдасып, нақты бір тоқтамға келеміз. Былай қарасаңыз біз жоқ тілге технология жасап шығардық. Ал енді оны қолдануға келгенде мәртебесі жоқ болып шықты. Бәрі түсінікті, бәрі бірізділендірілген болса, қайта маған жеңіл болушы еді. Жеті жылдан аз уақыт кетуші еді.

– Командаңызда қанша адам бар?

– Командамда он шақты адам бар. Бәрі жасанды интеллект технологиялары мамандығының түлектері әрі өзімнің студенттерім. Сурдоаудармашылармен де, IT мамандармен де жұмыс істесем, ең алдымен осы мәселе жүрегіне жеткен адамдармен жұмыс істеуді жөн көремін. Кез келген шешімнің арғы жағында адам тұр. 

– Sign Bridge нәтижесі көрініп жатыр ма? Қолданушылар не дейді?

– Интернаттар мен балабақшаларға барып, кері байланыс аламыз. “Фиксиктер” мультфильмін ым тіліне аудардық. “Enbek Skills” платформасына пилоттық материалдарды салып қойдық. Бұл шынайы сурдоаудармашыны толық алмастыра алмайды, бірақ электронды әлемдегі ақпаратты есту қабілеті нашар адамдардың түсінуіне жол ашады. “Фиксиктер” – Қазақстандағы балаларға арналған білім беру бағытындағы бірегей контент. Мұндай контентті көбейту керек, қазір сол бағытта жұмыс істеп жатырмыз.

– Жаңалықтардың астында сурдоаударма тұрады ғой. Бұл шешімді соған қосуға бола ма?

– Негізгі мақсатымыз сол. Жасанды интеллект көмегімен видеодан аудионы, аудиодан мәтінді алуға болады. Сол сияқты оны ым тіліне түсіруге де жасанды интеллект көмектеседі.

Жаңалықтар астындағы сурдоаудармада синхронизация кезінде іркіліс болуы мүмкін. Оған бөлек синхронизация жасап қойдық. Бірақ қазір дайын өнімдерді еркін аудара береміз. Ал тікелей эфир кезінде аударма кешігуі мүмкін. Оны да біз жасанды интеллект көмегімен шешеміз деп ойлаймын.

Жоба қаржыны қайдан алады?

– Жобаға жеті жыл кетті дедіңіз. Оны үздіксіз жетілдіріп отыру үшін қаржы қажет екені анық. Грант не болмаса стартап жобаларға қатыстыңыз ба? 

– 2023 жылдан бастап гранттарға қатыса бастадым. “Жас ғалым” гранты докторлық диссертацияны аяқтауға, ғалымның жалақысы мен мақала жазу, шетелде тәжірибе алмасу шығындарын жабуға үлкен септігін тигізді. Осы грантты алдым. Одан кейін  Дүниежүзілік банктің грантына қатысып, 67 млн теңге ұтып алдық. Бұл қаражат жобаның іргетасын қалауға мүмкіндік берді. Серверлер, техникалар сатып алдық, сурдоаудармашыларды тарттық. Ары қарай Алматыдағы Ақпараттық және есептеу технологиялары институтымен  жұмысты жалғастырдық.

Мемлекеттік гранттарға ғалымдар есебінен айлығын, іссапар шығындарын жабуға болады. Алайда бұл қаржыдан бакалавр дәрежесі бар командамдағы 12 маманның қызметіне ақы төлей алмаймын. Осы мәселеге тап болған соң басқа да байқауларға, гранттық жобаларға қатысу керек екенін түсіндім. 2025 жылы EA Charity Fund ұйымдастырған Tamyr Platform акселераторына қатысып, SignBridge он жеңімпаздың бірі болды. Ұтып алған қаржыны командамдағы балаларға айлық ретінде үлестірдім. 

Ғалымдардың шешімі мақала күйінде қағазда қалып қоюы мүмкін. Ал оны жалғастыру үшін жеке қорлардың қолдауы ауадай қажет. Жоба бір орында тұрып қалса да болмайды, оны үнемі жетілдіріп отыру керек. Әлеуметтік жоба болғандықтан бірден ақша әкелмейді. Ал ақша салмасаң еңбек далада қалады.

– Расында да ғылымға қаржы бөлініп жатыр, бірақ ғалымдардың еңбегі көзге көріне бермейді. Неліктен?

– Зерттеулерді халыққа түсіндіретін салалық журналистика болуы керек. Екіншіден, өсіп келе жатқан ұрпақты мемлекетке пайдаң тиюі керек деп тәрбиелеу қажет. Себебі мемлекет оқуға қаржы бөледі, ғылыми жобаларды қаржыландырады. Үшіншіден, жасанды интеллект енгізу. Ол ChatGPT қалай қолдануды үйренумен тоқтап қалмайды. Нақты мәселелерді шешу үшін қолдана білу керек. 

– Шетелдік нарыққа шығу жоспарда бар ма?

– Азаматтық ұстанымым ретінде жобаны қазақ тілінде жасадым. Басқа ғалымдар, әлемдік басылымдар тарапынан ескерту алдым. Қазақ тілінде жасап біткен соң енді орыс және ағылшын тілдеріне де бейімдеп жатырмыз. Шетелдік форумдар мен конференцияларда өз тілдеріне бейімдеп берсе қаржылай қолдау көрсетуге ниетті адамдар бар. Болашақта әлемдік масштабқа шыққымыз келеді. 

– Жас ғалымдарға қандай кеңес бересіз?

– Ғылым – ең алдымен әлеуметтік сала. Ол бизнес сияқты міндетті түрде табыс әкелмейді. Соған қарамастан жұмсаған әр сағатың зая кетпеуі тиіс, уақытты зая кетірмеу -өзіңе деген құрмет деп білемін . 

Стартап бастап, ғылымды өнімге айналдырамын деген адамға мына үш нәрсені айтамын. Алдымен ниетті дұрыс қою керек. Ниет қандай болса, нәтиже сондай болады. Одан кейін команда ішінде адалдық болуы керек. Мемлекеттен не банктен келген қаражат есебі ашық болуы қажет. Ақшаның берекесі болмаса,  нәтиже де болмайды. Үшіншіден, өз ісіңізге соңына дейін сеніңіз. “Жоқ” дейтіндер көп болады, бірақ фокусты жоғалтпау керек. Себебі ғылым фокусты талап етеді. Өз айтқаныңа сенсең, команданы да сендіре аласың. Ал өзіңе өзің сенбесең, онда нәтижеге жету екіталай болмақ.