Программный фреймворк для реализации взаимодействия с пользовательскими интерфейсами iOS-приложений на основе окулографии

Article Sidebar

PDF
Опубликован: 24.08.2022
УДК 004.5 УДК 004.415
DOI: https://doi.org/10.26907/1562-5419-2022-25-3-198-245
Выпуск
Том 25 № 3 (2022)

Main Article Content

Никита Станиславович Афанасьев
Казанский (Приволжский) Федеральный университет
https://orcid.org/0000-0002-5306-9672

Аннотация

Использование технологий отслеживания взгляда для взаимодействия с пользовательским интерфейсом iOS-приложений существенно затруднено отсутствием унифицированного подхода к их интеграции. Существующие решения либо жестко ограничены своей предметной областью, либо представляют собой исключительно исследовательские проекты, непригодные для решения прикладных задач. В статье рассматривается создание фреймворка, осуществляющего отслеживание взгляда пользователя на экране Apple-устройств с использованием нативных технологий, а также предоставляющего унифицированный подход к разработке приложений, управляемых при помощи взгляда.

Article Details

Библиографические ссылки

1. Esiyok C. et al. Novel hands-free interaction techniques based on the software switch approach for computer access with head movements // Universal Access in the Information Society. 2020. P. 1–15. https://doi.org/10.1007/s10209-020-00748-1
2. Roig-Maimó M.F. et al. Evaluation of a mobile head-tracker interface for accessibility // International Conference on Computers Helping People with Special Needs. Springer, Cham, 2016. P. 449–456. https://doi.org/10.1007/978-3-319-41267-2_63
3. Abbaszadegan M., Yaghoubi S., MacKenzie I.S. TrackMaze: A comparison of head-tracking, eye-tracking, and tilt as input methods for mobile games // International Conference on Human-Computer Interaction. Springer, Cham, 2018. P. 393–405. https://doi.org/10.1007/978-3-319-91250-9_31
4. Tupikovskaja-Omovie Z., Tyler D. Clustering consumers' shopping journeys: eye tracking fashion m-retail // Journal of Fashion Marketing and Management: An International Journal. 2020. Т. 24. №. 3. P. 381–398. https://doi.org/10.1108/JFMM-09-2019-0195
5. Garbutt M. et al. The embodied gaze: Exploring applications for mobile eye tracking in the art museum // Visitor Studies. 2020. Vol. 23. No. 1. P. 82–100. https://doi.org/10.1080/10645578.2020.1750271
6. Vogt M., Rips A., Emmelmann C. Comparison of iPad Pro®’s LiDAR and TrueDepth capabilities with an industrial 3D scanning solution // Technologies. 2021. Vol. 9. No. 2. P. 25. https://doi.org/10.3390/technologies9020025
7. Breitbarth A. et al. Measurement accuracy and dependence on external influences of the iPhone X TrueDepth sensor // Photonics and Education in Measurement Science 2019. International Society for Optics and Photonics, 2019. Vol. 11144. P. 1114407. https://doi.org/10.1117/12.2530544
8. Number of smartphone users worldwide from 2016 to 2023 // Statista – The Statistics Portal for Market data, Market Research and Market Studies. URL: https://www.statista.com/statistics/330695/number-of-smartphone-users-worldwide/
9. Krafka K. et al. Eye tracking for everyone // Proceedings of the IEEE Conference On Computer Vision And Pattern Recognition. 2016. P. 2176–2184. https://doi.org/10.1109/CVPR.2016.239
10. Huang M. X. et al. Screenglint: Practical, in-situ gaze estimation on smartphones // Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems. 2017. P. 2546–2557. https://doi.org/10.1145/3025453.3025794
11. Brousseau B., Rose J., Eizenman M. Smarteye: An accurate infrared eye tracking system for smartphones // 2018 9th IEEE Annual Ubiquitous Computing, Electronics & Mobile Communication Conference (UEMCON). IEEE, 2018. P. 951–959. https://doi.org/10.1109/UEMCON.2018.8796799
12. Hawkeye Access | Control your iOS device using your eyes. URL: https://www.usehawkeye.com/accessibility
13. Kong A. et al. EyeMU Interactions: Gaze+ IMU Gestures on Mobile Devices // Proceedings of the 2021 International Conference on Multimodal Interaction. 2021. P. 577–585. https://doi.org/10.1145/3462244.3479938
14. Skyle 2 for iPad – eyeV. URL: https://eyev.de/en/ipad/
15. Cicek M. et al. Mobile head tracking for ecommerce and beyond //Electronic Imaging. 2020. Vol. 2020. No. 3. P. 303-1–303-12. https://doi.org/10.48550/arXiv.1812.07143
16. Kaufman A.E., Bandopadhay A., Shaviv B.D. An eye tracking computer user interface // Proceedings of 1993 IEEE Research Properties in Virtual Reality Symposium. IEEE, 1993. P. 120–121. https://doi.org/10.1109/VRAIS.1993.378254
17. Gibaldi A. et al. Evaluation of the Tobii EyeX Eye tracking controller and Matlab toolkit for research // Behavior Research Methods. 2017. Vol. 49. No. 3. P. 923–946. https://doi.org/10.3758/s13428-016-0762-9
18. Xu P. et al. Turkergaze: Crowdsourcing saliency with webcam based eye tracking //arXiv preprint arXiv:1504.06755. 2015. https://doi.org/10.48550/arXiv.1504.06755
19. Qiao X. et al. A new era for web AR with mobile edge computing // IEEE Internet Computing. 2018. Vol. 22. No. 4. P. 46–55. https://doi.org/10.1109/MIC.2018.043051464
20. Taaban R.A., Croock M.S., Korial A.E. Eye Tracking Based Mobile Application // International Journal of Advanced Research in Computer Engineering & Technology (IJARCET). 2018. Vol. 7. No. 3. P. 246–250.
21. Heryadi Y. et al. Mata: An Android Eye-Tracking Based User Interface Control Application // Journal of Games, Game Art, and Gamification. 2016. Vol. 1. No. 1. P. 35–40. https://doi.org/10.21512/jggag.v1i1.7249
22. Greinacher R., Voigt-Antons J.N. Accuracy Assessment of ARKit 2 Based Gaze Estimation // International Conference on Human-Computer Interaction. Springer, Cham, 2020. P. 439–449. https://doi.org/10.1007/978-3-030-49059-1_32
23. devicekit/DeviceKit: DeviceKit is a value-type replacement of UIDevice. URL: https://github.com/devicekit/DeviceKit
24. blendShapes | Apple Developer Documentation. URL: https://developer.apple.com/documentation/arkit/arfaceanchor/2928251-blendshapes
25. init(target:action:) | Apple Developer Documentation. URL: https://developer.apple.com/documentation/uikit/uigesturerecognizer/1624211-init
26. Swift.org – Package Manager. URL: https://www.swift.org/package-manager/
27. Optimizing ProMotion Refresh Rates for iPhone 13 Pro and iPad Pro | Apple Developer Documentation. URL: https://developer.apple.com/library/archive/technotes/tn2460/_index.html
28. GitHub – ReQEnoxus/gaze-tracker: UIGestureRecognizer extension based on GazeTracking. URL: https://github.com/ReQEnoxus/gaze-tracker


Лицензия Creative Commons

Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.

Представляя статьи для публикации в журнале «Электронные библиотеки», авторы автоматически дают согласие предоставить ограниченную лицензию на использование материалов Казанскому (Приволжскому) федеральному университету (КФУ) (разумеется, лишь в том случае, если статья будет принята к публикации). Это означает, что КФУ имеет право опубликовать статью в ближайшем выпуске журнала (на веб-сайте или в печатной форме), а также переиздавать эту статью на архивных компакт-дисках журнала или включить в ту или иную информационную систему или базу данных, производимую КФУ.

Все авторские материалы размещены в журнале «Электронные библиотеки» с ведома авторов. В случае, если у кого-либо из авторов есть возражения против публикации его материалов на данном сайте, материал может быть снят при условии уведомления редакции журнала в письменной форме.

Документы, изданные в журнале «Электронные библиотеки», защищены законодательством об авторских правах, и все авторские права сохраняются за авторами. Авторы самостоятельно следят за соблюдением своих прав на воспроизводство или перевод их работ, опубликованных в журнале. Если материал, опубликованный в журнале «Электронные библиотеки», с разрешения автора переиздается другим издателем или переводится на другой язык, то ссылка на оригинальную публикацию обязательна.

Передавая статьи для опубликования в журнале «Электронные библиотеки», авторы должны принимать в расчет, что публикации в интернете, с одной стороны, предоставляют уникальные возможности доступа к их материалам, но, с другой, являются новой формой обмена информацией в глобальном информационном обществе, где авторы и издатели пока не всегда обеспечены защитой от неправомочного копирования или иного использования материалов, защищенных авторским правом.

При использовании материалов из журнала обязательна ссылка на URL: http://rdl-journal.ru. Любые изменения, дополнения или редактирования авторского текста недопустимы. Копирование отдельных фрагментов статей из журнала разрешается для научных исследований, персонального использования, коммерческого использования до тех пор, пока есть ссылка на оригинальную статью.

Запросы на право переиздания или использования любых материалов, опубликованных в журнале «Электронные библиотеки», следует направлять главному редактору Елизарову А.М. по адресу: amelizarov@gmail.com

Издатели журнала «Электронные библиотеки» не несут ответственности за точки зрения, излагаемые в публикуемых авторских статьях.

Предлагаем авторам статей загрузить с этой страницы, подписать и выслать в адрес издателя журнала по электронной почте скан Авторского договора о передаче неисключительных прав на использование произведения.