Реконструкция трехмерной модели человека по единственному изображению

Main Article Content

Александр Сергеевич Тарасов
Влада Владимировна Кугуракова

Аннотация

Статья посвящена подходам к обработке изображения для успешной реконструкции трехмерной модели человека, создаваемой методом неявной функции с выравниванием по пикселам, представленном FaceBook Research. Выявлены недостатки работы метода, связанные с ограничением качества исходного изображения, представлены рекомендации, позволяющие избежать его некорректной работы и предложены подходы улучшения исходного изображения, увеличивающие в 1,33 раза идентичность получаемой модели. Также была отработана тактика последующего наложения текстуры и внедрения набора анимаций.

Article Details

Библиографические ссылки

1. Lassner, C. et al. Unite the people: Closing the loop between 3d and 2d human representations [Текст] / C. Lassner, J. Romero, M. Kiefel, F. Bogo, M. J. Black, P. V. Gehler // Proceedings of the IEEE conference on computer vision and pattern recognition. – 2017. – P. 6050-6059.
2. Sun, Z. 3D printing in medicine: current applications and future directions [Текст] / Z. Sun / Quantitative imaging in medicine and surgery. – 2018. – V. 8. – №. 11. – P. 1069.
3. Демоверсия редактора создания персонажа / Официальный сайт the Sims 4: [Электронный ресурс]. – https://www.ea.com/ru-ru/games/the-sims/the-sims-4/pc/create-a-sim-demo (дата обращения: 29.03.2021).
4. Weng, C. Y., Curless, B. Photo wake-up: 3d character animation from a single photo [Текст] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. – 2019. – P. 5908-5917.
5. Alldieck, T. et al. Tex2shape: Detailed full human body geometry from a single image [Текст] / T. Alldieck, G. Pons-Moll, C. Theobalt, M. Magnor // Proceedings of the IEEE/CVF International Conference on Computer Vision. – 2019. – P. 2293-2303.
6. Saito, S. et al. Pifu: Pixel-aligned implicit function for high-resolution clothed human digitization [Текст] / S. Saito, Z. Huang, R. Natsume, S. Morishima, A. Kanazawa, H. Li // Proceedings of the IEEE/CVF International Conference on Computer Vision. – 2019. – P. 2304-2314.
7. Chen, Y., Medioni , G. Object modelling by registration of multiple range images [Текст] // Image and vision computing. – 1992. – V. 10. – №. 3. – P. 145-155.
8. Pavlakos, G.et al. Learning to estimate 3D human pose and shape from a single color image [Текст] / G. Pavlakos, L. Zhu, X. Zhou // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. – 2018. – P. 459-468.
9. Saito, S. Pifuhd: Multi-level pixel-aligned implicit function for high-resolution 3d human digitization [Текст] / S. Saito, T. Simon, J. Saragih, H. Joo // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. – 2020. – P. 84-93.
10. Giving people the power to build community through research and innovation / FaceBook Research [Электронный ресурс]. – URL: https://research.fb.com/
11. Real-time 2D Multi-Person Pose Estimation on CPU: Lightweight OpenPose / GitHub [Электронный ресурс]. – URL: https://github.com/Daniil-Osokin/lightweight-human-pose-estimation.pytorch
12. pix2pixHD / GitHub [Электронный ресурс]. – URL: https://github.com/NVIDIA/pix2pixHD
13. Blender 2.92 Reference Manual / Blender Documentation [Электронный ресурс]. – URL: https://docs.blender.org/manual/en/latest
14. MetaHuman Creator / Unreal Engine [Электронный ресурс]. – URL: https://www.unrealengine.com/en-US/metahuman-creator
15. The world’s most open and advanced real-time 3D creation tool / Unreal Engine [Электронный ресурс]. – URL: https://www.unrealengine.com/en-US/
16. Manage 3D content and export with one click / Quixel Bridge [Электронный ресурс]. – URL: https://quixel.com/bridge
17. Blind Face Restoration via Deep Multi-scale Component Dictionaries / GitHub [Электронный ресурс]. – URL: https://github.com/csxmli2016/DFDNet
18. Background Removal API / remove.bg [Электронный ресурс]. – URL: https://www.remove.bg/api
19. Animate 3D characters for games, film, and more. / Mixamo [Электронный ресурс]. – URL: https://www.mixamo.com
20. Тарасов А.С. Быстрое прототипирование трехмерного виртуального аватара и его движений на основе сканирования [Текст] / Выпускная квалификационная работа бакалавра Института информационных технологий и интеллектуальных систем // Казанский федеральный университет. – 2021. – 55 с.