Увеличение робастности нейронных сетей за счет генерации векторных представлений, инвариантных к атрибутам
Main Article Content
Аннотация
Робастность модели к незначительным отклонениям в распределении исходных данных является важным критерием во многих задачах. Нейронные сети могут показывать высокую точность (accuracy) на обучающей выборке, но при этом качество на тестовой выборке может сильно падать из-за разного распределения данных, причем ситуация только усугубляется на уровне подгрупп внутри каждой категории.
В данной статье мы показываем, как робастность модели на уровне подгрупп может быть значительно улучшена с помощью подхода, основанного на доменной адаптации векторных представлений. Мы обнаружили, что применение состязательного подхода к ограничению векторных представлений дает существенный прирост метрики точности (accuracy) в сложной подгруппе по сравнению с предыдущими моделями. Метод протестирован на двух независимых наборах данных, точность в сложной подгруппе на наборе данных Waterbirds составляет 90.3 {y : waterbirds;a : landbackground}, а на наборе данных CelebA – 92.22 {y : blondhair;a : male}.
Article Details
Библиографические ссылки
2. Christian Szegedy at all. Inception-v4, inception-resnet and the impact of residual connections on learning. Thirty-first AAAI Conference on Artificial Intelli-gence, 2017.
3. Dirk Hovy, Anders Søgaard. Tagging performance correlates with author age // Proceedings of the 53rd annual meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (volume 2: Short papers). 2015, P. 483–488.
4. Nicole Shadowen. Ethics and bias in machine learning: A technical study of what makes us “good”. The Transhumanism Handbook. Springer, 2019. P. 247–261.
5. Osonde A Osoba, William Welser IV. An intelligence in our image: The risks of bias and errors in artificial intelligence. Rand Corporation, 2017.
6. Shai Danziger, Jonathan Levavи, Liora Avnaim-Pesso. Extraneous factors in judicial decisions // Proceedings of the National Academy of Sciences 108.17 (2011). P. 6889–6892.
7. Amitabha Mukerjee at all. Multi-objective evolutionary algorithms for the risk-return trade-off in bank loan management // International Transactions in Operational Research 9.5. 2002. P. 583–597.
8. Julia K. Winkler at all. Association between surgical skin markings in der-moscopic images and diagnostic performance of a deep learning convolutional neural network for melanoma recognition // JAMA Dermatology 155.10. 2019. P. 1135–1141.
9. Philipp Tschandl, Cliff Rosendahl, Harald Kittler. The HAM10000 dataset, a large collection of multi-source dermatoscopic images of common pigmented skin lesions // Scientific Data 5. 2018. P. 180161.
10. Noel CF Codella at all. Skin lesion analysis toward melanoma detection: A challenge at the 2017 International Symposium on Biomedical Imaging (ISBI), hosted by the International Skin Imaging Collaboration (ISIC)// 2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018). IEEE. 2018. P. 168–172.
11. Marc Combalia at all. Bcn20000: Dermoscopic lesions in the wild // arXiv preprint arXiv:1908.02288, 2019.
12. Shiori Sagawa at all. Distributionally Robust Neural Networks for Group Shifts: On the Importance of Regularization for Worst-Case Generalization // arXiv preprint arXiv:1911.08731, 2019.
13. Sharon Li Karan Goel Albert Gu, Chris R´e. Automating the Art of Data Augmentation CLAMP: An Instantiation of Model Patching, 2020.
URL: http://hazyresearch.stanford.edu/data-aug-part-4.
14. Jun-Yan Zhu at all. Unpaired image-to-image translation using cyclecon-sistent adversarial networks // Proceedings of the IEEE international Conference on Computer Vision, 2017. P. 2223–2232.
15. Phillip Isola at all. Image-to-image translation with conditional adversari-al networks // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017. P. 1125–1134.
16. Soumya Tripathy, Juho Kannala, Esa Rahtu. Learning image-to-image translation using paired and unpaired training samples // Asian Conference on Com-puter Vision. Springer, 2018. P. 51–66.
17. Ivan Anokhin at all. High-Resolution Daytime Translation Without Do-main Labels // arXiv preprint arXiv:2003.08791, 2020.
18. Tero Karras at all. Analyzing and improving the image quality of stylegan // arXiv preprint arXiv:1912.04958, 2019.
19. Sangwoo Mo, Minsu Cho, Jinwoo Shin. Instagan: Instance-aware imageto-image translation // arXiv preprint arXiv:1812.10889, 2018.
20. Yaroslav Ganin, Victor Lempitsky. Unsupervised domain adaptation by backpropagation // arXiv preprint arXiv:1409.7495, 2014.
21. Ying Tai, Jian Yang, Xiaoming Liu. Image super-resolution via deep recur-sive residual network // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017. P. 3147–3155.
22. Jia Deng at all. Imagenet: A large-scale hierarchical image database// 2009 IEEE Conference on Computer Vision and Pattern Recognition. IEEE. 2009. P. 248–255.
23. Diederik P Kingma, Jimmy Ba. Adam: A method for stochastic optimiza-tion // arXiv preprint arXiv:1412.6980, 2014.
Представляя статьи для публикации в журнале «Электронные библиотеки», авторы автоматически дают согласие предоставить ограниченную лицензию на использование материалов Казанскому (Приволжскому) федеральному университету (КФУ) (разумеется, лишь в том случае, если статья будет принята к публикации). Это означает, что КФУ имеет право опубликовать статью в ближайшем выпуске журнала (на веб-сайте или в печатной форме), а также переиздавать эту статью на архивных компакт-дисках журнала или включить в ту или иную информационную систему или базу данных, производимую КФУ.
Все авторские материалы размещены в журнале «Электронные библиотеки» с ведома авторов. В случае, если у кого-либо из авторов есть возражения против публикации его материалов на данном сайте, материал может быть снят при условии уведомления редакции журнала в письменной форме.
Документы, изданные в журнале «Электронные библиотеки», защищены законодательством об авторских правах, и все авторские права сохраняются за авторами. Авторы самостоятельно следят за соблюдением своих прав на воспроизводство или перевод их работ, опубликованных в журнале. Если материал, опубликованный в журнале «Электронные библиотеки», с разрешения автора переиздается другим издателем или переводится на другой язык, то ссылка на оригинальную публикацию обязательна.
Передавая статьи для опубликования в журнале «Электронные библиотеки», авторы должны принимать в расчет, что публикации в интернете, с одной стороны, предоставляют уникальные возможности доступа к их материалам, но, с другой, являются новой формой обмена информацией в глобальном информационном обществе, где авторы и издатели пока не всегда обеспечены защитой от неправомочного копирования или иного использования материалов, защищенных авторским правом.
При использовании материалов из журнала обязательна ссылка на URL: http://rdl-journal.ru. Любые изменения, дополнения или редактирования авторского текста недопустимы. Копирование отдельных фрагментов статей из журнала разрешается для научных исследований, персонального использования, коммерческого использования до тех пор, пока есть ссылка на оригинальную статью.
Запросы на право переиздания или использования любых материалов, опубликованных в журнале «Электронные библиотеки», следует направлять главному редактору Елизарову А.М. по адресу: amelizarov@gmail.com
Издатели журнала «Электронные библиотеки» не несут ответственности за точки зрения, излагаемые в публикуемых авторских статьях.
Предлагаем авторам статей загрузить с этой страницы, подписать и выслать в адрес издателя журнала по электронной почте скан Авторского договора о передаче неисключительных прав на использование произведения.