Разработка системы эмоциональной оценки на основе обучения с подкреплением и нейробиологически инспирированных методов
Main Article Content
Аннотация
Объектом проведенного исследования является эмоциональная оценка искусственного интеллекта. В качестве системы реализации эмоциональной оценки выбрана система обучения с подкреплением. В результате симуляции построенной модели получены графики, показывающие активность структур мозга, участвующих в процессе их воздействия друг на друга. В ходе настройки системы удалось добиться четырех вспышек активности на таламусе вместо ожидаемых пяти.
Ключевые слова:
Article Details
Библиографические ссылки
2. Lowenstein G., Lerner J.S. The role of affect in decision-making // In R. Davidson, K. Scherer, H. Goldsmith (Eds.) Handbook of Affective Science. New York: Oxford University Press, 2003. P. 619–642.
3. Максим Таланов. Эмоциональный искусственный интеллект. URL: http://postnauka.ru/video/45296.
4. Tom Ziemke, Robert Lowe. On the Role of Emotion in Embodied Cognitive Architectures: From Organisms to Robots. Springer Science+Business Media, LLC 2009. P. 71–73.
5. David Sander, Didier Grandjean, Klaus R. Scherer. A systems approach to appraisal mechanisms in emotion. Geneva Emotion Research Group, Department of Psychology, University of Geneva, 2005. P. 140–148.
6. Petta P. The role of emotion in a tractable architecture for situated cognizers // In: Trappl R., Petta P., Payr S. Eds. Emotions in Humans and Artifacts. Cambridge, MA: MIT Press, 2003. P. 87–88.
7. Minsky Marvin. The Emotion Machine: Commonsense Thinking, Artifiial Intelligence, and the Future of the Human Mind. Simon and Schuster, 2007. P. 256–258.
8. Wörgötter F., Porr B. Temporal Sequence Learning, Prediction, and Control – a Review of different models and their relation to biological mechanisms. Department of Psychology, University of Stirling, 2005. P. 45.
9. Ortony A., Norman D., Revelle W. Affect and proto-affect in effective functioning // In: Fellous J-M, Arbib M.A., Eds. Who need emotions? New York: Oxford University Press, 2005.
10. Damasio A.R. The feeling of what happens: body, emotion and the making of consciousness. Heinemann: London, 1999. 400 p.
11. Rolls E. Emotion explained. Oxford: Oxford University Press, 2005.
12. Phelps E. Emotion and cognition: Insights from studies of the human amygdala // Annu. Rev. Psychol. 2006. V. 57. P. 27–53.
13. Scherer K.R., Ekman P. On the nature and function of emotion: a component process approach // In: Approaches to Emotion. Hillsdale, N.J.: Lawrence Erlbaum, 1984. P. 293–317.
14. Paulus Martin P., Angela J.Yu. Emotion and decision-making: affect-driven belief systems in anxiety and depression // Trends in Cognitive Sciences. September 2012. V. 16, No 9. P. 476–483.
15. Kahneman D., Tversky A. Prospect theory: an analysis of decision under risk // Econometrica. 1979. V. 47. P. 263–291.
16. Mukherjee K. A dual system model of preferences under risk // Psychol. Rev. 2010. V. 117. P. 243–255.
17. Hsee C.K., Rottenstreich Y. Music, pandas, and muggers: on the affective psychology of value // J. Exp. Psychol. Gen. 2004. V. 133. P. 23–30.
18. Kusev P., van Schaik P. Preferences under risk: content-dependent behavior and psychological processing //Front. Psychol. 2011. V. 2. P. 269–271.
19. Breazeal C. Designing sociable robots. Cambridge, MA: MIT Press, 2002. 244 p.
20. Kelley A.E. Neurochemical networks encoding emotion and motivation: An evolutionary perspective // In: Fellous J-M., Arbib M.A., Eds. Who needs emotions? The brain meets the robot. New York: Oxford University Press, 2005.
21. Max Talanov, Jordi Vallverdu, Salvatore Distefano, Manuel Mazzara, Radhakrishnan Delhibabu. neuromodulating cognitive architecture: towards biomimetic emotional AI // Advanced Information Networking and Applications (AINA), 2015 IEEE 29th International Conference. P. 587–592.
22. Аллахвердов В.М., Богданова С.И. и др. Психология: учеб. / отв. ред. А.А. Крылов. М.: Проспект, 2005. С. 214–217.
23. Vernon David. Artificial Cognitive Systems: a Primer. The MIT Press Cambridge, Massachusetts London, England, 2014. 288 p.
24. McCarthy J., Hayes P.J. Some philosophical problems from the standpoint of artificial intelligence at the Wayback Machine //In: Meltzer B., Michie D., Eds. Machine Intelligence. Edinburgh: Edinburgh University Press, 1969. No 4. P. 463–502 (archived August 25, 2013).
25. Таланов Максим. Марвин Минский и эмоциональные машины. URL: https://postnauka.ru/faq/58727.
26. Lövheim H. A new three-dimensional model for emotions and monoamine neurotransmitters // Med Hypotheses. 2012. V. 8. P. 341–348.
27. Tomkins S. Affect theory // In: P. Ekman, W. Friesen, P. Ellsworth, Eds. Emotions in the Human Face. Cambridge: Cambridge University Press, 1982. P. 355–395.
28. Smith Craig A., Lazarus Richard S. Emotion and Adaptation // In: L.A. Pervin, Ed. Handbook of Personality: Theory and Research. New York: Guilford, 1990. P. 609–637.
29. Lazarus Richard S. Progress on a cognitive-motivational-relational theory of emotion // American Psychologist. 1991. V. 46, No 8. P. 819–834.
30. Niv Yael. Reinforcement learning in the brain // Psychology Department & Princeton Neuroscience Institute, Princeton University, 2009.
31. Barto A.G. Adaptive critic and the basal ganglia // In J.C. Houk, J.L. Davis, D.G. Beiser, Eds. Models of information processing in the basal ganglia. Cambridge: MIT Press, 1995. P. 215–232.
32. Schultz W., Dayan P., Montague P.R. A neural substrate of prediction and reward // Science. 1997. No 275. P. 1593–1599.
33. Wickens J.R., Kotter R. Cellular models of reinforcement // In: J.C. Houk, J.L. Davis, D.G. Beiser, Eds. Models of information processing in the basal ganglia. MIT Press, 1995. P. 187–214.
34. Barto A.G., Sutton R.S., Watkins C.J.C.H. Learning and sequential decision making // In: M. Gabriel, J. Moore, Eds. Learning and computational neuroscience: Foundations of adaptive networks. Cambridge, MA: MIT Press, 1990. P. 593–602.
35. Bertsekas D.P., Tsitsiklis J.N. Neuro-dynamic programming. Athena Sc., Scientific, 1996. 512 p.
36. Sutton R.S., Barto A.G. Reinforcement Learning. An Introduction. Bradford Books, MIT Press, Cambridge, MA, 2002 edition, 1998. 320 p.
37. Bellman R.E. Dynamic Programming. Princeton: Princeton University Press, 1957. 392 p.
38. Sutton R.S. Learning to predict by the methods of temporal differences // Machine Learning. August 1988. V. 3, Issue 1. P. 9–44.
39. Sutton R.S. Generalization in reinforcement learning: successful examples using sparse coarse coding // In: D.S. Touretzky, M.C. Mozer, M.E. Hasselmo, Eds. Advances in Neural Information Processing Systems: Proceedings of the 1995 Conference. Cambridge, MA, 1996. P. 1038–1044.
40. Rummery G.A. Problem solving with reinforcement learning. PhD thesis. Cambridge University, Cambridge, 1995. 52 p.
41. Watkins C.J.C.H. Learning from delayed rewards. PhD thesis. University of Cambridge, Cambridge, England, 1989. 234 p. URL: https://www.cs.rhul.ac.uk/home/ chrisw/new_thesis.pdf.
42. Watkins C.J.C.H., Dayan P. Technical note: Q-Learning // Machine Learning. 1992. V. 7, Issue 8. P. 279–292. URL: http://www.gatsby.ucl.ac.uk/~dayan/papers/ cjch.pdf.
43. Pavlov I.P. Conditioned reflexes. London: Oxford University Press, 1927. URL: http://s-f-walker.org.uk/pubsebooks/pdfs/Conditioned-Reflexes-Pavlov.pdf.
44. Воронцов К.В. Обучение с подкреплением (Reinforcement Learning) URL: http://www.machinelearning.ru/wiki/images/archive/3/35/20140621071329! Voron-ML-RL-slides.pdf.
45. Bellman R. A Markovian decision process // Journal of Mathematics and Mechanics. 1957. No 6. P. 716–719.
46. Rescorla R.A., Wagner A.R. A theory of Pavlovian conditioning: variations in the effectiveness of reinforcement and nonreinforcement // In: A.H. Black, W.F. Prokasy, Eds. Classical conditioning II: Current research and theory. New York, NY: Appleton-Century-Crofts, 1972. P. 64–99.
47. Gewaltig Marc-Oliver, Diesmann Markus. NEST (NEural Simulation Tool) // Scholarpedia. 2007. V. 2, No 4. P. 1430. URL: http://www.scholarpedia.org/article/ NEST_(NEural_Simulation_Tool).
48. Supercomputers Ready for Use as Discovery Machines for Neuroscience // Frontiers in Neuroinformatics. November 2012. V. 6. P. 1–12.
49. Diesmann M., Gewaltig M. NEST: an environment for neural systems simulations // Forschung und wisschenschaftliches Rechnen, Beiträge zum Heinz-Billing-Preis. 2001. Bd. 58. S. 43–70.
50. Picard R.W. Affective Computing. MIT Press, 1997.
Представляя статьи для публикации в журнале «Электронные библиотеки», авторы автоматически дают согласие предоставить ограниченную лицензию на использование материалов Казанскому (Приволжскому) федеральному университету (КФУ) (разумеется, лишь в том случае, если статья будет принята к публикации). Это означает, что КФУ имеет право опубликовать статью в ближайшем выпуске журнала (на веб-сайте или в печатной форме), а также переиздавать эту статью на архивных компакт-дисках журнала или включить в ту или иную информационную систему или базу данных, производимую КФУ.
Все авторские материалы размещены в журнале «Электронные библиотеки» с ведома авторов. В случае, если у кого-либо из авторов есть возражения против публикации его материалов на данном сайте, материал может быть снят при условии уведомления редакции журнала в письменной форме.
Документы, изданные в журнале «Электронные библиотеки», защищены законодательством об авторских правах, и все авторские права сохраняются за авторами. Авторы самостоятельно следят за соблюдением своих прав на воспроизводство или перевод их работ, опубликованных в журнале. Если материал, опубликованный в журнале «Электронные библиотеки», с разрешения автора переиздается другим издателем или переводится на другой язык, то ссылка на оригинальную публикацию обязательна.
Передавая статьи для опубликования в журнале «Электронные библиотеки», авторы должны принимать в расчет, что публикации в интернете, с одной стороны, предоставляют уникальные возможности доступа к их материалам, но, с другой, являются новой формой обмена информацией в глобальном информационном обществе, где авторы и издатели пока не всегда обеспечены защитой от неправомочного копирования или иного использования материалов, защищенных авторским правом.
При использовании материалов из журнала обязательна ссылка на URL: http://rdl-journal.ru. Любые изменения, дополнения или редактирования авторского текста недопустимы. Копирование отдельных фрагментов статей из журнала разрешается для научных исследований, персонального использования, коммерческого использования до тех пор, пока есть ссылка на оригинальную статью.
Запросы на право переиздания или использования любых материалов, опубликованных в журнале «Электронные библиотеки», следует направлять главному редактору Елизарову А.М. по адресу: amelizarov@gmail.com
Издатели журнала «Электронные библиотеки» не несут ответственности за точки зрения, излагаемые в публикуемых авторских статьях.
Предлагаем авторам статей загрузить с этой страницы, подписать и выслать в адрес издателя журнала по электронной почте скан Авторского договора о передаче неисключительных прав на использование произведения.