TY - CONF

T1 - Научение с подкреплением и ошибки предсказания у больных шизофренией в нейросетевой модели

AU - Ратьковская, Анастасия Ильинична

AU - Горбунов, Иван Анатольевич

N1 - Ратьковская А.И., Горбунов И.А. Научение с подкреплением и ошибки предсказания у больных шизофренией в нейросетевой модели //Ананьевские чтения 2025, Спб 2025

PY - 2025/10/24

Y1 - 2025/10/24

N2 - Шизофрения как психическое заболевание характеризуется широким спектром проявлений в когнитивной и аффективной сфере. В силу разнообразия симптомов их разделяют на позитивные и негативные, отдельно выделяя когнитивные нарушения.Существуют различные теории, касающиеся этиологии шизофрении и её симптомов. Так, с точки зрения дофаминовой гипотезы развитие заболевания связывают с нарушениями дофаминергической системы. (Howes, et al, 2017) Её участие в системах вознаграждения обуславливает влияние этих нарушений на аффективную сферу, а также на процессы научения с подкреплением.(Diederen, Fletcher, 2021)В обсуждении научения с подкреплением выделяют позитивные и негативные ошибки предсказания: они вызваны тем, что исход, награда была лучше или хуже ожидаемого соответственно. У больных шизофренией, которым присущ повышенный уровень дофамина, выше реакция на вторые, в то время как у больных болезнью Паркинсона, где уровень дофамина снижен, наблюдается противоположная картина, что указывает на связь этих нарушений научения с подкреплением с аномалиями дофаминового обмена.(Maia, Frank, 2011)Целью исследования является создание модели свойственных шизофрении особенностей научения с подкреплением.Различия в реакции на ошибки предсказания возможно изучать в задачах на вероятностный выбор. В них испытуемым предъявляются пары стимулов, из которых необходимо выбрать верный. В фазе обучения каждый символ в паре подкрепляется с определённой вероятностью (80/20, 70/30, 60/40), а в экспериментальной фазе создаются новые пары: наиболее часто и наиболее редко подкрепляемый стимул ставятся в пары с другими и испытуемому предлагается выбрать верный уже без подкрепления. В результате можно сравнить успешность выполнения задания с парами с часто и с редко подкрепляемым стимулом, тем самым увидеть, какие ошибки играли большую роль в научении.(Maia, Frank, 2011)Нейронные сети с механизмом обратного распространения ошибки позволяют смоделировать эти процессы: путём создания кастомной функции потерь можно создать нейросеть с ассиметричной реакцией на положительную и отрицательную обратную связь, что будет отражаться на процессе обучения и получаемых ответах, которые можно сравнить с таковыми у больных и у здоровых людей. Для связанного со стимулом в виде изображения задания в качестве архитектуры закономерно использовать свёрточную нейронную сеть. В соответствии с известными механизмами, можно предположить, что нейронная сеть с функцией потери, модифицированной в сторону большей чувствительности к негативным ошибкам предсказания будет более успешна в парах с более редко подкрепляемым стимулом, в сравнении с сетью, где такая асимметричность не была введена, и эта разница между моделями будет отражать различия в результатах больных шизофренией и здоровых людей.Таким образом, с помощью нейросетей возможно изучить как механизмы когнитивной симптоматики такого социально значимого заболевания как шизофрения, так и механизмы научения с подвкреплением как таковые. Кроме того, общие принципы можно применить для изучения других связанных с дофамином заболеваний, либо же работать над вычислительными моделями для иных медиаторных систем.Список использованной литературы:Diederen KMJ, Fletcher PC. Dopamine, Prediction Error and Beyond. Neuroscientist. 2021 Feb;27(1):30-46. https://doi.org/10.1177/1073858420907591 Howes O. D. et al. The role of genes, stress, and dopamine in the development of schizophrenia //Biological psychiatry. – 2017. – Т. 81. – №. 1. – С. 9-20.https://doi.org/10.1016/j.biopsych.2016.07.014Maia, T. V., & Frank, M. J. (2011). From reinforcement learning models to psychiatric and neurological disorders. Nature neuroscience, 14(2), 154–162.https://doi.org/10.1038/nn.2723

AB - Шизофрения как психическое заболевание характеризуется широким спектром проявлений в когнитивной и аффективной сфере. В силу разнообразия симптомов их разделяют на позитивные и негативные, отдельно выделяя когнитивные нарушения.Существуют различные теории, касающиеся этиологии шизофрении и её симптомов. Так, с точки зрения дофаминовой гипотезы развитие заболевания связывают с нарушениями дофаминергической системы. (Howes, et al, 2017) Её участие в системах вознаграждения обуславливает влияние этих нарушений на аффективную сферу, а также на процессы научения с подкреплением.(Diederen, Fletcher, 2021)В обсуждении научения с подкреплением выделяют позитивные и негативные ошибки предсказания: они вызваны тем, что исход, награда была лучше или хуже ожидаемого соответственно. У больных шизофренией, которым присущ повышенный уровень дофамина, выше реакция на вторые, в то время как у больных болезнью Паркинсона, где уровень дофамина снижен, наблюдается противоположная картина, что указывает на связь этих нарушений научения с подкреплением с аномалиями дофаминового обмена.(Maia, Frank, 2011)Целью исследования является создание модели свойственных шизофрении особенностей научения с подкреплением.Различия в реакции на ошибки предсказания возможно изучать в задачах на вероятностный выбор. В них испытуемым предъявляются пары стимулов, из которых необходимо выбрать верный. В фазе обучения каждый символ в паре подкрепляется с определённой вероятностью (80/20, 70/30, 60/40), а в экспериментальной фазе создаются новые пары: наиболее часто и наиболее редко подкрепляемый стимул ставятся в пары с другими и испытуемому предлагается выбрать верный уже без подкрепления. В результате можно сравнить успешность выполнения задания с парами с часто и с редко подкрепляемым стимулом, тем самым увидеть, какие ошибки играли большую роль в научении.(Maia, Frank, 2011)Нейронные сети с механизмом обратного распространения ошибки позволяют смоделировать эти процессы: путём создания кастомной функции потерь можно создать нейросеть с ассиметричной реакцией на положительную и отрицательную обратную связь, что будет отражаться на процессе обучения и получаемых ответах, которые можно сравнить с таковыми у больных и у здоровых людей. Для связанного со стимулом в виде изображения задания в качестве архитектуры закономерно использовать свёрточную нейронную сеть. В соответствии с известными механизмами, можно предположить, что нейронная сеть с функцией потери, модифицированной в сторону большей чувствительности к негативным ошибкам предсказания будет более успешна в парах с более редко подкрепляемым стимулом, в сравнении с сетью, где такая асимметричность не была введена, и эта разница между моделями будет отражать различия в результатах больных шизофренией и здоровых людей.Таким образом, с помощью нейросетей возможно изучить как механизмы когнитивной симптоматики такого социально значимого заболевания как шизофрения, так и механизмы научения с подвкреплением как таковые. Кроме того, общие принципы можно применить для изучения других связанных с дофамином заболеваний, либо же работать над вычислительными моделями для иных медиаторных систем.Список использованной литературы:Diederen KMJ, Fletcher PC. Dopamine, Prediction Error and Beyond. Neuroscientist. 2021 Feb;27(1):30-46. https://doi.org/10.1177/1073858420907591 Howes O. D. et al. The role of genes, stress, and dopamine in the development of schizophrenia //Biological psychiatry. – 2017. – Т. 81. – №. 1. – С. 9-20.https://doi.org/10.1016/j.biopsych.2016.07.014Maia, T. V., & Frank, M. J. (2011). From reinforcement learning models to psychiatric and neurological disorders. Nature neuroscience, 14(2), 154–162.https://doi.org/10.1038/nn.2723

KW - ШИзофрения

KW - Модель

KW - Обучение

KW - Нейронные сети

KW - Когнитивный дефект

UR - https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2F8%2BiD0TOdxAOveDxWsEvtEZpGmvrXrjXpAYjPGIrmkabjzioQOOs5MtAG7v8sqqKsq%2FJ6bpmRyOJonT3VoXnDag%3D%3D&name=%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B0_%D0%90%D0%A7-2025.pdf&nosw=1

UR - https://events.spbu.ru/ananyev-2025

M3 - тезисы

SP - 25

EP - 26

T2 - Ананьевские чтения - 2005

Y2 - 25 October 2005 through 27 October 2005

ER -