1
Реферат
Проект посвящен разработке математических методов оптимального планирования и анализа регрессионных моделей.
Целью исследования являлось решение трех фундаментальных задач регрессионного анализа, а именно
1) Построение планов эксперимента для дискриминации регрессионных моделей в полупараметрическом случае.
2) Получение в аналитической форме дискриминационных планов в случае конкурирующих тригонометрических моделей.
3) Построение и исследование наилучших несмещенных линейных оценок для многопараметрических регрессионных моделей с коррелированными наблюдениями.
При работе над проектом использовались следующие основные методы и подходы:
1. Теоремы эквивалентности теории регрессионного планирования, дающие необходимые и достаточные условия оптимальности и позволяющие проводить аналитические (а не только численные) исследования.
2. Функциональный подход, предложенный в работах руководителя гранта (Мелас, 1999 и Melas, 2006), идея которого заключается в представлении неявно заданной функции, в виде ряда Тейлора. Коэффициенты разложения определяются по рекуррентным формулам.
3. Теория специальных функций
4. Теория гильбертовых пространств с воспроизводящим ядром.

В процессе реализации проекта были получены новые аналитические результаты и разработаны новые эффективные численные методы. Предложенные в ходе работы подходы к решению задач основаны на применении и обобщении результатов, полученных ранее в работах руководителя и участников проекта.

Задача построения оптимальных планов для сравнения нескольких нелинейных по параметрам моделей имеет большое значение, в частности, в химической кинетике (для определения типа реакции по результатам эксперимента). Тригонометрические модели представляют значительный теоретический и практический интерес. Данные модели используются, например, в задачах микробиологии и медицины. В рамках решения третей задачи в проекте рассматривались корреляционные функции, которые наиболее часто встречаются на практике, а именно, экспоненциальная, треугольная и гауссовская корреляционные функции, корреляционная функция Броуновского движения и процессов авторегрессии. Также, в ходе реализации проекта были изучены оптимальные планы эксперимента для обнаружения эффекта хормезиса для ряда специальных регрессионных моделей используемых в задачах токсикологии и биомедицины.
Содержание
Введение……………………………………………………………………………… стр. 2
Список литературы (к разделу «Введение») …………………........….…… стр. 5
Основная часть……………………………………..………………………….…… стр. 8 Цель и задачи фундаментального исследования…..………………..…… стр. 8 Важнейшие результаты, полученные при реализации Проекта …....… стр. 10
Заключение………………………………………………………………………..… стр. 14

2
Введение

Известно, что создание оптимальных условий для проведения эксперимента может привести к значительной экономии средств. В случае дорогостоящих экспериментов экономия может быть колоссальной. Исследования в области планирования эксперимента актуальны в сельском хозяйстве (агрономии), фармацевтике (испытания лекарств), при испытаниях промышленных изделий (в том числе военного назначения) и др. Правильная постановка эксперимента позволяет сократить число испытаний необходимое для получения корректных выводов.Теория оптимального планирования регрессионных экспериментов была инициирована работами Elfving (1952), Chernoff (1953), Ehrenfeld (1955) и Kiefer, Wolfowitz (1960). Эта теория быстро развивается с конца 60-х годов и в ее развитие значительный вклад внесли российские ученые И.П. Клепиков, С.Н. Соколов, В.В. Налимов, В.В. Федоров, М.Б. Малютов, Г.К. Круг, С.М. Ермаков, В.П. Козлов и многие другие. Монография В.В. Федорова (1971) была переведена на английский язык (см. Fedorov (1972)) и оказалась первой монографией по этой теории. Работы В.П. Козлова по планированию регрессионных экспериментов, собранные в посмертно изданной книге Козлов (2000), остаются непревзойденными до сих пор. Текущее состояние в этих исследованиях хорошо отражено в монографиях Ермаков и др. (1983), Pukelsheim (2006), Melas (2006). Теоретическая часть исследований в области планирования эксперимента включает статистическую часть, где средствами математической статистики формируется критерий оптимальности эксперимента и разработку специальных вычислительных методов, направленных на определение оптимальных условий его проведения. Последняя задача есть задача определения экстремума функции очень большого числа переменных. Как правило, она решается также статистическими методами. Под оптимальными планами понимаются дискретные вероятностные меры, доставляющие экстремальное значение заданному функционалу от информационной матрицы Фишера. Большинство исследований относятся к линейным по параметрам одномерным регрессионным моделям в предположении некоррелированности наблюдений. Для таких моделей получено значительное число аналитических результатов. В литературе по планированию эксперимента наиболее изученными является непрерывные оптимальные планы для линейных по параметрам регрессионных моделей (см. Pukelsheim, 1993; Fedorov, Hackl, 1997; Atkinson et al., 2007). Вместе с тем, построение оптимальных планов для нелинейных по параметрам моделей представляет значительный теоретический и практический интерес. Основная трудность в построении и исследовании оптимальных планов для нелинейных по параметрам регрессионных моделей заключается в зависимости асимптотической ковариационной матрицы оценок от истинных значений вектора оцениваемых параметров. Для преодоления этой трудности Чернов (см. Chernoff (1953)) предложил рассматривать локально оптимальные планы, т.е. планы оптимальные для фиксированных значений неизвестных параметров. К сожалению, такие планы могут оказаться малоэффективными, так как зависят от начального приближения. В связи с

3
этим, возникает задача исследовать робастность данных планов и выделить класс моделей, для которых они являются эффективными. Для оценки их эффективности используются байесовские планы. Байесовские оптимальные планы рассматривались многими авторами (Lauter (1974), Lauter (1976), Pronzato, Walter (1988), Chaloner and Larntz (1989), Dette, Neugebauer (1996), Han, Chaloner (2004), Dette, Neugebauer (1997)). Такой подход значительно шире локально-оптимального. Вместо задания приближений к значениям параметров этот подход предполагает задание априорной меры. Соответствующий план будет обладать высокой эффективностью для различных значений параметров. Задание априорной меры в виде дискретной меры позволяет свести задачу построения байесовского плана к задаче построения локального плана для расширенного списка моделей. Однако построение таких планов в явном виде оказывается возможным лишь для самых простых моделей с одним неизвестным параметром. Поэтому большинство авторов исследуют байесовские планы, главным образом, численными методами. Функциональный подход, вкратце описанный выше, позволяет строить и исследовать байесовские планы с помощью степенных рядов. Что, в свою очередь, позволяет исследовать поведение функций эффективности локально-оптимальных планов по отношению к байесовским. Развитие функционального подхода позволит создать значительно более общие методы построения оптимальных планов и исследования их эффективности и робастности. Планированию дискриминирующих экспериментов (т.е. экспериментов по выбору подходящей модели) посвящено значительное количество работ. В частности, для дискриминации двух моделей, одна из которых вложена в другую, предлагалось использование планов, оптимальных для оценивания той части параметров модели, которые не входят в альтернативную модель [среди первых работ в этом направлении см. Stigler (1971) и Studden (1982)]. Другой подход заключается в максимизации по плану величины среднеквадратичного отклонения, которое возникает при наилучшей (в некотором смысле) аппроксимации одной из моделей с помощью другой. При этом, в случае вложенных моделей за основную принимается наибольшая модель. Соответствующий критерий был введен в работах Atkinson, Fedorov (1975a,b) и назван T-критерием. Заметим, что этот критерий является локальным и уже в пионерской работе Atkinson, Fedorov (1975a) было предложено изучать планы, оптимальные в смысле байесовского и минимаксного (максиминного) подхода. T-оптимальные планы рассматривались многими авторами [см., например, Ucinski and Bogacka (2005), Wiens (2009), Tommasi and Lopez-Fidalgo (2010) или Waterhouse et al. (2008), Dette and Titoff (2009)]. Однако, до последнего времени построение таких планов осуществлялись численными методами, за исключением самых простейших моделей и случая аппроксимации многочленов m-ой степени многочленами (m-1)-ой степени. Применение функционального подхода позволит расширить класс аналитически исследуемых задач. В частности, недавно была опубликована статья (Dette, Melas, Shpilev (2012)), в которой благодаря функциональному подходу было получено полное решение задачи дискриминации двух полиномиальных моделей, отличающихся на два порядка. Результаты, полученные в данной статье, были использованы для построения байесовских и минимаксных планов (Dette, Melas, Shpilev (2013)).

4
В отличие от случая некоррелированных ошибок, построение оптимальных планов для зависимых наблюдений изучено гораздо меньше и по своей природе является более трудной задачей. Однако, эта проблема имеет особый практический интерес, так как во многих случаях наблюдения взаимосвязаны. Типичные примеры включают в себя модели, где регрессионная переменная x представляет собой время, и все наблюдения соответствуют одному предмету. Важной особенностью случая коррелированных наблюдений является то, что точность оценивания стремится к константе с ростом числа измерений, а не стремится к нулю. Сложность задачи планирования для коррелированных наблюдений связанна с тем, что информационная матрица не представляется как сумма элементарных информационных матриц для каждой точки измерения. Кроме того, классические критерии, примененные к ковариационным матрицам различных оценок, не являются выпуклыми, и ковариационные матрицы ошибок могут быть обращены в явном виде в редких случаях. Оптимальные планы эксперимента очень трудно найти даже для простых моделей. Некоторые точные оптимальные планы были изучены в (Boltze and Nather (1982), Nather (1985a, Ch. 4), Nather (1985b), Pazman and Muller (2001) and Muller and Pazman (2003), где явные решения получены только для случая m=1. Более общие результаты получены в работе (Круг, Бримкулов, Саванов, 1986). Однако эти результаты также относятся к специальным случаям. Поскольку решения задач оптимального планирования для коррелированных наблюдений редко могут быть найдены в явном виде ряд авторов предложили определять оптимальные планы на основе асимптотического перехода [см., например, пионерские работы (Sacks and Ylvisaker 1966, 1968), а также Bickel and Herzberg (1979), Nather (1985a), Zhigljavsky, Dette and Pepelyshev (2010)]. Можно отметить, что существуют три основных подхода для построения асимптотически оптимальных планов для регрессионных моделей с коррелированными наблюдениями. Первый подход предложен в работах (Sacks, Ylvisaker, 1966, 1968), где предполагается, что ковариационная структура ошибки процесса является фиксированной и что число точек плана стремится к бесконечности и построены планы обеспечивающие лучшую скорость сходимости ковариационной матрицы оценки взвешенных наименьших квадратов к предельной матрице. Во втором подходе, разработанном в работах (Bickel, Herzberg, 1979) и (Bickel, Herzberg, Schilling, 1981), считается, что функция корреляции зависит от числа наблюдений и построены оптимальные планы для оценки наименьших квадратов. В работе (Zhigljavsky, Dette, Pepelyshev, 2010) предложен третий подход, в котором дисперсия в дополнение к функции корреляции зависит от числа наблюдений и изучены планы для оценки наименьших квадратов. Построению наилучших несмещенных линейных оценок для параметров регрессионных моделей с коррелированными наблюдениями посвящено множество статей. Установлено что решение уравнение типа Винера-Хопфа влечет построение таких оценок.Это уравнение было впервые рассмотрено в работе (Grenander 1950) для случая модели в виде константы без наблюдения производных. Случай однопараметрической модели без

5
наблюдения производных изучался в работах (Rosenblatt 1956) и (Grenander 1954), где для случая стационарных дискретных процессов использовалось спектральное представление случайного процесса. Дальнейший анализ оценок через спектральное представление был развит в работах (Pisarenko and Rozanov 1963; Kholevo 1969). Подход, который является классическим для теории планирования эксперимента, был применен в работе (Hajek 1956) для построения оценки для модели в виде константы без наблюдения производных, где уравнение Винера-Хопфа было решено для ряда простых корреляционных ядер. Связь между дискретным и непрерывным случаем изучалась в работе (Anderson 1970). Хороший обзор по классическим результатам (Grenander 1950, 1954, Hajek 1956, Sacks and Ylvisaker 1966, 1968) по построению оценок приведено в работе (Nather 1985a), где в основном рассмотрен случай моделей в виде константы.

Список литературы (к разделу «Введение»):

Бримкулов У.Н., Круг Г.К., Саванов В.Л. (1986). Планирование экспериментов при исследовании случайных полей и процессов. М., Наука.

Ермаков С.М. и др. (1983). Математическая теория планирования эксперимента. М., Наука.

Козлов В.П. (2000). Избранные труды по теории планирования эксперимента и обратным задачам оптического зондирования. Изд-во С.-Петербург. ун-та, СПб.

Мелас В.Б. (1999). Общая теория функционального подхода к оптимальному планированию эксперимента. СПб., Изд-во С.-Петерб. ун-та.

Федоров В.В. (1971). Теория оптимального эксперимента. М., Наука.

Anderson, T. W. (1970). Efficient estimation of regression coefficients in time series. Technical report, DTIC Document.

Atkinson, A. C., Donev, A. N., and Tobias, R. D. 2007. Optimum Experimental Designs, with SAS. Oxford University Press, Oxford.

Atkinson, A. C. and Fedorov, V. V. (1975a). The design of experiments for discriminating between two rival models. Biometrika 62 p. 57–70.

Atkinson, A. C. and Fedorov, V. V. (1975b). Optimal design: Experiments for discriminating between several models. Biometrika 62 p. 289–303.

Bickel, P. J., and Herzberg, A. M. (1979). Robustness of design against autocorrelation in time. I. Asymptotic theory, optimality for location and linear regression. // Annals of Statistics 7, 77--95.

6
Bickel, P. J., Herzberg, A. M., and Schilling, M. F. (1981). Robustness of design against autocorrelation in time. II. Optimality, theoretical and numerical results for the first-order autoregressive process. // Journal of the American Statistical Association 76, 870--877.

Boltze, L., and N\"ather, W. (1982). On effective observation methods in regression models with correlated errors. // Math. Operationsforsch. Statist. Ser. Statist. 13, 507--519.

Chaloner K. and Larntz K. (1989). Optimal Bayesian design applied to logistic regression experiments, J. Statistical Plannning and Inference 21, 191--208.

Chernoff, H. (1953). Locally optimal design for estimator parameters. Ann. Math. Stat. 24, 586--602.

Dette H., Pepelyshev A., Zhigljavsky, A. (2008). Improving updating rules in multiplicative algorithms for computing $D$-optimal designs. // Computational Statistics and Data Analysis, 53 (2), 312--320.

Dette, H. and Titoff, S. (2009). Optimal discrimination designs.// Annals of Statistics 37(4), 2056--2082.

Dette, Holger; Melas, Viatcheslav B.; Shpilev, Petr. (2012). T-optimal designs for discrimination between two polynomial models, Annals of Statistics, 40, 188-205.

Dette, Holger; Melas, Viatcheslav B.; Shpilev, Petr. (2013). Robust T-optimal discriminating designs. Annals of Statistics, 41, 1693-1715.

Dette H., Neugebauer H.-M. (1997). Bayesian optimal designs for exponential regression models. Journal of Statistical Planning and Inference 60(2), 331--349.

Dette H., Neugebauer H.-M. (1996). Bayesian optimal one point designs for one parameter nonlinear models. Journal of Statistical Planning and Inference 52(1), 17--31.

Ehrenfeld, E. (1955). On the efficiency of experimental design. // Annals of Mathematical Statistic 26, 247--255.

Elfving, G. (1952). Optimum allocation in linear regression theory. // Annals of Mathematical Statistics , 255--262.
Fedorov, V.V. (1972). Theory of Optimal Experiments. Academic Press, New York.

Fedorov, V.V. and Hackl, P. (1997). Model-Oriented Design of Experiments. Springer, New York

Grenander, U. (1950). Stochastic processes and statistical inference. Ark. Mat., 1:195-277.

Grenander, U. (1954). On the estimation of regression coefficients in the case of an autocorrelated disturbance. The Annals of Mathematical Statistics, 25(2):252-272.

Hajek, J. (1956). Linear estimation of the mean value of a stationary random process with convex correlation function. Czechoslovak Mathematical Journal, 6(81):94-117.

7
Han C., Chaloner K. (2004). Bayesian experimental design for non-linear mixed-effect models with applications to HIV dynamics. Biometrics 60, 25--33.
Kiefer, J., Wolfowitz, J. (1960). The equivalence of two extremum problems. //

Can. J. Math. 14, 363--366. Kholevo, A. (1969). On estimates of regression coefficients. Theory of Probability & Its Applications, 14(1):79-104.

Lauter E. (1974). Experimental designs in a class of models. Math. Operationsforsch. Statist. 5, 379--396.

Lauter, E. (1976). Optimal multipurpose designs for regression models. Ann. Math. Statist. 7, 51--68.

Melas V.B. (2006). Functional approach to optimal experimental design. Lecture Notes in Statistics, vol. 184, Heidelberg: Springer.

Muller, W. G., and Pazman, A. (2001). Optimal design of experiments subject to correlatederrors. Statist. Probab. Lett., 52(1):29--34.

Muller, W. G., and Pazman, A. (2003). Measures for designs in experiments with correlated errors. // Biometrika 90, 423--434.

Nather, W. (1985a). Effective Observation of Random Fields. Teubner Verlagsgesellschaft, Leipzig.

Nather, W. (1985b). Exact design for regression models with correlated errors.Statistics, 16:479--484.

Pepelyshev A. (2007) Optimal designs for the exponential model with correlated observations. mODa 8---Advances in model-oriented design and analysis, 165-172, Contrib.

Pisarenko, V. F. and Rozanov, J. A. (1963). On certain problems for stationary processes leading to integral equations related to Wiener-Hopf equations. Problemy Peredaci Informacii, 14:113-135.

Pronzato L. Walter E. (1988). Robust experimental design for nonlinear regression models. Proceedings of the Workshop on Model-oriented Data Analysis. Lecture Notes in Economics and Mathematical Systems N 297, Berlin: Springer-Verlag, 77--86.

Pukelsheim, F. (2006). Optimal Design of Experiments. Philadelphia: SIAM.

Pukelsheim, F. (1993). Optimal Design of Experiments. Wiley, New York.

Rosenblatt, M. (1956). Some regression problems in time series analysis. In Proceedings of the Third Berkeley Symposium on Mathematical Statistics and Probability, Volume 1: Contributions to the Theory of Statistics, pages 165-186. University of California.

Sacks, J., and Ylvisaker, N. D. (1966). Designs for regression problems with correlated errors.// The Annals of Mathematical Statistics 37, 66--89.

8
Sacks, J., and Ylvisaker, N. D. (1968). Designs for regression problems with correlated errors; many parameters. // The Annals of Mathematical Statistics 39, 49--69.

Studden, W. J. (1982). Some robust-type D-optimal designs in polynomial regression. J. Amer. Statist. Assoc. 77 p. 916– 921.

Stigler, S. (1971). Optimal experimental design for polynomial regression. J. Amer. Statist. Assoc. 66 p. 311–318.

Tommasi, C. and Lopez-Fidalgo, J. (2010). Bayesian optimum designs for discriminating between models with any distribution. Computational Statistics & Data Analysis, 54(1) p. 143–150.

Ucinski, D. and Bogacka, B. (2005). T -optimum designs for discrimination between two multiresponse dynamic models.J. R. Stat. Soc. Ser. B Stat. Methodol. 67 p. 3–18.

Waterhouse, T. H., Woods, D. C., Eccleston, J. A., and Lewis, S. M. (2008). Design selection criteria for discrimination/estimation for nested models and a binomial response. Journal of Statistical Planning and Inference, 138 p. 132–144.

Wiens, D. P. (2009). Robust discrimination designs, with Matlab code. Journal of the Royal Statistical Society, Ser. B, 71 p. 805–829.

Zhigljavsky A., Dette H., Pepelyshev A. (2010). A new approach to optimal design for linear models with correlated observations. J. Amer. Stat. Ass. 105, 1093-1103

Основная часть отчета о НИР
Цель и задачи фундаментального исследования:

Этап 1 (2017 г.)
По задаче 1:1. Аналитические результаты, объясняющие совпадение планов, полученных с помощью классического T-критерия, с полу-параметрическими планами в случае нормальных ошибок.2. Эффективный численный алгоритм, позволяющий находить оптимальные с точки зрения полу-параметрического критерия планы.(Мелас Вячеслав Борисович, Григорьев Юрий Дмитриевич, Гученко Роман Александрович,Коробейников Антон Иванович, Бурнаева Эльфия Гарифовна)

По задаче 2:1. Аналитический вид T-оптимальных планов для дискриминации тригонометрических регрессионных моделей в некоторых специальных случаях.2. Численное исследование поведения T-оптимальных планов для моделей небольших порядков (m=2,3) отличающихся 3-мя ненулевыми старшими коэффициентами.(Мелас Вячеслав Борисович, Шпилев Петр Валерьевич, Гученко Роман Александрович)

9
По задаче 3:1. Вывод общих свойств наилучших несмещенных линейных оценок для многопараметрических регрессионных моделей с коррелированными наблюдениями при возможном дополнительном наблюдении производных.2. Получение теоремы эквивалентности для оптимальной меры, которая задает наилучшую несмещенную линейную оценку.(Пепелышев Андрей Николаевич,Семенчиков Дмитрий Николаевич, Алексеева Нина Петровна)

Этап 2 (2018 г.)
По задаче 1: 1. Эффективный численный алгоритм, позволяющий находить оптимальные с точки зрения альтернативного дискретного критерия планы. (Мелас Вячеслав Борисович, Григорьев Юрий Дмитриевич, Гученко Роман Александрович,Коробейников Антон Иванович, Бурнаева Эльфия Гарифовна)

По задаче 2: 1. Найти явный вид байесовских и стандартизированных максиминных планов для дискриминации моделей отличающихся 3-мя старшими коэффициентами в некоторых специальных случаях. (Мелас Вячеслав Борисович, Шпилев Петр Валерьевич, Гученко Роман Александрович)

По задаче 3: 1. Найти явный вид оценок для ряда корреляционных ядер: треугольного, ядер дискретного и непрерывного процессов авторегрессии порядка p, для интегрированных ядер броуновского движения. 2. Установить связь между оценками параметров моделей, когда ошибки описываются дискретным и непрерывным процессами авторегрессии порядка p.(Пепелышев Андрей Николаевич,Семенчиков Дмитрий Николаевич, Алексеева Нина Петровна)

Этап 3 (2019 г.)
По задаче 1: Изучение оптимальных планов эксперимента, подходящих одновременно для дискриминации конкурирующих регрессионных моделей и оценки неизвестных параметров этих моделей в тех случаях, когда в качестве составных критериев оптимальности выбираются компромиссный критерий, представляющий из себя взвешенную сумму дискриминационных и оценочных критериев, и минимаксный критерий, предполагающий максимизацию наихудшего из дискриминационных и оценочных критериев. Исследование аналитических свойств этих составных критериев и межкритериальных взаимосвязей, а также построение численных оценок эффективности соответствующих оптимальных планов относительно базовых дискриминационных и оценочных критериев. (Мелас Вячеслав Борисович, Григорьев Юрий Дмитриевич, Гученко Роман Александрович,Коробейников Антон Иванович, Бурнаева Эльфия Гарифовна)

По задаче 2: Построение байесовских и стандартизированных максиминно T - оптимальных планов для дискриминации двух тригонометрических моделей, отличающихся на один порядок. Исследование эффективности этих планов. (Мелас Вячеслав Борисович, Шпилев Петр Валерьевич, Гученко Роман Александрович)

По задаче 3: Изучение оптимальных планов эксперимента для прогнозирования регрессионной модели, которая задается реализацией случайного процесса. (Пепелышев Андрей Николаевич,Семенчиков Дмитрий Николаевич, Алексеева Нина Петровна)

10
Важнейшие результаты, полученные при реализации Проекта:
Этап 1 (2017 г.)
По задаче 1: Изучены два типа полу-параметрических критериев для дискриминации двух регрессионных моделей, в которых функции регрессии для обеих моделей и плотность распределения ошибок для одной из моделей задаются параметрически, а плотность распределения для другой модели получается как решение задачи вариационного исчисления (берется наименее благоприятная для дискриминации плотность). Для полу-параметрического критерия одного типа доказано, что оптимальные относительно этого критерия планы совпадают с Т-оптимальными планами в случае, когда фиксированная плотность ошибок в полу-параметрическом критерии является усеченной и симметричной. Для полу-параметрического критерия другого типа доказан аналогичный результат в случае, когда фиксированная плотность в критерии нормальна. Также предложен более эффективный алгоритм для численного нахождения полу-параметрических планов. Упомянутая выше задача вариационного исчисления, из которой находится одна из плотностей ошибок в полу-параметрических критериях, сводится к решению системы из двух нелинейных уравнений в сложной области. В работе доказано, что эту задачу можно свести к решению одного уравнения на отрезке. Предложенный численный метод работает как минимум в два раза быстрее и позволяет находить полу-параметрические планы в тех случаях, в которых использовавшийся ранее метод не сходится.

По задаче 2: Для дискриминации тригонометрических регрессионных моделей в некоторых специальных случаях T-оптимальные планы найдены в аналитическом виде. Исследовано поведение T-оптимальных планов для моделей небольших порядков (m=2,3,4) отличающихся 3-мя ненулевыми старшими коэффициентами. Продемонстрировано, что при увеличении порядка модели сложность задачи существенно возрастает, что приводит к тому, что планы можно найти только численно. Кроме того, показано, что число точек носителя оптимального плана зависит от значений оцениваемых параметров. Для снижения размерности задачи при численном нахождении оптимального плана используется теорема эквивалентности (см., например, Optimal discrimination designs, Dette, H., Titoff, S., 2009). Данный подход для Т-оптимальных планов с максимальным числом точек позволяет свести исходную задачу к двум подзадачам: нахождению многочлена наилучшего приближения и решению линейной относительно весов системы уравнений. Для планов с минимальным числом точек вышеупомянутый подход не работает, поэтому для нахождения таких планов предлагается использовать альтернативные методы, в частности, функциональный подход, предложенный и развитый в работах руководителя гранта (см. например, «Functional Approach to Optimal Experimental Design», V.B. Melas, 2006). Все полученные результаты являются новыми и представляют практический и теоретический интерес.

По задаче 3:Задача нахождения оптимальной меры для наилучших несмещенных линейных оценок для многопараметрических регрессионных моделей с коррелированными наблюдениями решалась с помощью теории гильбертовых пространств с воспроизводящим ядром и использованием теоремы Мерсера о разложение ковариационного ядра в ряд по собственным функциям. Для ряда ковариационных функций удалось найти явный вид оптимальной меры как решение интегрального уравнения Фредгольма второго рода.

11
Доказано, что при наблюдениях отклика регрессии с производными оптимальная мера не является единственной. Показано, что оптимальную меру можно задать так, чтобы она не содержала непрерывной части для производных. Полученные результаты являются новыми, вносят существенный вклад в развитие теории наилучших несмещенных линейных оценок для многопараметрических регрессионных моделей с коррелированными наблюдениями.Кроме того, проведено исследование поведения локально D-оптимальных планов в зависимости от значений параметров модели и длины интервала планирования. Продемонстрировано, что при растяжении или сжатии (т.е. гомотетии) области планирования при фиксированных значениях параметров число точек носителя оптимального плана может меняться. Рассмотрено два вида планов: насыщенные (т.е. планы, число точек носителя которых равно числу параметров модели) и избыточные (когда число точек носителя больше числа параметров модели). Проблема нахождения оптимальных планов с минимальным числом точек носителя является одной из ключевых в теории оптимального планирования, так как позволяет минимизировать затраты на проведение эксперимента. Для одномерных, линейных по параметрам моделей данная задача широко исследовалась, в то время как для многомерных, нелинейных по параметрам моделей вопрос во многих случаях остается открытым. Была исследована двумерная, нелинейная по параметрам модель Эйена-Петерса. Данная модель используется для описания каталитических реакций. Показано, что для этой модели существуют как насыщенные, так и избыточные оптимальные планы. Первые из них найдены в аналитической форме, для нахождения же вторых предложены численные методы. Наиболее существенный результат состоит в том, что выбор подходящей (в зависимости от значений параметров) области планирования позволяет исследователю перейти от избыточного плана к насыщенному, т.е. к плану с меньшим числом точек носителя.

Этап 2 (2018 г.)
По задаче 1: 1) Аналитически найдены Т-оптимальные планы эксперимента для дискриминации полиномиальных моделей и моделей, отличающихся от полиномиальных добавлением дробно-рационального слагаемого. При этом был использован аппарат теории чебышевской аппроксимации. До настоящей работы Т-оптимальные планы были найдены аналитически лишь для случая конкурирующих полиномиальных моделей, отличающихся на один или на два порядка. 2) Предложен простой метод построения байесовских T_P-оптимальных планов путем их сведения к локальным T_P-оптимальным планам с существенно большим числом попарных сравнений конкурирующих моделей. Разработан эффективный численный алгоритм для построения локальных T_P-оптимальных планов, чередующий обновление носителя плана с оптимизацией по весам. Доказана сходимость алгоритма. Произведено численное сравнение с алгоритмом, наиболее часто используемым в литературе по планированию дискриминационных экспериментов. Показаны преимущества предложенного подхода. 3) Описанный в прошлом пункте подход обобщен на случай байесовского критерия KL_P-оптимальности. 4) Исследованы полу-параметрические критерии для дискриминации. Предложен новый более эффективный численный метод для нахождения полу-параметрических планов. Доказаны теоремы, устанавливающие связь между полу-параметрическими критериями и T-критерием в случае симметричных ошибок наблюдения.

12
По задаче 2:1) Исследована задача построения дискриминационных планов эксперимента для регрессионных моделей Фурье, отличающихся не более, чем тремя тригонометрическими функциями. Детально рассмотрен случай дискриминации двух моделей, старшая из которых имеет степень два. Для этого случая найдено явное решение задачи и исследована зависимость локально Т-оптимальных дискриминационных планов от параметров старшей модели. Полученные результаты являются новыми и могут быть использованы, в частности, в классической теории аппроксимации. 2) Исследована задача построения байесовских и стандартизированных максиминно T - оптимальных планы для дискриминации двух тригонометрических моделей, отличающихся на два порядка. В ряде случаев планы были найдены в явном виде. Решение основано на теореме об оптимальных планах для оценивания трех старших коэффициентов тригонометрической модели, полученной в работе Holger D., Melas V., Shpilev P. (2017) [выполненной в рамках первого этапа данного проекта] и изучении вспомогательной максиминной задачи.

По задаче 3:1) Задача нахождения оптимальной меры для наилучших несмещенных линейных оценок для многопараметрических регрессионных моделей с коррелированными наблюдениями решалась с помощью теории гильбертовых пространств с воспроизводящим ядром и использованием теоремы Мерсера о разложение ковариационного ядра в ряд по собственным функциям. Для ряда ковариационных функций удалось найти явный вид оптимальной меры как решение интегрального уравнения Фредгольма второго рода. Доказано, что при наблюдениях отклика регрессии с производными оптимальная мера не является единственной. Показано, что оптимальную меру можно задать так, чтобы она не содержала непрерывной части для производных. Полученные результаты являются новыми и вносят существенный вклад в развитие теории наилучших несмещенных линейных оценок для многопараметрических регрессионных моделей с коррелированными наблюдениями.2) Изучена структура оптимальных планов эксперимента для двух моделей, которые используются для описания отклика с эффектом хормезиса. В работе приводится убедительная аргументация о полезности использования оптимальных планов в задаче обнаружения хормезиса. Создан сайт, который предназначен для того, чтобы экспериментаторы могли вычислять оптимальные планы по нескольким критериям оптимальности для выбранной модели отклика. Таким образом, сайт представляет собой удобной инструмент для внедрения оптимальных планов на практике.3) Моменты и преобразование Лапласа для квази-стационарного распределения процесса, который задается диффузионным уравнением Ширяева, найдены с помощью теории специальных функций. В работе продемонстрировано использование обобщенной гипер-геометрической функции, двумерной функции Кампе-де-Ферет, функций Бесселя и Витакера. Явный вид решения позволяет более глубоко понять свойства процесса, возникающего в ряде важных прикладных задач.--Кроме того, исследовано влияние гомотетии области планирования на число опорных точек оптимального плана при фиксированных значениях параметров регрессионной модели. Проблема нахождения оптимальных планов с минимальным числом точек носителя является одной из ключевых в теории оптимального планирования, так как позволяет минимизировать затраты на проведение эксперимента. Для одномерных, линейных по параметрам моделей данная задача широко исследовалась, в то время как

13
для многомерных, нелинейных по параметрам моделей вопрос во многих случаях остается открытым. В качестве модели выбрана двумерная, нелинейная по параметрам модель Кобба-Дугласа, которая используется в микроэкономике. Показано, что существует два типа оптимальных планов: насыщенные (т.е. планы, число точек носителя которых равно числу параметров модели) и избыточные (число точек носителя больше числа параметров модели). Оптимальные планы с минимальным числом точек найдены в явном виде. Для нахождения избыточных планов использованы численные методы. Избыточные планы на практике используются, в частности, в задачах дискриминации.

Этап 3 (2019 г.)
По задаче 1: Предложен новый стандартизированный минимаксный критерий оптимальности приближенных планов эксперимента, основанный на D- и D_s-критериях, подходящий одновременно для дискриминации двух вложенных моделей и оценки параметров обеих моделей. Доказано, что этот критерий сводится к критерию, представляющему из себя взвешенную сумму двух D-критериев, а вычислительно трудная задача нахождения минимаксного плана редуцируется до поиска гиперпараметра на одномерной сетке. Проведено численное сравнение эффективности планов, оптимальных относительно нового критерия и DT-критерия, предназначенного для решения той же задачи, которое показало преимущество нового подхода в случае вложенных моделей.

По задаче 2: Исследованы робастные (байесовские и стандартизированные максиминно-эффективные) T - оптимальные планы для дискриминации тригонометрических моделей, отличающихся на три порядка. Для тригонометрических моделей, отличающихся тремя старшими членами, в ряде случаев удалось установить связь с полиномиальной моделью и использовать соответствующие результаты. Полученное явное решение основано на теореме об оптимальных планах для оценивания двух старших коэффициентов полиномиальной модели и изучении вспомогательной максиминной задачи. В общем случае, в силу сложности задачи, оптимальные планы предлагается находить с помощью численных методов.Исследована эффективность локальных, байесовских и стандартизированных максиминных Т- оптимальных планов. Численные результаты показывают, что D- и D_s- оптимальные планы, наиболее широко используемые на практике, значительно менее эффективны в задаче дискриминации модели, чем Т-оптимальные и уступают по эффективности байесовским и стандартизированным максиминным планам.

По задаче 3: а) Задача построения оптимальной меры для наилучшей несмещенной линейной оценки для многопараметрической линейной регрессионной модели с коррелированными наблюдениями решалась с помощью теории математического анализа и использованием теоремы Мерсера о разложение ковариационного ядра в ряд по собственным функциям. Для ряда ковариационных функций удалось найти явный вид оптимальной меры как решение интегрального уравнения Фредгольма второго рода. Доказано, что при наблюдениях отклика регрессии и его производных оптимальная мера не является единственной. Показано, что оптимальную меру можно задать так, чтобы она не содержала непрерывной части для производных. Полученные результаты являются новыми и вносят существенный вклад в развитие теории оценивания при непрерывном наблюдении с коррелированными ошибками.б) Дробные моменты для квази-стационарного распределения процесса, который задается диффузионным уравнением Ширяева, найдены с помощью теории специальных функций.

14
В работе продемонстрировано использование обобщенной гипер-геометрической функции, символа Похамера и функций Витакера. Явный вид дробных позволяет более глубоко понять свойства квази-стационарного распределения процесса, возникающего в ряде важных прикладных задач.--Кроме того, исследована задача построения планов, оптимальных для оценивания индивидуальных коэффициентов для полиномиальной модели без свободного члена. Основными инструментами построения и исследования этих планов являлись теорема Элвинга и экстремальные свойства многочленов Чебышева первого рода. В ряде случаев планы найдены в аналитической форме. В тех случаях, когда этого сделать не удается, предлагается использовать численные методы.

Заключение
В рамках задачи 1
- (на первом этапе проекта) были изучены два типа полу-параметрических критериев для дискриминации двух регрессионных моделей, в которых функции регрессии для обеих моделей и плотность распределения ошибок для одной из моделей задаются параметрически, а плотность распределения для другой модели получается как решение задачи вариационного исчисления (берется наименее благоприятная для дискриминации плотность). Данная задача (вариационного исчисления), из которой находится одна из плотностей ошибок в полу-параметрических критериях, сводится к решению системы из двух нелинейных уравнений в сложной области. Для численного нахождения полу-параметрических планов был предложен новый эффективный алгоритм.
- (на втором этапе проекта) были аналитически найдены Т-оптимальные планы эксперимента для дискриминации полиномиальных моделей и моделей, отличающихся от полиномиальных добавлением дробно-рационального слагаемого. Что является новым и интересным результатом, т.к. до настоящего времени аналитические решения имелись лишь для случаев конкурирующих полиномиальных моделей, отличающихся на один или на два порядка. Также было проведено исследование байесовских Т_P-оптимальных планов. Предложен простой метод построения этих планов путем их сведения к локальным T_P-оптимальным планам с существенно большим числом попарных сравнений конкурирующих моделей. Разработан эффективный численный алгоритм для построения локальных T_P-оптимальных планов, чередующий обновление носителя плана с оптимизацией по весам. Разработано обобщение на случай байесовского критерия KL_P-оптимальности.
- (на третьем этапе проекта) был предложен новый стандартизированный минимаксный критерий оптимальности приближенных планов эксперимента, основанный на D- и D_s-критериях, подходящий одновременно для дискриминации двух вложенных моделей и оценки параметров обеих моделей. Доказано, что этот критерий сводится к критерию, представляющему из себя взвешенную сумму двух D-критериев, а вычислительно трудная задача нахождения минимаксного плана редуцируется до поиска гиперпараметра на одномерной сетке. Проведено численное сравнение эффективности планов, оптимальных относительно нового критерия и DT-критерия, предназначенного для решения той же задачи, которое показало преимущество нового подхода в случае вложенных моделей.
В рамках задачи 2
- (на первом этапе проекта) была исследована задача построения Т-оптимальных планов для тригонометрических моделей, отличающихся двумя или тремя старшими членами.

15
В качестве инструмента исследования использовалась теорема эквивалентности для Т-критерия.Полученные результаты являются новыми и интересными, т.к. впервые удалось найти аналитические решения для этих моделей.
- (на втором этапе проекта) было проведено исследование байесовских и стандартизированных максиминных Т-оптимальных планов для дискриминации двух тригонометрических моделей, отличающихся на два порядка. В ряде случаев планы были найдены в явном виде. Найденное решение основано на теореме об оптимальных планах для оценивания трех старших коэффициентов тригонометрической модели, полученной на первом этапе и изучении вспомогательной максиминной задачи.
- (на третьем этапе проекта) исследована эффективность локальных, байесовских и стандартизированных максиминных Т- оптимальных планов. Численные результаты показывают, что D- и D_s- оптимальные планы, наиболее широко используемые на практике, значительно менее эффективны в задаче дискриминации модели, чем Т-оптимальные и уступают по эффективности байесовским и стандартизированным максиминным планам. Для нахождения Т-оптимлаьных планов в случаях, когда в явном виде решение найти не удается, используется функциональный подход.

В рамках решения третьей задачи (на первом, втором и третьем этапах) рассматривалась 3 подзадачи а), б) и в):а) Выбор условий проведения эксперимента для наилучшей несмещенной линейной оценки для многопараметрических регрессионных моделей является важнейшей задачей в статистике. Эта задача для случая коррелированных наблюдений является математически очень сложной. б) Эффект хормезиса может наблюдаться в ряде медицинских экспериментов и имеет важное прикладное значение. В связи с дороговизной медицинских экспериментов возникает необходимость обнаружения эффекта хормезиса за минимально возможное число экспериментов. в) В проекте был рассмотрено диффузионное уравнение Ширяева, которое возникает в финансовой математике и в задаче обнаружения разладки. Изучение свойств решения этого уравнения представляется важным.По подзадаче а) сделано следующее:Задача нахождения оптимальной меры была решена с помощью теории гильбертовых пространств с воспроизводящим ядром и использованием теоремы Мерсера о разложение ковариационного ядра в ряд по собственным функциям. Для ряда ковариационных функций удалось найти явный вид оптимальной меры как решение интегрального уравнения Фредгольма второго рода. Доказано, что при наблюдениях отклика регрессии с производными оптимальная мера не является единственной. Показано, что оптимальную меру можно задать так, чтобы она не содержала непрерывной части для производных.По подзадаче б) сделано следующее:В проекте была изучена структура оптимальных планов эксперимента для двух моделей и также создан сайт, который предназначен для того, чтобы экспериментаторы могли вычислять оптимальные планы по нескольким критериям оптимальности для выбранной модели отклика. Таким образом, сайт представляет собой удобной инструмент для внедрения оптимальных планов на практике.По подзадаче в) сделано следующее:1) Найдены моменты и преобразование Лапласа для решения в форме квази-стационарного распределения процесса с помощью теории специальных функций.

16
2) Продемонстрировано использование обобщенной гипер-геометрической функции, двумерной функции Кампе-де-Ферет, функций Бесселя и Витакера. 3) изучены свойства квази-стационарного распределения процесса, который задается диффузиионным уравнением Ширяева. Для получения явного вида дробных моментов распределения был использован набор равенств из нескольких сборников специальных функций.

Все поставленные в проекте задачи выполнены в полном объеме.

Создан сайт, который предназначен для того, чтобы экспериментаторы могли вычислять оптимальные планы по нескольким критериям оптимальности для выбранной модели отклика:
http://areaestadistica.uclm.es/oed/index.php/computer-tools/

Полученные в ходе выполнения проекта результаты соответствуют мировому уровню, что подтверждается публикациями в статьях, входящих в базы данных Web of Science и Scopus, в ведущих рецензируемых изданиях: Annals of Statistics, Biometrika, Statistical Papers, Communications in Statistics Part B: Simulation and Computation, Statistics & Probability Letters, Lecture Notes in Computer Science, Journal of Global Optimization, Vestnik of the St. Petersburg University: Mathematics, Springer Proceedings in Mathematics & Statistics.