Hyper-Parameter Tuning of Neural Network for High-Dimensional Problems in the Case of Helmholtz Equation

Standard

Hyper-Parameter Tuning of Neural Network for High-Dimensional Problems in the Case of Helmholtz Equation. / Поляков, Даниил Николаевич ; Степанова, Маргарита Михайловна.

In: Moscow University Physics Bulletin (English Translation of Vestnik Moskovskogo Universiteta, Fizika), Vol. 78, No. 7, 20.12.2023, p. S243–S255.

Research output: Contribution to journal › Article › peer-review

BibTeX

@article{663e5f8313584716bfa657af68aec5f1,

title = "Hyper-Parameter Tuning of Neural Network for High-Dimensional Problems in the Case of Helmholtz Equation",

abstract = "В работе исследуется эффективность различных методов подбора гиперпараметров для Physics-Informed Neural Network (PINN) на примере решения многомерного уравнения Гельмгольца. Нейронная сеть была построена на фреймворке PyTorch без использования специальных библиотек для PINN-сетей. Исследовано влияние гиперпараметров на производительность нейросети и проведена автоматическая оптимизация со сравнением популярных алгоритмов поиска и планировщиков обучения.В качестве инструмента для оптимизации гиперпараметров (HPO) был выбран фреймворк Ray Tune с открытым исходным кодом, предоставляющий единый интерфейс для работы с множеством HPO-пакетов. Рассмотрены алгоритмы случайного поиска, байесовского поиска, основанного на дереве парзеновских оценок (TPE) в реализациях hyperopt и hpbandster, и алгоритм ранней остановки (ASHA). Использование алгоритма ранней остановки позволяет существенно быстрее получить лучшую конфигурацию гиперпараметров при любой размерности задачи.",

keywords = "уравнение Гельмгольца, PINN, PyTorch, Ray Tune, гиперпараметры, нейронная сеть",

author = "Поляков, {Даниил Николаевич} and Степанова, {Маргарита Михайловна}",

year = "2023",

month = dec,

day = "20",

doi = "10.3103/S0027134923070263",

language = "English",

volume = "78",

pages = "S243–S255",

journal = "Moscow University Physics Bulletin (English Translation of Vestnik Moskovskogo Universiteta, Fizika)",

issn = "0027-1349",

publisher = "Allerton Press, Inc.",

number = "7",

}

RIS

TY - JOUR

T1 - Hyper-Parameter Tuning of Neural Network for High-Dimensional Problems in the Case of Helmholtz Equation

AU - Поляков, Даниил Николаевич

AU - Степанова, Маргарита Михайловна

PY - 2023/12/20

Y1 - 2023/12/20

N2 - В работе исследуется эффективность различных методов подбора гиперпараметров для Physics-Informed Neural Network (PINN) на примере решения многомерного уравнения Гельмгольца. Нейронная сеть была построена на фреймворке PyTorch без использования специальных библиотек для PINN-сетей. Исследовано влияние гиперпараметров на производительность нейросети и проведена автоматическая оптимизация со сравнением популярных алгоритмов поиска и планировщиков обучения.В качестве инструмента для оптимизации гиперпараметров (HPO) был выбран фреймворк Ray Tune с открытым исходным кодом, предоставляющий единый интерфейс для работы с множеством HPO-пакетов. Рассмотрены алгоритмы случайного поиска, байесовского поиска, основанного на дереве парзеновских оценок (TPE) в реализациях hyperopt и hpbandster, и алгоритм ранней остановки (ASHA). Использование алгоритма ранней остановки позволяет существенно быстрее получить лучшую конфигурацию гиперпараметров при любой размерности задачи.

AB - В работе исследуется эффективность различных методов подбора гиперпараметров для Physics-Informed Neural Network (PINN) на примере решения многомерного уравнения Гельмгольца. Нейронная сеть была построена на фреймворке PyTorch без использования специальных библиотек для PINN-сетей. Исследовано влияние гиперпараметров на производительность нейросети и проведена автоматическая оптимизация со сравнением популярных алгоритмов поиска и планировщиков обучения.В качестве инструмента для оптимизации гиперпараметров (HPO) был выбран фреймворк Ray Tune с открытым исходным кодом, предоставляющий единый интерфейс для работы с множеством HPO-пакетов. Рассмотрены алгоритмы случайного поиска, байесовского поиска, основанного на дереве парзеновских оценок (TPE) в реализациях hyperopt и hpbandster, и алгоритм ранней остановки (ASHA). Использование алгоритма ранней остановки позволяет существенно быстрее получить лучшую конфигурацию гиперпараметров при любой размерности задачи.

KW - уравнение Гельмгольца

KW - PINN

KW - PyTorch

KW - Ray Tune

KW - гиперпараметры

KW - нейронная сеть

U2 - 10.3103/S0027134923070263

DO - 10.3103/S0027134923070263

M3 - Article

VL - 78

SP - S243–S255

JO - Moscow University Physics Bulletin (English Translation of Vestnik Moskovskogo Universiteta, Fizika)

JF - Moscow University Physics Bulletin (English Translation of Vestnik Moskovskogo Universiteta, Fizika)

SN - 0027-1349

IS - 7

ER -

ID: 114959782