Standard

Data Handling Optimization in Russian Data Lake Prototype. / Алексеев, Александр Александрович; Кирьянов, Андрей Константинович; Климентов, Алексей Анатольевич; Корчуганова, Татьяна; Митцин, Валерий; Олейник, Данила; Петросян, Артём; Смирнов, Сергей; Зароченцев, Андрей Константинович.

In: Journal of Physics: Conference Series, Vol. 2438, 012021, 15.02.2023.

Research output: Contribution to journalConference articlepeer-review

Harvard

Алексеев, АА, Кирьянов, АК, Климентов, АА, Корчуганова, Т, Митцин, В, Олейник, Д, Петросян, А, Смирнов, С & Зароченцев, АК 2023, 'Data Handling Optimization in Russian Data Lake Prototype', Journal of Physics: Conference Series, vol. 2438, 012021. https://doi.org/10.1088/1742-6596/2438/1/012021

APA

Алексеев, А. А., Кирьянов, А. К., Климентов, А. А., Корчуганова, Т., Митцин, В., Олейник, Д., Петросян, А., Смирнов, С., & Зароченцев, А. К. (2023). Data Handling Optimization in Russian Data Lake Prototype. Journal of Physics: Conference Series, 2438, [012021]. https://doi.org/10.1088/1742-6596/2438/1/012021

Vancouver

Алексеев АА, Кирьянов АК, Климентов АА, Корчуганова Т, Митцин В, Олейник Д et al. Data Handling Optimization in Russian Data Lake Prototype. Journal of Physics: Conference Series. 2023 Feb 15;2438. 012021. https://doi.org/10.1088/1742-6596/2438/1/012021

Author

Алексеев, Александр Александрович ; Кирьянов, Андрей Константинович ; Климентов, Алексей Анатольевич ; Корчуганова, Татьяна ; Митцин, Валерий ; Олейник, Данила ; Петросян, Артём ; Смирнов, Сергей ; Зароченцев, Андрей Константинович. / Data Handling Optimization in Russian Data Lake Prototype. In: Journal of Physics: Conference Series. 2023 ; Vol. 2438.

BibTeX

@article{8c519b5febeb409ea95f7ed54f3e5605,
title = "Data Handling Optimization in Russian Data Lake Prototype",
abstract = "Эксперименты ЦЕРН готовятся к эре HL-LHC, которая принесет беспрецедентный объем научных данных. Эти данные должны будут храниться и обрабатываться тысячами физиков, но ожидаемый рост ресурсов далеко не соответствует экстраполированным требованиям существующих моделей как с точки зрения объема хранилища, так и вычислительной мощности. Отдельные вычислительные ресурсы, такие как высокопроизводительные компьютеры и университетские кластеры, могут обеспечивать дополнительные вычислительные циклы, но не имеют достаточного отдельного хранилища. В этой статье мы представим основные архитектурные идеи, детали развертывания и результаты тестирования, уделив особое внимание нашим исследованиям по созданию прототипа распределенной системы обработки и хранения данных с упором на оптимизацию эффективности ресурсов за счет снижения накладных расходов на доступ к данным. Описываемый прототип построен с использованием территориально распределенных площадок WLCG и университетских кластеров в России.",
keywords = "LHC, Big data, GRID, Data Lake",
author = "Алексеев, {Александр Александрович} and Кирьянов, {Андрей Константинович} and Климентов, {Алексей Анатольевич} and Татьяна Корчуганова and Валерий Митцин and Данила Олейник and Артём Петросян and Сергей Смирнов and Зароченцев, {Андрей Константинович}",
year = "2023",
month = feb,
day = "15",
doi = "10.1088/1742-6596/2438/1/012021",
language = "English",
volume = "2438",
journal = "Journal of Physics: Conference Series",
issn = "1742-6588",
publisher = "IOP Publishing Ltd.",
note = "20th International Workshop on Advanced Computing and Analysis Techniques in Physics Research, ACAT ; Conference date: 29-11-2021 Through 03-12-2021",
url = "https://indico.cern.ch/event/855454/",

}

RIS

TY - JOUR

T1 - Data Handling Optimization in Russian Data Lake Prototype

AU - Алексеев, Александр Александрович

AU - Кирьянов, Андрей Константинович

AU - Климентов, Алексей Анатольевич

AU - Корчуганова, Татьяна

AU - Митцин, Валерий

AU - Олейник, Данила

AU - Петросян, Артём

AU - Смирнов, Сергей

AU - Зароченцев, Андрей Константинович

N1 - Conference code: 2021

PY - 2023/2/15

Y1 - 2023/2/15

N2 - Эксперименты ЦЕРН готовятся к эре HL-LHC, которая принесет беспрецедентный объем научных данных. Эти данные должны будут храниться и обрабатываться тысячами физиков, но ожидаемый рост ресурсов далеко не соответствует экстраполированным требованиям существующих моделей как с точки зрения объема хранилища, так и вычислительной мощности. Отдельные вычислительные ресурсы, такие как высокопроизводительные компьютеры и университетские кластеры, могут обеспечивать дополнительные вычислительные циклы, но не имеют достаточного отдельного хранилища. В этой статье мы представим основные архитектурные идеи, детали развертывания и результаты тестирования, уделив особое внимание нашим исследованиям по созданию прототипа распределенной системы обработки и хранения данных с упором на оптимизацию эффективности ресурсов за счет снижения накладных расходов на доступ к данным. Описываемый прототип построен с использованием территориально распределенных площадок WLCG и университетских кластеров в России.

AB - Эксперименты ЦЕРН готовятся к эре HL-LHC, которая принесет беспрецедентный объем научных данных. Эти данные должны будут храниться и обрабатываться тысячами физиков, но ожидаемый рост ресурсов далеко не соответствует экстраполированным требованиям существующих моделей как с точки зрения объема хранилища, так и вычислительной мощности. Отдельные вычислительные ресурсы, такие как высокопроизводительные компьютеры и университетские кластеры, могут обеспечивать дополнительные вычислительные циклы, но не имеют достаточного отдельного хранилища. В этой статье мы представим основные архитектурные идеи, детали развертывания и результаты тестирования, уделив особое внимание нашим исследованиям по созданию прототипа распределенной системы обработки и хранения данных с упором на оптимизацию эффективности ресурсов за счет снижения накладных расходов на доступ к данным. Описываемый прототип построен с использованием территориально распределенных площадок WLCG и университетских кластеров в России.

KW - LHC

KW - Big data

KW - GRID

KW - Data Lake

UR - https://www.mendeley.com/catalogue/5e61b99b-387f-3a95-bd51-3e27249df8b6/

UR - https://www.mendeley.com/catalogue/5e61b99b-387f-3a95-bd51-3e27249df8b6/

U2 - 10.1088/1742-6596/2438/1/012021

DO - 10.1088/1742-6596/2438/1/012021

M3 - Conference article

VL - 2438

JO - Journal of Physics: Conference Series

JF - Journal of Physics: Conference Series

SN - 1742-6588

M1 - 012021

T2 - 20th International Workshop on Advanced Computing and Analysis Techniques in Physics Research

Y2 - 29 November 2021 through 3 December 2021

ER -

ID: 102984757