Эксперименты ЦЕРН готовятся к эре HL-LHC, которая принесет беспрецедентный объем научных данных. Эти данные должны будут храниться и обрабатываться тысячами физиков, но ожидаемый рост ресурсов далеко не соответствует экстраполированным требованиям существующих моделей как с точки зрения объема хранилища, так и вычислительной мощности. Отдельные вычислительные ресурсы, такие как высокопроизводительные компьютеры и университетские кластеры, могут обеспечивать дополнительные вычислительные циклы, но не имеют достаточного отдельного хранилища. В этой статье мы представим основные архитектурные идеи, детали развертывания и результаты тестирования, уделив особое внимание нашим исследованиям по созданию прототипа распределенной системы обработки и хранения данных с упором на оптимизацию эффективности ресурсов за счет снижения накладных расходов на доступ к данным. Описываемый прототип построен с использованием территориально распределенных площадок WLCG и университетских кластеров в России.
Translated title of the contributionОптимизация обработки данных в российском прототипе озера данных
Original languageEnglish
Article number012021
Number of pages6
JournalJournal of Physics: Conference Series
Volume2438
DOIs
StatePublished - 15 Feb 2023
Event20th International Workshop on Advanced Computing and Analysis Techniques in Physics Research - Virtual and IBS Science Culture Center, Daejeon, South Korea, Daejeon, Korea, Republic of
Duration: 29 Nov 20213 Dec 2021
Conference number: 2021
https://indico.cern.ch/event/855454/

    Scopus subject areas

  • Information Systems
  • Computer Networks and Communications

ID: 102984757