TY - GEN

T1 - Распределенные отказоустойчивые вычисления с sbn-python на реальном кейсе компании

AU - Терещенко, Дмитрий Владиславович

AU - Ганкевич, Иван Геннадьевич

N1 - Conference code: 9

PY - 2021

Y1 - 2021

N2 - Распределённые вычисления сегодня востребованы в задачах пакетной обработки данных, но текущие решения, которые позволяют в Python их использовать, либо слишком узкоспециализированные, либо не дают полной отказоустойчивости. В рамках выпускной квалификационной работы был разработан высокоуровневый интерфейс на Python (далее SBNPython) к новому С++ фреймворку Subordination, в котором последняя проблема была решена. Для достижения низкоуровневой совместимости и адаптации всех сценариев функционирования интерфейс был реализован как расширение интерпретатора Python. Целью данной работы было проверить возможность применения нового интерфейса на реальном кейсе компании ООО «Газпромнефть-ЦР» и продемонстрировать принципы его использования. Для достижения этой цели было проанализировано текущее решение, продумана и реализована новая архитектура с использованием SBN-Python, и в конечном счёте развёрнуто получившееся решение на мощностях компании. По итогу работы вышло, что использование SBN-Python на реальном кейсе всё также даёт рост производительности с увеличением количества узлов в кластере, возможность обработки различных сценариев сбоя узлов за ограниченное время, а также архитектурные преимущества при организации вычислений. В дальнейшем планируется расширить границы применения нового интерфейса, реализовав на его базе возможность построения распределенных веб-сервисов.

AB - Распределённые вычисления сегодня востребованы в задачах пакетной обработки данных, но текущие решения, которые позволяют в Python их использовать, либо слишком узкоспециализированные, либо не дают полной отказоустойчивости. В рамках выпускной квалификационной работы был разработан высокоуровневый интерфейс на Python (далее SBNPython) к новому С++ фреймворку Subordination, в котором последняя проблема была решена. Для достижения низкоуровневой совместимости и адаптации всех сценариев функционирования интерфейс был реализован как расширение интерпретатора Python. Целью данной работы было проверить возможность применения нового интерфейса на реальном кейсе компании ООО «Газпромнефть-ЦР» и продемонстрировать принципы его использования. Для достижения этой цели было проанализировано текущее решение, продумана и реализована новая архитектура с использованием SBN-Python, и в конечном счёте развёрнуто получившееся решение на мощностях компании. По итогу работы вышло, что использование SBN-Python на реальном кейсе всё также даёт рост производительности с увеличением количества узлов в кластере, возможность обработки различных сценариев сбоя узлов за ограниченное время, а также архитектурные преимущества при организации вычислений. В дальнейшем планируется расширить границы применения нового интерфейса, реализовав на его базе возможность построения распределенных веб-сервисов.

M3 - статья в сборнике материалов конференции

T3 - CEUR workshop proceedings

SP - 519

EP - 524

BT - Proceedings of the 9th International Conference "Distributed Computing and Grid Technologies in Science and Education" (GRID'2021), Dubna, Russia, July 5-9, 2021

PB - RWTH Aahen University

T2 - 9th International Conference "Distributed Computing and Grid-Technologies in Science and Education", GRID 2021

Y2 - 5 July 2021 through 9 July 2021

ER -