TY - JOUR

T1 - Методы адаптации больших языковых моделей на примере домена LegalTech

AU - Смирнов, Даниил Олегович

AU - Блеканов, Иван Станиславович

PY - 2025

Y1 - 2025

N2 - Большие языковые модели активно применяются в юридической сфере, однако их адаптация для специализированных задач требует значительных ресурсов. В работе рассматриваются три эффективных метода адаптации: Prompt Engineering, Low-Rank Adaptation (LoRA) и Retrieval-Augmented Generation (RAG). Prompt Engineering оптимизирует запросы к модели без дополнительного обучения, используя метод Few-Shot для повышения точности. LoRA дообучает модель с помощью низкоранговых матриц, снижая вычислительные затраты. RAG улучшает генерацию текста, используя внешние источники для поиска релевантной информации, что особенно полезно при анализе юридических документов. Эксперименты на бенчмарке Contract-NLI показали, что RAG обеспечивает наибольший прирост точности, а LoRA демонстрирует сопоставимые результаты. Prompt Engineering также показал умеренное улучшение и остаётся экономически эффективным методом адаптации. Предложенные методы позволяют значительно повысить точность и релевантность ответов LLM в задачах LegalTech, обеспечивая эффективный анализ юридических документов.

AB - Большие языковые модели активно применяются в юридической сфере, однако их адаптация для специализированных задач требует значительных ресурсов. В работе рассматриваются три эффективных метода адаптации: Prompt Engineering, Low-Rank Adaptation (LoRA) и Retrieval-Augmented Generation (RAG). Prompt Engineering оптимизирует запросы к модели без дополнительного обучения, используя метод Few-Shot для повышения точности. LoRA дообучает модель с помощью низкоранговых матриц, снижая вычислительные затраты. RAG улучшает генерацию текста, используя внешние источники для поиска релевантной информации, что особенно полезно при анализе юридических документов. Эксперименты на бенчмарке Contract-NLI показали, что RAG обеспечивает наибольший прирост точности, а LoRA демонстрирует сопоставимые результаты. Prompt Engineering также показал умеренное улучшение и остаётся экономически эффективным методом адаптации. Предложенные методы позволяют значительно повысить точность и релевантность ответов LLM в задачах LegalTech, обеспечивая эффективный анализ юридических документов.

M3 - статья

VL - 12

SP - 397

EP - 404

JO - Процессы управления и устойчивость

JF - Процессы управления и устойчивость

SN - 2313-7304

ER -