Проблема фрагментарной когерентности в генеративных языковых моделях при обработке протяженных контекстов: архитектурные и методологические решения

В докладе рассматривается проблема фрагментарной когерентности (FCP) в больших языковых моделях (LLM), таких как DeepSeek, при обработке крупных документов. FCP проявляется в том, что модель генерирует разрозненные фрагменты вместо целостного переработки текста, оставляя пользователю задачу их интеграции. Анализируются основные причины: архитектурные ограничения механизма внимания, акцент на локальном контексте и недостаточная адаптация обучения для сложного редактирования. Предлагается многоуровневое решение, включающее архитектурные инновации (иерархическое внимание, динамическая память), методологии работы (стратегическое чанкирование, мастер-промпты) и новые подходы к обучению (RL для глобальной когерентности). Доклад завершает протокол для эмпирической валидации предложенных методов.