Работа посвящена проблеме галлюцинаций в языковых моделях, которые могут возникать, когда эти системы генерируют текст, не имеющий смысла или не связанный с исходным запросом. Подчеркнута важность возможности оценки устойчивости к галлюцинациям в языковых моделях, поскольку это может помочь повысить надежность и точность языковых моделей. Особое внимание в работе уделено разработке методологии формирования метрики для оценки устойчивости к галлюцинациям в русскоязычных больших языковых моделях.

In this study, we analyzed common source code issues in open source machine learning projects to identify recommendations that can help improve the overall quality of machine learning software and and analyzed the feasibility of applying recommendations automatically.

При тестировании инвариантами многокомпонентных систем возникают сложности с поиском источников ошибок. В данной работе рассматривается применение причинно-следственных графов для анализа нарушений инварианта, выявленных при тестировании сложной генеративной системы искусственного интеллекта. Демонстрируется полезность получаемых результатов, а также проводится сравнение с методом SHAP.