Дослідження, проведене вченими з Берклі та Корнелла, показало, що використання великих мовних моделей (LLMs) суттєво впливає на наукову продуктивність. Вони проаналізували три основні архіви передпублікованих статей з 2018 року до середини 2024 року, виявивши, що, хоча вчені почали публікувати більше матеріалів після впровадження AI, якість публікацій залишає бажати кращого.
Дослідники проаналізували 1,2 мільйона документів з arXiv, 675,000 з Social Science Research Network та 220,000 з bioRxiv. Вони виявили, що публікаційна активність авторів зросла після впровадження LLMs, проте зниження якості текстів ставить під сумнів надійність рецензування у багатьох журналах.
Вчені навчали модель на текстах, написаних людьми, щоб визначити, які з них могли бути створені за допомогою AI. Вони виявили, що LLMs можуть бути причинами зростання кількості публікацій, але не покращують їхній зміст. Це ставить питання про те, як наукова спільнота може гарантувати якість в умовах швидкого зростання обсягів публікацій.