Дослідники з AI-стартапу Goodfire.ai представили нові дані, які підтверджують, що в штучних інтелектуальних мовних моделях, таких як GPT-5, існує чітке розділення між механізмами запам’ятовування та розуміння. У своєму дослідженні, опублікованому в жовтні, вони виявили, що при видаленні шляхів запам’ятовування моделі втратили 97% здатності точно відтворювати навчальні дані, але зберегли майже всі свої здібності до логічного мислення.
Зокрема, у моделі OLMo-7B, розробленій Allen Institute for AI, дослідники виявили, що нижні 50% компонентів ваг показували на 23% вищу активацію на запам’ятованих даних, в той час як верхні 10% мали на 26% вищу активацію на загальному тексті. Це розділення дозволило дослідникам ізолювати механізми запам’ятовування, зберігаючи інші можливості.
Цікаво, що операції з арифметики, на перший погляд, пов’язані з механізмами запам’ятовування, а не з логічним мисленням. Коли було усунено шляхи запам’ятовування, математичні результати знизилися до 66%, тоді як логічні завдання залишилися майже неушкодженими. Це відкриття пояснює, чому мовні моделі часто зазнають труднощів із математикою без зовнішніх інструментів.
Варто зазначити, що «мислення» в дослідженнях AI охоплює спектр можливостей, які можуть не відповідати людському розумінню. Логічне мислення, яке збереглося після видалення пам’яті, включає завдання, як-от оцінка істинності тверджень, але не охоплює глибше «математичне мислення», яке вимагає складних рішень. Це підкреслює обмеження сучасних AI-моделей у вирішенні нових проблем.