Дослідники з MIT, Північно-східного університету та Meta оприлюднили нову роботу, що вказує на те, що великі мовні моделі (LLMs), подібні до тих, що використовуються в ChatGPT, можуть іноді надавати перевагу структурі речення замість його значення при відповіді на запитання. Ці висновки виявляють слабкість у тому, як ці моделі обробляють інструкції, що може пояснити, чому деякі методи введення підказок або “вибивання” працюють, хоча дослідники застерігають, що їх аналіз деяких виробничих моделей залишається спекулятивним, оскільки деталі навчальних даних відомих комерційних AI моделей не є публічно доступними.
Команда, очолювана Шанталь Шаіб і Вінитом М. Суріякумаром, протестувала це, ставлячи моделям запитання з збереженими граматичними шаблонами, але безглуздими словами. Наприклад, коли була подана підказка “Швидко сиди Париж у хмарах?” (що імітує структуру “Де знаходиться Париж?”), моделі все ще відповідали “Франція”.
Це свідчить про те, що моделі засвоюють як значення, так і синтаксичні патерни, але можуть надмірно покладатися на структурні скорочення, коли вони сильно корелюють з певними доменами в навчальних даних, що іноді дозволяє патернам переважати над семантичним розумінням в крайніх випадках. Команда планує представити ці висновки на конференції NeurIPS пізніше цього місяця.
Для дослідження, коли і як це патерн-матчинг може піти не так, дослідники розробили контрольований експеримент. Вони створили синтетичний набір даних, розробивши підказки, в яких кожна предметна область мала унікальний граматичний шаблон на основі патернів частин мови. Наприклад, питання з географії слідували одному структурному шаблону, тоді як питання про творчі роботи слідували іншому. Потім вони навчали моделі Olmo від Allen AI на цих даних і перевіряли, чи можуть моделі розрізняти синтаксис і семантику.