ChatGPT, казалось бы, был настоящим прорывом в мире искусственного интеллекта — он умел вести увлекательные беседы, решать сложные задачи и, казалось, владел бесконечными знаниями. Однако недавние исследования показывают, что эта модель начинает демонстрировать резкое decline в качестве работы.
Научные исследования вызывают тревогу
Исследователи из Стэнфордского университета провели ряд тестов, чтобы выяснить, как производительность ChatGPT изменяется со временем. Угроза становится реальной, когда результаты показывают значительное ухудшение его навыков, особенно в математике. Одним из примеров стал тест, в рамках которого боту предложили определить, является ли 17 077 или 17 947 простыми числами. Задача, изначально легкая для компьютера, оказалась не по плечу боту.
В марте ChatGPT с легкостью определял 97,6% чисел правильно, однако к июню его точность упала до катастрофических 51%, а в июле — до просто позорных 2,4%. Это вызывает серьезные опасения о будущем технологии.
Проблемы с ответами на вопросы
Не ограничиваясь математикой, исследователи также проверили, насколько уверенно ChatGPT отвечает на вопросы, используя базу данных из 1500 вопросов. Результаты оказались неутешительными: в марте бот отвечал на 98% вопросов, а к июню этот показатель упал до 23%, причем многие ответы были поверхностными и неопределенными.
Ученые выделили несколько ключевых областей, в которых ChatGPT показал снижение производительности, включая:
- Математические вычисления.
- Медицинские вопросы.
- Генерация программного кода.
Почему это происходит?
По мнению специалистов, одной из причин ухудшения может быть переход OpenAI от единой модели к множеству специализированных модулей, известных как Mixture of Experts (MOE). Этот подход обещает повышать эффективность обработки данных, но, похоже, текущая система все еще не оптимизирована, что приводит к снижению качества работы.
Некоторые представители OpenAI утверждают, что пользователи могут думать, что боты стали хуже, так как они начали использовать их чаще. Однако это не может объяснить такую драматическую потерю навыков.
Интересно, что отзывы пользователей о ChatGPT становятся всё более настороженными, когда они замечают неоправданные ограничения и недочеты, которые ранее могли легко игнорироваться.
