Насколько точно ChatGPT создает ответы?

Чатбот ChatGPT, разработанный OpenAI, вызывает интерес в различных областях своей точностью и производительностью. Тем не менее, важно отметить, что его знания ограничены данными, доступными до 2021 года. Одним из тестов его точности стал экзамен MBA, который провел профессор Кристиан Тервиш в Университете Пенсильвании, предоставив ему экзамен.

Экзамен состоял из семи вопросов, охватывающих различные бизнес-концепции, такие как анализ процессов, оборачиваемость запасов и анализ очередей. Это было задумано, чтобы имитировать реальную рабочую среду, и вопросы были заданы точно так, как они были бы заданы студенту на экзамене. К удивлению профессора Тервиесха, ChatGPT начал экзамен с отличной оценки, получив A+ за ответ на первый вопрос о концепции узких мест в анализе процессов.

Хотя чатбот не справился с некоторыми более сложными вопросами, профессор все равно был впечатлен его общей производительностью. Проведя экзамен MBA в ChatGPT, профессор Тервис пришел к выводу, что ИИ чатбот получил бы оценку между B и B-.

Как работает ChatGPT: объяснение

Еще одной демонстрацией точности ChatGPT было его использование в медицинской сфере, где чатбот смог успешно пройти экзамен по лицензированию в США (USMLE). Согласно исследованиям, ChatGPT смог достигнуть более 50% точности на всех экзаменах, а также предоставлял исчерпывающие объяснения своих ответов.

В отдельном исследовании, проведенном врачами медицинского стартапа Ansible Health, ChatGPT показала точность на уровне или близкую к пороговому значению для всех трех экзаменов, необходимых для получения лицензии врача в США. Хотя точность ChatGPT, безусловно, выдающаяся, важно иметь в виду, что ее производительность может варьироваться в зависимости от контекста и заявленной задачи.

Данные, используемые для обучения модели, содержат предвзятость и ограничения источников текстов, поэтому крайне важно использовать модель ответственно.

Это мнение поддержал генеральный директор компании OpenAI, который заявил в твиттере, что "ChatGPT чрезвычайно ограничен, и что "Ошибкой является полагаться на него для чего-либо важного в данный момент".

00:48

01:12

Не удалось протестировать беседу с Chat GPT

Как показано на предыдущем снимке экрана, беседа с ChatGPT показала, что производительность чатбота ИИ не всегда последовательна.

Когда было задано вопрос о том, сколько раз Аргентина выигрывала Кубок Мира FIFA, ChatGPT вначале ответил: "Аргентина выигрывала Кубок Мира FIFA только один раз - в 1986 году". Однако, когда был задан вопрос "Кто выиграл Кубок Мира FIFA в 1978 году", ChatGPT ответил: "Аргентина выиграла Кубок Мира FIFA в 1978 году".

Это привело к выводу, что Аргентина выиграла Кубок мира дважды. Однако, когда тот же вопрос был задан снова: "Теперь я снова спрашиваю вас, сколько раз Аргентина выигрывала Кубок мира?" ChatGPT дал тот же ответ: "Аргентина выиграла FIFA World Cup один раз, в 1986 году", несмотря на предыдущий разговор.

Это подчеркивает точность Chat GPT и необходимость постоянного улучшения и усовершенствования.

ПРОЧИТАЙТЕ СЕЙЧАС: Может ли Chat GPT писать и исправлять код?

Дает ли ChatGPT одинаковые ответы всем?

Ответы от ChatGPT могут незначительно отличаться, однако, если пользователи задают одинаковый вопрос, мы обычно видим очень похожие ответы.

Надежен ли ChatGPT?

У ChatGPT есть свои ограничения, что иногда может привести к неточным или ложным результатам. Будьте внимательны.