11 Недостатков контента ChatGPT

Основные моменты

• Почему некачественный контент ChatGPT проходит человеческий отбор.
• ChatGPT является всеобъемлющим, даже когда должен быть сжатым.
• Профессор указывает на недостаток, который портит эссе, созданные с помощью ChatGPT.
• ChatGPT не проходит фиктивный тест на обнаружение андроидов Войт-Кампф и удивительная причина, почему это имеет значение.

ChatGPT производит контент , который является всесторонним и достоверным.

Однако исследователи, художники и профессора предупреждают о некоторых недостатках, на которые следует обратить внимание при переводе, которые могут снизить качество контента.

В этой статье мы рассмотрим 11 недостатков контента ChatGPT. Погружаемся внутрь.

1. Использование определенных фраз делает текст узнаваемым как нечеловеческий

Исследователи, изучающие способы обнаружения машинного контента, обнаружили шаблоны, которые делают его звучание неестественным.

Одной из особенностей является то, что ИИ имеет проблемы со знанием идиом.

Идиома - это фраза или выражение со связанным с ним фигуральным значением, например, "в любой тяжёлой ситуации найдётся светлая сторона".

Отсутствие идиом в контенте может служить сигналом того, что контент создан автоматически - и это может быть частью алгоритма обнаружения.

Вот что говорит исследовательская статья 2022 года Adversarial Robustness of Neural-Statistical Features in Detection of Generative Transformers об этой особенности в созданном машиной контенте:

"Сложные фразовые особенности основаны на частоте определенных слов и фраз в анализируемом тексте, которые встречаются чаще в текстах, созданных людьми."

...Из этих сложных фразовых особенностей, особенности идиоматики сохраняют наибольшую предсказательную силу в обнаружении современных генеративных моделей.

Эта неспособность использовать идиомы приводит к тому, что вывод ChatGPT звучит и читается неестественно.

2. ChatGPT не обладает способностью к выражению

Художник прокомментировал, что результат работы ChatGPT имитирует искусство, но не обладает реальными характеристиками художественного выражения.

Выражение - это акт общения мыслей или чувств.

Выход ChatGPT не содержит выражений, только слова.

Он не может произвести содержание, которое бы тронуло людей эмоционально так же, как может человек - потому что он не имеет никаких реальных мыслей или чувств.

Музыкальный исполнитель Ник Кейв в статье, опубликованной в его информационном бюллетене Red Hand Files, прокомментировал текст песни от ChatGPT, созданный в стиле Ника Кейва.

Новый инструментарий маркетинга контента на базе AI
Примените технологии следующего поколения прежде, чем сделают это ваши конкуренты. Создавайте хорошо оптимизированный и целевой контент, который доставляет результаты втрое быстрее.

Он написал:

«То, что делает великую песню великой, это не её сильное сходство с узнаваемым произведением.

...это бездыханный столкновение с собственной уязвимостью, своей угрожаемостью, своей маленькостью, против страшного открытия; это искусство искупления, которое пробуждает сердце слушателя, где слушатель узнает во внутренних работах песни свою собственную кровь, свой собственный борьбу, свои собственные страдания.

Каве назвал тексты ChatGPT насмешкой.

Это лирика ChatGPT, которая напоминает лирику Ника Кейва:

«У меня на руках кровь ангелов,
У меня в глазах огонь ада.
Я король бездны, главарь тьмы
Тот, кого они боятся, в тени пытаются услышать.»

А это настоящий лирический ряд Ника Кейва (Брат, Мой Кубок Пуст):

"Я скользил по радугам,
Я вертелся на звездах,
Теперь же, в видах нищего,
Стучу кружкой об прутья.
Вот, со мной ложилась тоска,
Исчезли мои желания,
Собираю я пепел
Моих прежних горений"

Легко увидеть, что машинно созданный текст песни  похож на текст песни артиста, но на самом деле он ничего не сообщает.

Тексты Ника Кейва рассказывают историю, которая резонирует с патосом, желанием, стыдом и умышленным обманом говорящего в песне. Они выражают мысли и чувства.

Легко понять, почему Ник Кейв называет это насмешкой.

3. ChatGPT не предоставляет исследований

Статья, опубликованная в The Insider, процитировала ученого, который отметил, что академические эссе, созданные ChatGPT, не содержат глубоких познаний по теме.

ChatGPT обобщает тему, но не предлагает уникального взгляда на тему.

Люди создают на основе знаний, а также личного опыта и субъективных восприятий.

Профессор Кристофер Бартел из Университета Аппалачского горного хребта, по данным The Insider, заявил, что, хотя эссе на ChatGPT может проявлять высокие качества грамматики и сложные идеи, но все еще отсутствует проницательность.

Бартель сказал:

"Они действительно пушистые. Нет никакого контекста, никакой глубины или инсайта."

Проницательность - отличительная черта хорошо написанного эссе, и это не сильная сторона ChatGPT.

Этот недостаток понимания следует иметь в виду при оценке созданного машиной контента.

4. ChatGPT слишком многословный

Исследование, опубликованное в январе 2023 года, обнаружило узоры в содержимом ChatGPT, которые делают его менее подходящим для критических приложений.

Статья называется "Насколько близок ChatGPT к профессионалам в общении? Сопоставление корпусов данных, оценка и определение."

Исследование показало, что люди предпочитают ответы от ChatGPT в более чем 50% вопросов, касающихся финансов и психологии.

Однако ChatGPT не смог ответить на медицинские вопросы, потому что люди предпочитают прямые ответы - то, что ИИ не мог обеспечить.

Исследователи написали:

"...ChatGPT плохо справляется с помощью в медицинской отрасли как на английском, так и на китайском языках."

Чат-бот ChatGPT в нашем собранном наборе данных часто дает длинные ответы на медицинские консультации, в то время как человеческие эксперты могут непосредственно давать простые ответы или рекомендации, что может объяснить, почему добровольцы считают человеческие ответы более полезными в медицинской области.

ChatGPT стремится освещать тему с разных сторон, что делает его непригодным, когда лучший ответ - прямой.

Маркетологи, использующие ChatGPT, должны обратить на это внимание, потому что посетители сайта, которым нужен прямой ответ, не будут удовлетворены многословной веб-страницей.

И удачи вам в ранжировании громоздкой страницы в выделенных отрывках Google, где краткий и ясно выраженный ответ, который может хорошо работать в Google Voice, может иметь больше шансов на ранжирование, чем длинный ответ.

OpenAI, создатели ChatGPT, признают, что предоставление многословных ответов - это известное ограничение.

Статья с объявлением, опубликованная OpenAI:

«Модель часто является излишне многословной...»

При использовании вывода ChatGPT следует учитывать его склонность к длинным ответам, поскольку возможны ситуации, когда короткие и более прямые ответы являются более подходящими.

5. Контент ChatGPT хорошо организован и логичен

ChatGPT имеет стиль письма, который не только многословен, но также следует шаблону, который придает содержанию уникальный стиль, который не является человеческим.

Это человеконенавистническое качество проявляется в различиях между тем, как люди и машины отвечают на вопросы.

В фильме "Бегущий по лезвию" есть сцена, на которой задают ряд вопросов, предназначенных для выявления, отвечает ли субъект на вопросы как человек или андроид.

Эти вопросы были частью вымышленного теста, называемого «Тестом Войта-Кампфа».

Одним из вопросов является:

«Ты смотришь телевизор. Внезапно ты понимаешь, что на твоей руке ползает оса. Что ты делаешь?»

Нормальный человеческий ответ может быть таким: кричать, выйти на улицу и ударить ее и т.д.

Но когда я задала этот вопрос ChatGPT, он предложил тщательно организованный ответ, который подводит итог вопросу, а затем предлагает логические возможные результаты, не отвечая на сам вопрос.

Скриншот ответа ChatGPT на вопрос Войт-Кампф теста

Ответ очень организованный и логичный, что создает впечатление его неестественности, что нежелательно.

6. ChatGPT слишком подробен и комплексен

ChatGPT был обучен таким образом, чтобы машина получала вознаграждение, когда люди были довольны ответом.

Оценщики из числа людей обычно предпочитают ответы, которые содержат больше деталей.

Однако иногда, например, в медицинском контексте, прямой ответ лучше, чем полный ответ.

Это означает, что машину необходимо побуждать к более прямому и не такому всестороннему подходу в тех случаях, когда эти качества важны.

Из OpenAI:

«Эти проблемы возникают из-за предубеждений в обучающих данных (тренеры предпочитают более длинные ответы, которые выглядят более всесторонними) и хорошо известных проблем избыточной оптимизации.»

7. ChatGPT Лжет (Принимает вымышленные факты)

Упомянутая выше научная работа, How Close is ChatGPT to Human Experts?, отметила, что ChatGPT имеет склонность к лжи.

Отчет гласит:

"При ответе на вопрос, требующий профессиональных знаний из определенной области, ChatGPT может выдумывать факты, чтобы дать ответ...

Например, в вопросах правового характера ChatGPT может создать несуществующие правовые нормы для ответа на вопрос.

...Кроме того, когда пользователь задает вопрос, на который нет существующего ответа, ChatGPT также может выдумывать факты, чтобы предоставить ответ.

Сайт Futurism документировал случаи, когда опубликованный на CNET контент, сгенерированный машинами, был неправильным и полным "глупых ошибок".

Компания CNET должна была предвидеть возможность таких событий, так как OpenAI опубликовала предупреждение об некорректном выводе:

"ЧатГПТ иногда пишет звучащие правдоподобно, но неправильные или бессмысленные ответы."

CNET утверждает, что перед публикацией машинно-сгенерированных статей их проверяли люди.

Проблема с человеческой проверкой заключается в том, что содержимое ChatGPT предназначено звучать убедительно правильным, что может обмануть рецензента, который не является экспертом в данной теме.

8. ChatGPT ненатуральный, потому что он не разнообразен

Исследовательская статья “Насколько близко ChatGPT к человеческим экспертам?” также отмечает, что человеческое общение может иметь косвенный смысл, что требует смены темы для его понимания.

ChatGPT слишком буквальна, из-за чего ответы иногда не попадают в цель, потому что ИИ упускает фактическую тему.

Исследователи написали:

«Ответы ChatGPT обычно строго сосредоточены на заданном вопросе, в то время как человеческие ответы могут разойтись в сторону и легко переходить на другие темы».

С точки зрения богатства контента, люди более расхожи в различных аспектах, в то время как ChatGPT предпочитает сосредотачиваться на самом вопросе.

Люди могут раскрыть скрытый смысл вопроса, опираясь на свой здравый смысл и знания, но ChatGPT полагается на буквальное значение слов из заданного вопроса…”

Люди лучше способны отклоняться от буквального вопроса, что важно для ответа на вопросы типа "а что насчет ...".

Например, если я спрошу:

"Лошади слишком большие, чтобы быть домашними животными. А что насчет енотов?"

Вышеприведенный вопрос не спрашивает, является ли енот подходящим для содержания в качестве домашнего питомца. Вопрос касается размера животного.

ChatGPT сосредотачивается на уместности енота в качестве домашнего животного, а не на его размере.

Снимок экрана с чрезмерно буквальным ответом в ChatGPT

9. ChatGPT cодержит нейтральную тенденцию

Выдача ChatGPT обычно нейтральна и информативна. Есть определенная предвзятость в выдаче, которая может показаться полезной, но не всегда таковой является.

Исследовательская статья, которую мы только что обсуждали, отмечает, что нейтральность является нежелательным свойством, когда речь идет о юридических, медицинских и технических вопросах.

Люди обычно выбирают сторону, когда предлагают подобные мнения.

10. ChatGPT предпочитает формальные сообщения

Вывод ChatGPT имеет предубеждение, которое мешает ему расслабиться и отвечать обычными выражениями. Вместо этого его ответы склонны быть формальными.

С другой стороны, люди склонны отвечать на вопросы более разговорным стилем, используя повседневный язык и жаргон - противоположность официальному стилю.

ChatGPT не использует сокращения, такие как GOAT или TL;DR.

Ответы также не содержат иронии, метафор и юмора, что может сделать контент ChatGPT чрезмерно формальным для некоторых видов контента.

Исследователи пишут:

“… ChatGPT предпочитает использовать союзы и наречия для передачи логического потока мысли, такие как «В общем», «С другой стороны», «Во-первых», «Во-вторых», «Наконец» и т. д.”

11. ChatGPT все еще находится в процессе обучения

ChatGPT в настоящее время все еще находится в процессе обучения и совершенствования.

OpenAI рекомендует, чтобы весь контент, сгенерированный ChatGPT, был проверен человеком, считая это лучшей практикой.

OpenAI предлагает сохранять связь с людьми:

«Возможно, мы рекомендуем провести проверку на человеческом уровне выходных данных перед их практическим использованием.

Это особенно важно в областях, где ставки высоки, и для генерации кода.

Люди должны понимать ограничения системы и иметь возможность получить доступ к любой информации, необходимой для проверки результатов (например, если приложение подводит итоги заметок, человек должен иметь легкий доступ к оригинальным заметкам, чтобы вернуться к ним).

Нежелательные качества ChatGPT

Ясно, что у ChatGPT есть много проблем, из-за которых он не годится для безнадзорной генерации контента. Он содержит предубеждения и не создает контент, который кажется естественным или содержит подлинные идеи.

Кроме того, его неспособность чувствовать или создавать оригинальные мысли делает его плохим выбором для создания художественных произведений.

Пользователям следует применять подробные подсказки, чтобы сгенерировать контент, который лучше, чем тот, который он обычно выдает по умолчанию.

Наконец, человеческий просмотр машинно-сгенерированного контента не всегда достаточен, потому что контент ChatGPT спроектирован таким образом, чтобы казаться правильным, даже если это не так.

Это означает, что важно, чтобы проверяющие были экспертами в определенной теме и могли различать правильный и неправильный контент.