Узнали ли вы статью, которую нейросеть ChatGPT написала для AppleInsider.ru?

В пятницу, 31 марта, мы в редакции AppleInsider.ru решили немного похулиганить и доверить написание хотя бы одной статьи под 1 апреля не штатному автору, а искусственному интеллекту. Раз уж нейросеть пишет дипломы, которые успешно принимают в самых передовых вузах нашей страны, несложная публикация новостного характера ей должна была даться без особых проблем. Да и какие могут быть проблемы? Ведь нейросеть — штука не только умная, но и самоообучаемая. Поэтому даже в отсутствие знаний по теме она должна была просто найти их в интернете. Так по крайней мере я думал, надеясь на халтуру.

О том, как пользоваться ChatGPT в России, мы уже рассказывали. Обязательно учитывайте, что для этого потребуется VPN.

Как нейросеть пишет текст

Специально для эксперимента мы оплатили ChatGPT-4. Это платная версия, которая по логике должна быть во всём лучше общедоступной ChatGPT 3,5, но на поверку всё оказалось не так просто. Этот аспект мы ещё обсудим, а пока поговорим о том, как нейросеть писала статью «История создания легендарной игры оживает на экранах: фильм «Тетрис» теперь на Apple TV+».

Выше я уже упомянул, что эта тема показалась мне самой простой, чтобы доверить ей чат-боту. Я не верил, что нейросети удастся написать аналитический материал с правильными тезисами и реальными примерами, иллюстрирующими текст. А текст про выход фильма, который к тому моменту написали уже все тематические издания, выглядел как работёнка — не бей лежачего. Поэтому я сформировал несколько вводных и задал их нейросети:

• Тема статьи — выход фильма «Тетрис»;
• Статья должна быть написана для сайта AppleInsider.ru;
• Объём статьи — более 4000 символов;
• Подзаголовки, основанные на поисковых запросах в Google, после каждых 2-3 абзацев;
• Интересный заголовок.

ChatGPT-4 — стоит ли платить

Сначала я включил самую новую версию ChatGPT-4. Но она оказалась слишком неудобной по нескольким причинам:

• Во-первых, она позволяет отправлять не более 25 запросов каждые 3 часа. Но даже если бы редакционным аккаунтом пользовался я один, я бы извёл лимит гораздо быстрее.
• Во-вторых, ChatGPT-4 генерирует текст ну очень медленно. Как мне показалось, ChatGPT-3.5 работает примерно в 4-5 раз быстрее, что заметно ускоряет весь процесс.
• В-третьих, качество генерируемого текста, который выдал ChatGPT-4, ничем не отличалось от ChatGPT-3.5. Они даже использовали общие языковые конструкции.

⚡️ПОДПИСЫВАЙСЯ НА НАШ КАНАЛ В ДЗЕНЕ И ЧИТАЙ ЛУЧШИЕ СТАТЬИ НАШИХ АВТОРОВ, ПОКА ЕЩЁ МОЖНО

Поэтому пользоваться более новой версией смысла не было ну никакого, и я переключился на ChatGPT-3.5. С ней и работал. Но тут меня ждала первая практическая проблема: оказалось, что нейросеть а) тормозит и б) очень выборочно воспринимает мои команды. Поэтому поверьте моему опыту: для подобных целей покупать платную версию ChatGPT-4 точно не стоит.

Что может ChatGPT

Вам этого не видно, но в процессе написания статьи чат GPT всё время норовит схалтурить и останавливает генерацию текста примерно каждые 500-700 знаков. Поэтому мне приходилось постоянно подгонять нейросеть командой «Продолжай». Но даже в этом случае она напрочь отказывалась доводить дело до конца, выдавая на-гора ещё около полутысячи знаков и замирая. Почему бы не исполнить команду в том виде, в котором её дали, сразу — не понятно.

1 апреля на AndroidInsider.ru тоже вышла статья, написанная ChatGPT. Обязательно почитайте и сравните с тем, что нейросеть создала для нашего сайта.

Кроме того, ИИ расставил подзаголовки не через каждые 2-3 абзаца, как я его просил, а буквально через каждый. Несмотря на то что они отвечали поисковым запросам по крайней мере в первой своей части, беглая проверка показала, что варианты могли бы быть и попоисковее. Впрочем, эти тоже подходили. Тем более, править ChatGPT по условиям эксперимента, которые мы сами для себя сформировали, было нельзя, и я взял их.

Но это даже не самое худшее. Примерно через 2500 символов стало понятно, что нейросеть завершила статью. Мысль была логически завершена, а последний абзац венчал подзаголовок «Заключение». Несмотря на это, мне нужно было, чтобы материал вышел не менее, чем на 4000 знаков, и я потребовал продолжения. Чат-бот не отказался, но было видно, что он просто бездумно наслаивает текст, используя пустопорожние приёмы. Сначала он добавил абзац про музыкальное сопровождение, затем часть про ожидания зрителей, но было видно, что всё это — общие слова.

⚡️ПОДПИШИСЬ НА ТЕЛЕГРАМ-КАНАЛ СУНДУК АЛИБАБЫ И ПОКУПАЙ ТОЛЬКО ТОПОВЫЕ ТОВАРЫ С АЛИЭКСПРЕСС

Впрочем, часть про ожидания зрителей мне понравилась. Я не стал её брать в исходном виде, а для убедительности попросил ChatGPT написать вместо неё отзыв от имени кинокритика. Мой запрос выглядел так: Напиши рецензию на фильм «Тетрис». Он должен быть написан от лица профессионального кинокритика. Объём рецензии — 1000-1500 символов. Получилось не фонтан, как хорошо, но это было не самым страшным.

Ошибки нейросетей — примеры

Когда я взялся вычитывать текст, я обнаружил просто огромную кучу ошибок. Оставим в стороне стилистику, несогласованность предложений и повторы одних и тех же слов и языковых конструкций даже в пределах одного абзаца. Намного хуже дела у ChatGPT обстоят с факт-чекингом. Вот самые главные ошибки, которые настолько смешны, что не выделить их просто нельзя:

1. ChatGPT называет главного героя — Генри Робертсом, хотя это Хэнк Роджерс;
2. ChatGPT называет его главой компании Nintendo, хотя он к ней не имеет никакого отношения;
3. ChatGPT уверяет, что несравненный Питер Динклейдж играет в фильме основателя компании Atari, хотя ни то, ни другое не является правдой;
4. ChatGPT утверждает, что музыку к фильму «Тетрис» написал итальянский композитор Людовика Эйнауди, однако над звуковым сопровождением работал Лорн Бэлф;
5. Ну и вишенка на торте: ChatGPT решил, что у фильма «Тетрис» было два режиссёра — Михаил Лесин и Алексей Алексеев, хотя его снимал Джон Бейрд.

Исправить ChatGPT не помогали даже наводящие вопросы. Когда я спрашивал нейросеть, кто на самом деле снял фильм «Тетрис», она невозмутимо выдавала мне ответы вроде этого: «Режиссером фильма «Тетрис» является Джонатан Мауэт, а продюсерами — Брэдлей Фишер и Томас Талли». Откуда чат-бот брал эту информацию, для меня оставалось загадкой.

Midjourney — нейросеть, генерирующая картинки

Картинки для статьи, к слову, тоже генерировал ИИ. Правда, не ChatGPT — она этого не умеет, — а Midjourney — нейросеть, которая рисует по словам. Поначалу она казалась мне не такой удобной хотя бы потому, что составлять описания к изображениям было не так просто, как я думал. Чтобы получилось что-то более или менее вменяемое, нейросети требовались детали. К тому же их приходилось формулировать на английском. Но в итоге, когда мы скормили Midjourney несколько фото Никиты Ефремова, получилось очень даже сносно.

А вот нарисовать нормальный постер к фильму «Тетрис» у Modjourney не вышло. Нейросеть отлично поняла, что я от неё хочу, и даже наложила поверх изображения главного героя фигуры из одноимённой игры. Однако надпись Tetris даже на английском она так и не осилила. Автор телеграм-канала Lex.Shared, который помогал мне в генерации картинок для статьи, объяснил, что нейросеть не понимает текстовую составляющую. Поэтому во всех случаях выдаёт заданные буквы в случайном порядке.

⚡️ПОДПИШИСЬ НА ТЕЛЕГРАМ-КАНАЛ ТЕХНОКОТ. ЭТО АГРЕГАТОР ЛУЧШИХ СТАТЕЙ, НОВОСТЕЙ И ИНСТРУКЦИЙ ПО ВЕРСИИ РЕДАКЦИИ APPLEINSIDER.RU. ТЕБЕ ПОНРАВИТСЯ

Какой вывод можно сделать? Ну, очевидно, что пока нейросеть не готова к тому, чтобы заменить журналиста. Её слог далёк от идеального, а факт-чекинг отсутствует в принципе. Так что абсолютно точно дело не в моих операторских способностях. Уж не знаю, как с её помощью люди сдают дипломы, которые принимают доценты и профессора, но я для себя понял, что пока могу спать спокойно. Во всяком случае, до декабря, когда выйдет ChatGPT-5. А там посмотрим.