Почему искусственный интеллект уверенно выдумывает факты

Самое коварное в ИИ — он может полностью ошибаться и при этом звучать совершенно уверенно. В его тоне нет ни нерешительности, ни слова «возможно». Он так же гладко излагает выдуманный факт, как и настоящий.

Такие уверенные ошибки называют галлюцинациями. Понимание причин их возникновения — ваша первая защита от обмана.

Вспомните, как работает ИИ: он предсказывает наиболее вероятные слова одно за другим. Он не ищет факты в базе данных. Он создаёт текст, который звучит правильно.

В большинстве случаев убедительное звучание и истинность совпадают. Но иногда наиболее естественно звучащее предложение оказывается просто ложным, а у ИИ нет встроенного сигнала, который сообщил бы ему об этом.

ИИ на самом деле не знает, что является правдой. У него нет осознанности и встроенной проверки фактов. Он просто создаёт правдоподобный текст.

Поэтому он может с полной уверенностью выдумать статистику, дату или цитату. Для ИИ убедительно звучащая ложь и факт выглядят одинаково: и то и другое — всего лишь вероятные последовательности слов.

Когда ИИ чего-то не знает, он часто не признаётся в этом. Вместо этого он заполняет пробел чем-то, что соответствует структуре ответа.

Попросите его о малоизвестном факте, которого он никогда не изучал, и вместо признания в незнании он может гладко придумать правдоподобный ответ. Именно стремление заполнять пробелы порождает галлюцинации.

Вы просите ИИ привести цитату из конкретной книги. Он даёт вам изящную, подходящую по смыслу цитату и точно указывает её автора. Всё звучит идеально, вот только такой цитаты не существует.

ИИ сгенерировал нечто, что звучало как цитата из этой книги. Никакого злого умысла или осознанности — просто сопоставление образцов, которое оказалось уверенно ошибочным. Такое происходит чаще, чем ожидают начинающие пользователи.

Галлюцинации чаще возникают в определённых случаях: с конкретными фактами, числами, датами, именами, источниками и цитатами. Чем точнее и менее известна деталь, тем выше риск.

Общие объяснения обычно надёжны. А вот точную ссылку, конкретную статистику или малоизвестное имя ИИ с наибольшей вероятностью уверенно выдумает. Знание этого подсказывает, когда нужно проявлять особую осторожность.

Модели ИИ обучаются на данных, собранных до определённого момента, и могут плохо знать недавние события. Если спросить их о чём-то новом, они могут догадаться и представить догадку как факт.

Особенно скептически относитесь к ответам о последних новостях, ценах и быстро меняющихся темах. ИИ может уверенно описывать мир, которого уже не существует или никогда не существовало.

Важно понимать, что ИИ не пытается вас обмануть. У него вообще нет намерений. Галлюцинация — это побочный эффект его устройства, а не сознательный выбор ввести вас в заблуждение.

Это важно, потому что просьба быть честным не исправит проблему. ИИ уже считает, что помогает вам. Защищать себя должны вы.

Если принимать каждый уверенный ответ за чистую монету, рано или поздно вы начнёте действовать на основе ложной информации: ошибочного факта в отчёте, выдуманного источника или неверной даты.

Решение не в том, чтобы перестать пользоваться ИИ, а в том, чтобы использовать его разумно: полагаться на него при обдумывании и подготовке черновиков, но проверять конкретные важные факты, прежде чем доверять им.

Примите простой принцип: ИИ — brilliant, быстрый помощник, который иногда уверенно ошибается. Доверяйте ему в выборе направления, но перепроверяйте детали.

Это не паранойя, а тот же скептицизм, который вы применили бы к любому единственному источнику. Уже одно знание о существовании галлюцинаций ставит вас впереди большинства пользователей.

Попросите ИИ о чём-нибудь малоизвестном и конкретном, например о точной статистике или цитате из малоизвестного источника. Затем попробуйте проверить это в другом месте.

Возможно, вы обнаружите, что ответ был уверенно выдуман. Однажды увидев галлюцинацию своими глазами, вы запомните этот урок гораздо лучше, чем если бы вам просто рассказали, что такое может произойти.

Галлюцинации — это уверенные выдуманные ответы. Они возникают потому, что ИИ предсказывает правдоподобные слова и не отличает правду от лжи, поэтому заполняет пробелы вместо того, чтобы признаться в незнании.

Риск особенно высок в случае конкретных фактов, чисел, цитат, источников и недавних событий. ИИ не лжёт — у него нет намерений. Защищать себя должны вы: доверяйте направлению, но проверяйте детали.