Ученые протестировали восемь различных моделей ИИ, что выяснить, какие из них ошибаются чаще всего.Новое исследование, опубликованное в "Columbia Journalism Review", выявило серьезные проблемы с точностью ответов, предоставляемых современными системами
искусственного интеллекта. Ученые протестировали восемь различных моделей ИИ,
включая ChatGPT от OpenAI и Gemini от Google, и выяснили, что в среднем они дают
неверные ответы более чем в 60% случаев.
Особенно тревожные результаты продемонстрировала модель Grok 3, разработанная
компанией Илона Маска – ее уровень ошибок достиг 94%, что делает ее одной из
наименее достоверных среди протестированных. Даже лучшая по точности модель,
Perplexity AI, все равно давала неверные ответы в 37% случаев.
Одна из ключевых проблем ИИ-моделей – избыточная уверенность в неправильных
ответах. Вместо того чтобы признавать свои ограничения, нейросети часто предоставляют
сфабрикованные или умозрительные данные, которые могут вводить пользователей в
заблуждение.
Еще один серьезный недостаток – неспособность ИИ корректно ссылаться на
первоисточники. ChatGPT, например, в 40% случаев ссылался на неправильные статьи, а в 21% случаев вообще не указывал источник. Это не только мешает проверке фактов, но и создает угрозу для авторских прав и интернет-медиа, теряющих веб-трафик.
По мнению экспертов, эти результаты свидетельствуют о необходимости осторожного
подхода к использованию искусственного интеллекта в критически важных сферах, где
требуется высокая точность. Развитие технологий ИИ продолжается, однако на данный момент полагаться на нейросети как на безошибочные источники информации – крайне
рискованная идея.
Насколько я понимаю, речь в первую очередь идет о ответах на "политические" вопросы. И почему-то это не удивляет. Я, конечно, не специалист по IT, но, как мне представляется, ИИ - это в конце концов компьютерная программа. А программы пишут люди. А у разных людей разные представления о том, "что есть истина". Не говоря уже о тех,кто сознательно стремится к тому, чтобы ввести людей в заблуждение. В этой связи меня ничуть не удивляет, что больше всего врет модель,созданная Маском - 94%. Это означает, что врет эта модель практически всегда. То есть даже в случае нейтральных вопросов, не связанных с политикой.
Это означает, что, учитывая, куда движется наш мир, в обозримом будущем достоверной информации, которой можно доверять хотя бы в какой-то степени, не будет вообще.
Хотя и сегодня, когда модели ИИ еще не определяют всю нашу жизнь, такой достоверной информации становится все меньше. Три дня назад я прочитал опять-таки на одном из израильских русскоязычных сайтов, что США потопили новейшее иранское разведывательное судно "Загрос". Удивился, решил проверить. Это сообщение висит на ряде сайтов, израильских, украинских, азербайджанском. Но нет ссылок ни на одно серьезное информационное агенство. Более того, на одном из сайтов, где занимаются фактчекингом я прочитал, что это сообщение - фейк. И меня это не удивило. Будь это правдой, об этом кричали бы во всем мире...
Но в связи с этим возникает вопрос: А можно ли верить информации, которая содержится в процитированной мною статье? Скажем, ИИ-модель Маска, которая врет всегда, это, по-моему, все-таки перебор.
Хотя, во всяком случае, статья, на которую ссылался израильский сайт, существует. Ее можно найти здесь: https://www.cjr.org/tow_center/we-compared-eight-ai-search-engines-theyre-all-bad-at-citing-news.php
Привет, Володя.
ОтветитьУдалитьМне эта статья кажется явной гиперболой.
Пару лет назад, когда ChatGPT только поступил в общий доступ, я попробовал его потестировать, и действительно порой наталкивался на нелепые заявления и выкладки.
Но в последнее время я заметил, что качество работы AI машин существенно, на порядки выросло. Это тот же процесс, который мы видим в электронных переводчиках. За два года - рывок на принципиально другой уровень.
Я сейчас работал с двумя машинами: китайским DeepSeek и Grok'ом Илона Маска. Впечатление - ошеломляющее! Это просто не укладывается в сознании! Нелепости бывают и сейчас, но во-первых их намного меньше, и во-вторых они легко опознаются при дублировании запросов.
PS Мне заново отформатировали ноутбук, и я ещё не настроил все нужные прибамбасы, так что пока иду без своего аватара. Но надеюсь, вы меня не спутаете...)
Привет, Матвей.
УдалитьЯ тоже не очень поверил. С политикой, как я слышал, бывают проблемы, но чтобы на общие темы такое количество неверных ответов - трудно себе представить.
А как ты стал пользоваться этими системами - что для этого нужно сделать, что установить или куда зайти?
Володя, поиграть с ИИ гораздо проще, чем можно себе представить. Они абсолютно открыты и либо вообще не требуют регистрации, либо можно зарегистрироваться через аккаунт Google, который есть у всех.
ОтветитьУдалитьНасчёт обычных претензий, что ИИ выдаёт ложную информацию, нужно помнить, что это не человек, обладающий совестью, нравственностью и прочими свойствами, а программа, автомат, перемалывающий немыслимый объём информации. Поэтому претензии скорее к тому, как ты сформулировал запрос.
Попробуй - ты будешь поражён качеством и глубиной проработки любой темы. И скоростью, между прочим!
Китайский AI DeepSeek: deepseek.com
Grok Илона Маска: grok.com (если у тебя установлен Twitter, то в нём есть спец. кнопка Grok)
Так-то оно так, но, поскольку ты пишешь, что это "программа", пусть даже автомат, то возникает вопрос, обладает ли "совестью, нравственностью и прочими свойствами" автор программы. В частности, к каким источникам обращается за справками программа-автомат, чтобы ответить на запрос. Как мне представляется, здесь заложены огромные возможности для манипуляции сознанием. Во всяком случае, читал (не помню, о какой программе шла речь), что ИИ однозначно определяет действия Израиля в Газе как агрессию, но отказывается обсуждать события 7 октября, то есть осудить Хамас.
УдалитьВот я только что задал вопрос DeepSeek'у и вот что он ответил:
ОтветитьУдалить================
Привет! Сейчас часто можно слышать об ангажированности AI, о том, что они выдают нечестную, предвзятую информацию. Что ты скажешь об этом?
Привет! Это важный и актуальный вопрос. Ангажированность или предвзятость искусственного интеллекта (AI) действительно существует, и она связана с несколькими факторами:
Данные для обучения: AI обучается на больших объемах данных, которые создаются людьми. Если эти данные содержат предвзятость, стереотипы или необъективную информацию, то AI может воспроизводить эти недостатки. Например, если в данных преобладает один взгляд на какую-то тему, AI может выдавать ответы, которые кажутся предвзятыми.
Алгоритмы и настройки: Разработчики AI могут вносить свои собственные предпочтения или ограничения в алгоритмы. Например, они могут настроить AI так, чтобы он избегал определенных тем или выдавал ответы в определенном тоне.
Цели использования: Иногда AI используется для достижения конкретных целей, которые могут быть не нейтральными. Например, в маркетинге или политике AI может быть настроен на продвижение определенной точки зрения.
Ограниченность понимания контекста: AI, как и я, не обладает сознанием или глубоким пониманием контекста. Он выдает ответы на основе статистических закономерностей, что может приводить к ошибкам или неполным ответам.
Что можно сделать?
Прозрачность: Разработчики должны быть прозрачными в том, как обучаются и настраиваются модели AI.
Контроль качества данных: Важно использовать разнообразные и репрезентативные данные для обучения.
Критическое мышление: Пользователям важно проверять информацию, полученную от AI, и не принимать её как абсолютную истину.
Я стараюсь быть максимально нейтральным и объективным, но мои ответы тоже зависят от данных, на которых я обучен. Если ты заметишь предвзятость в моих ответах, дай знать — это поможет улучшить качество информации! 😊
Примерно так я себе и представлял и без вского ИИ. Но схожу по указанным тобой адресам обязательно - любопытно очень. Но уверен, что активная манипуляция неизбежна, и чем дальше - тем больше.
УдалитьЗашел для начала в китайский DeepSeek. Он мне сказал, что в моем регионе регистрация обязательна. Зарегистрироваться, конечно, не проблема, но мне не понравилась такая избирательность. У тебя тоже такое было?
УдалитьА на grok.com меня отправили на регистрацию автоматически, без всяких разговоров о регионе. Когда я зарегистрировался и стал выяснять,обязательна ли регистрация то получил такой циничный и откровенный ответ: "Регистрация, вероятно, нужна для того, чтобы управлять пользователями". Вот именно этого я и опасаюсь в связи с ИИ.
Удалить