Интересное

Что в черном ящике? Как ИИ оставляет нам больше вопросов, чем ответов

Представьте, что вы проходите собеседование, отправляете резюме, несколько примеров работ, солидное портфолио, а тестовое задание выполнили на “отлично”. По крайней мере, вам так кажется. Но по ту сторону находится не человек, а искусственный интеллект, новая и очень успешная модель. И именно она решает, подходите вы или нет.

Вам приходит отказ. Но почему? Какие критерии оценки? Что не подошло? Может быть, у вас недостаточно квалификации, или тестовое задание подвело, или просто вы  не того пола? Об этом вы никогда не узнаете. Потому что это Black Box AI. Он не раскрывает своих критериев, вы не знаете, как он устроен и как работает, а вы и не должны этого знать.

Но и у него есть противовес – White Box AI. Своего рода Ангел против Демона на плечах. И как вы понимаете, в White Box все максимально открыто.

Концепция Black Box таит в себе не только тайны, но и проблемы, которые особенно активно обсуждают регуляторы. Обо всех ящиках и о том, что внутри, мы и поговорим сегодня. По крайней мере, расскажем все, что нам позволено знать.

Больше про Black Box

Ради целостности повествования будем использовать именно англоязычный термин. Black Box – это ИИ-система, где все внутренние механизмы работы остаются тайной для пользователей. Вы, как пользователи, можете видеть входные данные, те, что вводите сами, а также – ответ от сервиса. Но весь процесс, который происходит внутри, что именно делает нейронка, чтобы прийти к этим результатам, остается неизвестным.

Пример из вступления – отличное, по нашему скромному мнению, описание происходящего.

Если вам кажется, что данная концепция – нишевая история, то вы не совсем правы. Знаете ли вы, как ChatGPT приходит к своим умозаключениям? Нет. Это потому, что нейросеть от OpenAI – и есть Black Box. То же самое касается и других передовых сервисов. Можно решить, что все это из-за угрозы воровства конкурентами. Но об этом чуть позже.

Изначально эти модели обучаются на монументальных наборах данных при использовании сложных процессов deep learning, что иногда приводит к тому, что сами создатели порой не понимают, как они работают.

Такие сервисы выдают впечатляющие результаты, но пользователи не всегда могут понять правильность ответов, ведь они не знают, что происходит внутри. Это может привести к уязвимостям в безопасности, предвзятости и нарушению конфиденциальности. Например, ChatGPT расскажет о чем угодно, если сообщить ему, что это для вашей умирающей бабушки.

Зачем вообще нужны Black Box AI?

Все достаточно прозаично, такие модели возникают по одной из двух причин: либо их разработчики намеренно делают их таковыми, либо они становятся таковыми невольно, в результате побочки в процессе обучения.

Самая очевидная причина – сокрытие интеллектуальной собственности. Вы годами работали над ИИ, зачем вам просто сливать результат конкурентам? Ради безопасности планеты? Да ни за что! Конечно большинство создателей знают, как устроено их создание, но осознанно скрывают исходный код и механизм принятия решений. Большая часть черных ящиков именно таковы. Секретный рецепт крабсбургера, но из мира технологий.

Но есть еще один интересный термин: органический Black Box. Создатели не скрывают свою работу специально, просто у них лапки. Системы глубокого обучения настолько сложные, что в точности понять их процесс мышления – тяжело. И это не мы вам говорим, а IBM.  

Алгоритмы обучения многослойны. Если традиционные могут быть двуслойными или однослойными, то при глубоком обучении эти слои увеличиваются в геометрической прогрессии. Сотни, тысячи слоев, где каждый содержит N-ное количество нейронов, блоков кода, которые и имитируют работу человеческого мозга.

При таком формате обучения нейронные сети способны обрабатывать и анализировать необработанные, неструктурированные наборы данных практически без участия человека. Они воспринимают и выявляют закономерности, а также обучаются самостоятельно. А в конце вы получаете сгенерированный текст или картинку/видео. Например эту:

Это, если вы не поняли, ИИ создает картинку, по мнению ИИ.

А это Black Box AI. Никакого художественного прочтения названия!

Эта способность к масштабному обучению без надзора позволяет системам ИИ выполнять самые сложные задачи, которые в итоге кажутся близкими к человеческим.

Непрозрачность процессов – это их природа. Пользователи, как и разработчики, могут отследить, что происходит лишь на видимых слоях. Там, где вы вводите запрос и там, где получаете ответ. Все, что происходит в промежуточных слоях, – загадка. На то они и называются скрытыми слоями. Не поймите неправильно, у разработчиков есть понимание того, как данные перемещаются через слои сети, а также представление о том, что происходит с поступающей информацией, но они не знают всех деталей.

Третий вариант – вам просто не нужно это знать. Как в случае с приемом на работу. Конечно, было бы здорово узнать причины отказа, но компания приняла решение, что это будет лишним. Отказ – достаточный аргумент.

Интерпретируемость

В тысячный раз рекомендуем прочесть текст об этике в мире искусственного интеллекта.

Мощность передовых моделей ИИ напрямую связана со снижением интерпретируемости. Базовый пример:

У вас есть четкие правила по созданию котов: два ушка, носик, хвостик, рыжий цвет, в домашней обстановке. Насколько интересно будет создать даже вторую картинку при таких правилах? Конечно, это условности, но чем меньше правил, тем более мощная нейронка. Чем легче объяснить, как что-то создается, тем более базовым это будет являться. Еще можно подумать об искусстве, если посмотреть на картины в разрезе 500 лет, то вы увидите, как люди нарушали правила и создавали новые. Это процесс вечного поиска. А ограничения и ясность его останавливают.

Вот вам картинка по запросу: самая сумасшедшая картинка кота. Почему ChatGPT решил, что самый сумасшедший кот – тот, что в реке на моноколесе в костюме супергероя, а его окружение – иллюстрация с банданы Джими Хендрикса, мы не знаем. Вряд ли вы сам Альтман объяснит, как так вышло. Но это по-своему круто. Ведь вас не устроит, если самый сумасшедший кот – это тот, что просто оказался вне квартиры.

Чем проще объяснить, чем примитивней правила, тем менее гибкой будет модель.Но и не всем моделям нужна такая гибкость. В основном это касается генеративных моделей.

Связанные с этим проблемы

Меньшее доверия

Выводы могут быть верными, но без четкого объяснения можно усомниться в долгосрочной перспективе. Иногда нейронные сети могут приходить к правильным результатам по неправильным причинам. Такой эффект называется эффектом умного Ганса – в честь лошади, которая якобы умела считать и выполнять простые арифметические действия, постукивая копытом. Но на самом деле Ганс реагировал на подсказки в языке тела своего хозяина, по ним понимая, когда нужно прекратить стучать.

Это становится настоящей проблемой в мире здравоохранения. Однажды новый экспериментальный сервис натаскивали на снимках легких людей, болеющих COVID. Сервис показывал отличные результаты, только строил их на отметках/аннотациях, которые оставляли врачи. Потому что в то время, врачи часто оставляли аннотации для выделения важных особенностей на снимках, чтобы их коллеги тоже обращали внимание.

Сложности в корректировке

Если вдруг ваша модель озлобилась или начала галлюцинировать, то вам будет сложнее ее поправить. Не зная, что происходит внутри модели, пользователи не могут точно определить, где она ошибается.

Кстати, эту проблему интересно решают в ИИ-такси или машинах. Они просто добавляют что-то понятное и объяснимое. Например – радары и датчики.

Проблемы безопасности

Возникают из-за того, что сама сеть может пропустить скрытые уязвимости. Генеративные модели ИИ уязвимы к атакам, таким как внедрение вредоносных запросов и отравление данных, где тайно меняется поведение модели без ведома пользователей.

Этические вопросы

Любой ИИ может воспроизводить присущую человеку предвзятость, если она присутствовала в данных для обучения. Примером все еще служит случай с Amazon.

Стеклянный ящик

Как вы поняли, это и есть White Box – система искусственного интеллекта с прозрачным внутренним миром. Все просто – ваш сервис работает с четкой структурой и ею же ограничивается. Такие стеклянные ящики ставят там, где на кону человеческая жизнь (по возможности).

Традиционные модели ИИ часто можно сделать прозрачными, предоставив доступ к их исходному коду. Почему так не получается со сложными, мы объясняли выше. Просто знать исходный код – недостаточное условие.

Сегодня создаются нейронные сети для понятия принципа принятия решений нейронными сетями. Где ученые и исследователи определяют комбинации нейронов. В эту сторону движутся и гиганты. Пусть и условно, но o1 от OpenAI делится информацией о том, что делает, для получения выводов. Это именно та сеть, которая “размышляет” и делится своими размышлениями, а также тем, как она к ним пришла. Но и это не совсем прямой взгляд внутрь.

Посмотрим, что будет дальше.

Ну а сейчас самое время пройти тест и понять, насколько вы финансово грамотные. Поехали!
Теги:
Tags:
Рекомендуется к прочтению
What to read next
ИнтересноеКрипто-хроники: пропавшие миллионы из хранилища полиции, молодые инвесторы в Индонезии и тихий перевод 11 тысяч биткоинов от Tesla

Крипто-хроники на этот раз о статистике по финансовой грамотности молодых жителей Индонезии, тихом переводе 11 тысяч биткоинов от Tesla и одной из самых ...

5/12/2024 15:37
ФинграмотностьКак живет менеджер по работе с клиентами на 500.000 тенге

С каким доходом можно накопить на отпуск мечты или квартиру? Все зависит от того, как вы тратите и накапливаете деньги. DD в очередной раз пошел с вопросами ...

4/12/2024 17:01
НовостиЕЦБ опубликовал второй отчет о внедрении цифрового евро

Европейский центральный банк (ЕЦБ) представил второй отчет о ходе работы над цифровым евро. Этот этап был запущен 1 ноября 2023 года и нацелен на создание основ ...

4/12/2024 16:10

Материалы по теме

писельная стрелка вправо зеленая

Other materials

писельная стрелка вправо зеленая
Революция на Уолл-стрит: Как Reddit-инвесторы и Robinhood потрясли финансовый мир

Все началось с акций GameStop, которые взлетели до небес ...

2/11/2024

Все началось с акций GameStop, которые взлетели до небес благодаря координированным действиям пользователей субреддита WallStreetBets. Хедж-фонды потеряли ...

Кем был Сэм Альтман до OpenAI

Выигравший не так давно Нобелевскую Премию Джеффри Хинтон ...

29/10/2024

Выигравший не так давно Нобелевскую Премию Джеффри Хинтон, заявил, что гордится тем, что Сэма Альтмана уволили. Что? Его снова уволили? Нет.

Что происходит с Intel, компанией, которую знали все

Материал мы начнем с небольшого послания редактора Ника ...

17/10/2024

Материал мы начнем с небольшого послания редактора Ника: Я помню тот момент, когда папа принес домой первый компьютер.

Крипто-хроники: Хомяки, преступники, полицейские и птицы

Что общего у преступников и полицейских, чем занимаются ...

16/10/2024

Что общего у преступников и полицейских, чем занимаются криптодетективы, и кому потребовалось возрождение Flappy Bird, если не его создателю ...

Читать ещеMore

Читайте также

писельная стрелка вправо зеленая
Q&A о курсе доллара – с экспертами и ChatGPT

Мы в DD, как и все казахстанцы, озабочены курсом тенге к доллару (и другим валютам соответственно). Поэтому запросили у экспертов небольшую прогностику.

Мы в DD, как и все казахстанцы, озабочены курсом тенге к доллару (и другим валютам соответственно). Поэтому запросили у экспертов небольшую прогностику.

1/12/2024
Рост цифровых активов в Центральной Азии и на Кавказе: тренды, цифры и перспективы

В 2024 году рынок цифровых активов в Центральной Азии и на Кавказе продолжает демонстрировать устойчивый рост. DigitalDonut получил исследование ...

В 2024 году рынок цифровых активов в Центральной Азии и на Кавказе продолжает демонстрировать устойчивый рост. DigitalDonut получил исследование ...

28/11/2024
Первый пресс-завтрак Digital Donut: не комом, а вполне себе пропеченным пончиком!

26 ноября на территории Libera Restaurant & Terrace Digital Donut официально провел свое первое мероприятие – мы собрали PR-представителей финтех индустрии ...

26 ноября на территории Libera Restaurant & Terrace Digital Donut официально провел свое первое мероприятие – мы собрали PR-представителей финтех индустрии ...

4/12/2024
Новости недели: тестирование единого QR-кода, регулирование крипторынка и налоговые льготы

В Казахстане стартовало тестирование единого QR-кода, а Ozon увеличил оборот в стране в 2,3 раза за год. В Узбекистане запущен процессинговый центр TBC ...

В Казахстане стартовало тестирование единого QR-кода, а Ozon увеличил оборот в стране в 2,3 раза за год. В Узбекистане запущен процессинговый центр TBC ...

24/11/2024
Читать ещеMore