Оценка «вредных советов» от моделей: тестовые наборы, шкалы риска и процедура отклонения

Почему «вредные советы» от ИИ стали большой проблемой

ИИ уже везде. В любом бизнесе. Но я уверен, что нужно обратить особое внимание на то, что происходит в финансовой сфере, в мире денег. Это очень важно, так как если там ошибки от ИИ будут накапливаться, то это грозит не только финансовыми проблемами на уровне той или иной страны, но может затронуть в целом мировую экономику.

Ведь капиталы на самом деле намного более глобальны, чем иногда кажется. Современные социальные сети, интернет в целом ведут к тому, что даже малейший намёк на кризис с очень большой скоростью отражается на настроениях инвесторов повсюду, что сказывается на поведении рынков.

Тот же феноменальный рост цен на золото (традиционный защитный актив), который все наблюдали в 2025 году с продолжением в январе этого года, вместе с удорожанием классических для промышленности металлов как серебро, платина, палладий, олово, алюминий и медь является тем парадоксом, который так и не нашёл объяснения в экспертном сообществе.

Но ответ очевиден: чем больше трейдинга отдаётся на откуп ИИ-моделям, тем больше таких «оригинальных» вещей мы будем видеть. Пока все только дивятся, но одновременный рост цен на металлы, которые нужны буквально в десятках килограммов для каждого электромобиля, в сотнях — для дата-центров — это уже ситуация, близкая к катастрофе.

Никакие инновации в мире не могут развиваться, когда так дорого стоят ключевые металлы для них. Обычно, если какой-то фактор производства очень дорогой (например, энергия), то это стимулирует инновации. Но сейчас и энергия, за исключением нефти и газа (ещё один «привет» от ИИ-моделей по трейдингу), также идёт вверх, как и металлы.

Вместе с подорожавшими металлами с рыночной точки зрения на развитии инноваций можно ставить крест, только если не увеличивать роль плановых методов в экономике, что собственно говоря и происходит в мире, и к чему толкают указанные ошибки в ИИ-моделях трейдеров.

Регуляторы в мире уже догадываются, что с ИИ не всё так просто. Но пока что внимание больше всего, если говорить про мир финансов, фокусируется на более рядовых проблемных моментах: например, на возникновении искажений в процессе выдачи кредитов из-за применения ИИ в скоринге.

Кстати, в России уже фиксируется очень огромный рост отказов по заявкам на кредиты со стороны банков — как от физлиц, так и юрлиц. Просто ужесточением требований ЦБ РФ к кредитным организациям и высокой ключевой ставкой происходящее уже невозможно объяснить.

Всё это указывает на то, что применение ИИ в банках привело к росту отказов в выдаче кредитов нередко даже тогда, когда, при проверке человеком, выясняется, что их можно было предоставить.

Однако, резкое сокращение кредитной активности в экономике, даже за уровень, предполагаемый при высокой ключевой ставке — это уже неприятный макроэкономический эффект.

И если в кредитной активности сейчас ИИ «закручивает гайки», то где-то в другой сфере их может недокрутить.

Стабильная работа ИИ всё ещё остаётся недостижимой мечтой человечества. Нейросети и ИИ-помощники галлюцинируют.

Нужно думать и о ментальном состоянии работников. Понятно, что ИИ будет всё больше неотъемлемой частью жизни большинства в мире, в том числе с применением специальных очков со встроенной функцией нейросети. Однако, уже есть примеры, когда нейросети вызывают серьёзные проблемы с метальным состоянием у некоторых пользователей ИИ.

Вайб-кодинг и «вредные советы»

Универсальная головная боль для всех компаний из всех отраслей сейчас в плане «вредных советов» от ИИ-моделей — это вайб-кодинг. Когда в итоге всё больше не только не ИТ-специалистов, но и ИТ-специалисты создают на гора приложения, софт, а в итоге получается целый ряд проблем.

1) вайб-кодинг поглощает большое время, которое могло бы быть потрачено на более важные задачи (например, на личное взаимодействие с клиентом, а не на передачу общения с ним ИИ-чат-боту)

2) вайб-кодинг и относительная лёгкость создания кода порождает вал приложений и софта, который становится избыточным для операционных процессов организации.

Например, чтобы записать важные заметки достаточно одной ручки и бумаги. Если же вам предлагается набор из 100 ручек, да и ещё с разными функциями, которые должны быть освоены при том, что в 99% случаев работы организации они не нужны, то весь нормальный процесс работы организации стопорится.

3) вайб-кодинг создает коды, в которых много уязвимостей с точки зрения кибербезопасности. Причём при дальнейшем усложнении возможностей вайб-кодинга, человеческим экспертам нужно тратить всё больше времени на проверку.

Также уже есть случаи, что по каким-то причинам нейросети начинают «играть» с вайб-кодером, прописывая в коде странные строчки или создавая скрытые уязвимости, которые могут сыграть дурную шутку потом. Вот такие «вредные советы» создают стратегические проблемы для компании, и это если говорить лишь про вайб-кодинг.

Что делать?

Для финансового бизнеса нейросети уже вышли далеко за рамками хайпа. Это — отрасль №1 в мире по принятию ИИ, но от этого масса проблем, которые были заметны ещё 10 лет назад, когда только внедрялись элементы этой новой технологии.

Годы работы с этой технологией привели к накоплению у специалистов понимания, где больше всего ИИ спотыкается и выдаёт «вредные советы». Все эти данные хранятся как зеница ока, так как доверять разработку тестовых наборов для ИИ самим нейросетям — заранее обречь организацию на ошибку.

Если говорить прямо, то сейчас ИИ подошёл к потолку своего применения в финансовой отрасли. Нейросети, часто незаметно, забирают ценность непосредственных человеческих коммуникаций с клиентом.

Как соцсети превратили общение между людьми в диалог через экран, так и нейросети влияют на общение бизнеса с людьми-клиентами и с другим бизнесом, создают под видом удобства преграду для этого.

Поэтому, все моменты с проблемами в использовании ИИ с точки зрения «вредных советов» я бы поделил на две группы

1. Проблемы в кодинге, сборе, анализе различной информации.

2. Проблемы стратегического подхода, когда даже «идеальный ответ» от ИИ должен быть отвергнут, так как его внедрение помешает устойчивому развитию бизнеса с точки зрения собственников.

Если говорить про первую группу проблем, то здесь уже есть готовые тестовые наборы.

Например, в кодинге с помощью ИИ нужно помнить, что нейросети любят

а) увеличивать код за рамками разумного,

б) забывать то, что делали ранее,

в) удалять старые функции,

г) придумывать несуществующие переменные.

Про вторую группу проблем — это сложное решение, которое заключается в следующем.

Например, портфельные менеджеры тратят без ИИ бывает недели на выуживание нужных финансовых данных о компаниях в интернете.

Исходя из моей практики, нейросети могут убыстрить этот процесс на 80%. Однако, помимо возникающих проблем из группы 1, есть ещё один нюанс: для полного понимания процессов в компаниях, нужно говорить с ответственными за стратегию, а не ориентироваться только на цифры.

«Идеальный» анализ компании от ИИ часто будет повторением азбучных истин, а чтобы раскрыть потенциал компании в глазах инвестора, нужно будет сделать акцент на том, мимо чего пройдут все конкуренты.

В итоге, лучшее решение — это развёртывание собственной корпоративной нейросети и её тестирование ещё до того, как она будет доступна для практического использования в организации. Без этого ИИ будет «чёрным ящиком» с нестабильным результатом.

В практике банков тестовые наборы строят на реальных данных: кредитные истории, сделки, рыночные события. Добавляют экстремальные сценарии — кризисы, резкие изменения процентных ставок.

Как делать наборы? Например, берёте исторические данные за 5–10 лет. Добавляете примеры выдачи и отказа кредитов. Тестируете на отклонение: если ИИ отвергает кредиты по неверным признакам, это «вредный совет».

Всё это — в какой-то мере уже классика, но часто можно видеть большое упущение. Вообще-то, лучше, когда вся эта работа с ИИ, включая тестирование на ошибки, должна быть на блокчейне. Все ходы должны записываться на распределенный реестр, чтобы можно было всегда отмотать назад и понять (и быть уверенным, что так и есть), где именно ИИ пытался дать сбой.

Нет блокчейна — ничего хорошего с применением ИИ не выйдет, если смотреть за горизонт 5 лет. А для бизнеса нет ничего хуже, чем иметь только краткосрочный горизонт планирования.

Что ещё важно? Проблема с данными: они устаревают быстро. В 2025 году очень много было различных изменений в области мировой торговли и финансов, фиксировалось применение различных протекционистских мер.

Решение — обновлять данные как минимум раз в неделю. Чтобы это было удобнее и эффективнее делать, нужно развивать корпоративные нейросети на блокчейне. Не нужна какая-то сторонняя нейросеть — «всезнайка», а должна быть корпоративный ИИ, обученный конкретно под специфику отрасли и натренированный на те задачи, которые являются типовыми для индустрии.

Кроме того, именно корпоративную нейросеть можно максимально обезопасить от взлома извне — как со стороны злоумышленников, так и со стороны недобросовестных корпоративных пользователей.

И этот процесс настройки также лучше полностью замкнуть на корпоративную систему, минимизируя риски при привлечении стороннего аудита для оценки проблемы «вредных советов» от ИИ.

Сторонние провайдеры такой услуги, рынок который стремительно растёт в мире, часто проверяют ИИ с помощью вайб-ИИ, то есть используя нейросети. Там же, где это делает вручную и полностью человек, оказывается, что нужно знать специфику отрасли, чтобы реально оценить, «вреден» или «не вреден» предлагаемый ИИ совет.

При пользовании же компании внешними нейросетями организации приходится доверять решение вопроса аудита на предмет «вредных советов» поставщикам таких ИИ-решений, но не всегда там в этом плане делается всё на 100%. При всём желании, многие поставщики таких решений могут просто не успеть за ростом угроз и купированием уязвимостей, управляя большой ИИ- «всезнайкой».

Шкалы риска и процедура тестирования для «вредных советов» от ИИ

Шкалы риска показывают, насколько совет опасен. Они делят на уровни: от низкого до критического. В финансах часто используют 5–10-балльные шкалы.

В моей практике шкала простая — 10-балльная. Если выше 7 — нужно отказаться от ИИ и полностью перейти на решения человеком.

В чём смысл? Если ниже 7, то человеческий надзор также нужен, то есть особенно, когда нужно предпринимать конкретные шаги, а не просто проводить анализ. Шкалы помогают быстро решать: высокий риск — в ручной режим.

Процедура отклонения — фильтр, который блокирует плохой совет. И опять-таки, вся эта процедура должна быть с применением технологии распределённого реестра.

ИИ — инструмент. С тестами, шкалами и блокчейном он безопасен. Без — крайне рискованно, особенно в финансах: цена ошибки — колоссальна, и измеряется не только в миллиардах и триллионах долларов, а в длительном эффекте.

Парадокс. Многие смотрят на банковские и брокерские компании, и видят, как там всё «в цифре», автоматизированно с помощью в том числе ИИ-помощников. Однако, этот бизнес — один самых человекоцентричных, так как ключевой момент в выстраивании стратегически успешного бизнеса в финансовой сфере — обеспечение человеческого доверия.

И большей ценности в этом смысле, чем налаженные человеческие отношения с клиентами, с внешним и внутренним окружением организации, не даст никакой самый продвинутый ИИ.

Корпоративные ИИ на базе блокчейна — лучшее решение против «вредных советов»

К настоящему моменту накопился большой объём данных, которые являются холодным душем для слишком горячих голов — энтузиастов массовых нейросетей.

ИИ не повышает сильно производительность. Это как в своё время было с персональными компьютерами. Если посмотреть данные Бюро статистики США, то появление персональных компьютеров тоже не улучшило сильно производительность в США: она росла на 2,7% ежегодно с 1947 по 1973 год, но всего на 2,1% между 1990 и 2001, а с 2007 темп прироста упал до 1,5% и сейчас — меньше 1% в год.

ИИ, предназначенный для автоматизации целых задач, тоже выглядит не очень эффективно: когда исследователи из Center for AI Safety протестировали способность ИИ-помощников выполнять текущие задачи, ни одна модель не смогла завершить больше 3% заданий.

Само внедрение нейросетей в операционные процессы, бывает, наносит ущерб отношениям между сотрудниками — это показывает другое исследование: ИИ приводит к тому, что сотрудники сбрасывают низкокачественный результат работы нейросетей, вместе с «вредными советами», ожидая, что кто-то дальше по цепочке отполирует кривые выводы ИИ.

Доклад MIT State of AI in Business 2025 показал, что 95% ИИ-систем в компаниях не дают ощутимого влияния на ключевые финансовые показатели

А Исследование McKinsey Global Survey on AI 2025 продемонстрировало, что 80% компаний не видят отдачи от применения ИИ на уровне организаций.

Но, что важно отметить: все эти данные — это про большие нейросети, нейросети — «всезнайки» и выращенные на базе них ИИ-помощники. Это также касается тех корпоративных ИИ-программ, которые также выстроены на базе уже существующих нейросетей массового использования. И, как я говорил, к сожалению, общий знаменатель почти у всех этих моделей — отсутствие системной работы с ними с применением блокчейна.

Однако, трек развития узкопрофессиональных корпоративных нейросетей, выстроенный с нуля и на блокчейне — иной. Он более тихий, но более надёжный. Затраты на них будут меньше, а экономия средств на обкатке её эффективности по поводу «вредных советов» будет значительнее, учитывая долгосрочный результат их стабильной работы.