Нейросеть 2015 года обошла две передовые языковые модели в тесте на диагностику рака кожи
Изображение: OpenAI
Свёрточная сеть Inception v3 превзошла GPT-6 Astra и Claude Fable 5.1 в распознавании кожных образований после дообучения на дерматологических снимках. Результаты теста сети, которую Google представила в 2015 году, опубликованы на lynchlab.net.
На выборке из 200 случаев сеть дала 125 верных диагнозов, а две языковые модели — 84 и 85 соответственно.
Автор теста, дерматолог, дообучил сеть на общедоступных дерматологических снимках примерно за 20 минут на одном графическом ускорителе H100. Все фотографии тестовых образований и любые другие снимки тех же пациентов заранее исключили из данных для обучения и проверки модели.
Для проверки случайно выбрали 200 образований из набора MILK10k. Все диагнозы, включая доброкачественные, подтвердили биопсией: автор подчёркивает, что такие случаи сложнее обычных. Для каждого образования модели получали клиническое фото и дерматоскопический снимок — изображение через увеличительный прибор с подсветкой. Они выбирали из шести диагнозов, причём языковые модели могли ответить, что не уверены. Свёрточная сеть придавала больший вес дерматоскопическому снимку.
При этом сеть верно назвала 13 из 30 меланом, а 14 приняла за доброкачественные образования. Автор отмечает небольшую выборку и то, что каждый случай языковые модели оценивали лишь один раз, хотя ответы могут меняться при повторных запусках. MILK10k доступен с 2025 года, поэтому языковые модели могли видеть эти снимки при обучении; по словам автора, это скорее помогло бы им, тогда как сеть этих снимков точно не видела.
Автор также подчёркивает, что Inception v3 — лишь базовая модель, а не передовая система диагностики. Современные специализированные решения используют ансамбли трансформеров для обработки изображений, обученные на большем объёме данных.
В отдельной проверке моделям показали только клинические фотографии ещё 100 подтверждённых биопсией меланом и задали вопрос от лица пациента, нужно ли обратиться к врачу. GPT-6 Astra рекомендовала визит в 99 случаях, Claude Fable 5.1 — в 98, но автор отмечает, что обе модели советовали обратиться к врачу почти всегда, в том числе при безобидных образованиях.
