Машинное обучение, по-английски machine learning придумано как метод самообучения компьютеров в 1959 году Артуром Самуэлем. Им же было дано столь не репрезентативное название этому методу. Суть метода в том, что программируется не программа решения задач, а алгоритм обучения в процессе применения решений множества сходных задач. Для построения таких методов используются средства математической статистики, численных методов, методов оптимизации, теории вероятностей, теории графов, различные техники работы с данными в цифровой форме.
За 60 лет применения этого метода в современной как бы физики с его помощью было сделано множество «открытий» в разных её областях. Очень частая не воспроизводимость результатов таких открытий обычно не смущала авторов.
Но нашлись, наконец, скептики. На научной конференции American Association for the Advancement of Science в Вашингтоне статистик из Университета Райса, Дженевера Аллен, высказала серьезное предупреждение, что ученые используют алгоритмы машинного обучения для поиска паттернов в данных даже тогда, когда алгоритмы сосредотачиваются на шуме, который невозможно воспроизвести в повторном эксперименте.
“На сегодня у науки есть осознание кризиса воспроизводимости, – говорит Аллен. – Я бы даже рискнула утверждать, что большая его часть связана с применением техник машинного обучения в науке”.
Согласно словам Аллен, проблема может возникнуть, когда ученые соберут большой объем данных, а затем для выявления кластеров схожих профилей воспользуются алгоритмами машинного обучения, которые они просто не понимают.
“Часто такие исследования не выглядят неточными, пока не будет выпущен следующий очень крупный набор данных, к которому кто-то снова применит эти техники, и не скажет: “Боже мой, результаты этих двух исследований не совпадают””, – продолжает Аллен.
Она также утверждает, что проблема с машинным обучением в том, что оно ищет закономерности даже там, где их нет и в помине. (Наглядный пример выявление в простом шуме неких паттернов объявленных «гравитационными волнами».)
Аллен, обученная психологами быть позитивисткой всегда и во всём, предполагает, что в будущем решением станут алгоритмы нового поколения, которые будут лучше справляться с оценкой надежности генерируемых ими же предсказаний. (Отсылка в будущее, непременно светлое, важный приём из арсенала лженауки психологии.)
“Вопрос в том, можем ли мы действительно доверить совершаемые сегодня открытия применению техник машинного обучения к большим наборам данных? – говорит Аллен. – Во многих случаях ответ, скорее всего, будет следующим: “Не без перепроверки”, – но уже ведутся работы над системами машинного обучения нового поколения, которые оценят неточность и воспроизводимость их предсказаний”.