Метод оценки неопределенности в машинном обучении разработали в России
Исследователи из России теоретически обосновали простой и вычислительно легкий метод оценки неопределенности для стохастического градиентного спуска. Как сообщила пресс-служба НИУ ВШЭ, открытие позволит уменьшить количество ресурсов, затрачиваемых на работу данных форм ИИ.
В сообщении говорится, что математическое доказательство позволяет пересмотреть отношение к простым эмпирическим методам оценки точности в машинном обучении. Разработчики смогут получать надежные оценки неопределенности быстрее и с меньшими вычислительными затратами. Это особенно важно в областях, где критично знать не только предсказание, но и степень уверенности в нем: в медицине, финансах и автономных системах.
Ученые отметили, что различные формы алгоритмов градиентного спуска широко применяются при решении задач оптимизации и для создания классических систем машинного обучения, не использующих нейросети. Поскольку эти алгоритмы используют элементы случайности, важной характеристикой их решений является доверительный интервал — диапазон, в котором с высокой вероятностью находится истинное решение.
Традиционные способы построения таких интервалов требуют сложных статистических оценок, в частности явной оценки предельной ковариационной матрицы решения. Это может быть дорого с точки зрения затрат времени и ресурсов или давать неточные оценки. Российские и зарубежные ученые заинтересовались тем, можно ли решить задачу при помощи простых математических подходов, не требующих повторного обучения модели и сложных вычислений.
Младший научный сотрудник Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ Марина Шешукова пояснила, что подобные методы уже применялись на практике и часто показывали лучшие результаты по сравнению с альтернативами. Исследователи хотели понять причину этого эмпирического преимущества и смогли дать ему строгую математическую интерпретацию.
Получение доказательства применимости этого подхода, а также выявленные учеными рамки его применимости помогут улучшить работу большого числа систем машинного обучения, использующих алгоритмы стохастического градиентного спуска. Как подытожили исследователи, это упростит и удешевит решение многих оптимизационных задач.