| Название исследуемой задачи | Анализ смещения распределений при использовании сравнительного подхода в обучении представлений данных |
| Тип научной работы | ВКР |
| Автор | Мария Александровна Никитина |
| Научный руководитель | кандидат ф.-м. наук, Исаченко Роман Владимирович |
Контрастное обучение – распространённый подход в сфере обучения без учителя. Данный метод заключается в попарном сравнении представлений объектов выборки для восстановления распределения в пространстве представлений. При этом похожие представления находятся близко, а отличающиеся – далеко. Однако исходное распределение и способ порождения данных неизвестны, а функции потерь имеют несколько локальных минимумов, не все из которых соответствуют истинному распределению. В данной работе в качестве решения таких проблем приводятся функции потерь, устраняющие смещение распределений вследствие наличия ложноотрицательных и ложноположительных пар в разметке. Предлагается несмещённая модель контрастного обучения, исследуются её свойства. Качество полученного представления оценивается в задаче классификации и в задаче VQA, для которых предложенная модель показала результат лучше, чем модель, не учитывающая смещение. Также проводится эксперимент на искусственной выборке из двумерного пространства, в котором проверяется качество восстановления исходного распределения предложенной моделью.
- A python code with all implementation
here <https://github.com/intsystems/Nikitina-BS-Thesis/blob/master/code>_. - A code with base experiment
here <https://github.com/intsystems/Nikitina-BS-Thesis/blob/master/code/Base.ipynb>. Can usecolab <http://colab.research.google.com/github/intsystems/Nikitina-BS-Thesis/blob/master/code/Base.ipynb>.