The subject of this thesis is the problem of paraphrase detection (semantic similarity recognition) for language with low amount of data (Spanish) using transfer learning from the model for another language with more data (English). Models are based on recurrent neural networks; simple linear architecture is used. Experiment described are connected with choosing of the best unit for recurrent layer, training models for English and Spanish, adapting English model for paraphrase detection in Spanish and comparison of retrained English model with Spanish model.
Keywords: semantic similarity, paraphrase recognition, paraphrase detection, natural language processing, neural networks, transfer learning.
Предметом даної дипломної роботи є проблема виявлення парафраз (розпізнавання семантичної подібності) для мови з низьким обсягом даних (іспанська) з використанням перенесення навчання (transfer learning) з моделі для іншої мови з більшою кількістю даних (англійська). Моделі засновані на рекурентних нейронних мережах; використовується проста лінійна архітектура. Описані експерименти пов'язані з вибором найкращого блоку для рекурентного шару, навчальнням моделей для англійської та іспанської мови, адаптацією англійської моделі для виявлення парафраз іспанською мовою та порівняння перекваліфікованої англійської моделі з іспанською моделлю.
Ключові слова: сементична подібність, розпізнавання парафраз, детекція парафраз, обробка природньої мови, нейронні мережі, перенесення навчання
Tematem niniejszej pracy jest problem detekcji parafraz (wykrywanie podobieństwa semantycznego) dla języka o małej ilości danych (j. hiszpański) przy użyciu metodyki transfer learning z modelu dla innego języka z większą ilością danych (j. angielski). Modele oparte są na rekurencyjnych sieciach neuronowych; stosowana jest prosta architektura liniowa. Opisane eksperymenty związane są z wyborem najlepszej jednostki dla warstwy rekurencyjnej, modelami wytrenowanymi dla języka angielskiego oraz hiszpańskiego, dostosowaniem modelu dla języka angielskiego do wykrywania parafraz w języku hiszpańskim i porównaniu adaptowanego modelu angielskiego z modelem hiszpańskim.
Słowa kluczowe: podobieństwo semantyczne, rozpoznawanie parafraz, przetwarzanie języka naturalnego, sieci neuronowe, transfer learning.