ozet.tex

Görsellerde, bulunulması istenmeyen değişik özelliklere sahip bölümler bulunabilmektedir. Bu bölümler eğer söz konusu görsel, fiziksel olarak bulunan bir görsel ise görselin eskimesi sebebiyle oluşmuş olabileceği gibi, dijital bir resimde istenmeyen bir obje veya bölge de olabilir. Görsellerden bu hataların düzeltilmesi veya bu bölümlerin görsellerden çıkartılıp, yerlerinin gerçekçi bir şekilde doldurulmak istenmesi günümüzde araştırma alanı olduğu gibi aynı zamanda ticari bir problemdir. Bu amaca yönelik çok sayıda özelleşmiş araçlar bulunmaktadır ve bu araçların kullanılması profesyonel kullanım da gerektirebilmektedir.

Derin Öğrenme ile Resim Boyama projesinde amaç, resimlerde bulunan ve görsellerden çıkarılan bu bölgeleri dolduran farklı yapıların incelenmesidir. Bu amaç doğrultusunda, bir çok farklı proje, türlerine göre gruplara ayrılmış ve bu gruplardan örnek çalışmalar karşılaştırılmıştır. İncelenmek üzere inpainting yöntemleri geleneksel yöntemler ve derin yöntemler olmak üzere ikiye ayrılmıştır. Çalışmamız sırasında fazla sayıda yöntemden bahsedilmiş olmakla birlikte, karşılaştırma için geleneksel yöntemlerden navier-strokes ve fast-marching yöntemleri seçilmiştir. Derin yöntemler arasından da başarılı sonuçlar verdiği tespit edilen, EdgeConnect, Generative Contextual, Generative Multi-column Convolutional Neural Network ve Deep Image Prior yöntemleri detaylı olarak incelenmek ve gerçeklemek üzere seçilmiştir. Bütün bunlara ek olarak, çalışmamızın sonunda incelemiş olduğumuz farklı tür çalışmalardan ilham alarak gerçeklemeye karar verdiğimiz iki yöntem de incelenmiş ve görsel sonuçlar elde edilmiştir.

Derin yöntemlere örnek olarak seçtiğimiz iki yöntemimiz EdgeConnect ve Generative Contextual, GAN adı verilen ve birbirlerine zıt çalışan iki derin yapay sinir ağı temelli çalışmalardır. EdgeConnect çalışmasında iki aşama bulunmaktadır ve bu iki aşama da bahsedilen GAN yapısını kullanmaktadır. Birinci aşamada girdi olarak alınan görselin eksik bölgelerindeki sınır çizgileri tahmin edilmeye çalışılmakta, ikinci aşamada oluşturulan sınır çizgileri ve maskelenmiş görsel kullanılarak eksik bölgesi doldurulmuş görsel üretilmek istenmektedir. Generative Contextual çalışmasında da GAN kullanan 2 aşama bulunmaktadır. İlk aşamada kabaca maskelenmiş bölge doldurulmakta, ikinci aşamada ise oluşturulan görsel üzerinde, anlam bilgisi elde etmeyi amaçlayan bir katman da kullanılarak iyileştirme çalışmaları yapılmaktadır.

Seçilmiş olan diğer bir derin resim boyama çalışması ise konvolusyon katmanlarını paralel olarak kullanan Generative Multi-column CNN yöntemidir. Bu yöntem girdi olarak aldığı görseli farklı boyutlarda filtreler kullanarak paralel CNN yapılarından geçirir. Ardından görsel üzerindeki farklı seviyede bilgi elde etmeyi sağlayan bu yapılar bir araya getirilir ve sonuç olarak resim boyama işlemi tamamlanmış olur.

Son olarak ayrıntılı incelediğimiz bir diğer yöntem ise Deep Image Prior yöntemidir. Bu yöntem herhangi bir dataset kullanılarak bir model eğitilmesi ihtiyacı olmadan resim boyama işlemini gerçekleştiren bir yöntemdir. Resim boyama dışında süper-çözünürlük ve gürültü giderme gibi uygulamalarda da kullanılabilen bu yöntem çeşitli CNN yapılarını kullanarak iteratif olarak sonuç elde eder. 

Çalışmamız sırasında Pytorch ve Tensorflow derin öğrenme kütüphaneleri kullanılmıştır. Özellikle derin yöntemlerin eğitilmesi ve test aşaması için ciddi işlem gücü gerekmesi sebebiyle çalışmalarımız ekran kartı üzerinde çalıştırılmıştır. Çalışmalarımızın sonucunda, testlerini gerçeklediğimiz farklı çalışmalar örnek görsellerle birlikte, PSNR ve SSIM değerleri üzerinden karşılaştırılmış ve sunulmuştur.