2023/02/10

Author: rosinality

README.md

@@ -1,5 +1,5 @@
-https://arxiv.org/abs/2007.08103
-
-Probabilistic Anchor Assignment with IoU Prediction for Object Detection (Kang Kim, Hee Seok Lee)
-
+https://arxiv.org/abs/2007.08103
+
+Probabilistic Anchor Assignment with IoU Prediction for Object Detection (Kang Kim, Hee Seok Lee)
+
 앵커 부여 문제. 확률적이고, 모델의 학습 과정에 adaptive하고 특별한 threshold가 없는 방법을 추구. cls/loc loss를 사용해 앵커에 스코어를 부여하고 그 스코어들에 gmm(!)을 피팅해서 pos/neg를 분리함. 앵커 부여가 이렇게 어렵습니다. #object_detection #anchor #1stage

papers/2020/200715 Probabilistic Anchor Assignment with IoU Prediction for Object Detection.md

@@ -1,5 +1,5 @@
-https://arxiv.org/abs/2008.04254
-
-Informative Dropout for Robust Representation Learning: A Shape-bias Perspective (Baifeng Shi, Dinghuai Zhang, Qi Dai, Zhanxing Zhu, Yadong Mu, Jingdong Wang)
-
+https://arxiv.org/abs/2008.04254
+
+Informative Dropout for Robust Representation Learning: A Shape-bias Perspective (Baifeng Shi, Dinghuai Zhang, Qi Dai, Zhanxing Zhu, Yadong Mu, Jingdong Wang)
+
 cnn에서 texture bias를 억제하고 shape에 집중하게 만들기. 패치 근방의 패치들을 사용해서 self information을 계산하고 self information이 낮은 패치를 dropout으로 억제. texture는 반복되는 경향이 있으므로 이렇게 계산된 self information이 낮을 것이라는 아이디어. #robustness

papers/2020/200810 Informative Dropout for Robust Representation Learning.md

@@ -1,3 +1,3 @@
-https://arxiv.org/abs/2203.15221
-
+https://arxiv.org/abs/2203.15221
+
 Few Could Be Better Than All: Feature Sampling and Grouping for Scene Text Detection (Jingqun Tang, Wenqing Zhang, Hongye Liu, MingKun Yang, Bo Jiang, Guanglong Hu, Xiang Bai)

papers/2022/220329 Few Could Be Better Than All.md

@@ -0,0 +1,3 @@
+https://arxiv.org/abs/2205.05131
+
+UL2: Unifying Language Learning Paradigms (Yi Tay, Mostafa Dehghani, Vinh Q. Tran, Xavier Garcia, Jason Wei, Xuezhi Wang, Hyung Won Chung, Dara Bahri, Tal Schuster, Huaixiu Steven Zheng, Denny Zhou, Neil Houlsby, Donald Metzler)

papers/2022/220510 UL2.md

@@ -0,0 +1,3 @@
+https://arxiv.org/abs/2208.09225
+
+FP8 Quantization: The Power of the Exponent (Andrey Kuzmin, Mart Van Baalen, Yuwei Ren, Markus Nagel, Jorn Peters, Tijmen Blankevoort)

papers/2022/220819 FP8 Quantization.md

@@ -1,5 +1,3 @@
 https://arxiv.org/abs/2209.05433
 
-FP8 Formats for Deep Learning (Paulius Micikevicius, Dusan Stosic, Neil Burgess, Marius Cornea, Pradeep Dubey, Richard Grisenthwaite, Sangwon Ha, Alexander Heinecke, Patrick Judd, John Kamalu, Naveen Mellempudi, Stuart Oberman, Mohammad Shoeybi, Michael Siu, Hao Wu)
-
-tesla dojo가 configurable fp8을 썼던가요? 이 정도 low precision으로 어디까지 가능할지 궁금하네요.
+FP8 Formats for Deep Learning (Paulius Micikevicius, Dusan Stosic, Neil Burgess, Marius Cornea, Pradeep Dubey, Richard Grisenthwaite, Sangwon Ha, Alexander Heinecke, Patrick Judd, John Kamalu, Naveen Mellempudi, Stuart Oberman, Mohammad Shoeybi, Michael Siu, Hao Wu)

papers/2022/220912 FP8 Formats for Deep Learning.md

@@ -0,0 +1,7 @@
+https://arxiv.org/abs/2210.01820
+
+MOAT: Alternating Mobile Convolution and Attention Brings Strong Vision Models (Chenglin Yang, Siyuan Qiao, Qihang Yu, Xiaoding Yuan, Yukun Zhu, Alan Yuille, Hartwig Adam, Liang-Chieh Chen)
+
+inverted bottleneck cnn block + attention block이라는 약간 고전적인 맛도 나는 아이디어에 self attention을 window attention으로 바꾼다는 트릭을 결합해서 downstream task에 적용했네요. 스코어는 꽤 인상적입니다.
+
+#backbone #transformer 

papers/2022/221004 MOAT.md

@@ -0,0 +1,7 @@
+https://arxiv.org/abs/2210.02849
+
+XDoc: Unified Pre-training for Cross-Format Document Understanding (Jingye Chen, Tengchao Lv, Lei Cui, Cha Zhang, Furu Wei)
+
+1d pos embed로 일반적인 텍스트에 대한 mlm + 2d pos embed로 ocr text에 대한 mlm + xpath embed로 웹 문서에 대한 mlm으로 학습시켜서 세 종류 문서에 대한 대응이 가능하게 만들었군요. 그런데 ocr text에 대한 베이스라인은 layoutlm v1을 가져온 것 같네요. 텍스트하고 2d pos embed만 써서인지.
+
+#layoutlm #mlm 

papers/2022/221006 XDoc.md

@@ -0,0 +1,7 @@
+https://arxiv.org/abs/2210.04847
+
+NerfAcc: A General NeRF Acceleration Toolbox (Ruilong Li, Matthew Tancik, Angjoo Kanazawa)
+
+instant-ngp 같은 초고속 nerf 프레임워크들이 보여주는 효율성이 놀랍긴 한데 전체가 통짜로 cuda 커널이라 다루기가 힘들었죠. 이 부분에 대해 파이토치 인터페이스를 만드는 작업을 했네요. 써보기 훨씬 나아질 듯 합니다.
+
+#nerf