Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

简易版本复现问题 #66

Open
luckin99 opened this issue May 14, 2023 · 5 comments
Open

简易版本复现问题 #66

luckin99 opened this issue May 14, 2023 · 5 comments

Comments

@luckin99
Copy link

您好！阅读了你们的LD，真是非常impressive的工作！我最近在尝试mmrazor的框架下复现LD。我发现LD的蒸馏直接写进了head里，我希望实现一个简易版的LD，即我直接取出网络的分类头输出的大小为NCHW的cls map，然后转化为（-1，80）类的logits，直接对选出logit进行分类蒸馏，然后再进一步完成对reg map蒸馏，但结果差强人意。分类头输出的是NCHW的map，无论我是用bce loss和kl loss，都没有出现比较好的结果。能问下您这边有类似这种实现方法的尝试或者参考经验吗 十分感谢！
@HikariTJU
Copy link
Owner

image
在我们的实验里，分类蒸馏结果也一般

@luckin99
Copy link
Author

我就是希望在这上面进行一些改进，大佬能给些参考的代码或者你在实现这部分代码时的参考吗

@luckin99
Copy link
Author

发现比较难做一个各种检测器通用的方法

@HikariTJU
Copy link
Owner

代码都在都在这个repo里呀，ld_head.py 和 kd_loss.py

@HikariTJU
Copy link
Owner

发现比较难做一个各种检测器通用的方法

通用的是很难做的，因为各个检测器都有一些不一样的结构

真正通用的话你可能得去改mmcv的trainer

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
2 participants
@HikariTJU @luckin99