Skip to content

异常检测结果复现对不上 #759

@FireAngelx

Description

@FireAngelx

thuml/Anomaly-Transformer#14
这个我也看了之前Anomaly Transformer的解释,大概能理解指标有变动的原因,但是横向对比几篇论文,指标完全对不上。比如Anomaly Transformer那篇,五个数据集Pre Rec F1全在90以上,到TimesNet这篇论文上已经完全不行了。评测方式有改动可以理解,但是还是希望给出某个指标值是怎么算出来的,很多论文指向仓库都是这个,但是脚本复现的结果似乎完全对不上,环境是按照requirement.txt配置的,使用scripts/AD下面的脚本,甚至普通Transformer的指标比Autoformer和FEDformer的都要高,我自己搓了一个头用DataEmbedding,中间两层Linear的简单模型,训练后测试下来结果也比Autoformer和FEDformer要好。
测下来只有TimesNet的结果和论文中是基本一致的。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions