-
Notifications
You must be signed in to change notification settings - Fork 56
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
[KLUE-YNAT] (TC)에서 dev 셋이 누락되었습니다 #44
Labels
Comments
singleheart
assigned DSKSD, inmoonlight, monologg, myeon9h, songys, SungjoonPark and warnikchow
May 25, 2023
singleheart
changed the title
YNAT (TC)에서 dev 셋이 누락되었습니다
[KLUE-YNAT] (TC)에서 dev 셋이 누락되었습니다
May 25, 2023
#38 (comment) 코멘트를 보면 오버피팅을 방지하기 위해 테스트셋을 공개하지 않는다고 하셨네요. 이 정책은 이해했습니다. 그렇다면 현재 공개된 데이터셋이 dev셋이고 test셋이 비공개이니, https://klue-benchmark.com/tasks/66/data/description 표에서 dev와 test 열의 데이터 분량을 맞바꾸어 주어야 하겠습니다 |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Description
안녕하세요, https://klue-benchmark.com/tasks/66/data/description 표를 보면 YNAT에는 train, dev, test 셋이 있는데요,
https://klue-benchmark.com/tasks/66/data/download에서 https://aistages-prod-server-public.s3.amazonaws.com/app/Competitions/000066/data/ynat-v1.1.tar.gz 파일을 받아서 압축을 풀어 보면
ynat-v1.1_dev.json
이라는 파일이 있는데, 개수를 세어 보면 위 표의 test셋과 개수가 같습니다. 표를 수정해야 할 것 같습니다.The text was updated successfully, but these errors were encountered: