多模态数据支持离线cpu packing

[llp1992]

Describe the feature
多模态数据支持离线cpu packing，用于加速mllm的大规模训练

[Jintao-Huang]

https://github.com/modelscope/ms-swift/blob/main/examples/export/cached_dataset/vlm.sh

[llp1992]

https://github.com/modelscope/ms-swift/blob/main/examples/export/cached_dataset/vlm.sh

这个不能支持packing：https://github.com/modelscope/ms-swift/blob/main/swift/llm/argument/export_args.py#L121-L126

[Jintao-Huang]

packing是在训练时做的
主要花时间的地方是tokenize，不是packing

[Jintao-Huang]

load_from_cache_file true 可以读取缓存

[llp1992]

load_from_cache_file true 可以读取缓存

@Jintao-Huang 这个读取的是哪里的缓存？看cached_dataset的使用案例里没看到这个参数：https://github.com/modelscope/ms-swift/blob/main/examples/export/cached_dataset/sft.sh#L8C20-L17

另外packing和padding_free哪个效率更高，更推荐哪个呢？

[llp1992]

@Jintao-Huang 另外packing，如果在训练时打开，数据量大的时候，启动的时候会等待很长时间。