LazyLLMDataset不支持binpacking，是有什么特殊限制吗？

[kehuanfeng]

看到LazyLLMDataset没有加packing的支持，请问是有什么考虑吗？

        if args.lazy_tokenize:
            train_dataset = LazyLLMDataset(
                train_dataset, template.encode, strict=args.strict, random_state=args.data_seed)
            if val_dataset is not None and not args.predict_with_generate:
                val_dataset = LazyLLMDataset(
                    val_dataset, template.encode, strict=args.strict, random_state=args.data_seed)
        else:
            preprocessor_cls = PackingPreprocessor if args.packing else EncodePreprocessor
            preprocessor = preprocessor_cls(template=template)
            train_dataset = preprocessor(train_dataset, num_proc=args.dataset_num_proc, strict=args.strict)
            if val_dataset is not None and not args.predict_with_generate:
                val_dataset = preprocessor(val_dataset, num_proc=args.dataset_num_proc, strict=args.strict)

[Jintao-Huang]

packing会使得len(dataset)的长度减少

你试试用--streaming true吧

[kehuanfeng]

packing会使得len(dataset)的长度减少

你试试用--streaming true吧

streaming+packing有些小问题，解决之后，确实可以工作，但是速度慢很多（可能是因为streaming不支持多路加载的原因）