请问多久可以支持Qwen3-VL

[Henry-Lee-real]

Qwen3-VL所适配的Transform版本的数据加载函数与现有函数接口不适配，求更新

[sleepyshep]

+1

[Henry-Lee-real]

我魔改了一下，在Transformer里面的trainer里面取消了sample_fn的传参，并且禁用了为了弥补flash_attention的monkey函数，现在在训练前卡住了

[sleepyshep]

我魔改了一下，在Transformer里面的trainer里面取消了sample_fn的传参，并且禁用了为了弥补flash_attention的monkey函数，现在在训练前卡住了

请问修改成功了吗？请问transformer版本您是如何解决的？Qwen3-VL要求transformer>=5.0，但VLM-R1使用的open-r1要求transformers==4.49.0
open-r1 0.1.0.dev0 requires transformers==4.49.0, but you have transformers 5.0.0.dev0 which is incompatible.

[Henry-Lee-real]

transformers==4.57.0 我直接安转的这个，然后我改了 Transformers原码中trainer.py 1140行的sampler_fn 取消去了传参，使用self.train_datasets内容（与grpo_trainer.py继承的原码的修改一致）其他的我还把所有的函数加载改为了Qwen3VL，取消了monkey_patch_qwen2_5vl_forward()这个函数。目前可以运行到训练中tqdm一步，有loss但是模型不更新

[sleepyshep]

感谢！打算先换ms-swift了

[zhangxgu]

我魔改了一下，在Transformer里面的trainer里面取消了sample_fn的传参，并且禁用了为了弥补flash_attention的monkey函数，现在在训练前卡住了

我也改了这个，但是在rollout的时候发生报错：
File "/ossfs/workspace/VLM_R1/src/open-r1-multimodal/src/open_r1/trainer/grpo_trainer.py", line 594, in _generate_and_score_completions
[rank10]: generate_returned_result = unwrapped_model.generate(
/usr/local/lib/python3.12/dist-packages/transformers/generation/utils.py", line 2830
next_tokens = torch.multinomial(probs, num_samples=1).squeeze(1)

[rank10]: torch.AcceleratorError: CUDA error: device-side assert triggered
[rank10]: Compile with TORCH_USE_CUDA_DSA to enable device-side assertions.
看着像是sample的时候数组越界了？

[wangDx1221]

所以现在支持qwen3-vl了嘛？