Add and update kernel for Wan

[gjsheu]

Descirption

Use the number of physical cores as grid[0] and perform calculations within a loop inside each core to reduce kernel launch overhead caused by excessive block sizes. Use autotune to find the optimal block_size so users don't have to pass it as a parameter manually.

Performance

We observed an average end-to-end (E2E) performance improvement of 4.4%, with even more significant gains in scenarios where TP (Tensor Parallelism) exceeds SP (Sequence Parallelism)

类型	跑测命令	die数	tp	sp	模型	帧数	迭代次数	像素	是否开启Dit-Cache	E2E-before	E2E-after	优化比例
自测用例	export ASCEND_RT_VISIBLE_DEVICES=4,5,6,7,8,9,10,11 export PYTHONPATH=/home/wan/sglang/python:$PYTHONPATH export SGLANG_CACHE_DIT_FN=2 export SGLANG_CACHE_DIT_BN=1 export SGLANG_CACHE_DIT_WARMUP=4 export SGLANG_CACHE_DIT_RDT=0.4 export SGLANG_CACHE_DIT_MC=4 export SGLANG_CACHE_DIT_TAYLORSEER=true export SGLANG_CACHE_DIT_TS_ORDER=2 export SGLANG_CACHE_DIT_ENABLED=true sglang generate --model-path /home/weights/Wan2.2-T2V-A14B-Diffusers/ \                 --prompt "视频始于一个室内篮球场，镜头以中景跟拍一位身穿红色无袖球衣、黑色短裤的运动员。他正压低重心，用右手快速运着一颗橙色的篮球，篮球在抛光处理过的木质地板上发出有节奏的撞击声，地板上清晰可见白色的三分线和罚球区标线。在他面前，一位身穿蓝色球衣的防守队员张开双臂，>试图阻挡他的前进路线。进攻球员突然做一个交叉步变向，从防守队员的右侧突破，镜头平移紧密跟随他的移动。突破后，他向前运球两步，在罚球线附近急停，双腿弯曲，猛然向上跃起。摄像机视角随之略微上仰，捕捉到他在空中舒展身体，右手将篮球托举过头顶，手腕发力将球投出，整个身体形成一个张满的弓形。>在这一瞬间，背景中的观众席和球场其他区域呈现出浅景深效果，被虚化处理，所有焦点都集中在运动员和篮球上。镜头继续跟随篮球的飞行轨迹，只见橙色的球体在明亮的室内灯光下旋转着，在空中划出一道完美的弧线，精准地穿过篮筐中心，白色的篮网因篮球的穿过而剧烈晃动。球员落地后，他转身面向镜头，脸上>露出兴奋的表情，他紧握右拳举向空中，张开嘴做出一个无声呐喊的庆祝姿态，整个过程镜头紧密跟随主体，没有切换" \                 --height 480 --width 832 --tp-size 2 --sp-degree 4 --num-gpus 4 \                 --num-inference-steps 10 --num-frames 40 --adjust-frames false --port 8015 --warmup	8	2	4	wan2.2-T2V	81	10	480*832	是	15.36	15.04	0.02083333
自测用例	export ASCEND_RT_VISIBLE_DEVICES=4,5,6,7 export PYTHONPATH=/home/wan/sglang/python:$PYTHONPATH export SGLANG_CACHE_DIT_FN=2 export SGLANG_CACHE_DIT_BN=1 export SGLANG_CACHE_DIT_WARMUP=4 export SGLANG_CACHE_DIT_RDT=0.4 export SGLANG_CACHE_DIT_MC=4 export SGLANG_CACHE_DIT_TAYLORSEER=true export SGLANG_CACHE_DIT_TS_ORDER=2 export SGLANG_CACHE_DIT_ENABLED=true sglang generate --model-path /home/weights/Wan2.2-T2V-A14B-Diffusers/ \                 --prompt "视频始于一个室内篮球场，镜头以中景跟拍一位身穿红色无袖球衣、黑色短裤的运动员。他正压低重心，用右手快速运着一颗橙色的篮球，篮球在抛光处理过的木质地板上发出有节奏的撞击声，地板上清晰可见白色的三分线和罚球区标线。在他面前，一位身穿蓝色球衣的防守队员张开双臂，>试图阻挡他的前进路线。进攻球员突然做一个交叉步变向，从防守队员的右侧突破，镜头平移紧密跟随他的移动。突破后，他向前运球两步，在罚球线附近急停，双腿弯曲，猛然向上跃起。摄像机视角随之略微上仰，捕捉到他在空中舒展身体，右手将篮球托举过头顶，手腕发力将球投出，整个身体形成一个张满的弓形。>在这一瞬间，背景中的观众席和球场其他区域呈现出浅景深效果，被虚化处理，所有焦点都集中在运动员和篮球上。镜头继续跟随篮球的飞行轨迹，只见橙色的球体在明亮的室内灯光下旋转着，在空中划出一道完美的弧线，精准地穿过篮筐中心，白色的篮网因篮球的穿过而剧烈晃动。球员落地后，他转身面向镜头，脸上>露出兴奋的表情，他紧握右拳举向空中，张开嘴做出一个无声呐喊的庆祝姿态，整个过程镜头紧密跟随主体，没有切换" \                 --height 480 --width 832 --tp-size 4 --sp-degree 1 --num-gpus 4 \                 --num-inference-steps 10 --num-frames 40 --adjust-frames false --port 8015 --warmup	8	4	2	wan2.2-T2V	81	10	480*832	是	18.34	16.56	0.09705562
自测用例	export ASCEND_RT_VISIBLE_DEVICES=4,5,6,7 export PYTHONPATH=/home/wan/sglang/python:$PYTHONPATH export SGLANG_CACHE_DIT_FN=2 export SGLANG_CACHE_DIT_BN=1 export SGLANG_CACHE_DIT_WARMUP=4 export SGLANG_CACHE_DIT_RDT=0.4 export SGLANG_CACHE_DIT_MC=4 export SGLANG_CACHE_DIT_TAYLORSEER=true export SGLANG_CACHE_DIT_TS_ORDER=2 export SGLANG_CACHE_DIT_ENABLED=true sglang generate --model-path /home/weights/Wan2.2-T2V-A14B-Diffusers/ \                 --prompt "视频始于一个室内篮球场，镜头以中景跟拍一位身穿红色无袖球衣、黑色短裤的运动员。他正压低重心，用右手快速运着一颗橙色的篮球，篮球在抛光处理过的木质地板上发出有节奏的撞击声，地板上清晰可见白色的三分线和罚球区标线。在他面前，一位身穿蓝色球衣的防守队员张开双臂，>试图阻挡他的前进路线。进攻球员突然做一个交叉步变向，从防守队员的右侧突破，镜头平移紧密跟随他的移动。突破后，他向前运球两步，在罚球线附近急停，双腿弯曲，猛然向上跃起。摄像机视角随之略微上仰，捕捉到他在空中舒展身体，右手将篮球托举过头顶，手腕发力将球投出，整个身体形成一个张满的弓形。>在这一瞬间，背景中的观众席和球场其他区域呈现出浅景深效果，被虚化处理，所有焦点都集中在运动员和篮球上。镜头继续跟随篮球的飞行轨迹，只见橙色的球体在明亮的室内灯光下旋转着，在空中划出一道完美的弧线，精准地穿过篮筐中心，白色的篮网因篮球的穿过而剧烈晃动。球员落地后，他转身面向镜头，脸上>露出兴奋的表情，他紧握右拳举向空中，张开嘴做出一个无声呐喊的庆祝姿态，整个过程镜头紧密跟随主体，没有切换" \                 --height 480 --width 832 --tp-size 2 --sp-degree 2 --num-gpus 4 \                 --num-inference-steps 10 --num-frames 40 --adjust-frames false --port 8015 --warmup	4	2	2	wan2.2-T2V	40	10	480*832	是	28.32	26.76	0.05508475
自测用例	export ASCEND_RT_VISIBLE_DEVICES=4,5,6,7 export PYTHONPATH=/home/wan/sglang/python:$PYTHONPATH export SGLANG_CACHE_DIT_FN=2 export SGLANG_CACHE_DIT_BN=1 export SGLANG_CACHE_DIT_WARMUP=4 export SGLANG_CACHE_DIT_RDT=0.4 export SGLANG_CACHE_DIT_MC=4 export SGLANG_CACHE_DIT_TAYLORSEER=true export SGLANG_CACHE_DIT_TS_ORDER=2 export SGLANG_CACHE_DIT_ENABLED=true sglang generate --model-path /home/weights/Wan2.2-T2V-A14B-Diffusers/ \                 --prompt "视频始于一个室内篮球场，镜头以中景跟拍一位身穿红色无袖球衣、黑色短裤的运动员。他正压低重心，用右手快速运着一颗橙色的篮球，篮球在抛光处理过的木质地板上发出有节奏的撞击声，地板上清晰可见白色的三分线和罚球区标线。在他面前，一位身穿蓝色球衣的防守队员张开双臂，>试图阻挡他的前进路线。进攻球员突然做一个交叉步变向，从防守队员的右侧突破，镜头平移紧密跟随他的移动。突破后，他向前运球两步，在罚球线附近急停，双腿弯曲，猛然向上跃起。摄像机视角随之略微上仰，捕捉到他在空中舒展身体，右手将篮球托举过头顶，手腕发力将球投出，整个身体形成一个张满的弓形。>在这一瞬间，背景中的观众席和球场其他区域呈现出浅景深效果，被虚化处理，所有焦点都集中在运动员和篮球上。镜头继续跟随篮球的飞行轨迹，只见橙色的球体在明亮的室内灯光下旋转着，在空中划出一道完美的弧线，精准地穿过篮筐中心，白色的篮网因篮球的穿过而剧烈晃动。球员落地后，他转身面向镜头，脸上>露出兴奋的表情，他紧握右拳举向空中，张开嘴做出一个无声呐喊的庆祝姿态，整个过程镜头紧密跟随主体，没有切换" \                 --height 480 --width 832 --tp-size 4 --sp-degree 1 --num-gpus 4 \                 --num-inference-steps 10 --num-frames 40 --adjust-frames false --port 8015 --warmup	4	4	1	wan2.2-T2V	40	10	480*832	是	31.41	29	0.07672716
自测用例	export ASCEND_RT_VISIBLE_DEVICES=4,5,6,7 export PYTHONPATH=/home/wan/sglang/python:$PYTHONPATH export SGLANG_CACHE_DIT_FN=2 export SGLANG_CACHE_DIT_BN=1 export SGLANG_CACHE_DIT_WARMUP=4 export SGLANG_CACHE_DIT_RDT=0.4 export SGLANG_CACHE_DIT_MC=4 export SGLANG_CACHE_DIT_TAYLORSEER=true export SGLANG_CACHE_DIT_TS_ORDER=2 export SGLANG_CACHE_DIT_ENABLED=true sglang generate --model-path /home/weights/Wan2.1-T2V-1.3B-Diffusers/ \                 --prompt "视频始于一个室内篮球场，镜头以中景跟拍一位身穿红色无袖球衣、黑色短裤的运动员。他正压低重心，用右手快速运着一颗橙色的篮球，篮球在抛光处理过的木质地板上发出有节奏的撞击声，地板上清晰可见白色的三分线和罚球区标线。在他面前，一位身穿蓝色球衣的防守队员张开双臂，>试图阻挡他的前进路线。进攻球员突然做一个交叉步变向，从防守队员的右侧突破，镜头平移紧密跟随他的移动。突破后，他向前运球两步，在罚球线附近急停，双腿弯曲，猛然向上跃起。摄像机视角随之略微上仰，捕捉到他在空中舒展身体，右手将篮球托举过头顶，手腕发力将球投出，整个身体形成一个张满的弓形。>在这一瞬间，背景中的观众席和球场其他区域呈现出浅景深效果，被虚化处理，所有焦点都集中在运动员和篮球上。镜头继续跟随篮球的飞行轨迹，只见橙色的球体在明亮的室内灯光下旋转着，在空中划出一道完美的弧线，精准地穿过篮筐中心，白色的篮网因篮球的穿过而剧烈晃动。球员落地后，他转身面向镜头，脸上>露出兴奋的表情，他紧握右拳举向空中，张开嘴做出一个无声呐喊的庆祝姿态，整个过程镜头紧密跟随主体，没有切换" \                 --height 480 --width 832 --tp-size 2 --sp-degree 2 --num-gpus 4 \                 --num-inference-steps 10 --num-frames 40 --adjust-frames false --port 8015 --warmup	4	2	2	wan2.1-T2V	40	10	480*832	是	6.33	6.31	0.00315956
自测用例	export ASCEND_RT_VISIBLE_DEVICES=4,5,6,7 export PYTHONPATH=/home/wan/sglang/python:$PYTHONPATH export SGLANG_CACHE_DIT_FN=2 export SGLANG_CACHE_DIT_BN=1 export SGLANG_CACHE_DIT_WARMUP=4 export SGLANG_CACHE_DIT_RDT=0.4 export SGLANG_CACHE_DIT_MC=4 export SGLANG_CACHE_DIT_TAYLORSEER=true export SGLANG_CACHE_DIT_TS_ORDER=2 export SGLANG_CACHE_DIT_ENABLED=true sglang generate --model-path /home/weights/Wan2.1-T2V-1.3B-Diffusers/ \                 --prompt "视频始于一个室内篮球场，镜头以中景跟拍一位身穿红色无袖球衣、黑色短裤的运动员。他正压低重心，用右手快速运着一颗橙色的篮球，篮球在抛光处理过的木质地板上发出有节奏的撞击声，地板上清晰可见白色的三分线和罚球区标线。在他面前，一位身穿蓝色球衣的防守队员张开双臂，>试图阻挡他的前进路线。进攻球员突然做一个交叉步变向，从防守队员的右侧突破，镜头平移紧密跟随他的移动。突破后，他向前运球两步，在罚球线附近急停，双腿弯曲，猛然向上跃起。摄像机视角随之略微上仰，捕捉到他在空中舒展身体，右手将篮球托举过头顶，手腕发力将球投出，整个身体形成一个张满的弓形。>在这一瞬间，背景中的观众席和球场其他区域呈现出浅景深效果，被虚化处理，所有焦点都集中在运动员和篮球上。镜头继续跟随篮球的飞行轨迹，只见橙色的球体在明亮的室内灯光下旋转着，在空中划出一道完美的弧线，精准地穿过篮筐中心，白色的篮网因篮球的穿过而剧烈晃动。球员落地后，他转身面向镜头，脸上>露出兴奋的表情，他紧握右拳举向空中，张开嘴做出一个无声呐喊的庆祝姿态，整个过程镜头紧密跟随主体，没有切换" \                 --height 480 --width 832 --tp-size 4 --sp-degree 1 --num-gpus 4 \                 --num-inference-steps 10 --num-frames 40 --adjust-frames false --port 8015 --warmup	4	4	1	wan2.1-T2V	40	10	480*832	是	8.65	8.15	0.05780347
自测用例	export ASCEND_RT_VISIBLE_DEVICES=4 export PYTHONPATH=/home/wan/sglang/python:$PYTHONPATH sglang generate --model-path /home/weights/Wan2.1-T2V-1.3B-Diffusers/ --prompt "a curious raccoon" --warmup	1	1	1	wan2.1-T2V	81	50	480*832	否	244.69	238.75	0.02427561
CI流水线用例	export ASCEND_RT_VISIBLE_DEVICES=4 export PYTHONPATH=/home/wan/sglang/python:$PYTHONPATH sglang generate --model-path /home/weights/Wan2.1-T2V-1.3B-Diffusers/ --prompt "a curious raccoon" --num-frames 24 --fps 24 --num-inference-steps 50 --warmup	1	1	1	wan2.1-T2V	24	50	480*832	否	37.53	36.72	0.02158273

[gemini-code-assist]

Warning

You have reached your daily quota limit. Please wait up to 24 hours and I will start processing your requests again!