MolmoAct2-LIBERO-LP-VTP-SD — 통합 압축 (Layer Prune + Vision Token Prune + Step Decrease)

allenai/MolmoAct2-LIBERO (5.44B VLA)에 세 가지 압축 기법을 동시 적용해 LIBERO로 fine-tune한 LeRobot 포맷 체크포인트.

기법	내용	효과
LP (layer pruning)	ViT 25L → 10L 학생(xpuenabler/MolmoAct2-LIBERO-ViT10L)에서 시작	ViT 파라미터 439M → 212M
VTP (vision token pruning)	Grid Sampler, 이미지당 K=16 토큰	prefill seq_len 489 → 129
SD (step decrease)	flow-matching num_flow_timesteps=2 학습, 2-step 디코드 / n_action_steps=2	action head 디코드 ~5× 축소

학습

• 코드: nota-github/xpu-lerobot @ feat/lp+vtp+sd-libero (scripts/train_molmoact2_libero_vtp+lp+sd.sh)
• 데이터: allenai/MolmoAct2-LIBERO-Dataset, 20000 steps, effective batch 32 (4×B200 DDP, per-GPU 8), bf16, seed 1000
• Grid Sampler 가중치는 random init에서 학습, 나머지는 ViT10L 학생에서 warm-start

성능

• LIBERO 4-suite 평가 및 module-wise latency는 Confluence 문서 "Pruning/Distilation 종합 (LP+VTP+SD) MolmoAct2 적용 및 성능 평가" 참고 (10000-step 체크포인트 기준 측정; 본 repo는 최종 20000-step).
• B200 batch=1 참고치 (2-step 디코드): TOTAL ~94ms/decision (vision 5.8 / llm 20.3 / action head 52.4 ms).

사용 (LeRobot)

lerobot-eval \
  --policy.path=xpuenabler/MolmoAct2-LIBERO-LP-VTP-SD \
  --policy.inference_action_mode=continuous \
  --policy.num_inference_steps=2 \
  --env.type=libero ...

주의: Grid Sampler는 single-crop(crop_mode="resize") 전용.