콜리전 세팅에서 CollisionEnable이 아닌 QueryOnly로 설정해본다.

Simulate Physics를 사용한 후 부터는 물리 충돌 부분이 Bounce나 Stop이 처리되는 것을 막는 경우가 있는 것 같다.