第三十八条　車両等は、横断歩道又は自転車横断帯（以下この条において「横断歩道等」という。）に接近する場合には、当該横断歩道等を通過する際に当該横断歩道等によりその進路の前方を横断しようとする歩行者又は自転車（以下この条において「歩行者等」という。）がないことが明らかな場合を除き、当該横断歩道等の直前（道路標識等による停止線が設けられているときは、その停止線の直前。以下この項において同じ。）で停止することができるような速度で進行しなければならない。この場合において、横断歩道等によりその進路の前方を横断し、又は横断しようとする歩行者等があるときは、当該横断歩道等の直前で一時停止し、かつ、その通行を妨げないようにしなければならない。

「横断しようとしているとき」と書いてあるので、横断しようとしてないときは速度を落として通過できる
それでもダメというのは警察の違法取り締まりでしかない