ComObjectなので最後までちゃんと面倒見てあげてなかったのが原因です。
Excel Cook Book in Windows PowerShellにちゃんと廃棄してあげるようにRelease-Refが紹介されていました。
$excel.Quit() した後に、この関数に今まで参照していた$excel、$workBooks、$workSheet、$rengeなどを渡してあげると、無事逝ってくれます。
これを知るまで、Stop-Prosess -Name "EXCEL"で皆殺しにしていたので・・・
これで、すっきりしました。