no tienes ni que hablar con el  casero, cambia el bombín ya mismo, de hecho el bombín hay que cambiarlo en cuanto se firma el contrato.

Piensa en los pisos de alquiler ¿cuánta gente ha vivido? ¿cuántas llaves corren de él? 

Perfectamente explicado por rosami.

yo cambiaria la cerradura y listo, sin llaves no puede entrar.

No tiene ningún derecho el propietario a entrar en el piso sin permiso del inquilino, ya que: primero no deberìa tener las llaves de su piso, salvo que el inquilino o Ud. se lo haya dejado bajo su responsabilidad y quizás por una emergencia, segundo de no tener permiso, es un total allanamiento de morada, por tanto denunciable ante cualquierl juzgado por lo penal, aunque la portera estuviera presente no es excusable aunque fuera que ella estuviera presente solo para testificar que el propietario no ha tocado nada de la vivienda, tambièn ella de entrar en la vivienda y sin su permiso, està fuera de su lugar laborar y en su vivienda con el consiguiente tambièn allanamiento de morada.

Que se puede hacer? primero notificar al propietario que no lo vuelva hacer porque no tiene su permiso.  Segundo pedirle que le entregue las llaves. Tercero notificarle que de volverlo hacer ud. procederà judicialmente por allanamiento de morada. Cuarto y màs facil, cambiar el cerrojo o el bombín del cerrojo, por lo tanto el propietario con las llaves antiguas no podrà acceder al mismo y en acaso lo de intentarlo y no poder abrir se supone que algo le dirà, Ud. sin imutarse debe recordarle que pagando el alquiler y pasa a ser la casa suya y no del propietario, con lo cual la ley le da unos derechos que èl se ha saltado olimpicamente y que son denunciables.

Espero le sirva mi respuesta, atentamente  Rosa Mari