Hola Laura, La vivienda es un bien legalmente  protegido, por lo que no puede entrar nadie que no hayas autorizado previamente. Es habitual que haya más de un juego de llaves, y en algún caso el dueño puede tener una (no es aconsejable).  Lo habitual es que todos los juegos los tenga el inquilino, y que al entrar en la vivienda cambie el bombín (el gasto va a su cargo); en este caso, si es tan caro hacerlo, es más que aconsejable pedir todas las copias que tenga de tu vivienda tu casero, y pedirle que se abstenga de entrar en tu casa: es una propiedad privada, y aunque él es el dueño, tu tienes la posesión legal (eres inquilino). En otras palabras: si entra sin tu permiso, le puedes denunciar (revisa el contrato que no haya ninguna cláusula al respecto). Espero haberte sido de ayuda. Un saludo

quise decir cambiado el bombín

No. No puede. Pero ya ve que lo ha hecho.... 
Puede usted llamar a la policía cuando esos señores entren en su casa... pero  si usted hubiera cambiado las llaves nada más comenzar el arriendo... EL CASERO NO LAS TENDRÍA y por tanto no podría dárselas a nadie.  

Pero un casero puede dar las llaves de mi casa, en la que estoy viviendo y por la cual estoy pagando una renta, a un desconocido SIN MI AUTORIZACIÓN? 

Hola Es de "primero de inquilino" cambiar la cerradura nada más alquilar un piso. Asi se asegura uno de que ni el casero ni algún antiguo inquilino pueda tener llaves de casa.

El dueño, si las tiene, no puede usarlas, el cambio de la cerradura , corre por tu cuenta, es conveniente hacerlo para tu seguridad y tranquilidad, la cual bien vale el coste de la misma, pide varios presupuestos.