Si puedes demostrar que la vivienda es ilegal y, por tanto, el casero no tiene derecho a alquilarla, puedes utilizar esto como argumento para cancelar el contrato de alquiler.

Aunque, claro, el casero siempre puede negarse a considerar cancelado el contrato de alquiler por los motivos que tú argumentas y exigirte una indemnización por dejar el piso antes de la finalización del contrato.

Lo que yo te aconsejaría sería que te sentases a dialogar con tu casero y le indiques que lo mejor para ambas partes es que tú abandones la vivienda porque así lo deseas y que él te devuelva la fianza si dejas el piso en las mismas condiciones en que lo encontraste.