Según la LAU :
Artículo 9. Plazo mínimo
1. La duración del arrendamiento será libremente pactada por las partes. Si ésta fuera inferior a cinco años, llegado el día del vencimiento del contrato, éste se prorrogará obligatoriamente por plazos anuales hasta que el arrendamiento alcance una duración mínima de cinco años, salvo que el arrendatario manifieste al arrendador con treinta días de antelación como mínimo a la fecha de terminación del contrato o de cualquiera de las prórrogas, su voluntad de no renovarlo.
El plazo comenzará a contarse desde la fecha del contrato o desde la puesta del inmueble a disposición del arrendatario si ésta fuere posterior. Corresponderá al arrendatario la prueba de la fecha de la puesta a disposición.

Artículo 6. Naturaleza de las normas
Son nulas, y se tendrán por no puestas, las estipulaciones que modifiquen en perjuicio del arrendatario o subarrendatario las normas del presente Título, salvo los casos en que la propia norma expresamente lo autorice.
-----------------------------------------

Generalmente, el inquilino se debe esperar al vencimiento (o "cumpleaños") del contrato para rescindirlo, porque se suelen hacer por un año prorrogable a cinco. Dando siempre el preaviso con la suficiente antelación.

En tu caso, y teniendo en cuenta el art.6, yo diría que cuando podrías rescindir el contrato en el vencimiento (es decir, al finalizar el primer año, el segundo, etc). Pero en la cláusula soble los plazos, habla de plazos mínimos, así que tampoco te puedo asegurar nada...

Espera a la respuesta de un profesional...

Lo que le puede pasar es que le pidan que cumpla su contrato.

Lo mejor en estos casos, como casi siempre, exponga la situación a su arrendador indicándole los motivos por los que desea dejar la vivienda, de por seguro que él prefiere poder arrendar de nuevo la casa a arriesgarse a un impago y un largo procedimiento de desahucio.