Sanción por falta de alta y baja en la obligación de retener (modelo 036)

Recibo un requerimiento de Hacienda en el que me comunican que según mis datos censales debía haber presentado el modelo 111 del trimestre 2º y 3º de 2015.
(Compruebo que en el modelo 036 que presenté de alta, tengo marcada la casilla 701. Esto es; obligación de realizar retenciones o ingresos a cuenta sobre rendimientos de actividades profesionales,..)
Llamo a Hacienda y les digo que no he tenido que presentarlo porque no recibí durante ese tiempo facturas con retención. Y me responden que es correcto pero que debía haber presentado la baja de dicha obligación. Y que el hacer esta gestión fuera de plazo es sancionable.
Tiene sentido que cada vez que reciba una factura con retención deba darme de alta y a continuación de baja en la obligación de realizar retenciones mediante el modelo 036? Cual es la sanción de no haber hecho tal gestión?

No entiendo muy bien lo que te han contestado desde Hacienda.

O se tiene obligación de presentar el modelo 111 o no. Pero en mi opinión, se puede no estar obligado sin tener que darse de baja.

No existe obligación:

No procederá, sin embargo, la presentación del modelo 111 cuando no se hubiese satisfecho en el trimestre o en el mes anterior objeto de autoliquidación, según corresponda, ninguna renta sometida a retención e ingreso a cuenta de las anteriormente mencionadas.

Copiado de:

http://www.agenciatributaria.es/static_files/AEAT/Contenidos_Comunes/La_Agencia_Tributaria/Modelos_y_formularios/Declaraciones/Modelos_100_al_199/111/Canal_1/instr_mod_111.pdf

Un saludo.