No, el número de pagadores se refiere al número de empresas en las que has trabajado, y esa obligación de hacer la declaración viene a ser por la diferencia en las retenciones del IRPF, ya que si estás fijo en una empresa pueden retenerte por ejemplo un 13%, y a un trabajador temporal que ha estado en la misma empresa un mes le han retenido un 2%, con lo que si encadenas contratos temporales puedes ganar casi lo mismo que un trabajador fijo pero con unas retenciones ínfimas.
Dicho de otra forma, aunque hayas cobrado intereses de ING, Openbank y SelfBank, y además dividendos de Telefónica y Repsol, si has trabajado en una sola empresa tienes un solo pagador.
Además, si has ganado por ejemplo 30.000 euros la cantidad a pagar a Hacienda será la misma tanto si provienen de un solo pagador o de cinco, la única diferencia es en la obligación de hacer la declaración, que al haber más pagadores está en un límite inferior precisamente por el tema de las retenciones.