El problema de usar un puerto usb 2.0 es que normalmente sólo dan hasta 500mA, un puerto usb 3.0 da más pero todavía no están tan extendidos.
Es decir, normalmente va a tardar más en hacer una carga que con un cargador, aunque depende del modelo, algunos cargadores son de 500mA.