Normalmente la linea es asmétrica, ADSL (Asymmetric Digital Subscriber Line) Por lo que la velocidad de subida es menor que la de bajada.
También los "megas" que dicen ofrecernos los operadores son de Bits, y no de Bytes.
4 MBits serian 500 KBytes (ojo)
Si la velocidad de subida es de 320Kbits/s esto seria 40Kbytes/s
y otra cosa, el ancho de banda no es 100% aprovechable, siempre hay una parte que se "gasta " en protocolo.
Mira a ver que velocidad de subida tiene tu linea, de todos modos me parece demasiado el tiempo que te está tardando en subir.