Cuando Apache lista los archivos y directorios es posible descargarlos todos recursivamente con el siguiente comando:
# wget --execute="robots = off" --mirror --convert-links --no-parent --wait=5 http://dominio.com/directorio