如何实现超大文件上传及断点续传功能？

本文共计2954个文字，预计阅读时间需要12分钟。

需求：支持大文件批量上传（20G）和下载，同时确保上传期间用户电脑不出现卡死等异常体验；内网百兆网络上传速度为12MB/S，服务器内存占用低，支持文件夹上传，文件夹中文件数量不限。

需求：

支持大文件批量上传（20G）和下载，同时需要保证上传期间用户电脑不出现卡死等体验；

内网百兆网络上传速度为12MB/S

服务器内存占用低

支持文件夹上传，文件夹中的文件数量达到1万个以上，且包含层级结构。

支持PC端全平台操作系统，Windows,Linux,Mac

支持文件和文件夹的批量下载，断点续传。刷新页面后继续传输。关闭浏览器后保留进度信息。

支持文件夹批量上传下载，服务器端保留文件夹层级结构，服务器端文件夹层级结构与本地相同。

支持断点续传，关闭浏览器或刷新浏览器后仍然能够保留进度。

支持文件夹结构管理，支持新建文件夹，支持文件夹目录导航

交互友好，能够及时反馈上传的进度；

服务端的安全性，不因上传文件功能导致JVM内存溢出影响其他功能使用；

最大限度利用网络上行带宽，提高上传速度；

分析：

对于大文件的处理，无论是用户端还是服务端，如果一次性进行读取发送、接收都是不可取，很容易导致内存问题。所以对于大文件上传，采用切块分段上传

从上传的效率来看，利用多线程并发上传能够达到最大效率。

解决方案：

文件上传页面的前端可以选择使用一些比较好用的上传组件，例如百度的开源组件WebUploader，泽优软件的up6，这些组件基本能满足文件上传的一些日常所需功能，如异步上传文件，文件夹，拖拽式上传，黏贴上传，上传进度监控，文件缩略图，甚至是大文件断点续传，大文件秒传。