服务器之家

服务器之家 > 正文

Java实现文件切割拼接的实现代码

时间:2021-06-15 11:06     来源/作者:LudwigWuuu

单线程实现

文件分割

在老的fat32文件系统中,最大的单个文件大小必须保存在4g内,对于经常看电影的我这个是不能允许的。不过现在windows有ntfs文件系统,linux大部分发行版为ext4文件系统,最大单个文件大小能大于4g。不过这二者并不能兼容。。格式化ntfs的u盘linux不能识别,格式化ext4的u盘windows不能识别,只能用老的fat32兼容二者。所以将文件分割,再进行拼接就很重要,文件经过分割了在网络上传输就十分方便,也能开多线程对每部分进行hash提高处理效率。

Java实现文件切割拼接的实现代码

最近看的bradpitt的《狂怒》

首先:对文件进行分割需要确定每一部分的大小,假设上面的 fury.mkv 文件大小为 280m ,分割每一块设置默认大小为 64m ,所以:

Java实现文件切割拼接的实现代码

对于最后一块,一般小于等于设定好的每块默认大小。 每块大小设置好了,接下来,就需要将文件的路径获取,代码中搭建输入流,将文件读入内存缓冲区中,再搭建输出流,将缓冲区输出到新的分割文件中。 再接下来实现就很简单了。 新建一个 fileslice

类:有切割方法,拼接方法。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
public class fileslice {
 /**
  * 分割文件
  * @param filepath 文件路径
  * @param filepiecesize 文件每块大小,单位为字节,为-1则默认为每块64m
  * @return 成功返回true,出错则返回false
  */
 public static boolean slice(path filepath, int filepiecesize){
  return true;
 }
 
 /**
  * 将分割好的文件重新链接
  * @param filepath 被分割好的其中之一文件路径,默认其他块与其在同一目录下
  * @param howmanyparts 一共有多少块
  * @return 成功返回true,出错则返回false
  */
 public static boolean glue(path filepath, int howmanyparts){
  return true;
 }
}

接下来实现单线程的分割方法: 用图解的话应该是这样:

Java实现文件切割拼接的实现代码

代码实现: 进入函数首先判断文件是否存在:

?
1
2
3
if (!files.exists(filepath)){
 return false;
}

接下来判断每块大小是否使用默认值:

?
1
2
3
if(filepiecesize == -1){
 filepiecesize = 1024*1024*64;
}

将路径转换为文件对象,再计算将分割多少块:

?
1
2
file file = filepath.tofile();
int howmanyparts = (int) math.ceil(file.length() / (double)filepiecesize);

初始化输入输出流,出错输出错误信息,返回false,获得当前目录:

?
1
2
3
4
5
6
7
8
9
10
datainputstream filereader = null;
try {
 filereader = new datainputstream(new fileinputstream(file));
} catch (filenotfoundexception e) {
 e.printstacktrace();
 system.out.println("文件找不到!");
 return false;
}
dataoutputstream filewriter;
path dir = filepath.getparent();

接下来读取文件,并且分别输出到各个part文件中:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
int readlength = -1;
long total = 0;
 
try {
 for (int i = 1; i <= howmanyparts ; i++){
  //新建文件part i
  path temp = files.createfile(dir.resolve(filepath.getfilename() + ".part" + i));
  //搭建输出流
  filewriter = new dataoutputstream(new fileoutputstream(temp.tofile()));
  //读取文件并输出
  while ( (readlength = filereader.read(buffer)) != -1){
   filewriter.write(buffer,0,readlength);
   filewriter.flush();
   total += readlength;
   if (total == filepiecesize){
    total = 0;
    break;
   }
  }
  //part i的文件已经输出完毕,关闭流
  filewriter.close();
 }
 //读取完毕,关闭输入流
 filereader.close();
} catch (ioexception e) {
 e.printstacktrace();
 system.out.println("io错误!");
 return false;
}

该函数已经实现完毕,接下来测试(由于电影fury有14g。。太大了。。还是换个吧):

Java实现文件切割拼接的实现代码

我是大哥大第5集,有729m,大概能分个12个part吧。

?
1
2
3
4
5
6
7
8
9
10
11
12
public static void main(string[] args) throws ioexception {
 double before = system.currenttimemillis();
 
 path bigboss = paths.get("d:\\video\\我是大哥大\\我是大哥大.kyou.kara.ore.wa.ep05.chi_jap.hdtvrip.1280x720.mp4");
 
 fileslice.slice(bigboss,-1);
 
 double after = system.currenttimemillis();
 
 system.out.println("分割文件我是大哥大.kyou.kara.ore.wa.ep05.chi_jap.hdtvrip.1280x720.mp4," + files.size(bigboss) + "字节,总用时" + (after - before) + "ms" );
 
}

运行结果:

分割文件我是大哥大.kyou.kara.ore.wa.ep05.chi_jap.hdtvrip.1280x720.mp4,765321889字节,总用时16335.0ms

Java实现文件切割拼接的实现代码

速度还是挺慢的。。 下次还是换成多线程来实现,再来测试下速度。在单线程情况下一个普通的40分钟日剧都要15-30s左右,要是mkv格式的电影都要好久了。。不过其实极限应该不在cpu中执行的速度,而是在硬盘io中,如果是普通硬盘那么就算是多线程也应该提速不了多少。。

文件拼接

这个就很简单了,和分割相反就ok。 直接上完整代码:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
public static boolean glue(path filepath, int howmanyparts){
 if (!files.exists(filepath)){
  return false;
 }
 //获取原始文件名
 string filename = getoriginalfilename(filepath.getfilename().tostring());
 
 if (filename == null){
  system.out.println("传入part文件名解析出错!");
  return false;
 }
 //初始化缓冲区
 byte [] buffer = new byte[1024 * 8];
 //获取文件存储的路径
 path dir = filepath.getparent();
 
 try {
  datainputstream filereader = null;
  //创建原始文件
  files.createfile(dir.resolve(filename));
  //搭建原始文件输出流
  dataoutputstream filewriter = new dataoutputstream(new fileoutputstream(dir.resolve(filename).tofile()));
 
  int readlength = -1;
  for (int i = 1; i <= howmanyparts ; i++){
   //得到part i文件路径
   path temp = dir.resolve(filename + ".part" + i);
   //搭建输入流
   filereader = new datainputstream(new fileinputstream(temp.tofile()));
   //读取文件并输出
   while ( (readlength = filereader.read(buffer)) != -1){
    filewriter.write(buffer,0,readlength);
    filewriter.flush();
   }
   //part i的文件已经读入完毕,关闭流
   filereader.close();
  }
  //写入完毕,关闭输出流
  filewriter.close();
 } catch (ioexception e) {
  e.printstacktrace();
  system.out.println("io错误!");
  return false;
 }
 return true;
}

再测试刚刚分割好的我是大哥大第5集

?
1
2
3
4
5
6
7
8
9
10
11
12
public static void main(string[] args) throws ioexception {
 double before = system.currenttimemillis();
 
 path bigboss = paths.get("d:\\video\\我是大哥大\\我是大哥大.kyou.kara.ore.wa.ep05.chi_jap.hdtvrip.1280x720.mp4.part1");
 
 fileslice.glue(bigboss,12);
 
 double after = system.currenttimemillis();
 
 system.out.println("拼接12个part,用时" + (after - before) + "ms");
 
}

结果输出,用12s左右,还行。

拼接12个part,用时12147.0ms

打开播放毫无问题,最后截张图。

Java实现文件切割拼接的实现代码

未完待续。。下次来使用多线程进行实现。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持服务器之家。

原文链接:https://juejin.im/post/5bf3f63c6fb9a049f570c158

标签:

相关文章

热门资讯

2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全 2019-12-26
yue是什么意思 网络流行语yue了是什么梗
yue是什么意思 网络流行语yue了是什么梗 2020-10-11
背刺什么意思 网络词语背刺是什么梗
背刺什么意思 网络词语背刺是什么梗 2020-05-22
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总 2020-11-13
2021德云社封箱演出完整版 2021年德云社封箱演出在线看
2021德云社封箱演出完整版 2021年德云社封箱演出在线看 2021-03-15
返回顶部