服务器之家

服务器之家 > 正文

java IO流将一个文件拆分为多个子文件代码示例

时间:2021-03-10 14:28     来源/作者:人圭先生

文件分割与合并是一个常见需求,比如:上传大文件时,可以先分割成小块,传到服务器后,再进行合并。很多高大上的分布式文件系统(比如:google的gfs、taobao的tfs)里,也是按block为单位,对文件进行分割或合并。

看下基本思路:

java IO流将一个文件拆分为多个子文件代码示例

如果有一个大文件,指定分割大小后(比如:按1m切割)

step 1:

先根据原始文件大小、分割大小,算出最终分割的小文件数n

step 2:

在磁盘上创建这n个小文件

step 3:

开多个线程(线程数=分割文件数),每个线程里,利用randomaccessfile的seek功能,将读取指针定位到原文件里每一段的段首位置,然后向后读取指定大小(即:分割块大小),最终写入对应的分割文件,因为多线程并行处理,各写各的小文件,速度相对还是比较快的。

下面代码是将一个文件拆分为多个子文件,每个大小是100k

java" id="highlighter_585876">
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
package testio;
import java.io.file;
import java.io.fileinputstream;
import java.io.fileoutputstream;
import java.util.arrays;
public class substream {
    public static void main(string[] args) {
        //先将源文件读取到内存中
        int eachsize=100*1024;
        file srcfile =new file("f:/test/test.txt");
        //创建一个文件对象
        splitfile(srcfile,eachsize);
    }
    public static void splitfile(file srcfile,int eachsize){
        //判断文件是否符合拆分要求
        if(srcfile.length()==0){
            throw new runtimeexception("文件不符合拆分要求");
        }
        byte[] filecontent= new byte[(int) srcfile.length()];
        try {
            //将文件内容读取到内存中
            fileinputstream fis=new fileinputstream(srcfile);
            fis.read(filecontent);
            fis.close();
        }
        catch (exception e) {
            e.printstacktrace();
        }
        //计算要次要拆分为多少份
        int filenumber;
        if(filecontent.length%eachsize==0){
            filenumber = filecontent.length/eachsize;
        } else{
            filenumber = filecontent.length/eachsize+1;
        }
        for (int i=0;i<filenumber;i++){
            string filename = srcfile.getname()+"-"+i+".txt";
            file fi = new file(srcfile.getparent(), filename);
            //在当前文件路径下创建拆分的文件
            byte[] eachcontent;
            //将源文件内容复制到拆分的文件中
            if(i!=filenumber-1){
                eachcontent = arrays.copyofrange(filecontent, eachsize*i, eachsize*(i+1));
            } else{
                eachcontent = arrays.copyofrange(filecontent, eachsize*i, filecontent.length);
            }
            try {
                fileoutputstream fos = new fileoutputstream(fi);
                fos.write(eachcontent);
                fos.close();
                system.out.printf("输出子文件 %s,其大小是 %d,每个的大小是%d\n",fi.getabsolutefile(),fi.length(),eachcontent.length);
            }
            catch (exception e) {
                // todo: handle exception
                e.printstacktrace();
            }
        }
    }
}

总结

以上就是本文关于java io流将一个文件拆分为多个子文件代码示例的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

原文链接:http://blog.csdn.net/sinat_15274667/article/details/53982986

标签:

相关文章

热门资讯

2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全 2019-12-26
yue是什么意思 网络流行语yue了是什么梗
yue是什么意思 网络流行语yue了是什么梗 2020-10-11
Intellij idea2020永久破解,亲测可用!!!
Intellij idea2020永久破解,亲测可用!!! 2020-07-29
背刺什么意思 网络词语背刺是什么梗
背刺什么意思 网络词语背刺是什么梗 2020-05-22
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总 2020-11-13
返回顶部