removed commented lines
This commit is contained in:
parent
56150d7e5e
commit
6a89f59be9
|
@ -70,127 +70,5 @@ public class MakeTar implements Serializable {
|
|||
|
||||
}
|
||||
|
||||
// private static TarArchiveOutputStream getTar(FileSystem fileSystem, String outputPath) throws IOException {
|
||||
// Path hdfsWritePath = new Path(outputPath);
|
||||
// FSDataOutputStream fsDataOutputStream = null;
|
||||
// if (fileSystem.exists(hdfsWritePath)) {
|
||||
// fileSystem.delete(hdfsWritePath, true);
|
||||
//
|
||||
// }
|
||||
// fsDataOutputStream = fileSystem.create(hdfsWritePath);
|
||||
//
|
||||
// return new TarArchiveOutputStream(fsDataOutputStream.getWrappedStream());
|
||||
// }
|
||||
//
|
||||
// private static void writeMaxSize(FileSystem fileSystem, String inputPath, String outputPath, String dir_name,
|
||||
// int gBperSplit) throws IOException {
|
||||
// final long bytesPerSplit = 1024L * 1024L * 1024L * gBperSplit;
|
||||
//
|
||||
// long sourceSize = fileSystem.getContentSummary(new Path(inputPath)).getSpaceConsumed();
|
||||
//
|
||||
// final long numberOfSplits = sourceSize / bytesPerSplit;
|
||||
//
|
||||
// if (numberOfSplits < 2) {
|
||||
// write(fileSystem, inputPath, outputPath + ".tar", dir_name);
|
||||
// } else {
|
||||
// int partNum = 0;
|
||||
//
|
||||
// RemoteIterator<LocatedFileStatus> fileStatusListIterator = fileSystem
|
||||
// .listFiles(
|
||||
// new Path(inputPath), true);
|
||||
// boolean next = fileStatusListIterator.hasNext();
|
||||
// while (sourceSize > 0 && next) {
|
||||
// TarArchiveOutputStream ar = getTar(fileSystem, outputPath + "_" + (partNum + 1) + ".tar");
|
||||
//
|
||||
// long current_size = 0;
|
||||
// while (next && current_size < bytesPerSplit) {
|
||||
// LocatedFileStatus fileStatus = fileStatusListIterator.next();
|
||||
//
|
||||
// Path p = fileStatus.getPath();
|
||||
// String p_string = p.toString();
|
||||
// if (!p_string.endsWith("_SUCCESS")) {
|
||||
// String name = p_string.substring(p_string.lastIndexOf("/") + 1);
|
||||
// if (name.trim().equalsIgnoreCase("communities_infrastructures")) {
|
||||
// name = "communities_infrastructures.json";
|
||||
// }
|
||||
// TarArchiveEntry entry = new TarArchiveEntry(dir_name + "/" + name);
|
||||
// entry.setSize(fileStatus.getLen());
|
||||
// current_size += fileStatus.getLen();
|
||||
// ar.putArchiveEntry(entry);
|
||||
//
|
||||
// InputStream is = fileSystem.open(fileStatus.getPath());
|
||||
//
|
||||
// BufferedInputStream bis = new BufferedInputStream(is);
|
||||
//
|
||||
// int count;
|
||||
// byte data[] = new byte[1024];
|
||||
// while ((count = bis.read(data, 0, data.length)) != -1) {
|
||||
// ar.write(data, 0, count);
|
||||
// }
|
||||
// bis.close();
|
||||
// ar.closeArchiveEntry();
|
||||
//
|
||||
// }
|
||||
// next = fileStatusListIterator.hasNext();
|
||||
//
|
||||
// }
|
||||
// sourceSize = sourceSize - current_size;
|
||||
// partNum += 1;
|
||||
// ar.close();
|
||||
// }
|
||||
//
|
||||
// }
|
||||
//
|
||||
// }
|
||||
//
|
||||
// private static void write(FileSystem fileSystem, String inputPath, String outputPath, String dir_name)
|
||||
// throws IOException {
|
||||
//
|
||||
// Path hdfsWritePath = new Path(outputPath);
|
||||
// FSDataOutputStream fsDataOutputStream = null;
|
||||
// if (fileSystem.exists(hdfsWritePath)) {
|
||||
// fileSystem.delete(hdfsWritePath, true);
|
||||
//
|
||||
// }
|
||||
// fsDataOutputStream = fileSystem.create(hdfsWritePath);
|
||||
//
|
||||
// TarArchiveOutputStream ar = new TarArchiveOutputStream(fsDataOutputStream.getWrappedStream());
|
||||
//
|
||||
// RemoteIterator<LocatedFileStatus> fileStatusListIterator = fileSystem
|
||||
// .listFiles(
|
||||
// new Path(inputPath), true);
|
||||
//
|
||||
// while (fileStatusListIterator.hasNext()) {
|
||||
// LocatedFileStatus fileStatus = fileStatusListIterator.next();
|
||||
//
|
||||
// Path p = fileStatus.getPath();
|
||||
// String p_string = p.toString();
|
||||
// if (!p_string.endsWith("_SUCCESS")) {
|
||||
// String name = p_string.substring(p_string.lastIndexOf("/") + 1);
|
||||
// if (name.trim().equalsIgnoreCase("communities_infrastructures")) {
|
||||
// name = "communities_infrastructures.json";
|
||||
// }
|
||||
// TarArchiveEntry entry = new TarArchiveEntry(dir_name + "/" + name);
|
||||
// entry.setSize(fileStatus.getLen());
|
||||
// ar.putArchiveEntry(entry);
|
||||
//
|
||||
// InputStream is = fileSystem.open(fileStatus.getPath());
|
||||
//
|
||||
// BufferedInputStream bis = new BufferedInputStream(is);
|
||||
//
|
||||
// int count;
|
||||
// byte data[] = new byte[1024];
|
||||
// while ((count = bis.read(data, 0, data.length)) != -1) {
|
||||
// ar.write(data, 0, count);
|
||||
// }
|
||||
// bis.close();
|
||||
// ar.closeArchiveEntry();
|
||||
//
|
||||
// }
|
||||
//
|
||||
// }
|
||||
//
|
||||
// ar.close();
|
||||
// }
|
||||
|
||||
}
|
||||
|
|
Loading…
Reference in New Issue