Fix for #976 - Filestore links via browser

Paul Martin

2015-12-25 46f33f87750573713509fbdbd0fc2ae51dc12044

 src/main/java/com/gitblit/utils/JGitUtils.java

@@ -28,9 +28,9 @@
import java.util.List;

import java.util.Map;

import java.util.Map.Entry;

import java.util.regex.Matcher;

import java.util.regex.Pattern;



import com.google.common.base.Strings;

import org.apache.commons.io.filefilter.TrueFileFilter;

import org.eclipse.jgit.api.CloneCommand;

import org.eclipse.jgit.api.FetchCommand;

@@ -43,6 +43,7 @@
import org.eclipse.jgit.diff.RawTextComparator;

import org.eclipse.jgit.errors.ConfigInvalidException;

import org.eclipse.jgit.errors.IncorrectObjectTypeException;

import org.eclipse.jgit.errors.LargeObjectException;

import org.eclipse.jgit.errors.MissingObjectException;

import org.eclipse.jgit.errors.StopWalkException;

import org.eclipse.jgit.lib.BlobBasedConfig;

@@ -85,12 +86,17 @@
import org.slf4j.Logger;

import org.slf4j.LoggerFactory;



import com.gitblit.GitBlit;

import com.gitblit.GitBlitException;

import com.gitblit.manager.GitblitManager;

import com.gitblit.models.FilestoreModel;

import com.gitblit.models.GitNote;

import com.gitblit.models.PathModel;

import com.gitblit.models.PathModel.PathChangeModel;

import com.gitblit.models.RefModel;

import com.gitblit.models.SubmoduleModel;

import com.gitblit.servlet.FilestoreServlet;

import com.google.common.base.Strings;



/**

 * Collection of static methods for retrieving information from a repository.

@@ -691,7 +697,10 @@
      if (commit == null) {

         return new Date(0);

      }

      return commit.getAuthorIdent().getWhen();

      if (commit.getAuthorIdent() != null) {

         return commit.getAuthorIdent().getWhen();

      }

      return getCommitDate(commit);

   }



   /**

@@ -774,7 +783,7 @@
         }

      } finally {

         rw.dispose();

         tw.release();

         tw.close();

      }

      return content;

   }

@@ -885,7 +894,7 @@
      } catch (IOException e) {

         error(e, repository, "{0} failed to get files for commit {1}", commit.getName());

      } finally {

         tw.release();

         tw.close();

      }

      Collections.sort(list);

      return list;

@@ -942,7 +951,7 @@
      } catch (IOException e) {

         error(e, repository, "{0} failed to get files for commit {1}", commit.getName());

      } finally {

         tw.release();

         tw.close();

      }

      Collections.sort(list);

      return list;

@@ -990,23 +999,40 @@
            tw.setRecursive(true);

            tw.addTree(commit.getTree());

            while (tw.next()) {

               list.add(new PathChangeModel(tw.getPathString(), tw.getPathString(), 0, tw

                     .getRawMode(0), tw.getObjectId(0).getName(), commit.getId().getName(),

               long size = 0;

               FilestoreModel filestoreItem = null;

               ObjectId objectId = tw.getObjectId(0);

					
               try {

                  if (!tw.isSubtree() && (tw.getFileMode(0) != FileMode.GITLINK)) {



                     size = tw.getObjectReader().getObjectSize(objectId, Constants.OBJ_BLOB);



                     if (isPossibleFilestoreItem(size)) {

                        filestoreItem = getFilestoreItem(tw.getObjectReader().open(objectId));

                     }

                  }

               } catch (Throwable t) {

                  error(t, null, "failed to retrieve blob size for " + tw.getPathString());

               }

					
               list.add(new PathChangeModel(tw.getPathString(), tw.getPathString(),filestoreItem, size, tw

                     .getRawMode(0), objectId.getName(), commit.getId().getName(),

                     ChangeType.ADD));

            }

            tw.release();

            tw.close();

         } else {

            RevCommit parent = rw.parseCommit(commit.getParent(0).getId());

            DiffStatFormatter df = new DiffStatFormatter(commit.getName());

            DiffStatFormatter df = new DiffStatFormatter(commit.getName(), repository);

            df.setRepository(repository);

            df.setDiffComparator(RawTextComparator.DEFAULT);

            df.setDetectRenames(true);

            List<DiffEntry> diffs = df.scan(parent.getTree(), commit.getTree());

            for (DiffEntry diff : diffs) {

               // create the path change model

               PathChangeModel pcm = PathChangeModel.from(diff, commit.getName());



               if (calculateDiffStat) {

               PathChangeModel pcm = PathChangeModel.from(diff, commit.getName(), repository);

						
                  if (calculateDiffStat) {

                  // update file diffstats

                  df.format(diff);

                  PathChangeModel pathStat = df.getDiffStat().getPath(pcm.path);

@@ -1049,7 +1075,7 @@
         RevCommit start = rw.parseCommit(startRange);

         RevCommit end = rw.parseCommit(endRange);

         list.addAll(getFilesInRange(repository, start, end));

         rw.release();

         rw.close();

      } catch (Throwable t) {

         error(t, repository, "{0} failed to determine files in range {1}..{2}!", startCommit, endCommit);

      }

@@ -1080,7 +1106,7 @@


         List<DiffEntry> diffEntries = df.scan(startCommit.getTree(), endCommit.getTree());

         for (DiffEntry diff : diffEntries) {

            PathChangeModel pcm = PathChangeModel.from(diff,  endCommit.getName());

            PathChangeModel pcm = PathChangeModel.from(diff,  endCommit.getName(), repository);

            list.add(pcm);

         }

         Collections.sort(list);

@@ -1147,7 +1173,7 @@
      } catch (IOException e) {

         error(e, repository, "{0} failed to get documents for commit {1}", commit.getName());

      } finally {

         tw.release();

         tw.close();

      }

      Collections.sort(list);

      return list;

@@ -1164,21 +1190,54 @@
   private static PathModel getPathModel(TreeWalk tw, String basePath, RevCommit commit) {

      String name;

      long size = 0;

		
      if (StringUtils.isEmpty(basePath)) {

         name = tw.getPathString();

      } else {

         name = tw.getPathString().substring(basePath.length() + 1);

      }

      ObjectId objectId = tw.getObjectId(0);

      FilestoreModel filestoreItem = null;

		
      try {

         if (!tw.isSubtree() && (tw.getFileMode(0) != FileMode.GITLINK)) {



            size = tw.getObjectReader().getObjectSize(objectId, Constants.OBJ_BLOB);



            if (isPossibleFilestoreItem(size)) {

               filestoreItem = getFilestoreItem(tw.getObjectReader().open(objectId));

            }

         }

      } catch (Throwable t) {

         error(t, null, "failed to retrieve blob size for " + tw.getPathString());

      }

      return new PathModel(name, tw.getPathString(), size, tw.getFileMode(0).getBits(),

      return new PathModel(name, tw.getPathString(), filestoreItem, size, tw.getFileMode(0).getBits(),

            objectId.getName(), commit.getName());

   }

	
   public static boolean isPossibleFilestoreItem(long size) {

      return (   (size >= com.gitblit.Constants.LEN_FILESTORE_META_MIN) 
            && (size <= com.gitblit.Constants.LEN_FILESTORE_META_MAX));

   }

	
   /**

    * 
    * @return Representative FilestoreModel if valid, otherwise null

    */

   public static FilestoreModel getFilestoreItem(ObjectLoader obj){

      try {

         final byte[] blob = obj.getCachedBytes(com.gitblit.Constants.LEN_FILESTORE_META_MAX);

         final String meta = new String(blob, "UTF-8");

		
         return FilestoreModel.fromMetaString(meta);



      } catch (LargeObjectException e) {

         //Intentionally failing silent

      } catch (Exception e) {

         error(e, null, "failed to retrieve filestoreItem " + obj.toString());

      }

		
      return null;

   }



   /**

@@ -1194,29 +1253,34 @@
         throws IOException {



      long size = 0;

      FilestoreModel filestoreItem = null;

      TreeWalk tw = TreeWalk.forPath(repo, path, commit.getTree());

      String pathString = path;



         if (!tw.isSubtree() && (tw.getFileMode(0) != FileMode.GITLINK)) {

            size = tw.getObjectReader().getObjectSize(tw.getObjectId(0), Constants.OBJ_BLOB);

            pathString = PathUtils.getLastPathComponent(pathString);

      if (!tw.isSubtree() && (tw.getFileMode(0) != FileMode.GITLINK)) {



         } else if (tw.isSubtree()) {

         pathString = PathUtils.getLastPathComponent(pathString);

			
         size = tw.getObjectReader().getObjectSize(tw.getObjectId(0), Constants.OBJ_BLOB);

			
         if (isPossibleFilestoreItem(size)) {

            filestoreItem = getFilestoreItem(tw.getObjectReader().open(tw.getObjectId(0)));

         }

      } else if (tw.isSubtree()) {



            // do not display dirs that are behind in the path

            if (!Strings.isNullOrEmpty(filter)) {

               pathString = path.replaceFirst(filter + "/", "");

            }



            // remove the last slash from path in displayed link

            if (pathString != null && pathString.charAt(pathString.length()-1) == '/') {

               pathString = pathString.substring(0, pathString.length()-1);

            }

         // do not display dirs that are behind in the path

         if (!Strings.isNullOrEmpty(filter)) {

            pathString = path.replaceFirst(filter + "/", "");

         }



         return new PathModel(pathString, tw.getPathString(), size, tw.getFileMode(0).getBits(),

               tw.getObjectId(0).getName(), commit.getName());

         // remove the last slash from path in displayed link

         if (pathString != null && pathString.charAt(pathString.length()-1) == '/') {

            pathString = pathString.substring(0, pathString.length()-1);

         }

      }



      return new PathModel(pathString, tw.getPathString(), filestoreItem, size, tw.getFileMode(0).getBits(),

            tw.getObjectId(0).getName(), commit.getName());



   }



@@ -2044,7 +2108,7 @@
         error(t, repository, "{0} can't find {1} in commit {2}", path, commit.name());

      } finally {

         rw.dispose();

         tw.release();

         tw.close();

      }

      return commitId;

   }

@@ -2218,10 +2282,10 @@
                  success = false;

               }

            } finally {

               revWalk.release();

               revWalk.close();

            }

         } finally {

            odi.release();

            odi.close();

         }

      } catch (Throwable t) {

         error(t, repository, "Failed to create orphan branch {1} in repository {0}", branchName);

@@ -2412,7 +2476,7 @@
         LOGGER.error("Failed to determine canMerge", e);

      } finally {

         if (revWalk != null) {

            revWalk.release();

            revWalk.close();

         }

      }

      return MergeStatus.NOT_MERGEABLE;

@@ -2498,16 +2562,39 @@
               // return the merge commit id

               return new MergeResult(MergeStatus.MERGED, mergeCommitId.getName());

            } finally {

               odi.release();

               odi.close();

            }

         }

      } catch (IOException e) {

         LOGGER.error("Failed to merge", e);

      } finally {

         if (revWalk != null) {

            revWalk.release();

            revWalk.close();

         }

      }

      return new MergeResult(MergeStatus.FAILED, null);

   }

	
	
   /**

    * Returns the LFS URL for the given oid 
    * Currently assumes that the Gitblit Filestore is used 
    *

    * @param baseURL

    * @param repository name

    * @param oid of lfs item

    * @return the lfs item URL

    */

   public static String getLfsRepositoryUrl(String baseURL, String repositoryName, String oid) {

		
      if (baseURL.length() > 0 && baseURL.charAt(baseURL.length() - 1) == '/') {

         baseURL = baseURL.substring(0, baseURL.length() - 1);

      }

		
      return baseURL + com.gitblit.Constants.R_PATH 
                  + repositoryName + "/" 
                  + com.gitblit.Constants.R_LFS 
                  + "objects/" + oid;

		
   }

}