James Moger
2013-11-13 c44dd099a432094a12131cf60dfc8a19f5aa8101
src/main/java/com/gitblit/utils/JGitUtils.java
@@ -81,7 +81,6 @@
import org.eclipse.jgit.treewalk.filter.PathSuffixFilter;
import org.eclipse.jgit.treewalk.filter.TreeFilter;
import org.eclipse.jgit.util.FS;
import org.eclipse.jgit.util.io.DisabledOutputStream;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
@@ -93,9 +92,9 @@
/**
 * Collection of static methods for retrieving information from a repository.
 *
 *
 * @author James Moger
 *
 *
 */
public class JGitUtils {
@@ -103,7 +102,7 @@
   /**
    * Log an error message and exception.
    *
    *
    * @param t
    * @param repository
    *            if repository is not null it MUST be the {0} parameter in the
@@ -127,7 +126,7 @@
   /**
    * Returns the displayable name of the person in the form "Real Name <email
    * address>".  If the email address is empty, just "Real Name" is returned.
    *
    *
    * @param person
    * @return "Real Name <email address>" or "Real Name"
    */
@@ -156,7 +155,7 @@
    * Clone or Fetch a repository. If the local repository does not exist,
    * clone is called. If the repository does exist, fetch is called. By
    * default the clone/fetch retrieves the remote heads, tags, and notes.
    *
    *
    * @param repositoriesFolder
    * @param name
    * @param fromUrl
@@ -172,7 +171,7 @@
    * Clone or Fetch a repository. If the local repository does not exist,
    * clone is called. If the repository does exist, fetch is called. By
    * default the clone/fetch retrieves the remote heads, tags, and notes.
    *
    *
    * @param repositoriesFolder
    * @param name
    * @param fromUrl
@@ -213,7 +212,7 @@
            clone.setCredentialsProvider(credentialsProvider);
         }
         Repository repository = clone.call().getRepository();
         // Now we have to fetch because CloneCommand doesn't fetch
         // refs/notes nor does it allow manual RefSpec.
         result.createdRepository = true;
@@ -226,7 +225,7 @@
   /**
    * Fetch updates from the remote repository. If refSpecs is unspecifed,
    * remote heads, tags, and notes are retrieved.
    *
    *
    * @param credentialsProvider
    * @param repository
    * @param refSpecs
@@ -255,7 +254,7 @@
   /**
    * Creates a bare repository.
    *
    *
    * @param repositoriesFolder
    * @param name
    * @return Repository
@@ -445,7 +444,7 @@
   /**
    * Returns a list of repository names in the specified folder.
    *
    *
    * @param repositoriesFolder
    * @param onlyBare
    *            if true, only bare repositories repositories are listed. If
@@ -479,7 +478,7 @@
   /**
    * Recursive function to find git repositories.
    *
    *
    * @param basePath
    *            basePath is stripped from the repository name as repositories
    *            are relative to this path
@@ -502,7 +501,7 @@
      if (depth == 0) {
         return list;
      }
      int nextDepth = (depth == -1) ? -1 : depth - 1;
      for (File file : searchFolder.listFiles()) {
         if (file.isDirectory()) {
@@ -547,7 +546,7 @@
   /**
    * Returns the first commit on a branch. If the repository does not exist or
    * is empty, null is returned.
    *
    *
    * @param repository
    * @param branch
    *            if unspecified, HEAD is assumed.
@@ -583,7 +582,7 @@
    * Returns the date of the first commit on a branch. If the repository does
    * not exist, Date(0) is returned. If the repository does exist bit is
    * empty, the last modified date of the repository folder is returned.
    *
    *
    * @param repository
    * @param branch
    *            if unspecified, HEAD is assumed.
@@ -604,7 +603,7 @@
   /**
    * Determine if a repository has any commits. This is determined by checking
    * the for loose and packed objects.
    *
    *
    * @param repository
    * @return true if the repository has commits
    */
@@ -615,18 +614,18 @@
      }
      return false;
   }
   /**
    * Encapsulates the result of cloning or pulling from a repository.
    */
   public static class LastChange {
      public Date when;
      public String who;
      LastChange() {
         when = new Date(0);
         when = new Date(0);
      }
      LastChange(long lastModified) {
         this.when = new Date(lastModified);
      }
@@ -636,7 +635,7 @@
    * Returns the date and author of the most recent commit on a branch. If the
    * repository does not exist Date(0) is returned. If it does exist but is
    * empty, the last modified date of the repository folder is returned.
    *
    *
    * @param repository
    * @return a LastChange object
    */
@@ -653,7 +652,7 @@
      List<RefModel> branchModels = getLocalBranches(repository, true, -1);
      if (branchModels.size() > 0) {
         // find most recent branch update
         LastChange lastChange = new LastChange();
         LastChange lastChange = new LastChange();
         for (RefModel branchModel : branchModels) {
            if (branchModel.getDate().after(lastChange.when)) {
               lastChange.when = branchModel.getDate();
@@ -662,14 +661,14 @@
         }
         return lastChange;
      }
      // default to the repository folder modification date
      return new LastChange(repository.getDirectory().lastModified());
   }
   /**
    * Retrieves a Java Date from a Git commit.
    *
    *
    * @param commit
    * @return date of the commit or Date(0) if the commit is null
    */
@@ -682,7 +681,7 @@
   /**
    * Retrieves a Java Date from a Git commit.
    *
    *
    * @param commit
    * @return date of the commit or Date(0) if the commit is null
    */
@@ -696,7 +695,7 @@
   /**
    * Returns the specified commit from the repository. If the repository does
    * not exist or is empty, null is returned.
    *
    *
    * @param repository
    * @param objectId
    *            if unspecified, HEAD is assumed.
@@ -727,7 +726,7 @@
   /**
    * Retrieves the raw byte content of a file in the specified tree.
    *
    *
    * @param repository
    * @param tree
    *            if null, the RevTree from HEAD is assumed.
@@ -742,6 +741,8 @@
      try {
         if (tree == null) {
            ObjectId object = getDefaultBranch(repository);
            if (object == null)
               return null;
            RevCommit commit = rw.parseCommit(object);
            tree = commit.getTree();
         }
@@ -781,7 +782,7 @@
   /**
    * Returns the UTF-8 string content of a file in the specified tree.
    *
    *
    * @param repository
    * @param tree
    *            if null, the RevTree from HEAD is assumed.
@@ -799,7 +800,7 @@
   /**
    * Gets the raw byte content of the specified blob object.
    *
    *
    * @param repository
    * @param objectId
    * @return byte [] blob content
@@ -830,7 +831,7 @@
   /**
    * Gets the UTF-8 string content of the blob specified by objectId.
    *
    *
    * @param repository
    * @param objectId
    * @param charsets optional
@@ -848,7 +849,7 @@
    * Returns the list of files in the specified folder at the specified
    * commit. If the repository does not exist or is empty, an empty list is
    * returned.
    *
    *
    * @param repository
    * @param path
    *            if unspecified, root folder is assumed.
@@ -903,13 +904,28 @@
   /**
    * Returns the list of files changed in a specified commit. If the
    * repository does not exist or is empty, an empty list is returned.
    *
    *
    * @param repository
    * @param commit
    *            if null, HEAD is assumed.
    * @return list of files changed in a commit
    */
   public static List<PathChangeModel> getFilesInCommit(Repository repository, RevCommit commit) {
      return getFilesInCommit(repository, commit, true);
   }
   /**
    * Returns the list of files changed in a specified commit. If the
    * repository does not exist or is empty, an empty list is returned.
    *
    * @param repository
    * @param commit
    *            if null, HEAD is assumed.
    * @param calculateDiffStat
    *            if true, each PathChangeModel will have insertions/deletions
    * @return list of files changed in a commit
    */
   public static List<PathChangeModel> getFilesInCommit(Repository repository, RevCommit commit, boolean calculateDiffStat) {
      List<PathChangeModel> list = new ArrayList<PathChangeModel>();
      if (!hasCommits(repository)) {
         return list;
@@ -934,26 +950,25 @@
            tw.release();
         } else {
            RevCommit parent = rw.parseCommit(commit.getParent(0).getId());
            DiffFormatter df = new DiffFormatter(DisabledOutputStream.INSTANCE);
            DiffStatFormatter df = new DiffStatFormatter(commit.getName());
            df.setRepository(repository);
            df.setDiffComparator(RawTextComparator.DEFAULT);
            df.setDetectRenames(true);
            List<DiffEntry> diffs = df.scan(parent.getTree(), commit.getTree());
            for (DiffEntry diff : diffs) {
               String objectId = diff.getNewId().name();
               if (diff.getChangeType().equals(ChangeType.DELETE)) {
                  list.add(new PathChangeModel(diff.getOldPath(), diff.getOldPath(), 0, diff
                        .getNewMode().getBits(), objectId, commit.getId().getName(), diff
                        .getChangeType()));
               } else if (diff.getChangeType().equals(ChangeType.RENAME)) {
                  list.add(new PathChangeModel(diff.getOldPath(), diff.getNewPath(), 0, diff
                        .getNewMode().getBits(), objectId, commit.getId().getName(), diff
                        .getChangeType()));
               } else {
                  list.add(new PathChangeModel(diff.getNewPath(), diff.getNewPath(), 0, diff
                        .getNewMode().getBits(), objectId, commit.getId().getName(), diff
                        .getChangeType()));
               // create the path change model
               PathChangeModel pcm = PathChangeModel.from(diff, commit.getName());
               if (calculateDiffStat) {
                  // update file diffstats
                  df.format(diff);
                  PathChangeModel pathStat = df.getDiffStat().getPath(pcm.path);
                  if (pathStat != null) {
                     pcm.insertions = pathStat.insertions;
                     pcm.deletions = pathStat.deletions;
                  }
               }
               list.add(pcm);
            }
         }
      } catch (Throwable t) {
@@ -967,7 +982,7 @@
   /**
    * Returns the list of files changed in a specified commit. If the
    * repository does not exist or is empty, an empty list is returned.
    *
    *
    * @param repository
    * @param startCommit
    *            earliest commit
@@ -988,21 +1003,9 @@
         List<DiffEntry> diffEntries = df.scan(startCommit.getTree(), endCommit.getTree());
         for (DiffEntry diff : diffEntries) {
            if (diff.getChangeType().equals(ChangeType.DELETE)) {
               list.add(new PathChangeModel(diff.getOldPath(), diff.getOldPath(), 0, diff
                     .getNewMode().getBits(), diff.getOldId().name(), null, diff
                     .getChangeType()));
            } else if (diff.getChangeType().equals(ChangeType.RENAME)) {
               list.add(new PathChangeModel(diff.getOldPath(), diff.getNewPath(), 0, diff
                     .getNewMode().getBits(), diff.getNewId().name(), null, diff
                     .getChangeType()));
            } else {
               list.add(new PathChangeModel(diff.getNewPath(), diff.getNewPath(), 0, diff
                     .getNewMode().getBits(), diff.getNewId().name(), null, diff
                     .getChangeType()));
            }
         }
            PathChangeModel pcm = PathChangeModel.from(diff,  null);
            list.add(pcm);
         }
         Collections.sort(list);
      } catch (Throwable t) {
         error(t, repository, "{0} failed to determine files in range {1}..{2}!", startCommit, endCommit);
@@ -1013,7 +1016,7 @@
    * Returns the list of files in the repository on the default branch that
    * match one of the specified extensions. This is a CASE-SENSITIVE search.
    * If the repository does not exist or is empty, an empty list is returned.
    *
    *
    * @param repository
    * @param extensions
    * @return list of files in repository with a matching extension
@@ -1026,7 +1029,7 @@
    * Returns the list of files in the repository in the specified commit that
    * match one of the specified extensions. This is a CASE-SENSITIVE search.
    * If the repository does not exist or is empty, an empty list is returned.
    *
    *
    * @param repository
    * @param extensions
    * @param objectId
@@ -1046,10 +1049,10 @@
            List<TreeFilter> suffixFilters = new ArrayList<TreeFilter>();
            for (String extension : extensions) {
               if (extension.charAt(0) == '.') {
                  suffixFilters.add(PathSuffixFilter.create("\\" + extension));
                  suffixFilters.add(PathSuffixFilter.create(extension));
               } else {
                  // escape the . since this is a regexp filter
                  suffixFilters.add(PathSuffixFilter.create("\\." + extension));
                  suffixFilters.add(PathSuffixFilter.create("." + extension));
               }
            }
            TreeFilter filter;
@@ -1075,7 +1078,7 @@
   /**
    * Returns a path model of the current file in the treewalk.
    *
    *
    * @param tw
    * @param basePath
    * @param commit
@@ -1103,7 +1106,7 @@
   /**
    * Returns a permissions representation of the mode bits.
    *
    *
    * @param mode
    * @return string representation of the mode bits
    */
@@ -1125,7 +1128,7 @@
   /**
    * Returns a list of commits since the minimum date starting from the
    * specified object id.
    *
    *
    * @param repository
    * @param objectId
    *            if unspecified, HEAD is assumed.
@@ -1163,7 +1166,7 @@
   /**
    * Returns a list of commits starting from HEAD and working backwards.
    *
    *
    * @param repository
    * @param maxCount
    *            if < 0, all commits for the repository are returned.
@@ -1178,7 +1181,7 @@
    * offset and maxCount for paging. This is similar to LIMIT n OFFSET p in
    * SQL. If the repository does not exist or is empty, an empty list is
    * returned.
    *
    *
    * @param repository
    * @param objectId
    *            if unspecified, HEAD is assumed.
@@ -1197,7 +1200,7 @@
    * repository. Caller may specify ending revision with objectId. Caller may
    * specify offset and maxCount to achieve pagination of results. If the
    * repository does not exist or is empty, an empty list is returned.
    *
    *
    * @param repository
    * @param objectId
    *            if unspecified, HEAD is assumed.
@@ -1242,7 +1245,7 @@
         RevWalk rw = new RevWalk(repository);
         rw.markStart(rw.parseCommit(endRange));
         if (startRange != null) {
            rw.markUninteresting(rw.parseCommit(startRange));
            rw.markUninteresting(rw.parseCommit(startRange));
         }
         if (!StringUtils.isEmpty(path)) {
            TreeFilter filter = AndTreeFilter.create(
@@ -1281,7 +1284,7 @@
    * Returns a list of commits for the repository within the range specified
    * by startRangeId and endRangeId. If the repository does not exist or is
    * empty, an empty list is returned.
    *
    *
    * @param repository
    * @param startRangeId
    *            the first commit (not included in results)
@@ -1326,7 +1329,7 @@
    * Search results require a specified SearchType of AUTHOR, COMMITTER, or
    * COMMIT. Results may be paginated using offset and maxCount. If the
    * repository does not exist or is empty, an empty list is returned.
    *
    *
    * @param repository
    * @param objectId
    *            if unspecified, HEAD is assumed.
@@ -1340,14 +1343,17 @@
    */
   public static List<RevCommit> searchRevlogs(Repository repository, String objectId,
         String value, final com.gitblit.Constants.SearchType type, int offset, int maxCount) {
      final String lcValue = value.toLowerCase();
      List<RevCommit> list = new ArrayList<RevCommit>();
      if (StringUtils.isEmpty(value)) {
         return list;
      }
      if (maxCount == 0) {
         return list;
      }
      if (!hasCommits(repository)) {
         return list;
      }
      final String lcValue = value.toLowerCase();
      try {
         // resolve branch
         ObjectId branchObject;
@@ -1423,7 +1429,7 @@
    * Returns the default branch to use for a repository. Normally returns
    * whatever branch HEAD points to, but if HEAD points to nothing it returns
    * the most recently updated branch.
    *
    *
    * @param repository
    * @return the objectid of a branch
    * @throws Exception
@@ -1486,7 +1492,7 @@
      }
      return target;
   }
   /**
    * Sets the symbolic ref HEAD to the specified target ref. The
    * HEAD will be detached if the target ref is not a branch.
@@ -1513,7 +1519,7 @@
         case FORCED:
         case NO_CHANGE:
         case FAST_FORWARD:
            return true;
            return true;
         default:
            LOGGER.error(MessageFormat.format("{0} HEAD update to {1} returned result {2}",
                  repository.getDirectory().getAbsolutePath(), targetRef, result));
@@ -1523,7 +1529,7 @@
      }
      return false;
   }
   /**
    * Sets the local branch ref to point to the specified commit id.
    *
@@ -1534,7 +1540,7 @@
    */
   public static boolean setBranchRef(Repository repository, String branch, String commitId) {
      String branchName = branch;
      if (!branchName.startsWith(Constants.R_HEADS)) {
      if (!branchName.startsWith(Constants.R_REFS)) {
         branchName = Constants.R_HEADS + branch;
      }
@@ -1548,7 +1554,7 @@
         case FORCED:
         case NO_CHANGE:
         case FAST_FORWARD:
            return true;
            return true;
         default:
            LOGGER.error(MessageFormat.format("{0} {1} update to {2} returned result {3}",
                  repository.getDirectory().getAbsolutePath(), branchName, commitId, result));
@@ -1558,10 +1564,10 @@
      }
      return false;
   }
   /**
    * Deletes the specified branch ref.
    *
    *
    * @param repository
    * @param branch
    * @return true if successful
@@ -1581,7 +1587,7 @@
         case FORCED:
         case NO_CHANGE:
         case FAST_FORWARD:
            return true;
            return true;
         default:
            LOGGER.error(MessageFormat.format("{0} failed to delete to {1} returned result {2}",
                  repository.getDirectory().getAbsolutePath(), branchName, result));
@@ -1591,7 +1597,7 @@
      }
      return false;
   }
   /**
    * Get the full branch and tag ref names for any potential HEAD targets.
    *
@@ -1612,17 +1618,17 @@
   /**
    * Returns all refs grouped by their associated object id.
    *
    *
    * @param repository
    * @return all refs grouped by their referenced object id
    */
   public static Map<ObjectId, List<RefModel>> getAllRefs(Repository repository) {
      return getAllRefs(repository, true);
   }
   /**
    * Returns all refs grouped by their associated object id.
    *
    *
    * @param repository
    * @param includeRemoteRefs
    * @return all refs grouped by their referenced object id
@@ -1646,7 +1652,7 @@
   /**
    * Returns the list of tags in the repository. If repository does not exist
    * or is empty, an empty list is returned.
    *
    *
    * @param repository
    * @param fullName
    *            if true, /refs/tags/yadayadayada is returned. If false,
@@ -1662,7 +1668,7 @@
   /**
    * Returns the list of local branches in the repository. If repository does
    * not exist or is empty, an empty list is returned.
    *
    *
    * @param repository
    * @param fullName
    *            if true, /refs/heads/yadayadayada is returned. If false,
@@ -1679,7 +1685,7 @@
   /**
    * Returns the list of remote branches in the repository. If repository does
    * not exist or is empty, an empty list is returned.
    *
    *
    * @param repository
    * @param fullName
    *            if true, /refs/remotes/yadayadayada is returned. If false,
@@ -1696,7 +1702,7 @@
   /**
    * Returns the list of note branches. If repository does not exist or is
    * empty, an empty list is returned.
    *
    *
    * @param repository
    * @param fullName
    *            if true, /refs/notes/yadayadayada is returned. If false,
@@ -1709,11 +1715,11 @@
         int maxCount) {
      return getRefs(repository, Constants.R_NOTES, fullName, maxCount);
   }
   /**
    * Returns the list of refs in the specified base ref. If repository does
    * Returns the list of refs in the specified base ref. If repository does
    * not exist or is empty, an empty list is returned.
    *
    *
    * @param repository
    * @param fullName
    *            if true, /refs/yadayadayada is returned. If false,
@@ -1727,7 +1733,7 @@
   /**
    * Returns a list of references in the repository matching "refs". If the
    * repository is null or empty, an empty list is returned.
    *
    *
    * @param repository
    * @param refs
    *            if unspecified, all refs are returned
@@ -1774,7 +1780,7 @@
   /**
    * Returns a RefModel for the gh-pages branch in the repository. If the
    * branch can not be found, null is returned.
    *
    *
    * @param repository
    * @return a refmodel for the gh-pages branch or null
    */
@@ -1785,7 +1791,7 @@
   /**
    * Returns a RefModel for a specific branch name in the repository. If the
    * branch can not be found, null is returned.
    *
    *
    * @param repository
    * @return a refmodel for the branch or null
    */
@@ -1814,10 +1820,10 @@
      }
      return branch;
   }
   /**
    * Returns the list of submodules for this repository.
    *
    *
    * @param repository
    * @param commit
    * @return list of submodules
@@ -1826,10 +1832,10 @@
      RevCommit commit = getCommit(repository, commitId);
      return getSubmodules(repository, commit.getTree());
   }
   /**
    * Returns the list of submodules for this repository.
    *
    *
    * @param repository
    * @param commit
    * @return list of submodules
@@ -1852,11 +1858,11 @@
      }
      return list;
   }
   /**
    * Returns the submodule definition for the specified path at the specified
    * commit.  If no module is defined for the path, null is returned.
    *
    *
    * @param repository
    * @param commit
    * @param path
@@ -1870,7 +1876,7 @@
      }
      return null;
   }
   public static String getSubmoduleCommitId(Repository repository, String path, RevCommit commit) {
      String commitId = null;
      RevWalk rw = new RevWalk(repository);
@@ -1901,7 +1907,7 @@
    * Returns the list of notes entered about the commit from the refs/notes
    * namespace. If the repository does not exist or is empty, an empty list is
    * returned.
    *
    *
    * @param repository
    * @param commit
    * @return list of notes
@@ -1925,7 +1931,7 @@
            list.add(gitNote);
            continue;
         }
         // folder structure
         StringBuilder sb = new StringBuilder(commit.getName());
         sb.insert(2, '/');
@@ -1945,7 +1951,7 @@
   /**
    * this method creates an incremental revision number as a tag according to
    * the amount of already existing tags, which start with a defined prefix.
    *
    *
    * @param repository
    * @param objectId
    * @param tagger
@@ -1979,7 +1985,7 @@
   /**
    * creates a tag in a repository
    *
    *
    * @param repository
    * @param objectId, the ref the tag points towards
    * @param tagger, the person tagging the object
@@ -1988,7 +1994,7 @@
    * @return boolean, true if operation was successful, otherwise false
    */
   public static boolean createTag(Repository repository, String objectId, PersonIdent tagger, String tag, String message) {
      try {
      try {
         Git gitClient = Git.open(repository.getDirectory());
         TagCommand tagCommand = gitClient.tag();
         tagCommand.setTagger(tagger);
@@ -1998,17 +2004,17 @@
            tagCommand.setObjectId(revObj);
         }
         tagCommand.setName(tag);
         Ref call = tagCommand.call();
         Ref call = tagCommand.call();
         return call != null ? true : false;
      } catch (Exception e) {
         error(e, repository, "Failed to create tag {1} in repository {0}", objectId, tag);
      }
      return false;
   }
   /**
    * Create an orphaned branch in a repository.
    *
    *
    * @param repository
    * @param branchName
    * @param author
@@ -2076,10 +2082,10 @@
      }
      return success;
   }
   /**
    * Reads the sparkleshare id, if present, from the repository.
    *
    *
    * @param repository
    * @return an id or null
    */
@@ -2090,4 +2096,54 @@
      }
      return StringUtils.decodeString(content);
   }
   /**
    * Automatic repair of (some) invalid refspecs.  These are the result of a
    * bug in JGit cloning where a double forward-slash was injected.  :(
    *
    * @param repository
    * @return true, if the refspecs were repaired
    */
   public static boolean repairFetchSpecs(Repository repository) {
      StoredConfig rc = repository.getConfig();
      // auto-repair broken fetch ref specs
      for (String name : rc.getSubsections("remote")) {
         int invalidSpecs = 0;
         int repairedSpecs = 0;
         List<String> specs = new ArrayList<String>();
         for (String spec : rc.getStringList("remote", name, "fetch")) {
            try {
               RefSpec rs = new RefSpec(spec);
               // valid spec
               specs.add(spec);
            } catch (IllegalArgumentException e) {
               // invalid spec
               invalidSpecs++;
               if (spec.contains("//")) {
                  // auto-repair this known spec bug
                  spec = spec.replace("//", "/");
                  specs.add(spec);
                  repairedSpecs++;
               }
            }
         }
         if (invalidSpecs == repairedSpecs && repairedSpecs > 0) {
            // the fetch specs were automatically repaired
            rc.setStringList("remote", name, "fetch", specs);
            try {
               rc.save();
               rc.load();
               LOGGER.debug("repaired {} invalid fetch refspecs for {}", repairedSpecs, repository.getDirectory());
               return true;
            } catch (Exception e) {
               LOGGER.error(null, e);
            }
         } else if (invalidSpecs > 0) {
            LOGGER.error("mirror executor found {} invalid fetch refspecs for {}", invalidSpecs, repository.getDirectory());
         }
      }
      return false;
   }
}