James Moger
2012-10-30 abcb146f0c4e5c99e5e44349a65e6fd49e9296d9
src/com/gitblit/GitBlit.java
@@ -28,6 +28,7 @@
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.Calendar;
import java.util.Collection;
import java.util.Collections;
import java.util.Date;
@@ -78,20 +79,21 @@
import com.gitblit.Constants.FederationRequest;
import com.gitblit.Constants.FederationStrategy;
import com.gitblit.Constants.FederationToken;
import com.gitblit.Constants.PermissionType;
import com.gitblit.Constants.RegistrantType;
import com.gitblit.models.FederationModel;
import com.gitblit.models.FederationProposal;
import com.gitblit.models.FederationSet;
import com.gitblit.models.ForkModel;
import com.gitblit.models.Metric;
import com.gitblit.models.ProjectModel;
import com.gitblit.models.RegistrantAccessPermission;
import com.gitblit.models.RepositoryModel;
import com.gitblit.models.SearchResult;
import com.gitblit.models.ServerSettings;
import com.gitblit.models.ServerStatus;
import com.gitblit.models.SettingModel;
import com.gitblit.models.TeamAccessPermission;
import com.gitblit.models.TeamModel;
import com.gitblit.models.UserAccessPermission;
import com.gitblit.models.UserModel;
import com.gitblit.utils.ArrayUtils;
import com.gitblit.utils.ByteFormat;
@@ -103,6 +105,7 @@
import com.gitblit.utils.MetricUtils;
import com.gitblit.utils.ObjectCache;
import com.gitblit.utils.StringUtils;
import com.gitblit.utils.TimeUtils;
import com.gitblit.wicket.WicketUtils;
/**
@@ -159,6 +162,8 @@
   private MailExecutor mailExecutor;
   
   private LuceneExecutor luceneExecutor;
   private GCExecutor gcExecutor;
   
   private TimeZone timezone;
   
@@ -250,6 +255,34 @@
    */
   public static int getInteger(String key, int defaultValue) {
      return self().settings.getInteger(key, defaultValue);
   }
   /**
    * Returns the value in bytes for the specified key. If the key does not
    * exist or the value for the key can not be interpreted as an integer, the
    * defaultValue is returned.
    *
    * @see IStoredSettings.getFilesize(String key, int defaultValue)
    * @param key
    * @param defaultValue
    * @return key value or defaultValue
    */
   public static int getFilesize(String key, int defaultValue) {
      return self().settings.getFilesize(key, defaultValue);
   }
   /**
    * Returns the value in bytes for the specified key. If the key does not
    * exist or the value for the key can not be interpreted as a long, the
    * defaultValue is returned.
    *
    * @see IStoredSettings.getFilesize(String key, long defaultValue)
    * @param key
    * @param defaultValue
    * @return key value or defaultValue
    */
   public static long getFilesize(String key, long defaultValue) {
      return self().settings.getFilesize(key, defaultValue);
   }
   /**
@@ -637,13 +670,36 @@
    * @param repository
    * @return a list of User-AccessPermission tuples
    */
   public List<UserAccessPermission> getUserAccessPermissions(RepositoryModel repository) {
      List<UserAccessPermission> permissions = new ArrayList<UserAccessPermission>();
      for (String user : userService.getUsernamesForRepositoryRole(repository.name)) {
         AccessPermission ap = userService.getUserModel(user).getRepositoryPermission(repository);
         permissions.add(new UserAccessPermission(user, ap));
   public List<RegistrantAccessPermission> getUserAccessPermissions(RepositoryModel repository) {
      Set<RegistrantAccessPermission> permissions = new LinkedHashSet<RegistrantAccessPermission>();
      if (!StringUtils.isEmpty(repository.owner)) {
         UserModel owner = userService.getUserModel(repository.owner);
         if (owner != null) {
            permissions.add(new RegistrantAccessPermission(owner.username, AccessPermission.REWIND, PermissionType.OWNER, RegistrantType.USER, false));
         }
      }
      return permissions;
      if (repository.isPersonalRepository()) {
         UserModel owner = userService.getUserModel(repository.projectPath.substring(1));
         if (owner != null) {
            permissions.add(new RegistrantAccessPermission(owner.username, AccessPermission.REWIND, PermissionType.OWNER, RegistrantType.USER, false));
         }
      }
      for (String user : userService.getUsernamesForRepositoryRole(repository.name)) {
         UserModel model = userService.getUserModel(user);
         AccessPermission ap = model.getRepositoryPermission(repository);
         PermissionType pType = PermissionType.REGEX;
         boolean editable = false;
         if (repository.isOwner(model.username)) {
            pType = PermissionType.OWNER;
         } else if (repository.isUsersPersonalRepository(model.username)) {
            pType = PermissionType.OWNER;
         } else if (model.hasExplicitRepositoryPermission(repository.name)) {
            pType = PermissionType.EXPLICIT;
            editable = true;
         }
         permissions.add(new RegistrantAccessPermission(user, ap, pType, RegistrantType.USER, editable));
      }
      return new ArrayList<RegistrantAccessPermission>(permissions);
   }
   
   /**
@@ -653,12 +709,15 @@
    * @param permissions
    * @return true if the user models have been updated
    */
   public boolean setUserAccessPermissions(RepositoryModel repository, List<UserAccessPermission> permissions) {
   public boolean setUserAccessPermissions(RepositoryModel repository, Collection<RegistrantAccessPermission> permissions) {
      List<UserModel> users = new ArrayList<UserModel>();
      for (UserAccessPermission up : permissions) {
         UserModel user = userService.getUserModel(up.user);
         user.setRepositoryPermission(repository.name, up.permission);
         users.add(user);
      for (RegistrantAccessPermission up : permissions) {
         if (up.isEditable) {
            // only set editable defined permissions
            UserModel user = userService.getUserModel(up.registrant);
            user.setRepositoryPermission(repository.name, up.permission);
            users.add(user);
         }
      }
      return userService.updateUserModels(users);
   }
@@ -686,7 +745,9 @@
    */
   @Deprecated
   public boolean setRepositoryUsers(RepositoryModel repository, List<String> repositoryUsers) {
      return userService.setUsernamesForRepositoryRole(repository.name, repositoryUsers);
      // rejects all changes since 1.2.0 because this would elevate
      // all discrete access permissions to RW+
      return false;
   }
   /**
@@ -767,11 +828,18 @@
    * @param repository
    * @return a list of Team-AccessPermission tuples
    */
   public List<TeamAccessPermission> getTeamAccessPermissions(RepositoryModel repository) {
      List<TeamAccessPermission> permissions = new ArrayList<TeamAccessPermission>();
   public List<RegistrantAccessPermission> getTeamAccessPermissions(RepositoryModel repository) {
      List<RegistrantAccessPermission> permissions = new ArrayList<RegistrantAccessPermission>();
      for (String team : userService.getTeamnamesForRepositoryRole(repository.name)) {
         AccessPermission ap = userService.getTeamModel(team).getRepositoryPermission(repository);
         permissions.add(new TeamAccessPermission(team, ap));
         TeamModel model = userService.getTeamModel(team);
         AccessPermission ap = model.getRepositoryPermission(repository);
         PermissionType pType = PermissionType.REGEX;
         boolean editable = false;
         if (model.hasExplicitRepositoryPermission(repository.name)) {
            pType = PermissionType.EXPLICIT;
            editable = true;
         }
         permissions.add(new RegistrantAccessPermission(team, ap, pType, RegistrantType.TEAM, editable));
      }
      return permissions;
   }
@@ -783,25 +851,27 @@
    * @param permissions
    * @return true if the team models have been updated
    */
   public boolean setTeamAccessPermissions(RepositoryModel repository, List<TeamAccessPermission> permissions) {
   public boolean setTeamAccessPermissions(RepositoryModel repository, Collection<RegistrantAccessPermission> permissions) {
      List<TeamModel> teams = new ArrayList<TeamModel>();
      for (TeamAccessPermission tp : permissions) {
         TeamModel team = userService.getTeamModel(tp.team);
         team.setRepositoryPermission(repository.name, tp.permission);
         teams.add(team);
      for (RegistrantAccessPermission tp : permissions) {
         if (tp.isEditable) {
            // only set explicitly defined access permissions
            TeamModel team = userService.getTeamModel(tp.registrant);
            team.setRepositoryPermission(repository.name, tp.permission);
            teams.add(team);
         }
      }
      return userService.updateTeamModels(teams);
   }
   
   /**
    * Returns the list of all teams who are allowed to bypass the access
    * restriction placed on the specified repository.
    * Returns the list of all teams who have an explicit access permission for
    * the specified repository.
    * 
    * @see IUserService.getTeamnamesForRepositoryRole(String)
    * @param repository
    * @return list of all teamnames that can bypass the access restriction
    * @return list of all teamnames with explicit access permissions to the repository
    */
   @Deprecated
   public List<String> getRepositoryTeams(RepositoryModel repository) {
      return userService.getTeamnamesForRepositoryRole(repository.name);
   }
@@ -817,7 +887,9 @@
    */
   @Deprecated
   public boolean setRepositoryTeams(RepositoryModel repository, List<String> repositoryTeams) {
      return userService.setTeamnamesForRepositoryRole(repository.name, repositoryTeams);
      // rejects all changes since 1.2.0 because this would elevate
      // all discrete access permissions to RW+
      return false;
   }
   /**
@@ -1005,10 +1077,15 @@
    * @return repository or null
    */
   public Repository getRepository(String repositoryName, boolean logError) {
      if (isCollectingGarbage(repositoryName)) {
         logger.warn(MessageFormat.format("Rejecting request for {0}, busy collecting garbage!", repositoryName));
         return null;
      }
      File dir = FileKey.resolve(new File(repositoriesFolder, repositoryName), FS.DETECTED);
      if (dir == null)
         return null;
      Repository r = null;
      try {
         FileKey key = FileKey.exact(dir, FS.DETECTED);
@@ -1102,7 +1179,14 @@
      
      // cached model
      RepositoryModel model = repositoryListCache.get(repositoryName);
      if (gcExecutor.isCollectingGarbage(model.name)) {
         // Gitblit is busy collecting garbage, use our cached model
         RepositoryModel rm = DeepCopier.copy(model);
         rm.isCollectingGarbage = true;
         return rm;
      }
      // check for updates
      Repository r = getRepository(repositoryName);
      if (r == null) {
@@ -1167,12 +1251,6 @@
            }
            project.title = projectConfigs.getString("project", name, "title");
            project.description = projectConfigs.getString("project", name, "description");
            // TODO add more interesting metadata
            // project manager?
            // commit message regex?
            // RW+
            // RW
            // R
            configs.put(name.toLowerCase(), project);            
         }
         projectCache.clear();
@@ -1366,6 +1444,13 @@
         model.federationSets = new ArrayList<String>(Arrays.asList(config.getStringList(
               Constants.CONFIG_GITBLIT, null, "federationSets")));
         model.isFederated = getConfig(config, "isFederated", false);
         model.gcThreshold = getConfig(config, "gcThreshold", settings.getString(Keys.git.defaultGarbageCollectionThreshold, "500KB"));
         model.gcPeriod = getConfig(config, "gcPeriod", settings.getInteger(Keys.git.defaultGarbageCollectionPeriod, 7));
         try {
            model.lastGC = new SimpleDateFormat(Constants.ISO8601).parse(getConfig(config, "lastGC", "1970-01-01'T'00:00:00Z"));
         } catch (Exception e) {
            model.lastGC = new Date(0);
         }
         model.origin = config.getString("remote", "origin", "url");
         if (model.origin != null) {
            model.origin = model.origin.replace('\\', '/');
@@ -1645,6 +1730,27 @@
   private boolean getConfig(StoredConfig config, String field, boolean defaultValue) {
      return config.getBoolean(Constants.CONFIG_GITBLIT, field, defaultValue);
   }
   /**
    * Returns the gitblit string value for the specified key. If key is not
    * set, returns defaultValue.
    *
    * @param config
    * @param field
    * @param defaultValue
    * @return field value or defaultValue
    */
   private int getConfig(StoredConfig config, String field, int defaultValue) {
      String value = config.getString(Constants.CONFIG_GITBLIT, null, field);
      if (StringUtils.isEmpty(value)) {
         return defaultValue;
      }
      try {
         return Integer.parseInt(value);
      } catch (Exception e) {
      }
      return defaultValue;
   }
   /**
    * Creates/updates the repository model keyed by reopsitoryName. Saves all
@@ -1662,6 +1768,10 @@
    */
   public void updateRepositoryModel(String repositoryName, RepositoryModel repository,
         boolean isCreate) throws GitBlitException {
      if (gcExecutor.isCollectingGarbage(repositoryName)) {
         throw new GitBlitException(MessageFormat.format("sorry, Gitblit is busy collecting garbage in {0}",
               repositoryName));
      }
      Repository r = null;
      String projectPath = StringUtils.getFirstPathElement(repository.name);
      if (!StringUtils.isEmpty(projectPath)) {
@@ -1806,6 +1916,11 @@
      config.setString(Constants.CONFIG_GITBLIT, null, "federationStrategy",
            repository.federationStrategy.name());
      config.setBoolean(Constants.CONFIG_GITBLIT, null, "isFederated", repository.isFederated);
      config.setString(Constants.CONFIG_GITBLIT, null, "gcThreshold", repository.gcThreshold);
      config.setInt(Constants.CONFIG_GITBLIT, null, "gcPeriod", repository.gcPeriod);
      if (repository.lastGC != null) {
         config.setString(Constants.CONFIG_GITBLIT, null, "lastGC", new SimpleDateFormat(Constants.ISO8601).format(repository.lastGC));
      }
      updateList(config, "federationSets", repository.federationSets);
      updateList(config, "preReceiveScript", repository.preReceiveScripts);
@@ -2601,6 +2716,12 @@
   public void configureContext(IStoredSettings settings, boolean startFederation) {
      logger.info("Reading configuration from " + settings.toString());
      this.settings = settings;
      // prepare service executors
      mailExecutor = new MailExecutor(settings);
      luceneExecutor = new LuceneExecutor(settings, repositoriesFolder);
      gcExecutor = new GCExecutor(settings);
      repositoriesFolder = getRepositoriesFolder();
      logger.info("Git repositories folder " + repositoriesFolder.getAbsolutePath());
@@ -2634,16 +2755,43 @@
      // load and cache the project metadata
      projectConfigs = new FileBasedConfig(getFileOrFolder(Keys.web.projectsFile, "projects.conf"), FS.detect());
      getProjectConfigs();
      mailExecutor = new MailExecutor(settings);
      // schedule mail engine
      if (mailExecutor.isReady()) {
         logger.info("Mail executor is scheduled to process the message queue every 2 minutes.");
         scheduledExecutor.scheduleAtFixedRate(mailExecutor, 1, 2, TimeUnit.MINUTES);
      } else {
         logger.warn("Mail server is not properly configured.  Mail services disabled.");
      }
      luceneExecutor = new LuceneExecutor(settings, repositoriesFolder);
      // schedule lucene engine
      logger.info("Lucene executor is scheduled to process indexed branches every 2 minutes.");
      scheduledExecutor.scheduleAtFixedRate(luceneExecutor, 1, 2, TimeUnit.MINUTES);
      // schedule gc engine
      if (gcExecutor.isReady()) {
         logger.info("GC executor is scheduled to scan repositories every 24 hours.");
         Calendar c = Calendar.getInstance();
         c.set(Calendar.HOUR_OF_DAY, settings.getInteger(Keys.git.garbageCollectionHour, 0));
         c.set(Calendar.MINUTE, 0);
         c.set(Calendar.SECOND, 0);
         c.set(Calendar.MILLISECOND, 0);
         Date cd = c.getTime();
         Date now = new Date();
         int delay = 0;
         if (cd.before(now)) {
            c.add(Calendar.DATE, 1);
            cd = c.getTime();
         }
         delay = (int) ((cd.getTime() - now.getTime())/TimeUtils.MIN);
         String when = delay + " mins";
         if (delay > 60) {
            when = MessageFormat.format("{0,number,0.0} hours", ((float)delay)/60f);
         }
         logger.info(MessageFormat.format("Next scheculed GC scan is in {0}", when));
         scheduledExecutor.scheduleAtFixedRate(gcExecutor, delay, 60*24, TimeUnit.MINUTES);
      }
      if (startFederation) {
         configureFederation();
      }
@@ -2745,9 +2893,20 @@
      logger.info("Gitblit context destroyed by servlet container.");
      scheduledExecutor.shutdownNow();
      luceneExecutor.close();
      gcExecutor.close();
   }
   
   /**
    * Returns true if Gitblit is actively collecting garbage in this repository.
    *
    * @param repositoryName
    * @return true if actively collecting garbage
    */
   public boolean isCollectingGarbage(String repositoryName) {
      return gcExecutor.isCollectingGarbage(repositoryName);
   }
   /**
    * Creates a personal fork of the specified repository. The clone is view
    * restricted by default and the owner of the source repository is given
    * access to the clone.