Close file descriptor leak (issue-199)

James Moger

2013-05-15 df550007fe30a0f9ac0a650b8587932848e70d33

 src/main/java/com/gitblit/GitBlit.java

@@ -18,10 +18,15 @@
import java.io.BufferedReader;

import java.io.File;

import java.io.FileFilter;

import java.io.FileInputStream;

import java.io.FileNotFoundException;

import java.io.FileOutputStream;

import java.io.IOException;

import java.io.InputStream;

import java.io.InputStreamReader;

import java.io.OutputStream;

import java.lang.reflect.Field;

import java.lang.reflect.Type;

import java.net.URI;

import java.net.URISyntaxException;

import java.nio.charset.Charset;

@@ -71,7 +76,6 @@
import org.eclipse.jgit.lib.RepositoryCache.FileKey;

import org.eclipse.jgit.lib.StoredConfig;

import org.eclipse.jgit.storage.file.FileBasedConfig;

import org.eclipse.jgit.storage.file.WindowCache;

import org.eclipse.jgit.storage.file.WindowCacheConfig;

import org.eclipse.jgit.util.FS;

import org.eclipse.jgit.util.FileUtils;

@@ -95,10 +99,12 @@
import com.gitblit.models.FederationProposal;

import com.gitblit.models.FederationSet;

import com.gitblit.models.ForkModel;

import com.gitblit.models.GitClientApplication;

import com.gitblit.models.Metric;

import com.gitblit.models.ProjectModel;

import com.gitblit.models.RegistrantAccessPermission;

import com.gitblit.models.RepositoryModel;

import com.gitblit.models.RepositoryUrl;

import com.gitblit.models.SearchResult;

import com.gitblit.models.ServerSettings;

import com.gitblit.models.ServerStatus;

@@ -121,6 +127,11 @@
import com.gitblit.utils.X509Utils.X509Metadata;

import com.gitblit.wicket.GitBlitWebSession;

import com.gitblit.wicket.WicketUtils;

import com.google.gson.Gson;

import com.google.gson.GsonBuilder;

import com.google.gson.JsonIOException;

import com.google.gson.JsonSyntaxException;

import com.google.gson.reflect.TypeToken;



/**

 * GitBlit is the servlet context listener singleton that acts as the core for

@@ -148,6 +159,8 @@


   private final List<FederationModel> federationRegistrations = Collections

         .synchronizedList(new ArrayList<FederationModel>());

	
   private final ObjectCache<Collection<GitClientApplication>> clientApplications = new ObjectCache<Collection<GitClientApplication>>();



   private final Map<String, FederationModel> federationPullResults = new ConcurrentHashMap<String, FederationModel>();



@@ -192,7 +205,7 @@
   private FanoutService fanoutService;



   private GitDaemon gitDaemon;

	


   public GitBlit() {

      if (gitblit == null) {

         // set the static singleton reference

@@ -451,21 +464,166 @@
      serverStatus.heapFree = Runtime.getRuntime().freeMemory();

      return serverStatus;

   }

	
   /**

    * Returns a list of repository URLs and the user access permission.

    * 
    * @param request

    * @param user

    * @param repository

    * @return a list of repository urls

    */

   public List<RepositoryUrl> getRepositoryUrls(HttpServletRequest request, UserModel user, RepositoryModel repository) {

      if (user == null) {

         user = UserModel.ANONYMOUS;

      }

      String username = UserModel.ANONYMOUS.equals(user) ? "" : user.username;



      List<RepositoryUrl> list = new ArrayList<RepositoryUrl>();

      // http/https url

      if (settings.getBoolean(Keys.git.enableGitServlet, true)) {

         AccessPermission permission = user.getRepositoryPermission(repository).permission;

         if (permission.exceeds(AccessPermission.NONE)) {

            list.add(new RepositoryUrl(getRepositoryUrl(request, username, repository), permission));

         }

      }



      // git daemon url

      String gitDaemonUrl = getGitDaemonUrl(request, user, repository);

      if (!StringUtils.isEmpty(gitDaemonUrl)) {

         AccessPermission permission = getGitDaemonAccessPermission(user, repository);

         if (permission.exceeds(AccessPermission.NONE)) {

            list.add(new RepositoryUrl(gitDaemonUrl, permission));

         }

      }



      // add all other urls

      // {0} = repository

      // {1} = username

      for (String url : settings.getStrings(Keys.web.otherUrls)) {

         if (url.contains("{1}")) {

            // external url requires username, only add url IF we have one

            if(!StringUtils.isEmpty(username)) {

               list.add(new RepositoryUrl(MessageFormat.format(url, repository.name, username), null));

            }

         } else {

            // external url does not require username

            list.add(new RepositoryUrl(MessageFormat.format(url, repository.name), null));

         }

      }

      return list;

   }

	
   protected String getRepositoryUrl(HttpServletRequest request, String username, RepositoryModel repository) {

      StringBuilder sb = new StringBuilder();

      sb.append(HttpUtils.getGitblitURL(request));

      sb.append(Constants.GIT_PATH);

      sb.append(repository.name);

		
      // inject username into repository url if authentication is required

      if (repository.accessRestriction.exceeds(AccessRestrictionType.NONE)

            && !StringUtils.isEmpty(username)) {

         sb.insert(sb.indexOf("://") + 3, username + "@");

      }

      return sb.toString();

   }

	
   protected String getGitDaemonUrl(HttpServletRequest request, UserModel user, RepositoryModel repository) {

      if (gitDaemon != null) {

         String bindInterface = settings.getString(Keys.git.daemonBindInterface, "localhost");

         if (bindInterface.equals("localhost")

               && (!request.getServerName().equals("localhost") && !request.getServerName().equals("127.0.0.1"))) {

            // git daemon is bound to localhost and the request is from elsewhere

            return null;

         }

         if (user.canClone(repository)) {

            String servername = request.getServerName();

            String url = gitDaemon.formatUrl(servername, repository.name);

            return url;

         }

      }

      return null;

   }

	
   protected AccessPermission getGitDaemonAccessPermission(UserModel user, RepositoryModel repository) {

      if (gitDaemon != null && user.canClone(repository)) {

         AccessPermission gitDaemonPermission = user.getRepositoryPermission(repository).permission;

         if (gitDaemonPermission.atLeast(AccessPermission.CLONE)) {

            if (repository.accessRestriction.atLeast(AccessRestrictionType.CLONE)) {

               // can not authenticate clone via anonymous git protocol

               gitDaemonPermission = AccessPermission.NONE;

            } else if (repository.accessRestriction.atLeast(AccessRestrictionType.PUSH)) {

               // can not authenticate push via anonymous git protocol

               gitDaemonPermission = AccessPermission.CLONE;

            } else {

               // normal user permission

            }

         }

         return gitDaemonPermission;

      }

      return AccessPermission.NONE;

   }



   /**

    * Returns the list of non-Gitblit clone urls. This allows Gitblit to

    * advertise alternative urls for Git client repository access.

    * Returns the list of custom client applications to be used for the

    * repository url panel;

    * 

    * @param repositoryName

    * @param userName

    * @return list of non-gitblit clone urls

    * @return a collection of client applications

    */

   public List<String> getOtherCloneUrls(String repositoryName, String username) {

      List<String> cloneUrls = new ArrayList<String>();

      for (String url : settings.getStrings(Keys.web.otherUrls)) {

         cloneUrls.add(MessageFormat.format(url, repositoryName, username));

   public Collection<GitClientApplication> getClientApplications() {

      // prefer user definitions, if they exist

      File userDefs = new File(baseFolder, "clientapps.json");

      if (userDefs.exists()) {

         Date lastModified = new Date(userDefs.lastModified());

         if (clientApplications.hasCurrent("user", lastModified)) {

            return clientApplications.getObject("user");

         } else {

            // (re)load user definitions

            try {

               InputStream is = new FileInputStream(userDefs);

               Collection<GitClientApplication> clients = readClientApplications(is);

               is.close();

               if (clients != null) {

                  clientApplications.updateObject("user", lastModified, clients);

                  return clients;

               }				
            } catch (IOException e) {

               logger.error("Failed to deserialize " + userDefs.getAbsolutePath(), e);

            }

         }

      }

      return cloneUrls;

		
      // no user definitions, use system definitions

      if (!clientApplications.hasCurrent("system", new Date(0))) {

         try {

            InputStream is = getClass().getResourceAsStream("/clientapps.json");

            Collection<GitClientApplication> clients = readClientApplications(is);

            is.close();

            if (clients != null) {

               clientApplications.updateObject("system", new Date(0), clients);

            }

         } catch (IOException e) {

            logger.error("Failed to deserialize clientapps.json resource!", e);

         }

      }

		
      return clientApplications.getObject("system");

   }

	
   private Collection<GitClientApplication> readClientApplications(InputStream is) {

      try {

         Type type = new TypeToken<Collection<GitClientApplication>>() {

         }.getType();

         InputStreamReader reader = new InputStreamReader(is);

         Gson gson = new GsonBuilder().create();

         Collection<GitClientApplication> links = gson.fromJson(reader, type);

         return links;

      } catch (JsonIOException e) {

         logger.error("Error deserializing client applications!", e);

      } catch (JsonSyntaxException e) {

         logger.error("Error deserializing client applications!", e);

      }

      return null;

   }



   /**

@@ -1295,7 +1453,15 @@
      for (String repo : list) {

         RepositoryModel model = getRepositoryModel(user, repo);

         if (model != null) {

            repositories.add(model);

            if (!model.hasCommits) {

               // only add empty repositories that user can push to

               if (UserModel.ANONYMOUS.canPush(model)

                     || user != null && user.canPush(model)) {

                  repositories.add(model);

               }

            } else {

               repositories.add(model);

            }

         }

      }

      if (getBoolean(Keys.web.showRepositorySizes, true)) {

@@ -3186,7 +3352,7 @@
      cfg.setPackedGitMMAP(settings.getBoolean(Keys.git.packedGitMmap, cfg.isPackedGitMMAP()));



      try {

         WindowCache.reconfigure(cfg);

         cfg.install();

         logger.debug(MessageFormat.format("{0} = {1,number,0}", Keys.git.packedGitWindowSize, cfg.getPackedGitWindowSize()));

         logger.debug(MessageFormat.format("{0} = {1,number,0}", Keys.git.packedGitLimit, cfg.getPackedGitLimit()));

         logger.debug(MessageFormat.format("{0} = {1,number,0}", Keys.git.deltaBaseCacheLimit, cfg.getDeltaBaseCacheLimit()));

@@ -3227,15 +3393,15 @@
   }

   

   protected void configureGitDaemon() {

      int port = settings.getInteger(Keys.git.daemonPort, 0);

      String bindInterface = settings.getString(Keys.git.daemonBindInterface, "localhost");

      int port = settings.getInteger(Keys.git.daemonPort, GitDaemon.DEFAULT_PORT);

      if (port > 0) {

         try {

            gitDaemon = new GitDaemon(bindInterface, port, getRepositoriesFolder());

            gitDaemon.start();

            logger.info(MessageFormat.format("Git daemon is listening on {0}:{1,number,0}", bindInterface, port));

         } catch (IOException e) {

            logger.error(MessageFormat.format("Failed to start Git daemon on {0}:{1,number.0}", bindInterface, port), e);

            gitDaemon = null;

            logger.error(MessageFormat.format("Failed to start Git daemon on {0}:{1,number,0}", bindInterface, port), e);

         }

      }

   }

@@ -3272,7 +3438,8 @@
         // Gitblit is running in a servlet container

         ServletContext context = contextEvent.getServletContext();

         WebXmlSettings webxmlSettings = new WebXmlSettings(context);

         File contextFolder = new File(context.getRealPath("/"));

         String contextRealPath = context.getRealPath("/");

         File contextFolder = (contextRealPath != null) ? new File(contextRealPath) : null;

         String openShift = System.getenv("OPENSHIFT_DATA_DIR");

         

         if (!StringUtils.isEmpty(openShift)) {

@@ -3304,27 +3471,29 @@
            configureContext(webxmlSettings, base, true);

         } else {

            // Gitblit is running in a standard servlet container

            logger.info("WAR contextFolder is " + contextFolder.getAbsolutePath());

            logger.info("WAR contextFolder is " + ((contextFolder != null) ? contextFolder.getAbsolutePath() : "<empty>"));

            

            String path = webxmlSettings.getString(Constants.baseFolder, Constants.contextFolder$ + "/WEB-INF/data");

            File base = com.gitblit.utils.FileUtils.resolveParameter(Constants.contextFolder$, contextFolder, path);

            base.mkdirs();

            

            // try to copy the data folder contents to the baseFolder

            File localSettings = new File(base, "gitblit.properties");

            if (!localSettings.exists()) {

               File contextData = new File(contextFolder, "/WEB-INF/data");

               if (!base.equals(contextData)) {

                  try {

                     com.gitblit.utils.FileUtils.copy(base, contextData.listFiles());

                  } catch (IOException e) {

                     logger.error(MessageFormat.format(

                           "Failed to copy included data from {0} to {1}",

                        contextData, base));

                  }

               }

            if (path.contains(Constants.contextFolder$) && contextFolder == null) {

               // warn about null contextFolder (issue-199)

               logger.error("");

               logger.error(MessageFormat.format("\"{0}\" depends on \"{1}\" but \"{2}\" is returning NULL for \"{1}\"!",

                     Constants.baseFolder, Constants.contextFolder$, context.getServerInfo()));

               logger.error(MessageFormat.format("Please specify a non-parameterized path for <context-param> {0} in web.xml!!", Constants.baseFolder));

               logger.error(MessageFormat.format("OR configure your servlet container to specify a \"{0}\" parameter in the context configuration!!", Constants.baseFolder));

               logger.error("");

            }

            

            File base = com.gitblit.utils.FileUtils.resolveParameter(Constants.contextFolder$, contextFolder, path);

            base.mkdirs();



            // try to extract the data folder resource to the baseFolder

            File localSettings = new File(base, "gitblit.properties");

            if (!localSettings.exists()) {

               extractResources(context, "/WEB-INF/data/", base);

            }



            // delegate all config to baseFolder/gitblit.properties file

            FileSettings settings = new FileSettings(localSettings.getAbsolutePath());            

            configureContext(settings, base, true);

@@ -3334,6 +3503,53 @@
      settingsModel = loadSettingModels();

      serverStatus.servletContainer = servletContext.getServerInfo();

   }

	
   protected void extractResources(ServletContext context, String path, File toDir) {

      for (String resource : context.getResourcePaths(path)) {

         // extract the resource to the directory if it does not exist

         File f = new File(toDir, resource.substring(path.length()));

         if (!f.exists()) {

            InputStream is = null;
            OutputStream os = null;
            try {

               if (resource.charAt(resource.length() - 1) == '/') {

                  // directory

                  f.mkdirs();

                  extractResources(context, resource, f);

               } else {

                  // file

                  f.getParentFile().mkdirs();

                  is = context.getResourceAsStream(resource);
                  os = new FileOutputStream(f);
                  byte [] buffer = new byte[4096];

                  int len = 0;

                  while ((len = is.read(buffer)) > -1) {

                     os.write(buffer, 0, len);

                  }

               }

            } catch (FileNotFoundException e) {

               logger.error("Failed to find resource \"" + resource + "\"", e);

            } catch (IOException e) {

               logger.error("Failed to copy resource \"" + resource + "\" to " + f, e);

            } finally {
               if (is != null) {
                  try {
                     is.close();
                  } catch (IOException e) {
                     // ignore
                  }
               }
               if (os != null) {
                  try {
                     os.close();
                  } catch (IOException e) {
                     // ignore
                  }
               }
            }

         }

      }

   }



   /**

    * Gitblit is being shutdown either because the servlet container is