Updated version number to 3.0.4.6

tbrehm

2012-06-11 897af06af9522ded99b1e0f46730299e89856ffe

 server/cron_daily.php

@@ -28,13 +28,14 @@
EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
*/

require("lib/config.inc.php");
require("lib/app.inc.php");
define('SCRIPT_PATH', dirname($_SERVER["SCRIPT_FILENAME"]));
require(SCRIPT_PATH."/lib/config.inc.php");
require(SCRIPT_PATH."/lib/app.inc.php");

set_time_limit(0);

// make sure server_id is always an int
$conf["server_id"] = intval($conf["server_id"]);
$conf['server_id'] = intval($conf['server_id']);


// Load required base-classes
@@ -45,16 +46,16 @@
// store the mailbox statistics in the database
#######################################################################################################

$sql = "SELECT mailuser_id,maildir FROM mail_user WHERE server_id = ".$conf["server_id"];
$sql = "SELECT mailuser_id,maildir FROM mail_user WHERE server_id = ".$conf['server_id'];
$records = $app->db->queryAllRecords($sql);
foreach($records as $rec) {
   if(@is_file($rec["maildir"].'/ispconfig_mailsize')) {
   if(@is_file($rec['maildir'].'/ispconfig_mailsize')) {

      // rename file
      rename($rec["maildir"].'/ispconfig_mailsize',$rec["maildir"].'/ispconfig_mailsize_save');
      rename($rec['maildir'].'/ispconfig_mailsize',$rec['maildir'].'/ispconfig_mailsize_save');

      // Read the file
      $lines = file($rec["maildir"].'/ispconfig_mailsize_save');
      $lines = file($rec['maildir'].'/ispconfig_mailsize_save');
      $mail_traffic = 0;
      foreach($lines as $line) {
         $mail_traffic += intval($line);
@@ -62,19 +63,19 @@
      unset($lines);

      // Delete backup file
      if(@is_file($rec["maildir"].'/ispconfig_mailsize_save')) unlink($rec["maildir"].'/ispconfig_mailsize_save');
      if(@is_file($rec['maildir'].'/ispconfig_mailsize_save')) unlink($rec['maildir'].'/ispconfig_mailsize_save');

      // Save the traffic stats in the sql database
      $tstamp = date("Y-m");
      $tstamp = date('Y-m');

      $sql = "SELECT * FROM mail_traffic WHERE month = '$tstamp' AND mailuser_id = ".$rec["mailuser_id"];
      $sql = "SELECT * FROM mail_traffic WHERE month = '$tstamp' AND mailuser_id = ".$rec['mailuser_id'];
      $tr = $app->dbmaster->queryOneRecord($sql);

      $mail_traffic += $tr["traffic"];
      if($tr["traffic_id"] > 0) {
         $sql = "UPDATE mail_traffic SET traffic = $mail_traffic WHERE traffic_id = ".$tr["traffic_id"];
      $mail_traffic += $tr['traffic'];
      if($tr['traffic_id'] > 0) {
         $sql = "UPDATE mail_traffic SET traffic = $mail_traffic WHERE traffic_id = ".$tr['traffic_id'];
      } else {
         $sql = "INSERT INTO mail_traffic (month,mailuser_id,traffic) VALUES ('$tstamp',".$rec["mailuser_id"].",$mail_traffic)";
         $sql = "INSERT INTO mail_traffic (month,mailuser_id,traffic) VALUES ('$tstamp',".$rec['mailuser_id'].",$mail_traffic)";
      }
      $app->dbmaster->query($sql);
      echo $sql;
@@ -92,9 +93,9 @@
      $out = '';
      $found = 0;
      foreach($lines as $line) {
         list($key, $value) = preg_split("/[\t= ]+/", $line, 2);
         @list($key, $value) = preg_split('/[\t= ]+/', $line, 2);
         if($key == $varName) {
            $out .= $varName." ".$varValue."\n";
            $out .= $varName.' '.$varValue."\n";
            $found = 1;
         } else {
            $out .= $line;
@@ -104,7 +105,7 @@
         //* add \n if the last line does not end with \n or \r
         if(substr($out,-1) != "\n" && substr($out,-1) != "\r") $out .= "\n";
         //* add the new line at the end of the file
         if($append == 1) $out .= $varName." ".$varValue."\n";
         if($append == 1) $out .= $varName.' '.$varValue."\n";
      }

      file_put_contents($filename,$out);
@@ -112,24 +113,27 @@
}


$sql = "SELECT domain_id, domain, document_root FROM web_domain WHERE stats_type = 'webalizer' AND server_id = ".$conf["server_id"];
$sql = "SELECT domain_id, domain, document_root FROM web_domain WHERE stats_type = 'webalizer' AND server_id = ".$conf['server_id'];
$records = $app->db->queryAllRecords($sql);

foreach($records as $rec) {
   $yesterday = date("Ymd",time() - 86400);
   $logfile = escapeshellcmd($rec["document_root"].'/log/'.$yesterday.'-access.log');
   //$yesterday = date('Ymd',time() - 86400);
   $yesterday = date('Ymd',strtotime("-1 day", time()));
   $logfile = escapeshellcmd($rec['document_root'].'/log/'.$yesterday.'-access.log');
   if(!@is_file($logfile)) {
      $logfile = escapeshellcmd($rec["document_root"].'/log/'.$yesterday.'-access.log.gz');
      $logfile = escapeshellcmd($rec['document_root'].'/log/'.$yesterday.'-access.log.gz');
      if(!@is_file($logfile)) {
         continue;
      }
   }

   $domain = escapeshellcmd($rec["domain"]);
   $statsdir = escapeshellcmd($rec["document_root"].'/web/stats');
   $domain = escapeshellcmd($rec['domain']);
   $statsdir = escapeshellcmd($rec['document_root'].'/web/stats');
   $webalizer = '/usr/bin/webalizer';
   $webalizer_conf_main = '/etc/webalizer/webalizer.conf';
   $webalizer_conf = escapeshellcmd($rec["document_root"].'/log/webalizer.conf');
   $webalizer_conf = escapeshellcmd($rec['document_root'].'/log/webalizer.conf');
	
   if(is_file($statsdir.'/index.php')) unlink($statsdir.'/index.php');

   if(!@is_file($webalizer_conf)) {
      copy($webalizer_conf_main,$webalizer_conf);
@@ -150,38 +154,100 @@
// Create awstats statistics
#######################################################################################################

$sql = "SELECT domain_id, domain, document_root FROM web_domain WHERE stats_type = 'awstats' AND server_id = ".$conf["server_id"];
$sql = "SELECT domain_id, domain, document_root, system_user, system_group FROM web_domain WHERE stats_type = 'awstats' AND server_id = ".$conf['server_id'];
$records = $app->db->queryAllRecords($sql);

$web_config = $app->getconf->get_server_config($conf["server_id"], 'web');
$web_config = $app->getconf->get_server_config($conf['server_id'], 'web');

foreach($records as $rec) {
   $yesterday = date("Ymd",time() - 86400);
   $logfile = escapeshellcmd($rec["document_root"].'/log/'.$yesterday.'-access.log');
   //$yesterday = date('Ymd',time() - 86400);
   $yesterday = date('Ymd',strtotime("-1 day", time()));
   $logfile = escapeshellcmd($rec['document_root'].'/log/'.$yesterday.'-access.log');
   if(!@is_file($logfile)) {
      $logfile = escapeshellcmd($rec["document_root"].'/log/'.$yesterday.'-access.log.gz');
      $logfile = escapeshellcmd($rec['document_root'].'/log/'.$yesterday.'-access.log.gz');
      if(!@is_file($logfile)) {
         continue;
      }
   }
   
   $domain = escapeshellcmd($rec["domain"]);
   $statsdir = escapeshellcmd($rec["document_root"].'/web/stats');
   $domain = escapeshellcmd($rec['domain']);
   $statsdir = escapeshellcmd($rec['document_root'].'/web/stats');
   $awstats_pl = $web_config['awstats_pl'];
   $awstats_buildstaticpages_pl = $web_config['awstats_buildstaticpages_pl'];
   
   $awstats_conf_dir = $web_config['awstats_conf_dir'];
   $awstats_website_conf_file = $web_config['awstats_conf_dir'].'/awstats.'.$domain.'.conf';
	
   if(is_file($awstats_website_conf_file)) unlink($awstats_website_conf_file);
	
   $sql = "SELECT domain FROM web_domain WHERE (type = 'alias' OR type = 'subdomain') AND parent_domain_id = ".$rec['domain_id'];
   $aliases = $app->db->queryAllRecords($sql);
   $aliasdomain = '';
	
   if(is_array($aliases)) {
      foreach ($aliases as $alias) {
         $aliasdomain.= ' '.$alias['domain']. ' www.'.$alias['domain'];
      }
   }
	
   if(!is_file($awstats_website_conf_file)) {
      $awstats_conf_file_content = 'Include "'.$awstats_conf_dir.'/awstats.conf"
LogFile="/var/log/ispconfig/httpd/'.$domain.'/yesterday-access.log"
SiteDomain="'.$domain.'"
HostAliases="www.'.$domain.' localhost 127.0.0.1'.$aliasdomain.'"';
      file_put_contents($awstats_website_conf_file,$awstats_conf_file_content);
   }
   
   if(!@is_dir($statsdir)) mkdir($statsdir);
   if(is_link('/var/log/ispconfig/httpd/'.$domain.'/yesterday-access.log')) unlink('/var/log/ispconfig/httpd/'.$domain.'/yesterday-access.log');
   symlink($logfile,'/var/log/ispconfig/httpd/'.$domain.'/yesterday-access.log');
	
   $awmonth = date("n");
   $awyear = date("Y");

   if (date("d") == 1) {
      $awmonth = date("m")-1;
      if (date("m") == 1) {
         $awyear = date("Y")-1;
         $awmonth = "12";
      }
   }
   
   // awstats_buildstaticpages.pl -update -config=mydomain.com -lang=en -dir=/var/www/domain.com/web/stats -awstatsprog=/path/to/awstats.pl
   $command = "$awstats_buildstaticpages_pl -update -config='$domain' -lang=en -dir='$statsdir' -awstatsprog='$awstats_pl'";
   // $command = "$awstats_buildstaticpages_pl -update -config='$domain' -lang=".$conf['language']." -dir='$statsdir' -awstatsprog='$awstats_pl'";
	
   $command = "$awstats_buildstaticpages_pl -month='$awmonth' -year='$awyear' -update -config='$domain' -lang=".$conf['language']." -dir='$statsdir' -awstatsprog='$awstats_pl'";

   if (date("d") == 2) {
      $awmonth = date("m")-1;
      if (date("m") == 1) {
         $awyear = date("Y")-1;
         $awmonth = "12";
      }

      $statsdirold = $statsdir."/".$awyear."-".$awmonth."/";
      mkdir($statsdirold);
      $files = scandir($statsdir);
      foreach ($files as $file) {
         if (substr($file,0,1) != "." && !is_dir("$statsdir"."/"."$file") && substr($file,0,1) != "w" && substr($file,0,1) != "i") copy("$statsdir"."/"."$file","$statsdirold"."$file");
      }
   }
	
   
   if($awstats_pl != '' && $awstats_buildstaticpages_pl != '' && fileowner($awstats_pl) == 0 && fileowner($awstats_buildstaticpages_pl) == 0) {
      exec($command);
      rename($rec["document_root"].'/web/stats/awstats.'.$domain.'.html',$rec["document_root"].'/web/stats/index.html');
      $app->log("Created awstats statistics with command: $command",LOGLEVEL_DEBUG);
      if(is_file($rec['document_root'].'/web/stats/index.html')) unlink($rec['document_root'].'/web/stats/index.html');
      rename($rec['document_root'].'/web/stats/awstats.'.$domain.'.html',$rec['document_root'].'/web/stats/awsindex.html');
      if(!is_file($rec['document_root']."/web/stats/index.php")) copy("/usr/local/ispconfig/server/conf/awstats_index.php.master",$rec['document_root']."/web/stats/index.php");
		
      $app->log('Created awstats statistics with command: '.$command,LOGLEVEL_DEBUG);
   } else {
      $app->log("No awstats statistics created. Either $awstats_pl or $awstats_buildstaticpages_pl is not owned by root user.",LOGLEVEL_WARN);
   }
	
   if(is_file($rec['document_root']."/web/stats/index.php")) {
      chown($rec['document_root']."/web/stats/index.php",$rec['system_user']);
      chgrp($rec['document_root']."/web/stats/index.php",$rec['system_group']);
   }
   
}
@@ -194,14 +260,46 @@
exec('chmod +r /var/log/ispconfig/httpd/*');

#######################################################################################################
// Manage and compress web logfiles
// Manage and compress web logfiles and create traffic statistics
#######################################################################################################

$sql = "SELECT domain_id, domain, document_root FROM web_domain WHERE server_id = ".$conf["server_id"];
$sql = "SELECT domain_id, domain, document_root FROM web_domain WHERE server_id = ".$conf['server_id'];
$records = $app->db->queryAllRecords($sql);
foreach($records as $rec) {
   $yesterday = date("Ymd",time() - 86400);
   $logfile = escapeshellcmd($rec["document_root"].'/log/'.$yesterday.'-access.log');
	
   //* create traffic statistics based on yesterdays access log file
   $yesterday = date('Ymd',time() - 86400);
   $logfile = $rec['document_root'].'/log/'.$yesterday.'-access.log';
   $total_bytes = 0;
	
   $handle = @fopen($logfile, "r");
   if ($handle) {
      while (($line = fgets($handle, 4096)) !== false) {
         if (preg_match('/^\S+ \S+ \S+ \[.*?\] "\S+.*?" \d+ (\d+) ".*?" ".*?"/', $line, $m)) {
            $total_bytes += intval($m[1]);
         }
      }
		
      //* Insert / update traffic in master database
      $traffic_date = date('Y-m-d',time() - 86400);
      $tmp = $app->dbmaster->queryOneRecord("select hostname from web_traffic where hostname='".$rec['domain']."' and traffic_date='".$traffic_date."'");
      if(is_array($tmp) && count($tmp) > 0) {
         $sql = "update web_traffic set traffic_bytes=traffic_bytes+"
                  . $total_bytes
                  . " where hostname='" . $rec['domain']
                  . "' and traffic_date='" . $traffic_date . "'";
      } else {
         $sql = "insert into web_traffic (hostname, traffic_date, traffic_bytes) values ('".$rec['domain']."', '".$traffic_date."', '".$total_bytes."')";
      }
      $app->dbmaster->query($sql);
		
      fclose($handle);
   }
	
   $yesterday2 = date('Ymd',time() - 86400*2);
   $logfile = escapeshellcmd($rec['document_root'].'/log/'.$yesterday2.'-access.log');
	
   //* Compress logfile
   if(@is_file($logfile)) {
      // Compress yesterdays logfile
      exec("gzip -c $logfile > $logfile.gz");
@@ -209,18 +307,27 @@
   }
   
   // rotate and compress the error.log when it exceeds a size of 10 MB
   $logfile = escapeshellcmd($rec["document_root"].'/log/error.log');
   $logfile = escapeshellcmd($rec['document_root'].'/log/error.log');
   if(is_file($logfile) && filesize($logfile) > 10000000) {
      exec("gzip -c $logfile > $logfile.1.gz");
      exec("cat /dev/null > $logfile");
   }

   // delete logfiles after 30 days
   $month_ago = date("Ymd",time() - 86400 * 30);
   $logfile = escapeshellcmd($rec["document_root"].'/log/'.$month_ago.'-access.log.gz');
   $month_ago = date('Ymd',time() - 86400 * 30);
   $logfile = escapeshellcmd($rec['document_root'].'/log/'.$month_ago.'-access.log.gz');
   if(@is_file($logfile)) {
      unlink($logfile);
   }
	
   //* Delete older Log files, in case that we missed them before due to serverdowntimes.
   $datepart = date('Ym',time() - 86400 * 31 * 2);
	
   $logfile = escapeshellcmd($rec['document_root']).'/log/'.$datepart.'*-access.log.gz';
   exec('rm -f '.$logfile);
	
   $logfile = escapeshellcmd($rec['document_root']).'/log/'.$datepart.'*-access.log';
   exec('rm -f '.$logfile);
}

#######################################################################################################
@@ -228,14 +335,14 @@
#######################################################################################################

// rotate the ispconfig.log when it exceeds a size of 10 MB
$logfile = '/var/log/ispconfig/ispconfig.log';
$logfile = $conf['ispconfig_log_dir'].'/ispconfig.log';
if(is_file($logfile) && filesize($logfile) > 10000000) {
   exec("gzip -c $logfile > $logfile.1.gz");
   exec("cat /dev/null > $logfile");
}

// rotate the cron.log when it exceeds a size of 10 MB
$logfile = '/var/log/ispconfig/cron.log';
$logfile = $conf['ispconfig_log_dir'].'/cron.log';
if(is_file($logfile) && filesize($logfile) > 10000000) {
   exec("gzip -c $logfile > $logfile.1.gz");
   exec("cat /dev/null > $logfile");
@@ -245,14 +352,14 @@
// Cleanup website tmp directories
#######################################################################################################

$sql = "SELECT domain_id, domain, document_root, system_user FROM web_domain WHERE server_id = ".$conf["server_id"];
$sql = "SELECT domain_id, domain, document_root, system_user FROM web_domain WHERE server_id = ".$conf['server_id'];
$records = $app->db->queryAllRecords($sql);
$app->uses('system');
if(is_array($records)) {
   foreach($records as $rec){
      $tmp_path = realpath(escapeshellcmd($rec["document_root"].'/tmp'));
      $tmp_path = realpath(escapeshellcmd($rec['document_root'].'/tmp'));
      if($tmp_path != '' && strlen($tmp_path) > 10 && is_dir($tmp_path) && $app->system->is_user($rec['system_user'])){
         exec("cd ".$tmp_path."; find -mtime +1 -name 'sess_*' | grep -v -w .no_delete | xargs rm > /dev/null 2> /dev/null");
         exec('cd '.$tmp_path."; find . -mtime +1 -name 'sess_*' | grep -v -w .no_delete | xargs rm > /dev/null 2> /dev/null");
      }
   }
}
@@ -284,7 +391,7 @@
   $maxId = $res['max(action_id)'];
   $sql =  "DELETE FROM sys_remoteaction " .
         "WHERE tstamp < " . $tstamp . " " .
         " AND action_status = 'ok' " .
         " AND action_state = 'ok' " .
         " AND action_id <" . intval($maxId);
   $app->dbmaster->query($sql);

@@ -336,7 +443,7 @@
   $current_month = date('Y-m');

   //* Check website traffic quota
   $sql = "SELECT sys_groupid,domain_id,domain,traffic_quota,traffic_quota_lock FROM web_domain WHERE traffic_quota > 0 and type = 'vhost'";
   $sql = "SELECT sys_groupid,domain_id,domain,traffic_quota,traffic_quota_lock FROM web_domain WHERE (traffic_quota > 0 or traffic_quota_lock = 'y') and type = 'vhost'";
   $records = $app->db->queryAllRecords($sql);
   if(is_array($records)) {
      foreach($records as $rec) {
@@ -364,14 +471,35 @@
            ($reseller_traffic_quota > 0 && $web_traffic > $reseller_traffic_quota)) {*/
         if($web_traffic_quota > 0 && $web_traffic > $web_traffic_quota) {
            $app->dbmaster->datalogUpdate('web_domain', "traffic_quota_lock = 'y',active = 'n'", 'domain_id', $rec['domain_id']);
            $app->log("Traffic quota for ".$rec['domain_id']." Exceeded. Disabling website.",LOGLEVEL_DEBUG);
            $app->log('Traffic quota for '.$rec['domain_id'].' exceeded. Disabling website.',LOGLEVEL_DEBUG);
         } else {
            //* unlock the website, if traffic is lower then quota
            if($rec['traffic_quota_lock'] == 'y') {
               $app->dbmaster->datalogUpdate('web_domain', "traffic_quota_lock = 'n',active = 'y'", 'domain_id', $rec['domain_id']);
               $app->log("Traffic quota for ".$rec['domain_id']." ok again. Enabling website.",LOGLEVEL_DEBUG);
               $app->log('Traffic quota for '.$rec['domain_id'].' ok again. Re-enabling website.',LOGLEVEL_DEBUG);
            }
         }
      }
   }


}


#######################################################################################################
// deactivate virtual servers (run only on the "master-server")
#######################################################################################################

if ($app->dbmaster == $app->db) {
   $current_date = date('Y-m-d');

   //* Check which virtual machines have to be deactivated
   $sql = "SELECT * FROM openvz_vm WHERE active = 'y' AND active_until_date != '0000-00-00' AND active_until_date < '$current_date'";
   $records = $app->db->queryAllRecords($sql);
   if(is_array($records)) {
      foreach($records as $rec) {
         $app->dbmaster->datalogUpdate('openvz_vm', "active = 'n'", 'vm_id', $rec['vm_id']);
         $app->log('Virtual machine active date expired. Disabling VM '.$rec['veid'],LOGLEVEL_DEBUG);
      }
   }

@@ -382,13 +510,21 @@
// Create website backups
#######################################################################################################

$server_config = $app->getconf->get_server_config($conf["server_id"], 'server');
$server_config = $app->getconf->get_server_config($conf['server_id'], 'server');
$backup_dir = $server_config['backup_dir'];

if($backup_dir != '') {
   
   if(isset($server_config['backup_dir_ftpread']) && $server_config['backup_dir_ftpread'] == 'y') {
      $backup_dir_permissions = 0755;
   } else {
      $backup_dir_permissions = 0750;
   }
	
   if(!is_dir($backup_dir)) {
      mkdir(escapeshellarg($backup_dir), 0750, true);
      mkdir(escapeshellcmd($backup_dir), $backup_dir_permissions, true);
   } else {
      chmod(escapeshellcmd($backup_dir), $backup_dir_permissions);
   }
   
   $sql = "SELECT * FROM web_domain WHERE type = 'vhost'";
@@ -405,17 +541,27 @@
            $web_id = $rec['domain_id'];
            $web_backup_dir = $backup_dir.'/web'.$web_id;
            if(!is_dir($web_backup_dir)) mkdir($web_backup_dir, 0750);
				
            chmod($web_backup_dir, 0755);
            chown($web_backup_dir, 'root');
            chgrp($web_backup_dir, 'root');
            chmod($web_backup_dir, 0750); 
            if(isset($server_config['backup_dir_ftpread']) && $server_config['backup_dir_ftpread'] == 'y') {
               chown($web_backup_dir, $rec['system_user']); 
               chgrp($web_backup_dir, $rec['system_group']);
            } else {
               chown($web_backup_dir, 'root');
               chgrp($web_backup_dir, 'root');
            }
            exec('cd '.escapeshellarg($web_path).' && sudo -u '.escapeshellarg($web_user).' find . -group '.escapeshellarg($web_group).' -print | zip -y '.escapeshellarg($web_backup_dir.'/web.zip').' -@');
            chown($web_backup_dir.'/web.zip', $rec['system_user']); 
            chgrp($web_backup_dir.'/web.zip', $rec['system_group']);
            chmod($web_backup_dir.'/web.zip', 0750);
            
            // Rename or remove old backups
            $backup_copies = intval($rec['backup_copies']);
			
            if(is_file($web_backup_dir.'/web.'.$backup_copies.'.zip')) unlink($web_backup_dir.'/web.'.$backup_copies.'.zip');
			
				
            //* delete any older backup copies that previously existed
            for ($n = $backup_copies; $n <= 10; $n++) {
               if(is_file($web_backup_dir.'/web.'.$n.'.zip')) unlink($web_backup_dir.'/web.'.$n.'.zip');
            }
				
            for($n = $backup_copies - 1; $n >= 1; $n--) {
               if(is_file($web_backup_dir.'/web.'.$n.'.zip')) {
                  rename($web_backup_dir.'/web.'.$n.'.zip',$web_backup_dir.'/web.'.($n+1).'.zip');
@@ -427,6 +573,9 @@
            // Create backupdir symlink
            if(is_link($web_path.'/backup')) unlink($web_path.'/backup');
            symlink($web_backup_dir,$web_path.'/backup');
            // chmod($web_path.'/backup', 0755);
            chown($web_path.'/backup', $rec['system_user']); 
            chgrp($web_path.'/backup', $rec['system_group']);
            
         }