- Added mailbox quota dashlet.

ftimme

2013-07-04 820e4a545e723976ce3f4ce0e57eef02f9b3cf7d

 server/cron_daily.php

@@ -272,15 +272,24 @@
}


$sql = "SELECT domain_id, domain, document_root, web_folder, type FROM web_domain WHERE (type = 'vhost' or type = 'vhostsubdomain') and stats_type = 'webalizer' AND server_id = ".$conf['server_id'];
$sql = "SELECT domain_id, domain, document_root, web_folder, type, parent_domain_id FROM web_domain WHERE (type = 'vhost' or type = 'vhostsubdomain') and stats_type = 'webalizer' AND server_id = ".$conf['server_id'];
$records = $app->db->queryAllRecords($sql);

foreach($records as $rec) {
   //$yesterday = date('Ymd',time() - 86400);
   $yesterday = date('Ymd',strtotime("-1 day", time()));
   $logfile = escapeshellcmd($rec['document_root'].'/log/'.$yesterday.'-access.log');
	
    $log_folder = 'log';
    if($rec['type'] == 'vhostsubdomain') {
        $tmp = $app->db->queryOneRecord('SELECT `domain` FROM web_domain WHERE domain_id = '.intval($rec['parent_domain_id']));
        $subdomain_host = preg_replace('/^(.*)\.' . preg_quote($tmp['domain'], '/') . '$/', '$1', $rec['domain']);
        if($subdomain_host == '') $subdomain_host = 'web'.$rec['domain_id'];
        $log_folder .= '/' . $subdomain_host;
        unset($tmp);
    }
    $logfile = escapeshellcmd($rec['document_root'].'/' . $log_folder . '/'.$yesterday.'-access.log');
   if(!@is_file($logfile)) {
      $logfile = escapeshellcmd($rec['document_root'].'/log/'.$yesterday.'-access.log.gz');
      $logfile = escapeshellcmd($rec['document_root'].'/' . $log_folder . '/'.$yesterday.'-access.log.gz');
      if(!@is_file($logfile)) {
         continue;
      }
@@ -313,7 +322,7 @@
// Create awstats statistics
#######################################################################################################

$sql = "SELECT domain_id, domain, document_root, web_folder, type, system_user, system_group FROM web_domain WHERE (type = 'vhost' or type = 'vhostsubdomain') and stats_type = 'awstats' AND server_id = ".$conf['server_id'];
$sql = "SELECT domain_id, domain, document_root, web_folder, type, system_user, system_group, parent_domain_id FROM web_domain WHERE (type = 'vhost' or type = 'vhostsubdomain') and stats_type = 'awstats' AND server_id = ".$conf['server_id'];
$records = $app->db->queryAllRecords($sql);

$web_config = $app->getconf->get_server_config($conf['server_id'], 'web');
@@ -321,9 +330,18 @@
foreach($records as $rec) {
   //$yesterday = date('Ymd',time() - 86400);
   $yesterday = date('Ymd',strtotime("-1 day", time()));
   $logfile = escapeshellcmd($rec['document_root'].'/log/'.$yesterday.'-access.log');
	
    $log_folder = 'log';
    if($rec['type'] == 'vhostsubdomain') {
        $tmp = $app->db->queryOneRecord('SELECT `domain` FROM web_domain WHERE domain_id = '.intval($rec['parent_domain_id']));
        $subdomain_host = preg_replace('/^(.*)\.' . preg_quote($tmp['domain'], '/') . '$/', '$1', $rec['domain']);
        if($subdomain_host == '') $subdomain_host = 'web'.$rec['domain_id'];
        $log_folder .= '/' . $subdomain_host;
        unset($tmp);
    }
    $logfile = escapeshellcmd($rec['document_root'].'/' . $log_folder . '/'.$yesterday.'-access.log');
   if(!@is_file($logfile)) {
      $logfile = escapeshellcmd($rec['document_root'].'/log/'.$yesterday.'-access.log.gz');
      $logfile = escapeshellcmd($rec['document_root'].'/' . $log_folder . '/'.$yesterday.'-access.log.gz');
      if(!@is_file($logfile)) {
         continue;
      }
@@ -428,13 +446,23 @@
// Manage and compress web logfiles and create traffic statistics
#######################################################################################################

$sql = "SELECT domain_id, domain, document_root FROM web_domain WHERE (type = 'vhost' or type = 'vhostsubdomain') AND server_id = ".$conf['server_id'];
$sql = "SELECT domain_id, domain, type, document_root, web_folder, parent_domain_id FROM web_domain WHERE (type = 'vhost' or type = 'vhostsubdomain') AND server_id = ".$conf['server_id'];
$records = $app->db->queryAllRecords($sql);
foreach($records as $rec) {

   //* create traffic statistics based on yesterdays access log file
   $yesterday = date('Ymd',time() - 86400);
   $logfile = $rec['document_root'].'/log/'.$yesterday.'-access.log';
	
    $log_folder = 'log';
    if($rec['type'] == 'vhostsubdomain') {
        $tmp = $app->db->queryOneRecord('SELECT `domain` FROM web_domain WHERE domain_id = '.intval($rec['parent_domain_id']));
        $subdomain_host = preg_replace('/^(.*)\.' . preg_quote($tmp['domain'], '/') . '$/', '$1', $rec['domain']);
        if($subdomain_host == '') $subdomain_host = 'web'.$rec['domain_id'];
        $log_folder .= '/' . $subdomain_host;
        unset($tmp);
    }
    
    $logfile = $rec['document_root'].'/' . $log_folder . '/'.$yesterday.'-access.log';
   $total_bytes = 0;

   $handle = @fopen($logfile, "r");
@@ -462,7 +490,7 @@
   }

   $yesterday2 = date('Ymd',time() - 86400*2);
   $logfile = escapeshellcmd($rec['document_root'].'/log/'.$yesterday2.'-access.log');
   $logfile = escapeshellcmd($rec['document_root'].'/' . $log_folder . '/'.$yesterday2.'-access.log');

   //* Compress logfile
   if(@is_file($logfile)) {
@@ -472,7 +500,7 @@
   }

   // rotate and compress the error.log when it exceeds a size of 10 MB
   $logfile = escapeshellcmd($rec['document_root'].'/log/error.log');
   $logfile = escapeshellcmd($rec['document_root'].'/' . $log_folder . '/error.log');
   if(is_file($logfile) && filesize($logfile) > 10000000) {
      exec("gzip -c $logfile > $logfile.1.gz");
      exec("cat /dev/null > $logfile");
@@ -480,7 +508,7 @@

   // delete logfiles after 30 days
   $month_ago = date('Ymd',time() - 86400 * 30);
   $logfile = escapeshellcmd($rec['document_root'].'/log/'.$month_ago.'-access.log.gz');
   $logfile = escapeshellcmd($rec['document_root'].'/' . $log_folder . '/'.$month_ago.'-access.log.gz');
   if(@is_file($logfile)) {
      unlink($logfile);
   }
@@ -488,10 +516,10 @@
   //* Delete older Log files, in case that we missed them before due to serverdowntimes.
   $datepart = date('Ym',time() - 86400 * 31 * 2);

   $logfile = escapeshellcmd($rec['document_root']).'/log/'.$datepart.'*-access.log.gz';
   $logfile = escapeshellcmd($rec['document_root']).'/' . $log_folder . '/'.$datepart.'*-access.log.gz';
   exec('rm -f '.$logfile);

   $logfile = escapeshellcmd($rec['document_root']).'/log/'.$datepart.'*-access.log';
   $logfile = escapeshellcmd($rec['document_root']).'/' . $log_folder . '/'.$datepart.'*-access.log';
   exec('rm -f '.$logfile);
}

@@ -719,6 +747,134 @@


#######################################################################################################
// send website quota warnings by email
#######################################################################################################

if ($app->dbmaster == $app->db) {

   $global_config = $app->getconf->get_global_config('mail');

   //* Check website disk quota
   $sql = "SELECT sys_groupid,domain,system_user FROM web_domain WHERE hd_quota > 0 and (type = 'vhost' OR type = 'vhostsubdomain')";
   $records = $app->db->queryAllRecords($sql);
   if(is_array($records) && !empty($records)) {
	
      $tmp_rec =  $app->db->queryAllRecords("SELECT data from monitor_data WHERE type = 'harddisk_quota' ORDER BY created DESC");
      $monitor_data = array();
      if(is_array($tmp_rec)) {
         foreach ($tmp_rec as $tmp_mon) {
            $monitor_data = array_merge_recursive($monitor_data,unserialize($app->db->unquote($tmp_mon['data'])));
         }
      }
		
      foreach($records as $rec) {

         //$web_hd_quota = $rec['hd_quota'];
         $domain = $rec['domain'];
			
         $username = $rec['system_user'];
         $rec['used'] = $monitor_data['user'][$username]['used'];
         $rec['soft'] = $monitor_data['user'][$username]['soft'];
         $rec['hard'] = $monitor_data['user'][$username]['hard'];
         $rec['files'] = $monitor_data['user'][$username]['files'];
				
         if (!is_numeric($rec['used'])){
            if ($rec['used'][0] > $rec['used'][1]){
               $rec['used'] = $rec['used'][0];
            } else {
               $rec['used'] = $rec['used'][1];
            }
         }
         if (!is_numeric($rec['soft'])) $rec['soft']=$rec['soft'][1];
         if (!is_numeric($rec['hard'])) $rec['hard']=$rec['hard'][1];
         if (!is_numeric($rec['files'])) $rec['files']=$rec['files'][1];
				
         // used space ratio
         if($rec['soft'] > 0){
            $used_ratio = $rec['used']/$rec['soft'];
         } else {
            $used_ratio = 0;
         }
			
         // send notifications only if 90% or more of the quota are used
         if($used_ratio < 0.9) continue;
         $rec['ratio'] = number_format($used_ratio * 100, 2, '.', '').'%';
		
         if($rec['used'] > 1024) {
            $rec['used'] = round($rec['used'] / 1024,2).' MB';
         } else {
            if ($rec['used'] != '') $rec['used'] .= ' KB';
         }
		
         if($rec['soft'] > 1024) {
            $rec['soft'] = round($rec['soft'] / 1024,2).' MB';
         } else {
            $rec['soft'] .= ' KB';
         }
		
         if($rec['hard'] > 1024) {
            $rec['hard'] = round($rec['hard'] / 1024,2).' MB';
         } else {
            $rec['hard'] .= ' KB';
         }
				
         //* Send quota notifications
         if($web_config['overquota_notify_admin'] == 'y' || $web_config['overquota_notify_client'] == 'y') {
					
            if(file_exists($conf['rootpath'].'/conf-custom/mail/web_quota_notification_'.$conf['language'].'.txt')) {
               $lines = file($conf['rootpath'].'/conf-custom/mail/web_quota_notification_'.$conf['language'].'.txt');
            } elseif(file_exists($conf['rootpath'].'/conf-custom/mail/web_quota_notification_en.txt')) {
               $lines = file($conf['rootpath'].'/conf-custom/mail/web_quota_notification_en.txt');
            } elseif(file_exists($conf['rootpath'].'/conf/mail/web_quota_notification_'.$conf['language'].'.txt')) {
               $lines = file($conf['rootpath'].'/conf/mail/web_quota_notification_'.$conf['language'].'.txt');
            } else {
               $lines = file($conf['rootpath'].'/conf/mail/web_quota_notification_en.txt');
            }
					
            //* Get subject
            $parts = explode(':',trim($lines[0]));
            unset($parts[0]);
            $quota_mail_subject  = implode(':',$parts);
            unset($lines[0]);
		
            //* Get message
            $quota_mail_message = trim(implode($lines));
            unset($tmp);
					
            //* Replace placeholders
            $quota_mail_message = str_replace('{domain}',$rec['domain'],$quota_mail_message);
            $quota_mail_message = str_replace('{used}',$rec['used'],$quota_mail_message);
            $quota_mail_message = str_replace('{soft}',$rec['soft'],$quota_mail_message);
            $quota_mail_message = str_replace('{hard}',$rec['hard'],$quota_mail_message);
            $quota_mail_message = str_replace('{ratio}',$rec['ratio'],$quota_mail_message);
						
            $mailHeaders      = "MIME-Version: 1.0" . "\n";
            $mailHeaders     .= "Content-type: text/plain; charset=utf-8" . "\n";
            $mailHeaders     .= "Content-Transfer-Encoding: 8bit" . "\n";
            $mailHeaders     .= "From: ". $global_config['admin_mail'] . "\n";
            $mailHeaders     .= "Reply-To: ". $global_config['admin_mail'] . "\n";
            $mailSubject      = "=?utf-8?B?".base64_encode($quota_mail_subject)."?=";
				
            //* send email to admin
            if($global_config['admin_mail'] != '' && $web_config['overquota_notify_admin'] == 'y') {
               mail($global_config['admin_mail'], $mailSubject, $quota_mail_message, $mailHeaders);
            }
					
            //* Send email to client
            if($web_config['overquota_notify_client'] == 'y') {
               $client_group_id = $rec["sys_groupid"];
               $client = $app->db->queryOneRecord("SELECT client.email FROM sys_group, client WHERE sys_group.client_id = client.client_id and sys_group.groupid = $client_group_id");
               if($client['email'] != '') {
                  mail($client['email'], $mailSubject, $quota_mail_message, $mailHeaders);
               }
            }	
         }	
      }
   }
}


#######################################################################################################
// deactivate virtual servers (run only on the "master-server")
#######################################################################################################

@@ -789,23 +945,27 @@
            if($backup_mode == 'userzip') {
               //* Create a .zip backup as web user and include also files owned by apache / nginx user
               $web_backup_file = 'web'.$web_id.'_'.date('Y-m-d_H-i').'.zip';
               exec('cd '.escapeshellarg($web_path).' && sudo -u '.escapeshellarg($web_user).' find . -group '.escapeshellarg($web_group).' -print 2> /dev/null | zip -b /tmp --exclude=backup\* --symlinks '.escapeshellarg($web_backup_dir.'/'.$web_backup_file).' -@');
               exec('cd '.escapeshellarg($web_path).' && sudo -u '.escapeshellarg($web_user).' find . -user '.escapeshellarg($http_server_user).' -print 2> /dev/null | zip -b /tmp --exclude=backup\* --update --symlinks '.escapeshellarg($web_backup_dir.'/'.$web_backup_file).' -@');
               exec('cd '.escapeshellarg($web_path).' && sudo -u '.escapeshellarg($web_user).' find . -group '.escapeshellarg($web_group).' -print 2> /dev/null | zip -b /tmp --exclude=backup\* --symlinks '.escapeshellarg($web_backup_dir.'/'.$web_backup_file).' -@', $tmp_output, $retval);
               if($retval == 0) exec('cd '.escapeshellarg($web_path).' && sudo -u '.escapeshellarg($web_user).' find . -user '.escapeshellarg($http_server_user).' -print 2> /dev/null | zip -b /tmp --exclude=backup\* --update --symlinks '.escapeshellarg($web_backup_dir.'/'.$web_backup_file).' -@', $tmp_output, $retval);
            } else {
               //* Create a tar.gz backup as root user
               $web_backup_file = 'web'.$web_id.'_'.date('Y-m-d_H-i').'.tar.gz';
               exec('tar pczf '.escapeshellarg($web_backup_dir.'/'.$web_backup_file).' --exclude=backup\* --directory '.escapeshellarg($web_path).' .');
               exec('tar pczf '.escapeshellarg($web_backup_dir.'/'.$web_backup_file).' --exclude=backup\* --directory '.escapeshellarg($web_path).' .', $tmp_output, $retval);
            }
            chown($web_backup_dir.'/'.$web_backup_file, 'root');
            chgrp($web_backup_dir.'/'.$web_backup_file, 'root');
            chmod($web_backup_dir.'/'.$web_backup_file, 0750);
            if($retval == 0){
               chown($web_backup_dir.'/'.$web_backup_file, 'root');
               chgrp($web_backup_dir.'/'.$web_backup_file, 'root');
               chmod($web_backup_dir.'/'.$web_backup_file, 0750);

            //* Insert web backup record in database
            //$insert_data = "(server_id,parent_domain_id,backup_type,backup_mode,tstamp,filename) VALUES (".$conf['server_id'].",".$web_id.",'web','".$backup_mode."',".time().",'".$app->db->quote($web_backup_file)."')";
            //$app->dbmaster->datalogInsert('web_backup', $insert_data, 'backup_id');
            $sql = "INSERT INTO web_backup (server_id,parent_domain_id,backup_type,backup_mode,tstamp,filename) VALUES (".$conf['server_id'].",".$web_id.",'web','".$backup_mode."',".time().",'".$app->db->quote($web_backup_file)."')";
            $app->db->query($sql);
            if($app->db->dbHost != $app->dbmaster->dbHost) $app->dbmaster->query($sql);
               //* Insert web backup record in database
               //$insert_data = "(server_id,parent_domain_id,backup_type,backup_mode,tstamp,filename) VALUES (".$conf['server_id'].",".$web_id.",'web','".$backup_mode."',".time().",'".$app->db->quote($web_backup_file)."')";
               //$app->dbmaster->datalogInsert('web_backup', $insert_data, 'backup_id');
               $sql = "INSERT INTO web_backup (server_id,parent_domain_id,backup_type,backup_mode,tstamp,filename) VALUES (".$conf['server_id'].",".$web_id.",'web','".$backup_mode."',".time().",'".$app->db->quote($web_backup_file)."')";
               $app->db->query($sql);
               if($app->db->dbHost != $app->dbmaster->dbHost) $app->dbmaster->query($sql);
            } else {
               if(is_file($web_backup_dir.'/'.$web_backup_file)) unlink($web_backup_dir.'/'.$web_backup_file);
            }
            
            //* Remove old backups
            $backup_copies = intval($rec['backup_copies']);
@@ -890,23 +1050,28 @@
            $db_name = $rec['database_name'];
            $db_backup_file = 'db_'.$db_name.'_'.date('Y-m-d_H-i').'.sql';
            $command = "mysqldump -h '".escapeshellcmd($clientdb_host)."' -u '".escapeshellcmd($clientdb_user)."' -p'".escapeshellcmd($clientdb_password)."' -c --add-drop-table --create-options --quick --result-file='".$db_backup_dir.'/'.$db_backup_file."' '".$db_name."'";
            exec($command);
            exec($command, $tmp_output, $retval);

            //* Compress the backup with gzip
            exec("gzip -c '".escapeshellcmd($db_backup_dir.'/'.$db_backup_file)."' > '".escapeshellcmd($db_backup_dir.'/'.$db_backup_file).".gz'");
            chmod($db_backup_dir.'/'.$db_backup_file.'.gz', 0750);
            chown($db_backup_dir.'/'.$db_backup_file.'.gz', fileowner($db_backup_dir));
            chgrp($db_backup_dir.'/'.$db_backup_file.'.gz', filegroup($db_backup_dir));
            if($retval == 0) exec("gzip -c '".escapeshellcmd($db_backup_dir.'/'.$db_backup_file)."' > '".escapeshellcmd($db_backup_dir.'/'.$db_backup_file).".gz'", $tmp_output, $retval);
				
            if($retval == 0){
               chmod($db_backup_dir.'/'.$db_backup_file.'.gz', 0750);
               chown($db_backup_dir.'/'.$db_backup_file.'.gz', fileowner($db_backup_dir));
               chgrp($db_backup_dir.'/'.$db_backup_file.'.gz', filegroup($db_backup_dir));

            //* Insert web backup record in database
            //$insert_data = "(server_id,parent_domain_id,backup_type,backup_mode,tstamp,filename) VALUES (".$conf['server_id'].",$web_id,'mysql','sqlgz',".time().",'".$app->db->quote($db_backup_file).".gz')";
            //$app->dbmaster->datalogInsert('web_backup', $insert_data, 'backup_id');
            $sql = "INSERT INTO web_backup (server_id,parent_domain_id,backup_type,backup_mode,tstamp,filename) VALUES (".$conf['server_id'].",$web_id,'mysql','sqlgz',".time().",'".$app->db->quote($db_backup_file).".gz')";
            $app->db->query($sql);
            if($app->db->dbHost != $app->dbmaster->dbHost) $app->dbmaster->query($sql);
               //* Insert web backup record in database
               //$insert_data = "(server_id,parent_domain_id,backup_type,backup_mode,tstamp,filename) VALUES (".$conf['server_id'].",$web_id,'mysql','sqlgz',".time().",'".$app->db->quote($db_backup_file).".gz')";
               //$app->dbmaster->datalogInsert('web_backup', $insert_data, 'backup_id');
               $sql = "INSERT INTO web_backup (server_id,parent_domain_id,backup_type,backup_mode,tstamp,filename) VALUES (".$conf['server_id'].",$web_id,'mysql','sqlgz',".time().",'".$app->db->quote($db_backup_file).".gz')";
               $app->db->query($sql);
               if($app->db->dbHost != $app->dbmaster->dbHost) $app->dbmaster->query($sql);

            } else {
               if(is_file($db_backup_dir.'/'.$db_backup_file.'.gz')) unlink($db_backup_dir.'/'.$db_backup_file.'.gz');
            }
            //* Remove the uncompressed file
            unlink($db_backup_dir.'/'.$db_backup_file);
            if(is_file($db_backup_dir.'/'.$db_backup_file)) unlink($db_backup_dir.'/'.$db_backup_file);

            //* Remove old backups
            $backup_copies = intval($rec['backup_copies']);