Para proteger tu Servidor lo mejor que puedes hacer es configurar el sitio (o sitios) web (o todos los dominios del VPS) que está recibiendo ataques con la versión gratuita de Cloudflare. Esto te protegerá de ataques DoS y DDoS y tu servidor será “invisible” desde internet.
Una vez hecho esto, sólo deberás preocuparte por el SMTP, que es algo más fácil de erradicar con herramientas como fail2ban, entre otras.