Per protegir el teu Servidor el millor que pots fer és configurar el lloc (o llocs) web (o tots els dominis del VPS) que està rebent atacs amb la versió gratuïta de Cloudflare. Això et protegirà d'atacs DoS i DDoS i el teu servidor serà invisible des d'internet.
Un cop fet això, només t'hauràs de preocupar per l'SMTP, que és una mica més fàcil de solucionar amb eines com fail2ban, entre d'altres.