tilllate.com hat einen neuen Mailserver

Thursday, August 14th, 2008 | Administration

Eigentlich halte ich recht viel von tilllate.com, zumindest was man in dem techblog liest. Aber der heutige Post über den neuen Mailserver hat mich doch etwas verwundert:

which was pretty at the end of its capacities, dealing with as “little” as 50′000 new mails (sent & received) DAILY for our 1500 mail users.

Gut die haben 0.8 Millionen E-Mail, aber bei 1500 macht das ungefähr 550 E-Mails pro Maildir. Der rsync dauert dann beim Backup vielleicht etwas länger.

Unser alter Mailserver hat Mitte 2007 im Peak etwa 380.000 E-Mails (im Monat) geleistet, alle gingen durch zwei Qmails, Sophos lief zwischen den beiden. Etwa 50-100t Mails wurden durch Spamassassin geschickt. Das ganze lief aber auf einem 2x P3 1.2GHz mit Raid 1 und eine weitere Festplatte für die qmail Queue. Jedoch hatten wir kaum IMAP-Last, das ist bei tilliate wohl anders. Der Server war sehr stabil, lief aber unter sehr hoher Last.

tilllate hat jetzt einen Quad-Core 2.66GHz, 8GB, 4x 146 SAS 15k. Mit 50t. Mails am Tag würde auf der Maschine jede Mailserverkonfiguration sehr schnell laufen.

Ein paar Dinge, die mir direkt aufgefallen sind:

In the beginning of this year, we’ve decided to replace our old mail server

Wir haben jetzt August, das dauert doch nicht länger als ein paar Tage, maximal eine Woche.

Raid 5 for secure and reliable storage

Ein Raid 5 für einen Mailserver?? Postfix hat zwar weniger Ansprüche an die Festplatten als qmail, aber sowas macht man doch nicht. Dann lieber ein Raid 10 mit billigeren und größeren SATA-Platten.

Seit Mitte 2007 läuft unser neuer Server (2x Dual-Core Xeon 2GHz, 2GB Ram, 6x 160GB SATA). Auf dem MX-qmail (mit den MX-Records) gingen im Peak 9.4 Millionen E-Mails durch Spamassassin und Sophos. Dazu kommen noch 280.000 Mails, die von den eigenen Domains verschickt wurden. Die Last war mit den 2GB-Ram schon sehr hoch, nach einer Erweitung auf 4GB aber wieder sehr gering. Es gab einfach zu viele spamd-Prozesse und die Maschine hat angefangen zu swappen.

Die Aufteilung in zwei qmails habe ich übrigens gemacht, damit ich für das “Kunden-qmail” andere RBLs benutzen konnte. Später habe ich das “Kunden-qmail” noch so angepasst, dass im Envelope nur noch eine Absenderadresse einer lokalen Domain stehen darf.

Das kann ja jeder erzählen.

Ich will gar nicht wissen, wie es ohne RBL aussehen würde. Inzwischen blocken die RBLs (auch die von Manitu) fast alles:

Die Statistik basiert auf dlog, einen Artikel dazu habe ich schon einmal geschrieben.

Der Server hat zur Zeit 1.2Millionen E-Mails in 2500 Postfächern, wird viel über POP3 abgefragt. Ein tinydns und dnscache (mit 512MB) läuft auf der Maschine auch noch. Backup wird alle drei Stunden auf vier verschiedene Server gemacht.

Meine Tipps für einen flotten Mailserver, die mir spontan einfallen:

  • Software:
  • RBLs
  • Spamassassin nicht über Maildrop aufrufen, Maildrop kann ausfiltern, aber nicht bewerten. Die Bewertung sollte ein richtige Daemon machen (Tipp No 1: simscan)
  • MX und Kunden SMTP-Server aufteilen
  • Ramdisk benutzen (natürlich nicht für die Mailserver Queue, für simscan/spamassassin…)
  • Hardware:
  • mehr Festplatten
  • mehr Festplatten
  • mehr Festplatten
  • Raid 10
  • genug RAM für den IO-Cache
  • mehrere CPUs, müssen nicht so schnell sein

Meine Behauptung ohne die alte Hardware zu kennen: 100.000 E-Mails am Tage wären locker drin gewesen.

Tags: , , , ,

1 Kommentar to tilllate.com hat einen neuen Mailserver

Stefan
August 15, 2008

Hey Martin

Thank you for your pingback to our post and i also like to give you some feedback regarding your blogpost.

You are totally right we (or better say our staff) is mainly using imap to work with their email accounts (the ratio from pop to imap users is somewhat around one to four) and a lot of them are using the secure version of pop and imap since we force them to do so.

Altough we made the migration in one single day without any interruption of the service, preparing the whole thing takes a while. And yes we decided at the beginning of the year to replace the mailserver but after evaluating some hardware you have to find time to do all that when you already have other important open projects (so we don’t worked 100% on that since january 😉 ). Beside installing a new machine we also worked trough all config files since we changed from Gentoo to CentOS and made a lot of performance optimizations which also reduced the load on the old machine a little but much more on the new system with Dovecot and the complete reviewed configs, db querys and so on…

Regarding Raid, since we have some more disk slots not filled yet (reserved for performance improvements or storage expansions) Raid 5 just has the better disk-slot to usable-capacity ratio than Raid 10 (which we are using on our database servers for a long time) and we can afford the performance disadvantage regarding writes at the moment.

Maybe we could also have done the whole setup with a smaller machine but regarding the fact that we had very good conditions from our vendor and didn’t want to replace the whole machine in one year again we decided to take a server which can handle more load.

I hope that i could clean up your remarks and strengthen our credibility from the techblog 😉

Cheers
Stefan