Das Thema Spam

Die Gedanken brauchst Du Dir nicht machen:

1. Liegt ein Spam-Befund vor, so wird die Nachricht von unseren System

   direkt abgelehnt und die Mail geht mit einer Unzustellbarkeitsmeldung

   (!) zurück an den Absender.

Generell finde ich das Verfahren, wie mailbox mit Spam umgeht sehr gut.

In einem Fall hatte ich in der Praxis einen Nachteil davon: Ein bei einer wohl mittelgroßen Konzertkasse in England gekauftes Ticket wurde mir nie zugestellt. Anfragen per Mail blieben erfolglos, ich ging davon aus, dass die Bestellung nicht geklappt hat, Ticket bei anderem Anbieter gekauft, Geld wurde dann von beiden abgebucht. Nachfragen bei Anbieter 1 blieben weiter ohne Erfolg (wurde nicht geantwortet oder die Mails nicht zugestellt?), weitere Nachforschung usw. war mir wegen <50€ zu aufwändig, in so einem Fall hilft auch die rechtlich einwandfreie Nichtzustellbarkeits-Info an den Absender nichts. Bis heute weiß ich nicht, ob die Mail abgesendet und abgewiesen wurde oder ob gar keine Mail an mich gesendet wurde. Da hätte ich doch lieber in einem Spam-Ordner nach der Mail gesucht. Aber wie gesagt, das ist eine Ausnahme und ich denke, dass sich auch kleinere und weniger professionelle Unternehmen anpassen werden und ihre Mails entsprechend zustellbar versenden werden.

Gut als Alternative zu zugestellten Spam-Mails wäre ein Protokoll, in dem ich sehen kann, ob Mails an meine Adresse von mailbox abgelehnt wurden und von welchem Absender sie kamen. Wenn das technisch möglich ist - dann könnte man gezielter handeln und den Absender informieren.

Moin, ich sehe das ganze ähnlich.

Zuerst muss ich allerdings mailbox.org für ihre Spamerkennung loben!

Gerade einmal zwei Spam Mails sind im letzten Jahr in meinem Postfach gelandet. (..und das trotz einfach zu erratener Mail Adresse :) )

Leider hatte auch ich schon das Problem, dass Mails nicht angekommen sind. In meinem Fall die Info von Ryanair, dass mein Flug gestrichen wurde. (Natürlich kann das Problem auch bei Ryanair gelegen haben. Ein Kollege der bei "web.de" ist, hatte die Mail glücklicherweise bekommen.)

Daher stört auch mich die Praxis, verdächtige Mails direkt abzuweisen. Gefühlt 90% meiner Mails kommt von automatischen Systemen, die im Regelfall natürlich nicht beachten ob eine Mail abgelehnt wurde.

Diese Unzuverlässigkeit beim Mailempfang ist der Grund warum ich noch nicht vollständig auf mailbox.org umgestiegen bin. Meinen nächsten Flug werde ich z.B. sicherheitshalber über eine andere Mail-Adresse buchen.

Ich würde mir wünschen, dass man in den Einstellungen das Verhalten beim Spamverdacht ändern kann oder wie bereits geschrieben ein Protokoll einzubauen, mit dem ich auf Fehlersuche gehen kann.

Was ich mich hierzu Frage: Warum nicht beides? Ablehnen und in den Spam-Ordner senden.

So bekommt der Sender den rechtlich(?) notwendigen "Reject" aber der Nutzer hat dennoch die Möglichkeit einzusehen ob irgendwelche wichtigen E-Mails von automatisierten Systemen, die sich um Rejects nicht kümmern, weil sie keinen vernünftigen SMTP Server oder gar sowas wie php mail() verwenden, als Spam klassifiziert wurden.

Das macht die Lösung natürlich unschöner, da lange nicht so puristisch und elegant, jedoch eventuell hilfreicher in der Praxis. Nachteil ist natürlich, dass man wieder einen Spam-Ordner hat, den man regelmäßig durchprüfen sollte (wenn auch nicht muss), Reject hin- oder her.

Würde mich freuen wenn das Mailbox Team auch noch mal Stellung dazu nehmen könnte und auch mehr dazu sagen könnte wie oft es in der Konfiguration von Mailbox zu einer falsch positiven Spamerkennung kommt die in einem abweisen resultiert?

Bitte so belassen, dass die Mails abgewiesen werden. Das ist für mich einer der Mit-Gründe für Mailbox.org.

Nur so hat der Absender die Möglichkeit im Fall der Fälle nachzufassen (er bekommt Feedback über seine Mail). So wie es die meisten anderen Provider machen, versinkt die Mail im Spam-Ordner und wird ggf. zu spät vom Empfänger entdeckt. Das hat für den Empfänger rechtliche Vorteile!

Ich will etwas länger ausholen, um das zu beleuchten.

Es gibt viele verschiedene Techniken um Spam zu versenden, es gibt viele verschiedene Quellen von Spam. Alle Quellen haben ihre individuellen Merkmale und es gibt verschiedene Ansätze, woran man diesen oder jenen Spam erkennen kann.

Viele setzen dabei fast ausschließlich auf eine Inhaltsanalyse. Plump gesagt: "Da steht Viagra im Betreff und der Text hat böse Wörter." Das ist das, was man allgemein als "SpamAssassin" kennt und das ist das, was uns hier tatsächlich am allerwenigsten interessiert.

Ich verfolge seit über 15 Jahren viel stärker den Ansatz nicht zu schauen WAS man uns schickt, als vielmehr WER uns etwas WIE schickt. Nicht die Mail ist per se böse, sondern der Spammer, der sie geschickt hat. Eine Rolex ist prima -- wenn sie im Uhrenladen verkauft wird. Eine Rolex ist komisch, wenn sie im U-Bahnhof verkauft wird. Aber das Problem ist ja nicht die Rolex selbst.

Durch verschiedene Techniken ist es SEHR einfach und SEHR zuverlässig möglich, Spam-Systeme wie beispielsweise vireninfizierte Windows-PCs, die auf dynamischen DSL-Dialup-IP-Adressen daherkommen und behaupten, sie wären ein Mailrelay von Paypal, von echten Mailservern zu unterscheiden. -Diese haben statische IP-Adressen, andere Betriebssysteme, eine andere IP-Kommunikation und lügen außerdem nicht. Das ist eine ganze Menge verschiedener Merkmale, aber das sind sehr objektive und meßbare Merkmale und ist kein Voodoo-Magic.

Da wir weit über 90% aufgrund von "technischen Merkmalen" erkennen können, hat bei uns die tatsächliche Inhaltsanalyse eine sehr untergeordnete Bedeutung. Wir müssen hier nicht "aggressiv" filtern um ein gutes Gesamtergebnis zu haben, weil von vornherein kaum noch Spam im Rennen ist. Denn "aggressiv" filtern heißt: Mails schneller/früher als Spam markieren und damit auch mehr normale Mails irrtümlich als Beifang dabei zu haben (sogenannte False Positives, FP).

Verschiedene -- auch kommerzielle -- Standard-Lösungen auf dem Markt akzeptieren False Positives-Raten von 1:5.000. D.h.: Auf 5.000 echte e-Mails wird versehentlich eine Eechte falsch herausgefiltert. Für uns sind das unsäglich schlechte Werte, die definitiv nicht akzeptabel sind. Unsere Systeme sind so eingestellt, daß wir von mindestens 1 zu 100.000, wenn nicht gar 1 zu 1.000.000 ausgehen können.

(Hinter der ganzen Spam-Erkennung steckt tatsächlich eine sehr belastbare und ausgefeilte Stochastik, d.h. Mathematik/Wahrscheinlichkeitsrechnung, so daß man tatsächlich sehr genau sagen kann, in welchen positiven wie negativen Erkennungsraten ein Filtersystem eingestellt ist. Es ist nicht so, daß sich in diesen Systemen irgendjemand irgendwelche Werte "ausdenkt")

Desweiteren ist zu beachten, daß es für eine normale Mail kaum möglich ist, die notwendigen Scoring-Punkte alleine aufgrund des Inhalts der Mail zu erreichen. Es ist in den hier genannten Wahrscheinlichkeiten kaum möglich, daß eine normale Mail das schafft. Damit eine Mail den Filter-Score erreicht und geblockt wird, muß sie neben inhaltlichen Merkmalen eigentlich immer auch klare technische Merkmale aufweisen. Das ist die Summe von vielen kleinen Details die sich in der Mail als "Fehler" verstecken, wenn sie von Spammern oder Spam-Software erstellt wird. Falsche Zeitzonen, falsche MIME-Codieren, direkte "Lügen" (aus denen sich Spammer andere Vorteile erhoffen) und und und. Eine normale Mail von User A an User B kann diese Merkmale eigentlich nicht haben -- und man muß sich schon sehr, sehr anstrengen um eine E-Mail absichtlich so zu schreiben, daß sie am Ende als False Positive gefiltert wird. Umgekehrt: Selbst wenn eine echte Mail viele technische Fehler hätte, würde sie mit extrem hoher Wahrscheinlichkeit umgekehrt die notwendigen inhaltlichen Mekrmale vermissen lassen.

Wir filtern hier also sehr entspannt -- weswegen man bei uns keinesfalls Erfahrungswerte und False Positives-Raten von anderen Systemen übertragen kann.

Also: Da hier im Forum die Frage war: Öffentlich sichere ich 1:100.000 zu, intern gehe ich von 1 zu 1 Million aus. Und das leisten wir seit über einem Jahrzehnt für uns und eine VIelzahl von unternehmen und anderen Providern, für die wir tätig sind.

Woher man das weiß? Nun, das ist schwer zu sagen, denn es ist natürlich nicht möglich, das mathematisch sauber zu tracken ohne tatsächlich Millionen von Mails individuell anzuschauen und nachzuprüfen. Aber wir können natürlich die Anzahl von Beschwerden in Relation zum tatsächlichen Maildurchsatz nehmen und selbst wenn wir dann Fakto 100 als Dunkelziffer raufrechnen, kommen wir immer noch locker in diese Größenordnungen. Auch aus unseren jahrelangen Erfahrungen im Spamfilterbau für andere Unternehmen und auch Provider haben wir einen sehr, sehr deutlichen vorher-nachher-Vergleich. Nicht zuletzt kennen wir unsere eigene INBOX und sehen, was durchkommt. p.heinlein@heinlein-support.de wird 318.000 mal bei Google gefunden.

Nun kann man immer argumentieren, daß auch EINE Spam-Mail auf 100.000 zuviel sei. Logisch. Dem stimme ich zu. Kommunikation muß funktionieren, Kompromisse sind nicht der Wunsch-Weg.

Allerdings muß man richtigerweise die Betrachtung zu Ende führen: Würde man "softer" filtern, würde man mehr Spam durchlassen, so daß ein User mehr als zwei Spam-Mails am Tag bekommt -- am Ende würde der User "aggressiv" Mails löschen. Er würde morgens Mails markieren und gemeinsam auf DELETE drücken, alleine anhand der Merkmale Absender und Betreff. Ich habe leider nie jemanden gefunden, der das mal wissenschaftlich untersuchen kann, aber ich gehe davon aus, daß hier der Mensch locker die (sehr schlechte) Quote von 1 zu 1.000 hat, d.h. auf 1.000 derart gelöschte Mails wird mindestens eine echte Mail mit vernichtet. Unplausibel? Sicher nicht. Eher schlechter...

Hinter all dem steckt also Kurvendiskussion: Über alle Techniken, über alle Werte: Wo liegt das Optimum? Hier überlagern sich alle möglichen Dinge und wer das nur eindimensional betrachtet und einfach so tut, als ob der Mensch keine Fehler macht und andere Gegeneffekte eintreten, der irrt gewaltig.

Meine Quote von (mindestens) 1 zu 100.000 bezieht sich auf die inhaltliche Analyse der Spam-Mails. Vorgeschaltet sind wie oben geschildert verschiedenste Techniken die Botnetze und Spammer von Mailservern unterscheiden können.

Diese Techniken werden eigentlich auch von allen Providern eingesetzt -- am Ende machen eigentlich alle auf der Welt das gleiche und alle kochen nur mit Wasser. Es wird allenfalls unterschiedlich gewichtet. Verschiedene Techniken hier KÖNNEN jedoch gar nicht dazu führen, daß die Mail markiert und in eine Spam-Quarantäne geschrieben wird. Das machen auch alle anderen Provider so: 70% bis 90% werden eigentlich von JEDEM Provider direkt "abgelehnt". Andere kommunizieren das nur nie so offen. Oder anders gesagt: Wenn man bei anderen Providern von der Spam-Quarantäne redet, dann betrifft das eigentlich nie 100% der Spam-Mails, sondern defacto auch dort von vornherein nur eine Untermenge von 10% der Spam-Mails, die der Inhaltsanalyse unterworfen wurden. Bei eigentlich keinem Provider hat ein User tatsächlich vollständig die Möglichkeit "alles" in der Quarantäne nachzusehen (und wenn er das hätte, dann wäre sie i.d.R. wegen Überflutung auch nicht benutzbar). Bei uns ist das nur von vornherein etwas weniger -- und diesen Rest lehnen wir dann auch noch ab.

Bei der ganzen Spam-Bewertung nach WER schickt uns WIE eine E-Mail kann sehr, sehr klar anhand objektiver (!) Kriterien geprüft werden, ob der Mailversand sauber ist. Es gibt im Internet sogenannte RFCs, sozusagen die DIN-Normen des Internets. Danach ist definiert wie ein Mailserver sich verhalten muß, was wo wie abläuft. Wie immer im Leben: Zwei Faxgeräte müssen den gleichen Fax-Standard sprechen, damit die Übertragung klappt. "Pfeift" ein Gerät abweichend vom Standard, kann es eigentlich mit niemandem richtig kommunizieren -- höchstens mit einigen Modellen, die ihrerseits etwas neben der Spur sind und die Abweichung mittragen. Aber Zuverlässigkeit ist ausgeschlossen.

Es ist dabei auch mitnichten so, daß es da draußen ständig und überall falsch konfigurierte Systeme gibt. Das ist nicht richtig. Es gibt da draußen nur sehr wenig Standard-Programme zum Mailserver-Betrieb und diese verhalten sich stets richtig. 99% wird über diese Standard-Mailserver verschickt. Jeder Provider macht das sauber -- sonst könnte er auch mit keinem anderen Provider reden.

Manche Unternehmen sind hier sehr unsauber und betreiben tatsächlich sehr falsch konfigurierte Mailrelays. Mein Unternehmen lebt gut davon diesen Unternehmen auf die Sprünge zu helfen. :-) Gleichzeitig zeigen aber auch diese Mailrelays bestimmte Merkmale anhand derer man sie weiterhin von echten Spammern unterscheiden kann. Aber, klar, richtig ist: Wenn Unternehmen hier extrem schlampige und falsch konfigurierte Mailrelays aufsetzen, dann haben diese Unternehmen Probleme in der Mailzustellung. Mit jedem Provider. Weltweit. Denn alle machen hier quasi das gleiche. Wer auf einen Brief keine Briefmarke klebt und die Postleitzahl nicht richtig schreibt -- der hat das Problem, daß seine Briefe nicht ankommen. Das ist aber nicht das Problem des Empfängers und auch nicht von diesem zu lösen.

Wenn solche Mailserver gegen die objektiv und verbindlich festgeschriebenen RFCs verstoßen, dann sind das technisch gesehen auch keine false positives, denn ein Mailserver, der sich nicht wie ein Mailserver verhält, ist kein Mailserver, sondern irgendeine andere Software. Aber, klar: Aus User-Sicht interessiert das nicht, Mails sollen ankommen.

Dem stimme ich auch zu: Mails sollen und müssen ankommen, aber auch in diesem Bereich kann/muß man von wirklich extremst geringen False Positives-Raten ausgehen. Wie gesagt: Selbst WENN ein System wirklich sehr krumm und schief konfiguriert wird, gibt es immer noch sehr viele Merkmale anhand dessen erkannt wird, daß es "nur" ein falsch konfiguriertes System und kein "böser Junge" ist. Unsere Anti-Spam-Systeme ignorieren das geflissentlich. Die Angst "nur weil jemand das falsch konfiguriert" ist fachlich unbegründet und entspricht nicht der Realität. Das wird aber sehr gerne so kolportiert.

Das ganze Thema ist natürlich noch wesentlich komplexer und könnte man insbesondere auch noch wesentlich diffizieler und mit viel mehr wenn-dann-aber betrachten, als ich dieses hier im Forum selbst in diesem schon sehr langen Text darlegen kann. Ein üblicher Vortrag von uns zum Thema-Anti-Spam-Techniken geht über 1,5 Stunden und selbst der ist schon verkürzt.

Natürlich gibt es immer wieder auch Querschläger wo "erwünschte" Mail auf der Strecke bleibt. Das sind jedoch absolute und extremste Einzelfälle -- auch wenn sie durch die schiere Masser der täglichen Mails mal vorkommen. Nur: Es gibt keine bessere Lösung. Alle anderen Methoden produzieren noch mehr Fehler und Risiken, Quarantäne ausdrücklich und ganz besonders eingeschlossen.

Damit eine erwünschte Mail "unberechtigt" herausgefiltert wird, muß ein Postmaster des Absenders schon WIRKLICH sehr viel falsch gemacht haben -- und hat dann massiv weltweit Probleme. Umso bedenklicher ist es dann, wenn diese Mails in die Quarantäne gefiltert werden und am Ende Haftungsfragen zu Lasten des Empfängers (!) auslösen. Erst aus vermeindlicher Fürsorge die Fehler des Absenders ausbügeln und RFC-widrige Mails annehmen und am Ende haften? Ich verweise hier nur auf den sehr plakativen Fall wo ein Rechtsanwalt vor eineinhalb Jahren zu 90.000 EUR Schadenersatz gegenüber seiner (Ex-) Mandantin verurteilt wurde, weil er den Vergleichsvorschlag der Gegenseite in der Spam-Quartantäne nicht gefunden hatte und den Prozess prompt verloren hatte. -Für mich ein absolut zutreffendes und richtiges Urteil. (Dazu der Verweis auf unseren sehr kurzgefassten Management-Vortrag: "Tagging und Quarantäne, der große Irrtum" bzw. eine längere Fassung im Vortrag "Rechtsfragen für Postmaster").

Für uns kann ich sagen, daß wir keinesfalls "relevante" FP-Raten akzeptieren. Würden wir sehen müssen, daß das ein ernsthaftes Problem in der Praxis ist, müßte man natürlich alles in Frage stellen. Und, ich kann das wirklich aus 1.500 Mailcluster-Projekten sagen: Unsere Filter-Raten sind da wirklich sehr okay. Ich weiß, kommt jetzt schnell als "bloße Behauptung" daher, aber wir haben da mehr als nur den Blick über den Tellerrand und können das wirklich vergleichen, auch wenn ich das jetzt hier im Forum und in der Kürze nicht wirklich besser erläutern kann.

Ich habe mich dazu entschieden bei meiner Domain einen zweiten MX record einzutragen der auf einen anderen Mailprovider zeigt. Hat für mich den Vorteil das die Mails die ich sonst nicht bekommen würde, trotzdem zugestellt werden können. Dies sind aktuell etwa 10 Emails pro Woche. Leider sind hin und wieder auch wichtige Mails hierunter, so dass ich dieses Model vorerst aufrecht erhalten muss.

Ich muss zugeben, dass mich manche Ausführungen hier überfordern. Tatsache ist jedenfalls, dass ich einen Spam-Ordner habe, in dem ich zu meiner Überraschung soeben sehr viele Mails von Amazon, Paypal und anderen Absendern gefunden habe, die kein Spam sind, mit tatsächlichen Vorgängen zu tun haben, und die ich schon vermisst hatte. Sooo treffsicher scheint mir der Spamfilter von Mailbox.org dann doch nicht zu sein. Ich fände es schon ganz gut, wenn man bestimmte Absender in eine Whitelist eintragen könnte. Sicher verstehe ich da wieder irgend etwas nicht, aber mir kommt das jetzige Spamfilter-Verhalten bei Mailbox.org etwas unpraktisch vor.

Kann es sein, dass Thunderbird aufgrund einer Filterregel Mails in einen "Spam"-Ordner verschiebt, den ich dort wiederum per IMAP nicht abonniert habe? Das würde das Verhalten erklären, so dass ich tatsächlich selbst per Client die Amazon und Paypal-Mails mit bestimmtem Inhalt versehentlich in den Spam-Ordner verschieben lasse. Aber warum habe ich im Webmailer einen Spam-Ordner (nicht unter "meine Ordner" sondern auf der Ebene "Posteingang", "Entwürfe", etc.) wenn er gar nicht vorgesehen ist? Selbst wenn ich wollte, ich kann ihn nicht einmal löschen.

Kann es sein, daß bei 'Abrufen externer POP3 Mailaccounts' die emails 1:1 ohne Spamprüfung eingelesen werden? Jede 2. email war Spam.

Kurze Verständnisfrage: Wenn ich E-Mail von einem externen Account (GMail, Yahoo etc.) an Mailbox weiterleite werden die Mails ja auch auf Spam geprüft. Wenn nun eine E-Mail abgelehnt wird, erhält dann Gmail/Yahoo die Mail zurück oder der ursprüngliche Spam-Absender?

Es wäre auch wünschenswert in Zukunft vielleicht wenigstens eine Liste mit den Betreffzeilen der abgelehnten E-Mails zu sehen.

Nachdem bei mir nachweislich wichtige Mails nicht zugestellt wurden, habe ich gekündigt. Kann nicht angehen, dass Mailboxorg mir sagt, ich solle den Absender auffordern, dass die Ihre Server richtig konfigurieren. Technisch mögen sie recht haben, aber das nutzt mir auch nichts, ich will meine Spam selbst verwalten. Wenn das nicht geht, ist das Postfach absolut unbrauchbar. Übrigens habe ich noch nie so viel Spam wie bei Mailboxorg erhalten (mindestens täglich) und nein, es waren keine weiter geleiteten, die waren direkt an meine Mailboxorg-Adresse gerichtet.

Ich möchte anmerken, dass auch bei mir in den letzten Wochen vermehrt sehr gut gemachter Spam durch kommt.

Die dazu verwendeten Zieladressen stammen bei mir alle von Dropbox-Accounts (ich verwende seit Jahren nummerierte eMail-Adressen auf eigenen Domains).

Komischer weisse deckt sich das mit: https://www.heise.de/security/meldung/68-Millionen-verschluesselte-Passwoerter-aus-Dropbox-Hack-veroeffentlicht-3340846.html