vanschklift.com - Dotclear

Dotclear 2 et envoi de mails

biou — Wed, 03 Dec 2008 15:05:00 +0100

Il y a un aspect de la configuration de dotclear 2 qui est assez méconnu, c'est celui de la configuration de l'envoi de mail. C'est un problème que l'on rencontre fréquemment dans les applications php.

Lorsque l'on utilise la fonction mail de php il est très fréquent de voir les mails envoyés atterrir eu spam. Ceci est dû au fait que l'adresse de l'expéditeur n'est pas la même dans l'enveloppe et dans les headers ; les filtres antispam vérifient que ces deux champs sont égaux à la réception d'un mail.

Par défaut php (ou le serveur de mail, je ne suis pas sûr) va générer une adresse bidon pour l'expéditeur, à partir de l'utilisateur dans lequel le processus apache tourne. Ceci n'est pas pertinent, et pose problème dans notre cas.

Dotclear 2 fournit une solution par défaut dans son fichier de configuration, la fonction mail est en fait surchargée par une fonction maison de clearbricks, qui joue le rôle d'un serveur de mail, et qui envoie un mail bien formé. Pour plus d'infos voir le fichier de configuration et cette page de la doc : Personnaliser l'envoi des mails.

Cependant cette solution n'est pas optimale, notamment en termes de performance (sur un de mes sites, le script met plus de 30 secondes à s'exécuter à la soumission du formulaire). Il existe une solution qui n'est pas portable mais qui fonctionne mieux dans certains cas, il s'agit de passer les bonnes options à la fonction mail. Si on se trouve sur un serveur linux, avec sendmail ou postfix, il est possible d'envoyer des mails via la fonction mail, en ajoutant un argument dans le 5e paramètre de cette fonction mail, qui contient l'adresse de l'expéditeur.

Voici un exemple de fonction mail à placer dans votre config.php :

function _mail($to,$subject,$message,$headers)
{
        // recherche de l'adresse de l'expéditeur
        $h = explode("\n", $headers);
        $from = '';
        $p = null;
        foreach ($h as $l) {
                if (strpos($l, 'From:') === 0) {
                        if (preg_match('|<(.*)>|', $l, $matches))
                             $from = $matches[1];
                        break;
                }       
        }       

        // si l'adresse de l'expéditeur est trouvée, on ajoute le paramètre
        if (!empty($from)) {
                $p = '-f'.$from;
        }
        // appel à la fonction mail classique
        @mail($to, $subject, $message, $headers, $p);
}

Remarques :

Il est nécessaire de vérifier que votre "sendmail" supporte bien l'option -f (en tapant par exemple la commande suivante : echo test | sendmail -ftest@test.com monadresse@mondomaine.com).
D'apès la doc php, il faut vérifier que l'utilisateur dans lequel le serveur web tourne fait bien partie des utilisateurs de confiance du serveur de mail, sinon le mail sera envoyé avec un header X-Warning, qui risque de le bloquer au niveau des antispams. Personnellement j'ai envoyé un mail, et X-Warning n'est pas apparu dans les headers, donc tout va bien :) Pour plus de détails, voir la doc php pour la fonction mail, dans la description du paramètre additional_parameters.

Si vous avez des suggestions ou des remarques sur cette fonction, n'hésitez pas à les formuler ici dans les commentaires.

Dotclear 2 - 1 / duke nukem forever - 0

biou — Fri, 01 Aug 2008 01:01:00 +0200

~~insérer ici une blague d'humour drôle~~ je crois que je suis trop fatigué pour faire un post original, mais je suis très content, comme les copains, de la sortie de dotclear 2.0 en version finale, stable et tutti quanti. Bon ok, ça a fait des cycles de beta un peu longs, mais chez nous au moins on prend notre temps, on ne presse pas les mots pour qu'ils sortent prématurément

Dotclear 2.0, le blogware des gens biens !

note pour plus tard : penser à demander une augmentation dans ces fuckin' projets open source, juste pour voir la tête à toto !

Remote Controlled

biou — Thu, 01 May 2008 10:58:00 +0200

et voilà, une nouvelle version toute fraîche !

On croise les doigts pour qu'il n'y ait pas trop de bugs, et que l'on puisse sortir la finale très bientôt !

Grand ménage dans les plugins dotclear

biou — Fri, 25 Apr 2008 19:53:00 +0200

Honneur au plus ancien, Spamplemousse a subi quelques modifications mineures et est maintenant disponible en version 0.1.8. Dans le changelog il y a essentiellement :

la suppression du logging
deux nouvelles options dans le config.php du plugin pour la suppression directe des commentaires et des trackbacks (peut être utile chez free.fr par exemple)

Ces modifications sont inspirées d'un article de Franck Paul : Dotclear 1, Free et SPAM - Dans le code que je remercie vivement pour l'idée et pour les tests.

http://plugins.dotaddict.org/dc1/details/Spamplemousse

Pour Dotclear 2, Spamplemousse 2 est dispo en version finale (pas de modification depuis la RC).

http://plugins.dotaddict.org/dc2/details/Spamplemousse-2

Idem pour Kikoolol, qui a juste été repackagé, et qui est dispo en version 1.0 finale,

http://plugins.dotaddict.org/dc2/details/kikoolol

Support pour Spamplemousse (dotclear 1)

biou — Fri, 25 Apr 2008 19:50:00 +0200

Si vous rencontrez des problèmes avec Spamplemousse, n'hésitez pas à le signaler ici.

Support pour Spamplemousse 2

biou — Tue, 15 Apr 2008 17:29:00 +0200

Si vous rencontrez des problèmes avec le plugin Spamplemousse 2 pour Dotclear 2, discutons-en ici dans les commentaires. Pour une description plus précise sur les fonctionnalités et l'implémentation, il y a ce post.

Viendez chez dotclear !

biou — Sun, 30 Mar 2008 10:28:00 +0200

nous au moins on ne release pas trop vite :P

Ça coince chez Shelley Powers et pas seulement sur les bugs...

dc.net rafraichi

biou — Thu, 27 Mar 2008 20:58:00 +0100

c'est par là et c'est bien : www.dotclear.net

Teaser, teaser et demi

biou — Sat, 08 Mar 2008 12:00:00 +0100

say hello to plougs.da

biou — Sat, 22 Dec 2007 16:53:00 +0100

Chers utilisateurs de dotclear,

y'a plougs.da qui vient d'ouvrir pour votre plus grand bonheur.

Veuillez agréer l'expression de nos sentiments les meilleurs

l'équipe dotaddict

addiction, un point c'est tout !

biou — Wed, 31 Oct 2007 14:01:00 +0100

Quoi ? vous ne connaissez pas themes.dotaddict.org ? La nouvelle référence pour les themes dotclear ?

Félicitations aux copains qui l'ont réalisé ! beau boulot !

spamplemousse 2 : mise à jour

biou — Sun, 02 Sep 2007 17:37:00 +0200

Je viens de terminer la nouvelle version 1.0rc de Spamplemousse2 pour dotclear 2. (pfiou, que de numéros!)
Outre des modifications mineures cette version apporte la compatibilité avec la beta 7 de dotclear 2.
Vous pouvez la télécharger ici :

N'hésitez pas à tester et à me faire part de vos remarques !

Edit : finalement ce sera une 2.0rc, H_I a raison, c'est plus simple :)

t'sais ce qu'il te dit le pamplemousse !

biou — Wed, 08 Aug 2007 22:38:00 +0200

Quelques bd marrantes avec spamplemousse en guest star :

Spamplemousse 2, un antispam bayésien pour Dotclear 2

biou — Wed, 09 May 2007 19:42:00 +0200

Pour moi l'approche la plus intéressante sur le long terme pour la lutte contre le spam est l'utilisation exclusive de filtres à apprentissage, comme les filtres bayésiens, car ceux-ci sont les seuls à pouvoir anticiper les nouvelles générations de spam, et donc de pouvoir atteindre de très hauts niveaux d'efficacité.

Quand j'ai voulu créer un filtre bayésien pour Dotclear 2, je me suis demandé si on ne pouvait pas augmenter l'efficacité des filtres bayésiens naïfs que l'on trouve couramment dans les antispams de blog. Le pari semblait réalisable sur le plan algorithmique mais pas forcément sur le plan technique. En effet un filtre bayésien non-naïf a tendance à être beaucoup plus gourmand en termes de ressources, qui sont très limitées pour des blogs hébergés sur des plates-formes mutualisées. En m'inspirant beaucoup du livre Ending Spam de Jonathan Zdziarski (qui est aussi l'auteur du logiciel dspam), j'ai implémenté les algorithmes qui me semblaient les plus intéressants pour une plate-forme de blogs.

principales caractéristiques du filtre bayésien Spamplemousse2:

tokenisation avancée, avec reconnaissance de différents motifs, comme les adresses ip, les adresses mail, les urls. (La tokenisation est l'opération qui consiste en l'analyse d'un texte en éléments unitaires, les tokens, qui correspondent à peu près aux mots) Cette tokenisation bénéficie aussi d'un système de reconnaissance des redondances dans les suffixes sur certains caractères (par exemple les tokens "viagra!!!!!" et "viagra!" sont identiques) et d'un système de réassemblage de tokens ("v.i.a.g.r.a" est identique à "viagra")
gestion de contextes pour les différentes parties d'un commentaire (nom, mail, site, contenu)
gestion des hapaxes : tokens non pris en compte dans le calcul de la probabilité tant qu'ils n'ont pas atteint un certain nombre d'apparitions
gestion des "single corpus tokens" : probabilités d'apparitions extrêmes pour les tokens qui n'apparaissent que dans l'un des deux corpus (spam ou non spam)
gestion du bias : on prend en compte le fait qu'il y a souvent un déséquilibre entre la taille des corpus spam et non-spam.
réentraînement itératif borné : lors d'un réentraînement, la procédure d'entraînement est réitérée jusqu'à ce que le filtre change de décision (par exemple on passe un message de non spam à spam, on va entraîner le filtre sur ce message en spam, jusqu'à ce que le filtre déclare ce message comme spam. Pour éviter les problèmes, on borne le nombre de tentatives)
gestion de différents modes d'entraînement :
- TUM : "Train Until Mature", (mode par défaut) entraînement jusqu'à ce que les tokens soient matures. Le meilleur compromis.
- TEFT : "Train Everything", entraînement sur tout ; le script est très consommateur en ressources.
- TOE : "Train On Error", entraînement sur les erreurs ; le script est peu consommateur de ressources car l'entraînement n'est effectué que lorsqu'il y a une erreur.
le moteur d'analyse utilise pour son calcul de probabilités la fonction Chi-Square inverse de Fisher-Robinson
support de mysql et postgresql
fonctionnalité d'entrainement sur la catégorisation des anciens messages

Avertissement :

Sur le papier le filtre devrait être plus précis qu'un bayésien naïf, mais dans la pratique je n'ai pas encore pu l'expérimenter sur des blogs très spammés. Le plugin restera en version beta tant qu'il n'y aura pas eu de tests plus étendus, ceux-ci permettant entre autres d'ajuster certains paramètres du filtre.

Problèmes connus dans la version beta :

l'entraînement sur les anciens messages peut être très long et aboutir à une erreur. Cette erreur n'est pas grave, et il est possible de relancer cet entraînement pour poursuivre la procédure là où elle s'était arrêtée.

Remerciements :

Je remercie ma chérie qui m'a supporté pendant que je ruminais le développement de ce machin, ainsi que les copains de la team!

Téléchargement :

http://plugins.dotaddict.org/dc2/details/Spamplemousse-2

Support:

Le support est réalisé dans les commentaires de ce post : http://www.vanschklift.com/blog/post/2008/04/15/Support-pour-Spamplemousse-2

Plugin KikooLol pour dotclear 2

biou — Fri, 04 May 2007 21:37:00 +0200

Voici un nouveau plugin pour dotclear 2 dont j'ai participé à la réalisation : KikooLol.

Il s'agit d'un plugin qui filtre le langage SMS dans les commentaires, qui se base sur l'excellent script de BohwaZ. Les commentaires SMS-style sont modérés et placés dans la file d'attente au même titre que les spams.

Le plugin apparait dans le menu antispam et nécessite dotclear 2 beta 6 au minimum.

jèesp qu sela n va pa tro vou empêché d claké lè koms! l0l!

Dotclear 2 beta 6 et force pure

biou — Mon, 19 Feb 2007 22:50:00 +0100

La beta 6 de dotclear 2 vient de sortir ce soir, et cette version contient un nouvel antispam pluguable que j'ai en partie développé. Dans le monde des antispams, il n'y a pas de "one size fits all", et c'est ce que propose de faire cet antispam. Les filtres proposés par défaut devraient bien fonctionner en moyenne, mais s'ils ne vous plaisent pas, n'hésitez pas à développer de nouveaux filtres, normalement cela ne devrait pas être trop compliqué à partir de cette documentation rédigée par notre maître à tous, Peter M. : création de filtres antispam.

Enjoy!

PS: hey les spammeurs? vous ne voudriez pas enlarger ma péniche pour voir si cette machinerie toute neuve fonctionne bien?

PPS: j'ai toujours un bayésien en cours de développement, il faut que je pense à le finir du coup...

pioo.ch

biou — Mon, 23 Oct 2006 21:33:00 +0000

en patois lorrain, "hack" signifie "pioche", sûrement un rapport avec Pep...

[edit] ce billet contient des erreurs, saurez-vous les retrouver?

IdM & the ouaibe

biou — Mon, 21 Aug 2006 17:53:00 +0000

Tiens ça serait bien que dotclear 2 entre dans l'ère de l'identity management. Plusieurs technos s'affrontent actuellement sans qu'il y en ait une qui sorte vraiment du lot (même si infocards de microsoft risque de faire l'effet d'un beau rouleau-compresseur lors de la sortie de vista). Un ensemble de boîtes viennent de fournir des bounties conséquents pour le support d'openid dans des applications web grand public, donc si cela vous intéresse, il est possible de faire un plugin pour dotclear 2 qui gère openid.

dissitou final beta release aoraki édition

biou — Tue, 27 Jun 2006 18:50:00 +0000

Dotclear 2 beta 1 out! \o\ \o/ /o/

pour l'installation c'est par ici : Installation de DotClear 2 beta 1

maintenant j'espère que le patron va prendre 2 minutes pour se reposer après cet accouchement :)

Nouveau spamplemousse

biou — Thu, 08 Jun 2006 07:25:00 +0000

Un nouveau spamplemousse est sorti, il est compatible avec la dernière version 1.2.5 de dotclear. Vous pouvez le télécharger ici :

version pkg.gz

version tar.gz

voici le Changelog :

correction du bug de l'interaction avec la modération de dotclear
fin de l'implémentation de l'envoi de mails (trackbacks)
fichier de config avec option pour l'activation de la fonction d'envoi de mails
début de la soumission des ip vers les rbl lors de la suppression d'un spam
correction du bug du rss (bug dans la fonction unpack de php)

Il s'agira probablement de la dernière version de spamplemousse tel que vous le connaissez actuellement. Je développe actuellement un nouvel antispam qui devrait être plus facile à utiliser et je l'espère plus efficace.