Mon serveur était initialement configuré en français, avec des parties en anglais lorsque la traduction n’était pas disponible. Pour basculer entièrement en anglais (US), il faut d’abord régénérer les locales 

sudo dpkg-reconfigure locales

puis éditer le fichier /etc/default/locales et y insérer 

LANG=en_US.UTF-8
LANGUAGE="en_US:en"

Un redémarrage du serveur permet de valider le changement.

En complément, vous pouvez permettre à sudo de vous faire de petites blagues lorsque vous vous trompez sur votre mot de passe en éditant le fichier /etc/sudoers et en y modifiant la ligne 

Defaults          env_reset,insults

ce qui donne des remarques de ce type, lorsque l’on commet des erreurs de mots de passe :