Re: [freebsd-fdp] OT: charset mess

[Viktor Vasilev <viktor@xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx>]

On Wed, Apr 14, 2004 at 12:53:38PM -0400, lou wrote:
> On Wed, Apr 14, 2004 at 05:49:01PM +0200, Viktor Vasilev wrote:
> > On Wed, Apr 14, 2004 at 08:26:31AM -0400, Miroslav Pendev wrote:
> > > On Wed, Apr 14, 2004 at 09:13:34AM +0300, Peter Pentchev wrote:
> > > > On Wed, Apr 14, 2004 at 01:31:30AM -0400, lou wrote:
> > 
> > Зле :-) Това обаче е проблем не със софтуера, който архивира съобщенията, 
> > а с потребителя, пратил писмо с грешно кодиране. Не виждам какво може да се
> > направи, трудно е да се отгатне верния енкодинг.
> 
> true, no tova che niakoi e pisal ot yahoo email i yahoo ne e slojil pravilnia
> encoding nemoje da bude popraveno, content-type can be fixed.

Според мен това е единственият проблем при архивирането с твърда кодировка - 
какво става като е грешен MIME content-type. Ако всичко си е наред със 
писмото, прекодирането преди да влезе в архива е тривиално.

[snip]
> > > И какво ако някой отговори на емайл писан на UTF-8 с CP1251?
> > > Аз го направих вчера и mutt-a ми просто конвертира всичко в CP1251, но всеки
> > > клиент може да го направи по произволен начин...
> > 
> > Логично е да се прекодира цялото съобщение към енкодинга, който се ползва в
> > отговора. Вариантите обаче са неизброими (ако изходящият енкодинг не поддържа
> > всички символи на оригиналното съобщение) и пак настъпва малък хаос :-)
> 
> hm, tova e vuzmojno, vuzmojno e da prekodiram celia msg koito otiva v archive i
> pri users, tova obache ima bottlenecks kakto kaza Peter, taka po princip
> zatova izprah da re-do archive otkolkoto msg koito otivat v lista.

Не съм си и помислял за прекодиране преди разпращането до групата! 
Безсмислено е.

> > Ахм.. На iconv му липсва AI и не отгатва енкодинг, съобразява се със from 
> > и to аргументите.. Може да се пробва обаче със /usr/ports/converters/konwert, 
> > на който като се зададе филтър "any" се опитва да отгатне енкодинга.
> 
> No need for AI. Tova e kato da trepesh muha s bazuka, simple e & it works,
> da deteknesh kakav encoding se iziskva drug tool. Vizdam s vseki izminal
> den kak izlizat editors s neshta koito gi ima v userland, kato uniq, grep, sed,
> etc - a niakoi govoreshe za reinventing the wheel. anyway a bit off track.
> 
> mislia che prostia algorithm e like this
> 
> <pseudo>
> wrap ezmlm-archive
> 	get content-type 
> 	get enc detected
> 	if match
> 		 fix content-type according to enc.
> 	pipe back to ezmlm-archive.
> </pseudo>
> 
> tova shte e 5 lines script.. IMHO. kakvo detectva encoding e neshto drugo :)

Go for it, tigger! :-)
За да видиш дали е грешен енкодинга можеш да сравняваш content-type от хедъра
с мнението на konwert. Може би дори ще работи :-)

Поздрави,
Виктор
-- 
Microsoft: Where do you want to go today?
Linux: Where do you want to go tomorrow?
BSD: Are you guys coming, or what?