Rechercher : dans
Par :

[Python] Utf-8 une bonne fois pour toutes

Dernière réponse le 25 oct 2005 à 15:18:30 kilian, le 25 oct 2005 à 11:30:23 
 Signaler ce message aux modérateurs

Bonjour,

J'ai un script qui repertorie les valeurs dans la base de registres.
Lorsque python trouve un valeur entiere il récupère la valeure en tant qu'entiere.

Mais j'ai besoin de concatenatener le nom de la clé et la valeur donc je convertis parfois la valeur en une chaine avec str()

Mais str() tente de convertir en ascii, donc quand il bute sur une valeur supérieure à 127, j'ai une erreur.
Ex:

UnicodeDecodeError: 'ascii' codec can't decode byte 0x80 in position 3: ordinal not in range(128)


J'ai essayé unicode() mais unicode n'ncode que des chaines. Même chose avec encode("utf-8). D'ailleurs je préfèrerais de l'utf-8.

Pensez vous qu'il y ait une manière pour que str() transforme un entier en une chaine encodée en utf-8 ? Ou y a t'il une fonction que puisse faire ça...?
Merci d'avance.
Configuration: Python 2.4.2

Meilleures réponses pour « [Python] Utf 8 une bonne fois pour toutes » dans :
Utiliser des accents et autres caractères spéciaux VoirDans la plupart des langages de programmation, on ne peut utiliser directement les accents et autres caractères non-anglosaxon. La solution est l'unicode, une sorte de code universel. Par exemple pour afficher la chaine de caractères : " là, ça...

1

sebsauvage, le 25 oct 2005 à 11:40:53

UnicodeDecodeError: 'ascii' codec can't decode byte 0x80 in position 3: ordinal not in range(128)

En interne, python utilise de l'Unicode.

A priori, ton erreur, elle ressemble plus à un PRINT ou sys.stdout.write() qui ne parvient pas à afficher ta chaîne.
(Puisque Python considère que la console est ASCII, il tente de convertir les chaînes Unicode/UTF-8 en ASCII, d'où le "'ascii' codec can't decode").


Tu as probablement des caractères accentués dans ta chaîne que tu essaie d'afficher ou bien de sauvegarder dans un fichier texte.

Répondre à sebsauvage

2

sebsauvage, le 25 oct 2005 à 11:51:22

Pour écrire un fichier UTF-8, par exemple:

#!/usr/bin/python
# -*- coding: iso-8859-1 -*-

import codecs

chaine = "Le vélo dans le près."

out = file( "monfichier.txt", "w" )
out.write( codecs.BOM_UTF8 )
out.write( chaine)
out.close()



Comme tu peux voir, il n'y a aucune conversion à faire sur 'chaine' car Python utilise déjà en interne Unicode (et il n'a donc aucun difficulté à l'écrire en UTF-8 dans le fichier.)

Répondre à sebsauvage

3

sebsauvage, le 25 oct 2005 à 11:52:45

Le code ci-dessus produit bien un fichier UTF-8:

Le vélo dans le près.

Répondre à sebsauvage

4

sebsauvage, le 25 oct 2005 à 11:53:37

(En fait, la ligne avec le BOM n'est pas strictement obligatoire, c'est juste une best-practice d'indiquer ça au début des fichiers UTF-8).

Répondre à sebsauvage

5

kilian, le 25 oct 2005 à 12:14:28

En fait j'ai déjà eu ce problème justement en écrivant dans un fichier texte.
Mais le soucis c'est que maintenant mon histoire se produit lors d'une simple concatenation.... Aucune sortie standard n'a été faite encore....

J'enquete et je reviens bientôt.

Répondre à kilian

6

kilian, le 25 oct 2005 à 12:27:53

J'ai chopé un des endroits ou ça coince.
Pour l'exception j'ai mis ce code:

print value[0]
print value[1]
value[0] + value[1]


Affichage:
CrÙatures
0 80 114 32 0 5 39 2

ensuite le value[0] + value[1] pour tester la concatenation donne ceci:
File "list_files.py", line 259, in enum_tree
    value[0] + value[1]
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe9 in position 2: ordinal not in range(128)


Y'aurait il un soucis si l'un est en ascci et l'autre en unicode par exemple?

Répondre à kilian

7

sebsauvage, le 25 oct 2005 à 13:42:01

Y'aurait il un soucis si l'un est en ascci et l'autre en unicode par exemple?

Je pense que c'est ça oui.
Convertis explicitement tes chaines en Unicode avant de les concaténer.

ça devrait résoudre le problème.

Répondre à sebsauvage

8

kilian, le 25 oct 2005 à 14:17:33

Alors en fait, je n'arrive pas à convertir value[0] en unicode.
Ca me donne:

value[0]=unicode(value[0])
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe9 in position 2: ordinal not in range(128)


En l'occurence value[0] c'est
crÙatures
Sachant que c'est en fait un accent aigu sur le U et non pas grave (je trouve pas l'accent aigu sur le clavier ici)... En tout cas on dirait que c'est bien de ce caractère qu'il s'agit (position 2)

Bizzare...

Répondre à kilian

9

sebsauvage, le 25 oct 2005 à 14:25:55

Quand tu fais un type(value[0]), il affiche quoi ?

Répondre à sebsauvage

10

kilian, le 25 oct 2005 à 14:41:12

<type 'str'>

En fait, mon script fait ce test avant:

try:
      value[0] + "t" #Pour savoir si c'est bien une chaine
#Sinon convertir en chaîne
except: 
      value[0]= "%s" % value[0] #Car str() ne convertit que en ascii


Comme ça je suis de toute façon assuré que c'est une chaîne...

Répondre à kilian

11

sebsauvage, le 25 oct 2005 à 15:08:36

Ok.

Répondre à sebsauvage

12

 kilian, le 25 oct 2005 à 15:18:30

Donc le "transtypage" se fait car je n'ai pas d'erreur au moment du formatage avec "%s", je peux même afficher value[0] avec print. Mais dés qu'il faut lui faire une opération de conversion (unicode ou utf-8), une concatenation c'est comme s'il se rendait compte soudain qu'il comptait un intrus dans ses rangs.....

Répondre à kilian
Collection CommentÇaMarche.net