// Référence des erreurs PostgreSQL

PostgreSQL 22021 : séquence d'octets invalide pour l'encodage

Le texte contient des octets qui ne sont pas valides dans l'encodage de la base de données ou du client : un fichier Latin-1 ou Windows-1252 chargé comme UTF-8, ou un octet NUL dans le texte.

SQLSTATE
22021
Nom
character_not_in_repertoire
Catégorie
Exception de données
Message d'erreur
invalid byte sequence for encoding "UTF8": 0xff

Ce que cela signifie

PostgreSQL vérifie que chaque valeur de texte est valide dans l'encodage dans lequel elle arrive. 22021 (character_not_in_repertoire) signifie qu'une séquence d'octets n'est pas un caractère valide dans cet encodage. Avec une base de données UTF-8, cela signifie généralement que les données étaient en réalité dans un autre encodage, comme Latin-1 ou Windows-1252, où les octets comme 0xe9 (é) sont des octets simples qui ne sont pas valides en UTF-8 à eux seuls.

Les types de texte PostgreSQL ne peuvent jamais contenir l'octet NUL, donc invalid byte sequence for encoding "UTF8": 0x00 signifie que des données binaires ou des chaînes de type C ont atteint une colonne de texte.

Causes courantes

  • Chargement d'un CSV exporté par un outil qui a utilisé Windows-1252 ou Latin-1, avec COPY ou \copy en supposant UTF-8.
  • client_encoding défini sur UTF8 alors que le client envoie en réalité un autre encodage.
  • Données binaires, ou chaînes contenant des octets NUL, insérées dans une text ou varchar colonne.
  • Données tronquées au milieu d'un caractère multi-octets par une application.

Comment le corriger

  1. Indiquez COPY le véritable encodage du fichier ; PostgreSQL le convertit.

    \copy customers FROM 'customers.csv' WITH (FORMAT csv, HEADER true, ENCODING 'WIN1252')
  2. Ou définissez l'encodage client de la session pour qu'il corresponde à ce que le client envoie.

    SET client_encoding = 'LATIN1';
  3. Convertissez le fichier avant de le charger, par exemple iconv -f WINDOWS-1252 -t UTF-8 in.csv > out.csv.

  4. Stockez les données binaires dans bytea, et supprimer les octets NUL du texte dans l'application avant l'insertion.

Erreurs liées

Plus d'erreurs d'exception de données

Le code et le texte du message sont issus de Documentation PostgreSQL, annexe A : Codes d’erreur PostgreSQL. Parcourir la liste complète Liste des erreurs PostgreSQL ou Rechercher toutes les erreurs de base de données.

// moins d'erreurs, corrections plus rapides

Travailler sur PostgreSQL dans SQLly

Un client SQL natif pour macOS, Windows et Linux avec IntelliSense conscient du schéma, des garde-fous pour les instructions risquées et des messages d'erreur clairs, pour PostgreSQL et les autres bases de données que vous utilisez.