PostgreSQL 22021: エンコーディングに対して無効なバイトシーケンス
テキストに、データベースまたはクライアントのエンコーディングで無効なバイトが含まれています。たとえば、Latin-1 や Windows-1252 のファイルを UTF-8 として読み込んだ場合や、テキスト中に NUL バイトがある場合です。
- SQLSTATE
22021- 名前
character_not_in_repertoire- カテゴリ
- データ例外
意味
PostgreSQL は、すべてのテキスト値が受信したエンコーディングで有効であることを確認します。22021 (character_not_in_repertoire)は、そのバイト列がそこでは有効な文字ではないことを意味します。UTF-8 のデータベースでは、通常、データが実際には Latin-1 や Windows-1252 などの別のエンコーディングだったことを意味し、そこでは次のようなバイトが 0xe9 (é)は、それ単体では有効な UTF-8 ではない 1 バイトです。
PostgreSQL のテキスト型には NUL バイトを含めることができないため、 invalid byte sequence for encoding "UTF8": 0x00 バイナリまたは C 文字列のデータがテキスト列に到達したことを意味します。
よくある原因
- Windows-1252 または Latin-1 で書き出すツールがエクスポートした CSV を読み込むと、
COPYまたは\copyUTF-8と想定します。 client_encoding次に設定UTF8一方でクライアントは実際には別のエンコーディングを送っている、という場合。- バイナリ データ、または NUL バイトを含む文字列を、次に挿入した場合
textまたはvarchar列。 - アプリケーションによって、マルチバイト文字の途中で切り詰められたデータ。
修正方法
-
伝える
COPYファイルの実際のエンコーディング。PostgreSQL が変換します。\copy customers FROM 'customers.csv' WITH (FORMAT csv, HEADER true, ENCODING 'WIN1252')
-
または、クライアントが送信する内容に合わせて、セッションのクライアントエンコーディングを設定します。
SET client_encoding = 'LATIN1';
-
読み込む前にファイルを変換します。たとえば
iconv -f WINDOWS-1252 -t UTF-8 in.csv > out.csv. -
バイナリデータの保存先:
bytea、挿入する前に、アプリケーション側でテキストから NUL バイトを取り除いてください。
関連エラー
その他のデータ例外のエラー
コードとメッセージのテキストは、 PostgreSQL ドキュメントの付録 A: PostgreSQL エラーコード。全容は次で参照 PostgreSQL エラーリスト または すべてのデータベースエラーを検索.
SQLly で PostgreSQL を操作する
macOS、Windows、Linux 用のネイティブ SQL クライアント。スキーマを認識する IntelliSense、危険なステートメントへのガードレール、分かりやすいエラーメッセージを備え、PostgreSQL をはじめ、お使いの他のデータベースにも対応します。