Windowsで日本語が文字化けする原因は、だいたい3つに絞れます
日本語が 繧ッ繝ェ繝・・ のように壊れる。Windowsを使っていると必ず一度は当たります。
原因はほぼ1つ、UTF-8で書かれたものを、Shift-JIS(CP932)として読んでいることです。ただしどこで起きているかによって直し方が違うので、そこを切り分けます。
文字化けの見た目で原因が分かります
| 化け方 | 読み方 | 原因 |
|---|---|---|
繧ッ繝ェ繝・・ |
ひらがなカタカナ混じりの意味不明 | UTF-8をShift-JISとして読んだ |
クリッ |
ラテン文字が並ぶ | Shift-JISをUTF-8として読んだ(逆) |
????? |
全部クエスチョン | 変換先に文字が無い |
クリップ |
一部だけ化ける | 機種依存文字・絵文字 |
一番よく見るのは1番目です。中身はUTF-8で正しく、読む側の設定が古いという状態です。
1. コピペで化ける
これに一番やられました。
Windowsには clip というコマンドがあり、標準入力をクリップボードに入れてくれます。
cat file.txt | clip
これはUTF-8を壊します。 clip は入力をANSIコードページ(日本語環境ではCP932)として解釈するので、UTF-8のバイト列がそのまま化けます。
私はこれでSQLファイルをクリップボードに入れ、貼り付けた先で実行して、
ERROR: syntax error at or near "謌宣聞險倬鹸縺ク縺ョ..."
で落ちました。SQL自体は正しく、コメントに書いた日本語だけが壊れて構文を破壊していました。
直し方
PowerShellの Set-Clipboard を使います。こちらはUnicodeを正しく扱います。
Set-Clipboard -Value ([IO.File]::ReadAllText('C:\path\to\file.txt', [Text.Encoding]::UTF8))
そして必ず読み戻して確認してください。
(Get-Clipboard -Raw).Length
文字数が合っていれば成功です。貼り付けてから気づくと、貼った先で何かが起きた後になります。
2. ターミナルの表示が化ける
コマンドの出力に日本語が混じると崩れる場合です。
ここで大事なのは、画面が化けていても中身は無事なことが多いという点です。表示だけの問題なのに「データが壊れた」と誤診すると、無関係なところを直し始めます。
確認の仕方
画面を信じず、ファイルに書き出して文字数を数えます。
# 画面で判断しない
コマンド > out.txt
(Get-Content out.txt -Raw -Encoding UTF8).Length
数が合っていれば、データは無事で表示だけの問題です。
直し方
PowerShell側に「出力はUTF-8」と伝えます。
$env:PYTHONIOENCODING = "utf-8" # Python を呼ぶとき
chcp 65001 # コンソールのコードページをUTF-8に
3. CSVをExcelで開くと化ける
これはExcelの仕様です。UTF-8のCSVをダブルクリックで開くと、ExcelはShift-JISとして読もうとします。
直し方は2つ
BOMを付ける。 UTF-8の先頭に3バイトの印を入れると、ExcelがUTF-8だと気づきます。
$text | Out-File -FilePath out.csv -Encoding utf8BOM
または、ダブルクリックしない。 Excelの「データ」→「テキストまたはCSVから」から開くと、文字コードを選べます。
渡す相手がExcelで開くなら、BOM付きで出すのが親切です。 プログラムで読む相手ならBOMは邪魔になることがあるので、用途で使い分けます。
4. スクリプトファイル自体が化ける
PowerShellのスクリプト(.ps1)に日本語を書く場合は注意が要ります。
PowerShell 5.1(Windows標準)は、BOMが無いUTF-8のファイルをShift-JISとして読みます。 つまり日本語を含む .ps1 はBOM付きUTF-8で保存しないと動きません。
エディタの保存設定で「UTF-8 (BOM付き)」を選んでください。これを知らないと、「同じコードなのに手元では動いて別の場所で落ちる」という状態になります。
まとめ:どこで切り分けるか
日本語が化けた
├ コピペで起きた → clip をやめて Set-Clipboard。読み戻して確認
├ 画面の表示だけ → ファイルに出して文字数を数える。データは無事なことが多い
├ Excelで開いたとき → BOM付きで出すか、データタブから開く
└ スクリプトが動かない → .ps1 はBOM付きUTF-8で保存する
共通する教訓が1つあります。化けた画面を見て判断しないこと。
表示が壊れているだけなのか、データが壊れているのかは、見た目では区別できません。ファイルに書き出して文字数を数える——これをやるだけで、見当違いの修正に時間を使わずに済みます。