ricono 作ったものと、詰まった箇所の記録

Windowsで日本語が文字化けする原因は、だいたい3つに絞れます

Windows文字化けUTF-8トラブル

日本語が 繧ッ繝ェ繝・・ のように壊れる。Windowsを使っていると必ず一度は当たります。

原因はほぼ1つ、UTF-8で書かれたものを、Shift-JIS(CP932)として読んでいることです。ただしどこで起きているかによって直し方が違うので、そこを切り分けます。


文字化けの見た目で原因が分かります

化け方 読み方 原因
繧ッ繝ェ繝・・ ひらがなカタカナ混じりの意味不明 UTF-8をShift-JISとして読んだ
クリッ ラテン文字が並ぶ Shift-JISをUTF-8として読んだ(逆)
????? 全部クエスチョン 変換先に文字が無い
クリップ 一部だけ化ける 機種依存文字・絵文字

一番よく見るのは1番目です。中身はUTF-8で正しく、読む側の設定が古いという状態です。


1. コピペで化ける

これに一番やられました。

Windowsには clip というコマンドがあり、標準入力をクリップボードに入れてくれます。

cat file.txt | clip

これはUTF-8を壊します。 clip は入力をANSIコードページ(日本語環境ではCP932)として解釈するので、UTF-8のバイト列がそのまま化けます。

私はこれでSQLファイルをクリップボードに入れ、貼り付けた先で実行して、

ERROR: syntax error at or near "謌宣聞險倬鹸縺ク縺ョ..."

で落ちました。SQL自体は正しく、コメントに書いた日本語だけが壊れて構文を破壊していました。

直し方

PowerShellの Set-Clipboard を使います。こちらはUnicodeを正しく扱います。

Set-Clipboard -Value ([IO.File]::ReadAllText('C:\path\to\file.txt', [Text.Encoding]::UTF8))

そして必ず読み戻して確認してください。

(Get-Clipboard -Raw).Length

文字数が合っていれば成功です。貼り付けてから気づくと、貼った先で何かが起きた後になります。


2. ターミナルの表示が化ける

コマンドの出力に日本語が混じると崩れる場合です。

ここで大事なのは、画面が化けていても中身は無事なことが多いという点です。表示だけの問題なのに「データが壊れた」と誤診すると、無関係なところを直し始めます。

確認の仕方

画面を信じず、ファイルに書き出して文字数を数えます。

# 画面で判断しない
コマンド > out.txt
(Get-Content out.txt -Raw -Encoding UTF8).Length

数が合っていれば、データは無事で表示だけの問題です。

直し方

PowerShell側に「出力はUTF-8」と伝えます。

$env:PYTHONIOENCODING = "utf-8"    # Python を呼ぶとき
chcp 65001                          # コンソールのコードページをUTF-8に

3. CSVをExcelで開くと化ける

これはExcelの仕様です。UTF-8のCSVをダブルクリックで開くと、ExcelはShift-JISとして読もうとします。

直し方は2つ

BOMを付ける。 UTF-8の先頭に3バイトの印を入れると、ExcelがUTF-8だと気づきます。

$text | Out-File -FilePath out.csv -Encoding utf8BOM

または、ダブルクリックしない。 Excelの「データ」→「テキストまたはCSVから」から開くと、文字コードを選べます。

渡す相手がExcelで開くなら、BOM付きで出すのが親切です。 プログラムで読む相手ならBOMは邪魔になることがあるので、用途で使い分けます。


4. スクリプトファイル自体が化ける

PowerShellのスクリプト(.ps1)に日本語を書く場合は注意が要ります。

PowerShell 5.1(Windows標準)は、BOMが無いUTF-8のファイルをShift-JISとして読みます。 つまり日本語を含む .ps1 はBOM付きUTF-8で保存しないと動きません。

エディタの保存設定で「UTF-8 (BOM付き)」を選んでください。これを知らないと、「同じコードなのに手元では動いて別の場所で落ちる」という状態になります。


まとめ:どこで切り分けるか

日本語が化けた
  ├ コピペで起きた      → clip をやめて Set-Clipboard。読み戻して確認
  ├ 画面の表示だけ       → ファイルに出して文字数を数える。データは無事なことが多い
  ├ Excelで開いたとき    → BOM付きで出すか、データタブから開く
  └ スクリプトが動かない → .ps1 はBOM付きUTF-8で保存する

共通する教訓が1つあります。化けた画面を見て判断しないこと。

表示が壊れているだけなのか、データが壊れているのかは、見た目では区別できません。ファイルに書き出して文字数を数える——これをやるだけで、見当違いの修正に時間を使わずに済みます。

← 記事一覧