文字化け・文字コードチェッカー

文字コードはどこで失われるのか

翻訳ファイルはよく移動します。表計算ソフトからの書き出し、メール添付、手作業の修正、取り込みスクリプト。その一つひとつが独自に文字コードを決めてしまえるうえに、その判断をファイルの中に記録するものはありません。文字コードを自分で名乗らないファイルは、次に開いたソフトに推測されるだけです。

日本語のパイプラインではこれがより厳しくなります。日本語Windows上のツールはいまだに日常的にShift_JISを書き出しますし、正しい日本語と文字化けした日本語の違いは、日本語を読まない人には見えないからです。

どう対処するか

文字コードは前提にせず、境界で判定してください。つまり、ファイルがパイプラインに入ってくる時点です。そして即座にUTF-8へ正規化し、以降は1つの内部表現で通します。さらに、信用せず検証すること。ファイル名や書き出しダイアログの表記はヒントであって、保証ではありません。