名 前
charsets − 文 字 集 合 の 標 準 と 国 際 化
説 明
こ の マ ニ ュ ア ル ペ ー ジ で は 、 様 々 な 文 字 集 合 標 準 の 概 要 と 、 Unicode が 広 く 使 わ れ る よ う に な る 前 に こ れ ら の 文 字 集 合 が Linux で ど の よ う に 使 わ れ て い た か を 説 明 す る 。 こ の 情 報 の 中 に は 、 以 前 か ら あ る シ ス テ ム や ド キ ュ メ ン ト を 扱 う 人 々 に と っ て は 今 も 役 立 つ こ と だ ろ う 。 こ こ で 扱 う 標 準 と し て は ASCII, GB 2312, ISO 8859, JIS, KOI8−R, KS, Unicode が あ る 。 主 な 対 象 は ロ ケ ー ル 文 字 集 合 で 実 際 に 使 用 さ れ て い た 文 字 集 合 に つ い て で あ り 、 他 の シ ス テ ム で 作 成 さ れ た デ ー タ で 使 わ れ て い た 無 数 の 他 の 文 字 集 合 に つ い て で は な い 。
ASCII
ASCII (American Standard Code For Information Interchange)
は 7 ビ ッ ト 文
字 集 合 の 元 と
な っ た も の で
あ り 、 も と も
と は 米 語 (American English)
の た め に デ ザ
イ ン さ れ た 。
US−ASCII と も 呼 ば れ
る 。 現 在 は 、 ISO
646:1991 IRV (International Reference Version) 標
準 で 説 明 さ れ
て い る 。 ド イ
ツ 語 、 フ ラ ン
ス 語 、 ス ペ イ
ン 語 な ど に 7 ビ
ッ ト で 対 応 す
る た め 、 ASCII の ド
ル 記 号 を 他 の
通 貨 記 号 に 置
き 換 え 、 句 読
点 を 非 英 語 文
字 の も の に 置
き 換 え た 様 々
な 変 種 が 登 場
し た 。 こ れ ら
は す べ て 非 推
奨 で あ る 。 glibc は
ASCII の 完 全 な ス ー
パ ー セ ッ ト で
な い 文 字 セ ッ
ト の ロ ケ ー ル
に 対 応 し て い
な い 。
UTF−8 を 使 う 場 合 、 Unicode は ASCII と 互 換 性 が あ る の で 、 通 常 の ASCII テ キ ス ト は 新 し い UTF−8 を 使 っ た シ ス テ ム で も そ の ま ま 正 し く 表 示 す る こ と が で き る 。
ISO 8859
ISO 8859 は 15 組 の 一 連
の 8 ビ ッ ト 文 字
集 合 で あ る 。
ど の 文 字 集 合
も 下 位 (7 ビ ッ ト )
に ASCII を 含 み 、 128
か ら 159 に は 制 御
文 字 が 配 置 さ
れ 、 160 か ら 255 に
は 96 個 の 固 定 幅
図 形 文 字 が 配
置 さ れ て い る
。 こ れ ら の う
ち 、 最 も 重 要
な の は ISO 8859−1 ("Latin
Alphabet No .1" / Latin−1) で あ
る 。 ISO 8859−1 は 広
く 採 用 さ れ 、
様 々 な シ ス テ
ム で サ ポ ー ト
さ れ て い た が
、 徐 々 に Unicode で
置 き 換 え れ て
い る 。 ISO 8859−1 文
字 集 合 は Unicode の
最 初 の 256 文 字 で
も あ る 。 コ ン
ソ ー ル に お け
る 、 そ の 他 の 8859
文 字 集 合 の サ
ポ ー ト は (setfont(8))
の よ う な ユ ー
ザ ー モ ー ド ユ
ー テ ィ リ テ ィ
を 利 用 す る 事
で 可 能 に な る
。 こ の よ う な
ユ ー テ ィ リ テ
ィ を 利 用 す る
こ と に よ り 、
コ ン ソ ー ル ド
ラ イ バ に お け
る キ ー ボ ー ド
と EGA グ ラ フ ィ ッ
ク テ ー ブ ル の
割 り 当 て を 変
更 し 、 "ユ ー ザ
ー 割 り 当 て (user
mapping)"フ ォ ン ト テ
ー ブ ル を 使 用
す る こ と が で
き る 。 以 下 は
、 そ れ ぞ れ の
集 合 の 簡 単 な
説 明 で あ る 。
8859−1 (Latin−1)
Latin−1 は ア ル バ ニ ア 語 (Albanian)、 バ ス ク 語 (Basque)、 デ ン マ ー ク 語 (Danish)、 英 語 (English)、 フ ェ ロ ー 語 (Faroese)、 ガ リ シ ア 語 (Galician)、 ア イ ス ラ ン ド 語 (Icelandic)、 ア イ ル ラ ン ド 語 (Irish)、 イ タ リ ア 語 (Italian)、 ノ ル ウ ェ ー 語 (Norwegian)、 ポ ル ト ガ ル 語 (Portuguese)、 ス ペ イ ン 語 (Spanish)、 ス ウ ェ ー デ ン 語 (Swedish) と い っ た 多 く の 西 ヨ ー ロ ッ パ 言 語 を カ バ ー す る 。 オ ラ ン ダ 語 の IJ/ij や フ ラ ン ス 語 の œ と い っ た 合 字 や 古 い ス タ イ ル の „German“ 引 用 符 が 欠 け て い る 点 は 以 前 は 許 容 範 囲 と 考 え ら れ て い た 。
8859−2 (Latin−2)
Latin−2 は 、 ボ ス ニ ア 語 (Bosnian)、 ク ロ ア チ ア 語 (Croatian)、 チ ェ コ 語 (Czech)、 ド イ ツ 語 (German)、 ハ ン ガ リ ー 語 (Hungarian)、 ポ ー ラ ン ド 語 (Polish)、 ス ロ ヴ ァ キ ア 語 (Slovak)、 ス ロ ベ ニ ア 語 (Slovene) と い っ た 、 ラ テ ン 文 字 を 書 き 文 字 と し て 使 用 す る 多 く の 中 央 、 東 ヨ ー ロ ッ パ の 言 語 を サ ポ ー ト す る 。 以 前 は 、 ル ー マ ニ ア 語 の ș/ț を ş/ţ で 置 き 換 え る の は 許 容 範 囲 と 考 え ら れ て い た 。
8859−3 (Latin−3)
Latin−3 は 、 エ ス ペ ラ ン ト 語 (Esperanto)、 マ ル タ 語 (Maltese)、 ト ル コ 語 (Turkish) に 対 応 す る た め に 設 計 さ れ た が 、 ト ル コ 語 に 関 し て は 後 に 8859−9 に 取 っ て 代 わ ら れ た 。
8859−4 (Latin−4)
Latin−4 は 、 エ ス ト ニ ア 語 (Estonian)、 ラ ト ビ ア 語 (Latvian)、 リ ト ア ニ ア 語 (Lithuanian) と い っ た 北 ヨ ー ロ ッ パ の 言 語 の 文 字 を 提 供 し て い た が 、 8859−10 と 8859−13 に 取 っ て 代 わ ら れ た 。
|
8859−5 ブ ル ガ リ ア 語 |
(Bulgarian)、 ベ ラ ル ー シ 語 (Byelorussian)、 マ ケ ド ニ |
ア 語 (Macedonian)、 ロ シ ア 語 (Russian)、 セ ル ビ ア 語 (Serbian) を サ ポ ー ト し 、 ウ ク ラ イ ナ 語 (Ukrainian) を (ほ ぼ 完 全 に ) サ ポ ー ト す る キ リ ル 文 字 集 合 で あ る 。 こ の 文 字 集 合 が 広 く 使 わ れ た こ と は な か っ た 。 下 の KOI8−R/KOI8−U に 関 す る 議 論 を 参 照 の こ と 。
|
8859−6 ア ラ ビ ア 語 |
(Arabic) を サ ポ ー ト す る た め に 作 成 さ れ た 。 8859−6 の グ |
リ フ テ ー ブ ル (glyph table) は 文 字 の 形 態 を 分 割 し た 固 定 幅 フ ォ ン ト で あ る 。 そ の た め 、 適 切 な デ ィ ス プ レ イ エ ン ジ ン と 組 み 合 わ せ 、 正 し い initial, medial, final フ ォ ー ム に 結 合 し な け れ ば な ら な い 。
|
8859−7 現 代 ギ リ シ ャ 語 用 と し て |
1987 年 に 作 成 さ れ 、 2003 年 に 更 新 さ れ た 。 | ||
|
8859−8 |
niqud (句 読 点 記 号 ) の な い 現 代 ヘ ブ ラ イ 語 (Hebrew) を サ ポ ー ト す る 。 niqud と 完 全 な 聖 書 風 ヘ ブ ラ イ 語 (Biblical Hebrew) は こ の 文 字 セ ッ ト の 対 象 外 で あ る 。
8859−9 (Latin−5)
こ れ は 、 Latin−1 の
変 種 で 、 ア イ
ス ラ ン ド 語 の
文 字 を ト ル コ
語 (Turkish)文 字 に 置
き 換 え た も の
で あ る 。
8859−10 (Latin−6)
Latin−6 は 、 北 欧 (Nordic) 地 域 を 完 全 に カ バ ー す る た め に Latin−4 に は 含 ま れ て い な い イ ヌ イ ッ ト 語 (Inuit) (グ リ ー ン ラ ン ド 語 (Greenlandic)) と サ ー メ 語 (Sami) (ラ ッ プ 語 (Lappish)) を 追 加 し て い た 。
8859−11 タ イ
語 の ア ル フ ァ
ベ ッ ト を サ ポ
ー ト し 、 TIS−620 標
準 と ほ と ん ど
同 一 で あ る 。
8859−12 こ の 文 字 集
合 は 存 在 し な
い 。
8859−13 (Latin−7) バ ル ト
海 諸 国 の 言 語
を サ ポ ー ト す
る 。 特 に 、 Latin−4
に 存 在 し な い
ラ ト ビ ア 語 の
文 字 を 含 む 。
8859−14 (Latin−8) こ れ は
、 ケ ル ト 語 の
文 字 セ ッ ト で
あ り 、 古 代 ア
イ ル ラ ン ド 語 (Old
Irish)、 マ ン 島 語
(Manx)、 ゲ ー ル 語
(Gaelic)、 ウ ェ ー ル
ズ 語 (Welsh)、 コ ー ン
ウ ォ ー ル 語
(Cornish)、 ブ ル タ ー
ニ ュ 語 (Breton) に 対
応 す る 。
8859−15 (Latin−9)
Latin−9 は 、 広 く 使 用 さ れ て い る Latin−1 に 似 て い る が 、 い く つ か の あ ま り 使 用 さ れ な い シ ン ボ ル を 、 ユ ー ロ 記 号 と Latin−1 に 入 っ て い な い フ ラ ン ス 語 と フ ィ ン ラ ン ド 語 の 文 字 に 置 き 換 え て い る 。
8859−16 (Latin−10) こ の 文 字 セ ッ ト は 多 く の 東 南 ヨ ー ロ ッ パ の 言 語 に 対 応 し て お り 、 も っ と も 重 要 な の は ル ー マ ニ ア 語 に は よ り 完 全 に 対 応 し て い る 点 で あ る 。
KOI8−R
/ KOI8−U
KOI8−R は 、 Unicode の 前
に 、 ロ シ ア に
お い て よ く 用
い ら れ た ISO で な
い 文 字 集 合 で
あ る 。 下 位 半
分 は ASCII で あ る 。
上 位 半 分 は ISO
8859−5 よ り い く ら
か よ く 設 計 さ
れ た キ リ ル 文
字 集 合 で あ る
。 KOI8−U は KOI8−R を
元 に し て お り
、 ウ ク ラ イ ナ
語 (Ukrainian) へ の 対 応
が よ り 良 い も
の に な っ て い
る 。 こ れ ら の
文 字 集 合 は ど
ち ら も 、 ISO−8859 系
列 と は 違 い 、
ISO−2022 と の 互 換 性
は な い 。
Linux で の KOI8−R の コ ン ソ ー ル サ ポ ー ト は 、 ユ ー ザ ー モ ー ド の ユ ー テ ィ リ テ ィ で 実 現 さ れ て い る 。 こ れ は キ ー ボ ー ド の 割 り 当 て と EGA グ ラ フ ィ ッ ク テ ー ブ ル を 変 更 し 、 コ ン ソ ー ル ド ラ イ バ の フ ォ ン ト テ ー ブ ル に "ユ ー ザ ー 割 り 当 て " を 行 う 。
GB 2312
GB 2312 は 、 簡 体 文
字 を 表 現 す る
た め の 中 国 の
国 定 標 準 文 字
セ ッ ト で あ る
。 JIS X 0208 と 同 様 に
、 文 字 は 94x94 の 2
バ イ ト マ ト リ
ッ ク ス に 配 置
さ れ 、 EUC−CN に 用
い ら れ る 。 EUC−CN
は Linux に お い て 最
も 重 要 な エ ン
コ ー デ ィ ン グ
で あ り 、 ASCII と GB 2312
を 含 ん で い る
。 EUC−CN は し ば し
ば GB, GB 2312, CN−GN な ど と
呼 ば れ る 。
Big5
Big5 は 台 湾 で 繁 体
文 字 を 記 述 す
る の に 一 般 的
に 使 わ れ る 文
字 セ ッ ト で あ
っ た 。 (Big5 は 文 字
セ ッ ト と エ ン
コ ー デ ィ ン グ
の 両 方 で あ る
。 ) こ れ は US ASCII の
上 位 集 合 で あ
る 。 非 ASCII 文 字 は
2 バ イ ト で 表 現
す る 。 0xa1−0xfe の バ
イ ト は 2 バ イ ト
文 字 の 1 文 字 目
と し て 用 い る
。 Big5 と そ の 拡 張
は 台 湾 と 香 港
で 広 く 用 い ら
れ て い た 。 こ
れ は ISO 2022 準 拠 で
は な い 。
JIS X
0208
JIS X 0208 は 日 本 語 の
国 定 標 準 文 字
セ ッ ト で あ る
。 他 に も い く
つ か 日 本 語 の
国 定 標 準 文 字
セ ッ ト は あ る (JIS X
0201, JIS X 0212, JIS X 0213 な ど ) が
、 こ れ が 最 も
重 要 で あ る 。
文 字 は 94x94 の 2 バ
イ ト マ ト リ ッ
ク ス に 配 置 さ
れ る 。 各 バ イ
ト は 0x21−0x7e の 値 を
持 つ 。 JIS X 0208 は 文
字 セ ッ ト で あ
り 、 エ ン コ ー
デ ィ ン グ で は
な い こ と に 注
意 す る こ と 。
こ れ は 、 JIS X 0208 自
身 は テ キ ス ト
デ ー タ の 表 現
に は 使 わ れ な
い 、 と い う こ
と で あ る 。 JIS X 0208
は 、 EUC−JP, Shift_JIS,
ISO−2022−JP と い っ た
エ ン コ ー デ ィ
ン グ を 構 成 す
る 部 品 と し て
用 い ら れ る 。
EUC−JP が Linux に お い
て 最 も 重 要 な
エ ン コ ー デ ィ
ン グ で あ り 、 ASCII
と JIS X 0208 を 含 ん で
い る 。 EUC−JP で は
、 JIS X 0208 文 字 は 2 バ
イ ト で 表 現 さ
れ 、 各 バ イ ト
は JIS X 0208 コ ー ド に 0x80
を 加 え た も の
で あ る 。
KS X
1001
KS X 1001 は 韓 国 の 国
定 標 準 文 字 セ
ッ ト で あ る 。 JIS X
0208 と 同 様 に 、 文
字 は 94x94 の 2 バ イ
ト マ ト リ ッ ク
ス に 配 置 さ れ
る 。 KS X 1001 は JIS X 0208 と
同 様 に 、 EUC−KR, Johab,
ISO−2022−KR と い っ た
エ ン コ ー デ ィ
ン グ の 部 品 と
し て 用 い ら れ
る 。 EUC−KR は Linux に
お い て 最 も 重
要 な エ ン コ ー
デ ィ ン グ で あ
り 、 ASCII と KS X 1001 を 含
ん で い る 。 KS C 5601
は KS X 1001 の 古 い 名
前 で あ る 。
ISO 2022 and
ISO 4873
ISO 2022 と ISO 4873 標 準 で
は 、 VT100 の 動 作 に
基 づ い た フ ォ
ン ト コ ン ト ロ
ー ル モ デ ル が
規 定 さ れ て い
る 。 こ の モ デ
ル は Linux カ ー ネ ル
や xterm(1) に お い て
(部 分 的 に ) サ ポ
ー ト さ れ て い
る 。 日 本 語 向
け な ど 、 ISO−2022 を
ベ ー ス に し た
文 字 符 号 化 が
い く つ か 定 義
さ れ て き た 。
G0, G1, G2, G3 と 呼 ば れ る 4 つ の 図 形 文 字 集 合 が あ る 。 こ れ ら の う ち の ひ と つ は 、 最 上 位 ビ ッ ト が 0 で あ る コ ー ド の た め の 現 在 の 文 字 集 合 (初 期 値 は G0)、 ま た ひ と つ は 最 上 位 ビ ッ ト が 1 で あ る コ ー ド の た め の 現 在 の 文 字 集 合 (初 期 値 は G1)で あ る 。 そ れ ぞ れ の 図 形 文 字 集 合 は 94 か 96 の 文 字 を 持 ち 、 基 本 的 に 7−bitの 文 字 集 合 で あ り 、 040−0177 (041−0176) か 0240−0377 (0241−0376)の コ ー ド を 使 う 。 G0 は 常 に 94 文 字 で 041−0176 の コ ー ド を 使 用 す る 。 文 字 集 合 の 切 り 替 え は シ フ ト フ ァ ン ク シ ョ ン ^N (SO ま た は LS1), ^O (SI ま た は LS0), ESC n (LS2), ESC o (LS3), ESC N (SS2), ESC O (SS3), ESC ~ (LS1R), ESC } (LS2R), ESC | (LS3R) を 使 っ て 行 わ れ る 。 フ ァ ン ク シ ョ ン LSn は 最 上 位 ビ ッ ト が 0 で あ る コ ー ド の た め の 文 字 集 合 を Gn に 設 定 す る 。 フ ァ ン ク シ ョ ン LSnR は 最 上 位 ビ ッ ト が 1 で あ る コ ー ド の た め の 文 字 セ ッ ト を Gn に 設 定 す る 。 フ ァ ン ク シ ョ ン SSn は (最 上 位 ビ ッ ト の 値 に か か わ ら ず )次 の 文 字 の み 文 字 集 合 を Gn (n=2 ま た は 3)に 設 定 す る 。
94 文 字 集 合 で は 、 エ ス ケ ー プ シ ー ケ ン ス ESC ( xx (G0 用 ), ESC ) xx (G1 用 ), ESC * xx (G2 用 ), ESC + xx (G3 用 ) に よ っ て 、 Gn 文 字 集 合 を 用 い る よ う に 指 示 さ れ る 。 xx は "ISO 2375 International Register of Coded Character Sets" で 決 め ら れ て い る 一 文 字 、 ま た は 二 文 字 で あ る 。 た と え ば ESC ( @ は ISO 646 文 字 集 合 を G0 と し て 選 び 、 ESC ( A は (ナ ン バ ー サ イ ン (＃ )の 代 わ り に 、 ポ ン ド (£)を 持 つ ) UK ス タ ン ダ ー ド 文 字 集 合 を 選 択 す る 。 ESC ( B は (通 貨 記 号 の か わ り に ダ ラ ー (＄ )を 持 つ ) ASCIIを 選 択 す る 。 ESC ( M は ア フ リ カ 言 語 (African languages) を 選 択 し 、 ESC ( ! A は キ ュ ー バ 語 (Cuban)文 字 集 合 を 選 択 す る 。 な ど な ど …
96−文 字 集 合 で は 、 エ ス ケ ー プ シ ー ケ ン ス ESC − xx (G1 用 ), ESC . xx (G2 用 ), ECS / xx (G3 用 )を 用 い る こ と で 、 Gn 文 字 集 合 を 使 用 す る よ う に 指 示 さ れ る 。 例 え ば 、 ESC − G は ヘ ブ ラ イ ア ル フ ァ ベ ッ ト (Hebrew alphabet) を G1 と し て 選 択 す る 。 マ ル チ バ イ ト 文 字 集 合 で は エ ス ケ ー プ シ ー ケ ン ス E $ xx ま た は ESC $ ( xx (G0 用 ), ESC $ ) xx (G1 用 ), ESC $ * xx (G2 用 ), ESC$ + xx (G3 用 ) を 用 い る こ と で 、 Gn 文 字 集 合 を 使 用 す る よ う に 指 示 さ れ る 。 例 え ば 、 ESC $ ( C は 韓 国 語 (Korean)文 字 集 合 を G0 と し て 選 択 す る 。 ESC $ B に よ っ て 選 択 さ れ る 日 本 語 文 字 セ ッ ト は 、 よ り 最 近 の バ ー ジ ョ ン で は ESC & @ ESC $ B に よ っ て 選 択 さ れ る よ う に な っ た 。
ISO 4873 は よ り 制 限 さ れ た 文 字 集 合 の 利 用 を 規 定 す る 、 そ の 規 定 で は 、 G0 は (常 に ASCIIに )固 定 さ れ る 。 従 っ て 、 G1, G2, G3 は 最 上 位 ビ ッ ト が セ ッ ト さ れ た コ ー ド と し て の み 呼 び 出 す こ と が で き る 。 特 に 、 ^N と ^O は 用 い ら れ ず 、 ESC ( xx は xx=B と し て の み 用 い る こ と が で き 、 ESC ) xx, ESC * xx, ESC + xx は そ れ ぞ れ ESC − xx, ESC . xx, ESC / xx と 等 価 に な る 。
TIS−620
TIS 620 は タ イ の 国
定 標 準 文 字 セ
ッ ト で 、 ASCII の 上
位 集 合 で あ る
。 ISO 8859 系 列 と 同
様 に 、 タ イ 文
字 は 0xa1−0xfe に 配 置
さ れ る 。
Unicode
Unicode (ISO10646) は 、 人 間
が 用 い る 全 て
の 言 語 の 全 て
の 文 字 を 、 明
確 に あ ら わ す
こ と を 目 的 と
し た 規 格 で あ
る 。 Unicode の 構 造
は 各 文 字 の エ
ン コ ー ド に 20.1 ビ
ッ ト を 与 え て
い る 。 ほ と ん
ど の コ ン ピ ュ
ー タ ー は 20.1 ビ ッ
ト の 整 数 を 扱
え な い の で 、
Unicode は 普 通 内 部
デ ー タ と し て 32
ビ ッ ト 整 数 に
エ ン コ ー ド さ
れ 、 16 ビ ッ ト 整
数 の 列 (UTF−16)(あ る
種 の 珍 し い 文
字 を エ ン コ ー
ド す る 場 合 に
だ け 2 つ の 16 ビ ッ
ト 整 数 が 必 要
と な る )か 、 8 ビ
ッ ト バ イ ト の
列 (UTF−8)と し て 扱
わ れ る 。
Linux は 8−bit Unicode Transformation Form(UTF−8) を 用 い て Unicode を あ ら わ す 。 UTF−8 は Unicode の 可 変 長 表 現 で あ る 。 UTF−8 は 7 ビ ッ ト を 符 号 化 す る の に 1 バ イ ト を 、 11 ビ ッ ト で は 2 バ イ ト を 、 16 ビ ッ ト で は 3 バ イ ト を 、 21 ビ ッ ト で は 4 バ イ ト を 、 26 ビ ッ ト で は 5 バ イ ト を 、 31 ビ ッ ト で は 6 バ イ ト を 用 い る 。
0,1,x を ゼ ロ 、 １ 、 任 意 の ビ ッ ト と す る と 、 あ る バ イ ト 0xxxxxxx は Unicode で は 00000000 0xxxxxxx と あ ら わ さ れ る 。 こ れ は 、 ASCII の 0xxxxxxx と 同 じ シ ン ボ ル の コ ー ド で あ る 。 こ の よ う に 、 ASCII は 変 更 な し に UTF−8 に 変 換 で き 、 ASCII の み を 使 う 場 合 は 、 コ ー ド に お い て も フ ァ イ ル サ イ ズ に お い て も 、 変 更 に 関 し て 何 も 気 に し な く て よ い 。
110xxxxx と い う バ イ ト は 2 バ イ ト コ ー ド の 始 ま り で あ る 、 そ し て 、 110xxxxx 10yyyyyy は 00000xxx xxyyyyyy と い う よ う に 組 み 立 て ら れ る 。 ま た 、 1110xxxx は 3 バ イ ト コ ー ド の 始 ま り で あ り 、 1110xxxx 10yyyyyy 10zzzzzz は xxxxyyyy yyzzzzzz と い う よ う に 組 み 立 て ら れ る (UTF−8 が 31 ビ ッ ト ISO 10646 コ ー ド を 利 用 す る と き は 、 こ の 工 程 は 6 バ イ ト コ ー ド ま で 発 展 さ せ ら れ る )。
ISO−8859 文 字 集 合 を 使 っ た ほ と ん ど の テ キ ス ト で は 、 こ の こ と は 、 ASCII の 範 囲 外 を 使 っ た 文 字 は 二 つ の バ イ ト に 符 号 化 さ れ る と い う こ と を 意 味 す る 。 (UTF−8 を 使 う と 、 ISO−8859 を 使 用 し て い る ) 元 々 の テ キ ス ト フ ァ イ ル の サ イ ズ か ら 1 〜 2 パ ー セ ン ト 大 き く な っ て し ま う こ と に な る 。 ロ シ ア 語 や ギ リ シ ャ 語 の テ キ ス ト で は 、 こ れ に よ っ て 元 の テ キ ス ト は 2 倍 の 大 き さ に な る こ と に な る 。 な ぜ な ら 、 こ れ ら の 言 語 の 文 字 の ほ と ん ど が ASCII の 範 囲 外 だ か ら で あ る 。 日 本 語 の ユ ー ザ ー の 場 合 に は 、 現 在 広 く 利 用 さ れ て い る 16 ビ ッ ト コ ー ド に 3 バ イ ト 必 要 と い う こ と だ 。 い く つ か の 文 字 集 合 (特 に ISO 8859−1) か ら Unicode へ の 変 換 は ア ル ゴ リ ズ ム で 行 う こ と が で き る が 、 汎 用 的 な 変 換 に は 変 換 テ ー ブ ル が 必 要 で あ り 、 16 ビ ッ ト コ ー ド の 場 合 は こ の テ ー ブ ル は か な り 大 き な も の と な る 。
UTF−8 は 自 己 同 期 的 で あ る 。 10xxxxxx は 終 端 で あ り 、 ほ か の バ イ ト は コ ー ド の 先 頭 で あ る 。 UTF−8 の 文 字 列 に お け る ASCII の バ イ ト は 、 常 に そ の 文 字 自 身 を 表 現 す る こ と に 注 目 し て ほ し い 。 特 に 、 幾 つ か の 大 き な コ ー ド の パ ー ト を 形 成 す る た め に 、 NUL ('\0') や '/' を 埋 め 込 む 必 要 は な い 。
ASCII と NUL と '/' は 変 更 さ れ な い た め 、 カ ー ネ ル は UTF−8 を 使 用 し て い る こ と を 特 に 意 識 し な く て も 良 い 。 カ ー ネ ル は バ イ ト が 何 を あ ら わ し て い る か に 注 意 す る 必 要 が な い 。
Unicode デ ー タ 列 の レ ン ダ リ ン グ は 典 型 的 に は Unicode の サ ブ セ ッ ト か ら グ リ フ へ の マ ッ プ で あ る "サ ブ フ ォ ン ト (subfont)" テ ー ブ ル を 利 用 し て 行 わ れ る 。 カ ー ネ ル 内 部 で は 、 Unicode を 使 っ て ビ デ オ RAM 内 部 に ロ ー ド さ れ た サ ブ フ ォ ン ト を 記 述 し て い る 。 こ れ は 、 UTF−8 モ ー ド の Linux コ ン ソ ー ル で は 512 個 の 異 な っ た シ ン ボ ル を 持 っ た 文 字 集 合 を 利 用 で き る こ と を 意 味 す る 。 こ れ は 、 日 本 語 、 中 国 語 、 韓 国 語 で は 十 分 で は な い が 、 そ の 他 の ほ と ん ど の 目 的 で は 十 分 で あ る 。
関 連 項 目
iconv(1), console(4), ascii(7), iso_8859−1(7), unicode(7), utf−8(7)
こ の 文 書 に つ い て
こ の man ペ ー ジ は Linux man−pages プ ロ ジ ェ ク ト の リ リ ー ス 3.79 の 一 部 で あ る 。 プ ロ ジ ェ ク ト の 説 明 と バ グ 報 告 に 関 す る 情 報 は http://www.kernel.org/doc/man−pages/ に 書 か れ て い る 。