MS ACCESS 95/97 の美しいソート順

MS Access を使った人ならだれしも, ソートされたデータを見て 「なんでこんな順序に並ぶの? 本当に並んでるの?」 と首をひねりたくなった経験があるでしょう。 しかし, 実際にどういう順序で並ぶかをきちんと記述したものは存在しないようです。 この文章が MS ACCESS のソート順の謎の解明に少しでも役立てば幸いです。

目次:

• はじめに: どうやってソート順を調べるか
• 清音と濁音, 直音と拗音, 長音, 踊り字
• 無視される違い, 無視される文字
• ハイフン文字について
• 記号の並び順と Unicode と濁音パート2
• 英数ギリシャキリル文字・仮名・漢字の並び順と合字
• 最後の大物: 長音と踊り字
• 終わりに

はじめに: どうやってソート順を調べるか

あらかじめ注意しておかなければならないのは, ACCESS のソート順では, 互いに異なる文字列について, 必ずしも大小の差がないということです。 ひらがなとカタカナ, 半角と全角, 大文字と小文字などは区別しません。 したがって, ひらがなとカタカナの混じったデータは, ソートするたびに順序が変わって, まるでソート順が存在しないかのように見えることがあります。

この現象自体はそれほど奇怪ではありません。 ACCESS 以外でも, 「大文字と小文字を区別しないインデックス」 をサポートしているデータベース管理ソフトウェアは数多くあります。

しかし, MS ACCESS の場合は等しくなる場合が非常に多いこと, どうして等しくなるのか明らかでない場合が多いこと, 「大文字と小文字を区別する」というオプションが存在しない (バイナリで比較する場合は除いて) ことなど, 扱いにくさが群を抜いています。

この現象は, ソート順の解明のしにくさに直接つながります。 適当にデータを作成して, ソートしてみたからといって, その結果が大小の違いであるかどうかがわからないのです。 もう一度ソートすると違う順序で並ぶかもしれません。

ソートしただけでソート順がわからないのなら, どうやって調べればいいでしょうか。 Access Basic を使って, 大小比較演算子で調べる, という方法を試してみましょう。 まずすべての 1文字データを比較してみます。 Access ではデータの終わりにスペースを入れることができませんから, 比較データの終わりに「!」を付け加えて比較します(こういう場合の常套手段)。 すると, こういう結果になりました。

• 「−!」よりも「あ!」の方が大きい。
• 「あ!」よりも「ー!」の方が大きい。
• 「ー!」よりも「−!」の方が大きい。

いきなり推移律が成り立たない! ううーん。 この方法はだめみたいです…というか, これじゃどんな方法でもダメなんじゃないかと目の前がまっくらになりました。

気を取り直して, 上記データをソートしてみました。 すると不思議。 こんどは「−!」よりも「ー!」の方が大きくなります。 大小比較演算子にバグがあるのか, 比較の順序とソートの順序が違うのか…。

とにかく Access Basic は使えないということがわかったので, まずソートしてみた結果に SELECT DISTINCT の QUERY をかけて同値データを取り除く, という手間のかかる方法で調査することにしました。

清音と濁音, 直音と拗音, 長音, 踊り字

日本語のソート順で問題になるのは濁点・長音・拗音などの処理ですが, ACCESS はなかなかがんばっています。 大まかに下のようなアルゴリズムを使って並べています。

1. まず, アクセント記号・清濁や文字の大小, 踊り字を使っているかを無視して比較する。 ハイフン文字(後述)は無視する。
2. それで大小の決着がつかなければアクセント記号を考慮に入れる。 アクセントがついているものはついていないものより大きいと考える。
   例: AA < ÅA < AB; е < ё < ев
3. それで大小の決着がつかなければ清音 < 濁音 < 半濁音の順に並べる。
   例: はか < はが < ばか < ばが < はかり
4. それでも決着がつかなければ小さい字 < 大きい字の順に並べる。
   例: きょし < きよし < きょじ
5. それでも決着がつかないときは，仮名踊り字・長音を使っているかどうかで比較する。 使ってない場合より，使っている場合の方が大きい。
   例: ききょ < きゝょ < ききよ
6. それでも決着がつかないときは，ハイフン文字を考慮に入れて比較する。
7. それでも決着がつかないときは，同値とみなす。 同値のデータをソートした場合, どちらが先にくるかは不定となる。

「濁音仮名」と「清音仮名+濁点」は同じとみなします(例: 「び」=「ひ」+「゛」)。 ここでおもしろいのは, 「濁点・半濁点はかな以外にもつけられる」ということです。 さらに濁点を複数つけることもできます。 半濁点 1個は(なぜだか知りませんが)濁点 2個ぶんと同じとみなします (例: 山あ < 山゛あ < 山゛゛あ = 山゜あ < 山゛゜あ < 山い)。

もっとすごい話。 「℃」は C に半濁点のついたものとみなします。 ウソだと思ったら「℃」をデータに入れて, 「C゜」で検索してご覧なさい。

濁点については他にもいろいろおもしろい話がありますが後回しにします。

無視される違い, 無視される文字

先に述べた「無視される違い」ですが, 次のようなものがあります。

• 全角と半角の違いは無視する。
• 大文字と小文字の違いは無視する。
• ひらがなとカタカナの違いは無視する。
• JIS文字と対応するIBM拡張文字とNEC拡張文字の違いは無視する。
  たとえば「∵」という記号は 81E6, FA5B, 879A の 3個所に定義されていますが, すべて同じものとみなします。

以上のうち, 全角と半角の違いについては, JIS X 0201 と JIS X 0208 の記号について, どれとどれが対応しているのかが自明ではないので, とくに注意すべき対応関係を以下に書いておきます。

以上のほかに, 「いくつあっても無視される文字」というのがあります。 典型的には JIS X 0208 の未定義領域にある字がそうです (F040-F9FC のユーザー定義文字は無視しません) が, それ以外に以下の文字があります(もちろん対応する半角の濁点も同様)。

ACCESS では「一」も「一〇〇〇〇」も同じになってしまうのです!!

合成用丸を無視するのはいいとして, 漢数字のゼロを無視するのは (いくら形が似ているからといって) 合点が行きません。

なお, 「無視する」といいましたが, 空文字列よりは大きいことになっています。 これだけ例外です。

ハイフン文字について

以下の 4 文字(全角と半角を別に数えれば 6文字) を本文章では「ハイフン文字」と呼ぶことにします。

ハイフン文字は上記の「◯」などと同様たいてい無視されるのですが, ハイフン以外の部分が同値の場合, 以下のようなきわめて複雑な方法で比較します。

1. まず両方の文字列の先頭から， (ハイフン文字を含めて)一致している部分を取り除く。 全部一致していたら文字列は等しいものとみなす。
2. 片方の文字列がハイフン文字をまったく含んでいない場合， ハイフン文字を含んでいる方よりも小さいとみなす。
   例: its < it's
3. 両方の文字列がハイフン文字を含んでいるが， ハイフン文字が最初に出現する場所が違う場合， 後ろに出てきた方が大きいとみなす。
   例: a-stray < as-tray
4. 両方の文字列でハイフン文字の最初の出現個所が等しい場合， 上に列挙した順序(80H < アポストロフィ < マイナス < ハイフン) の順に並ぶ。

これを効率よく実装するのはけっこう頭の体操になりますよ。

記号の並び順と Unicode と濁音パート2

なんだかよくわからないタイトルですが, 記号の並び順についてです。

記号は(上記の無視される文字を除いて)英数字や仮名・漢字などより小さいものとみなします。 問題は記号どうしをどういう順序で並べるかですが, これがなかなか一筋縄では行きません。 本文章では便宜上, 記号を 「記述記号1・記述記号2・数学記号・幾何学図形・矢印・罫線記号・一般記号・飾り文字」 の 8類(この順に並ぶ)に分けて説明します。

記述記号1

53文字あります。下のようにおおむね Unicode 順に並びます。 コードをカッコでくくってあるのは例外です。

区点(。)がピリオド(.)の次に並ぶこと, 読点(、)がコンマ(,)の次に並ぶこと, 005c が円記号でなくて「＼」であることに注意。

記述記号2

以下の 2記号がこの順に並びます。

数学記号

43文字。やはり「おおむね」 Unicode の順に並ぶのですが, 00B1 と 00AB の順序だけ逆になっています。

幾何学図形

11文字あります。 やはり Unicode 順に並ぶのですが, 同じ形の図形(四角・三角・逆三角・ひし形・丸) のバリアントどうしは， Unicode の値の差だけ濁点をつけたものとみなします。 (例: ■゛=□, ◎゛=●, ○゛゛゛ =◎) なんでだー!!

矢印

6文字あります。 Unicode 順でなく, 時計まわり(?)に並ぶようです。 ただし，右二重矢印(⇒)は右矢印(→)より濁点14個ぶん!! 大きいものに等しいとみなします。 (⇒ = →゛゛゛゛゛゛゛゛゛゛゛゛゛゛)

なんでか知りません。 もちろん濁点14個のかわりに半濁点7個でもかまいません。

罫線記号

32文字あります。 Unicode 順に並びますが, 例によって罫線の太さの差は，濁音と同じように処理します。 すなわち，細い罫線に対して太い罫線は Unicode の値の差のぶんだけ濁点がついたものとみなします。 (例: ─ < ─゛= ━ < ─#; ┌ < ┌ ゛< ┌゛゛< ┌゛゛゛= ┏ < ┌#)

一般記号

16文字あります。 以下の 3点の解釈をほどこすによって, Unicode 順にならんでいるものとみなすことが可能です。

1. 円記号:\ (5c)は Unicode では 00a5 である
2. 「・」はカタカナではなく MIDDLE DOT (00b7) と解釈する
3. 下の 5文字は本来みな無効な文字だが, 上記「・」と同値だと評価する。 おそらく Access のバグと思われる。 (SJIS: 8540 8640 eb40 ec40 ef40)

飾り文字

7文字あります。 おおむね Unicode 順に並んでいますが, なぜか★と☆の順だけひっくり返っています。

なんでこう細かい違いがあるんでしょうね。

英数ギリシャキリル文字・仮名・漢字の並び順と合字

数字

41字あります。 数字は値の順に並びます。 同じ値を持つ数字は，算用数字 < 丸付き数字 < ローマ数字の順にならびます。 算用数字の全角と半角, ローマ数字の大文字と小文字は区別しません。 丸付き数字は算用数字にアクセント記号をつけたものと考えます。 (例: 1 < 1゜< �@ < 1! < �T) 一番大きいのは「∞」です(笑)。 なにもここまで凝らなくても…。

注意: 比較はあくまで文字単位で行うので, 文字列をソートしても数値の順にはなりません。

ラテンアルファベット

38字あります。 アルファベット順に並びます。 アクセント記号つきアルファベットや合字もここに入ります。 大文字と小文字, 全角と半角は区別しません。

先に述べたとおり, 「Å」は「A」にアクセントがついた文字, 「℃」は C に半濁点のついた文字とみなします。 (例: AA < ÅA < AB)

それ以外の字については文字単位の比較であって， 文字列が必ずしもアルファベット順に並ぶわけではありません。 (例: c < cz < �t {合字} < d)

ギリシャ文字

アルファベット順に並びます。 大文字と小文字は区別しません。

キリール(ロシア)文字

原則としてアルファベット順に並びます。 大文字と小文字は区別しません。 ただし, 「е」と「ё」はアクセント記号の有無の違いとみなします。 (例: е < ё < ев)

仮名

五十音順に並びます。 字の大小・清音と濁音などについては先に述べたとおりです。 なお, 「小さな字」には「ヵ」「ヶ」を含みます。

仮名合字

シフトJISコード順に並びます。

漢字

原則として, シフトJISコード順に並びます。 「仝」および漢字の合字もここに含まれます。 拡張漢字は IBM のコード順に並びます。

例外として, 丸付き漢字・括弧付き漢字は丸を取り除いた文字の次に並びます。 (例: 右 < 右大臣 < �� < 宇; 株 < 株式 < �X < 兜)

ユーザー定義文字(SJIS:f040-f9fc)

シフトJISコード順に並びます。

未定義の 1 バイト文字

コード a0, fd, fe の文字がこの順に並びます。

最後の大物: 長音と踊り字

長音と踊り字については先に簡単に述べましたが, もうちょっと正確に書きます。 このクラスに属する字には次の7字があります。 (注意: 「〃」は「記述記号2」に属します。また「仝」は漢字です。)

単独で出てきた場合, 踊り字・長音符号は他のどの字よりも大きいものとみなされます。 この場合, 7字の間には大小の差はなく, 完全に同値です。

仮名の直後にこのクラスの字が来た場合，下の表のように評価されます。

長音符号の直前が「ん」の場合, 長音符号は「ん」として評価されます。

長音・踊り字つきの文字列をそうでない文字列と比較した場合, 清濁・仮名の大小まで考えて，それでも決着がつかない場合,

1. 長音・踊り字なし
2. 踊り字
3. 長音

の順に並びます。 例:

1. きいゃ < きーゃ < きいや < きーや < きいゃぁ
2. びひゃ < びヽゃ < びひや < びヽや <
   びびゃ < びヾゃ < びびや < びヾや < びぴゃ
3. いいい < いゝい < いーい < いいい゛ < いい゛い <
   いゞい < いー゛い < いい゜い < いゝ゜い < いー゜い <
   い々い < い々゛い < い々゜い

踊り字・長音を複数ならべる事もできます。 (例: いーい < いーー < いーう)

直前の文字が非仮名の場合, 長音符号・踊り字は直前の文字 (ただし, ÅはＡ, ёはеに直す)を繰り返したものと完全に同値になります。 清濁については仮名の場合と同じです。 (例: Åー = ÅＡ, �梶R = �括�, 山ゞ = 山山゛)

終わりに

これで私の Access ソート順の巨大な仕様の解析を終わりますが, どなたかエミュレートするプログラムを作ってみませんか?

実はあまりにも煩瑣にわたるので説明を省略した部分があります。 ハイフンの後ろに踊り字がついた場合, ハイフンを繰り返したものとみなすのか, とか。 興味のある人はこのへんを試してみてください。

Windows98 で Unicode を使えば, 丸付きの「株」など, 大量の新たな合字を使用できます。 そのとき ACCESS のソート順はどうなるのでしょうか。 楽しみ, 楽しみ。

参考文献:

1. 日本語文字列照合順番 JIS X 4061-1996. 日本規格協会.

コンピュータ関係に戻る