新着情報

マルチフォーマットの固定長データをCSVへ高速変換しながら複数ファイルへ仕分ける方法

概要

• 本稿はホストコンピュータから後発のコンピューティング環境（オープン・システムやクラウド）へデータを移行する為の様々なプロセスの中でも特にデータ変換部分を詳しく取り扱った記事です。異機種間のデータ移行に際して生じがちな障害を未然に回避し、時間的制約の中スピーディーに作業を進める事が求められている読者へ有益な情報を提供する事を狙いとしています。
• 具体的にはホストコンピュータからHULFT¹やFTP等で受け取った固定長形式のファイルを複数のCSVファイルへ変換・仕分けする方法について説明します。変換・仕分けを実行する、c++で書かれた完全に動作するサンプルプログラムのソースコードとサンプルデータも本稿のリンク先から無料で入手できます。
• 固定長形式ファイルは一つのファイルの中に改行コードで区切られた複数のレコードが存在する形式で、レコード中に１つ以上の属性（項目）が配置され、各属性はデータが始まる位置と長さが「固定」です。
• 固定長形式ファイルでは、各属性の配置が１パターンしか無いものが一般的ですが、キーのクラスタリングや伝送制御手順といったプロセス設計上の理由で、２つ以上の属性の組合せパターンが１つのファイルに共存する形式もあり、「マルチフォーマット（マルチレイアウト）」などと呼ばれています。
• 組み合わせが１パターンだけの固定長形式ファイルをCSVへ変換する事例はネット検索で数多く記事を見かけるものの、マルチフォーマットの変換について言及されたものはほぼ見つかりません。
• そこでマルチフォーマット変換を扱うことが出来、かつパフォーマンスの良いプログラムの具体例を解説する事により、自サイトでの実装やパフォーマンス対策に苦慮されている読者の一助になれる事を願いつつ本稿を奏上します。

• 尚、記事の内容は 3 年以上のプログラミング経験のある読者を対象としています。

  本稿についてのお問い合わせは対応致しかねますので予めご了承ください。

マルチフォーマット・サンプル

• 本稿の解説に使用する、マルチフォーマットの固定長形式ファイルを下記に提示します。とある電器店の売上伝票データを模したものを想定します。
  レコードの末尾にある半角ドル記号（実際には含まれず）は、この位置に置かれたCR+LF符号を示し、レコードの境界を表すものです。CR+LF まで含めると１レコード当たりのバイト数は 64 バイトという想定です。
  

  120210401                                                     $
  3A203-00845012-100085521-230329395042004132832                $
  4001NW104P       乾電池　単三型　４本パック　　000000230000001$
  4002ACN-8500     空気清浄機　　　　　　　　　　000042800000001$
  4003LCN-KS500    取替用ＬＥＤランプ　１３Ｗ　　000001200000003$
  4004BP-50K       交換用紙パック２０枚入　　　　000000700000002$
  3A203-00846005-10003A058-002329395023002165402                $
  4001YPH-862      イヤホン（黒）　　　　　　　　000002500000001$
  4002KBL-5M       ＬＡＮケーブル　５ｍ　　　　　000000580000001$
  900008                                                        $
  

• ホストコンピュータ固有のデータ表現は、オープン系システムで正しく読み取れるものへ既に変換されているものとします(下表参照)。

  データ属性		ホスト	オープン
  文字列	半角英大文字 ・数字・記号	EBCDIC	JIS X 0201 (ANKコード)
  	半角カナ	EBCDIC(caps off)
  	日本語	IBM漢字コード,JEF,JIPS	Shift-JIS
  数値		パック／ゾーン10進数	ASCII

• ホストから受け取った固定長ファイルにはCSVへ変換したい正味のデータ・レコードを挟むように、ヘッダ・レコードとトレーラ・レコードが含まれています。前者はそのファイルを作った日付、後者はそのファイルに含まれるデータ・レコードの件数が提示されています。
• サンプルデータでは、１バイト目に置かれた区分でヘッダ、トレーラ、およびデータのどれかを識別するものとします。実際の固定長形式ではファイル定義書などで識別に使う項目の場所が決められていて、１バイト目ではない場所に置かれている事もあります。
• 下記はサンプルデータの内容を理解しやすくする為にラベル付けしたものです。区分は４種類あり ‘1’ がヘッダ、’3′ が伝票ヘッダ、’4’が伝票明細、’9’がトレーラを示します。伝票ヘッダの後には必ず１行以上の伝票明細が置かれ、何行の明細が含まれるかは伝票ヘッダの明細数を見ると判ります。

  項目番号		1	2
  項目名		区分	作成日付
  ヘッダ・レコード		1	20210401
  伝票 #1	項目番号	1	2	3	4	5	6	7
  	項目名	区分	伝票番号	売場	担当職番	顧客ＩＤ	明細数	時刻
  	データ・レコード (伝票)	3	A203-00845	012-10008	5521-2303	29395042	004	132832
  	項目番号	1	2	3	4		5	6
  	項目名	区分	明細番号	商品コード	商品名		単価	数量
  	データ・レコード (明細)	4	001	NW104P	乾電池　単三型　４本パック		000000230	000001
  		4	002	ACN-8500	空気清浄機		000042800	000001
  		4	003	LCN-KS500	取替用ＬＥＤランプ　１３Ｗ		000001200	000003
  		4	004	BP-50K	交換用紙パック２０枚入		000000700	000002
  伝票 #2	項目番号	1	2	3	4	5	6	7
  	項目名	区分	伝票番号	売場	担当職番	顧客ＩＤ	明細数	時刻
  	データ・レコード (伝票)	3	A203-00846	005-10003	A058-0023	29395023	002	165402
  	項目番号	1	2	3	4		5	6
  	項目名	区分	明細番号	商品コード	商品名		単価	数量
  	データ・レコード (明細)	4	001	YPH-862	イヤホン(黒)		000002500	000001
  		4	002	KBL-5M	ＬＡＮケーブル　５ｍ		000000580	000001
  項目番号		1	2
  項目名		区分	件数
  トレーラ・レコード		9	00008

• バッチ処理設計では伝票のヘッダと明細が常に同時に扱われるので、わざわざ明細に伝票番号は含めず省略する事でメモリとディスク消費を抑えるような最適化をよくやります。
  ところが、リレーショナル・モデルでは第3正規形やボイスコッド正規形を満たすようモデリングされるので、いくつものテーブルに分割されます。
  テーブル間のリレーションシップは、外部キーを介して維持されるので依存する側のテーブルでは（たとえ同じことの繰り返しであっても）主キーのコピーを持たせなければなりません。
  サンプルデータで例えるなら、明細に伝票番号が移行され明細番号とのコンポジット型主キーが形成できるようにインポートするデータ（ここではCSV）を用意しなければなりません。

• 各レコード定義書を提示します。項目名にある「FILLER」とはレコード長を揃える為の詰め物です。

  No 項目名 位置 桁 1 区分 1 1 2 作成日付 2 8 3 FILLER 10 53 計 62	No 項目名 位置 桁 1 区分 1 1 2 伝票番号 2 10 3 売場 12 9 4 担当職番 21 9 5 顧客ＩＤ 30 8 6 明細数 38 3 7 時刻 41 6 8 FILLER 47 16 計 62
  No 項目名 位置 桁 1 区分 1 1 2 件数 2 5 3 FILLER 7 56 計 62	No 項目名 位置 桁 1 区分 1 1 2 明細番号 2 3 3 商品コード 5 13 4 商品名 18 30 5 単価 48 9 6 数量 57 6 計 62

  回り込みが解除用のタグ

外部設計

• 用意するサンプルプログラムと入出力データの関係を図示します。

  

• サンプルプログラムは名前をMfFixed2Csvとし、２つの引数を必要とします。１つ目は入力元の固定長ファイル名です。ファイル名のみ指定した場合はそのファイルがカレントフォルダにあるものと仮定します。ファイル名の前に任意で共有フォルダ名、相対フォルダや絶対フォルダを追加することが出来ます。
• ２つ目は出力先フォルダ名です。フォルダ名のみ指定した場合はそのディレクりがカレントフォルダにあるものと仮定します。フォルダ名の前に任意で共有フォルダ名、相対フォルダや絶対フォルダを追加することが出来ます。
• 引数が全く与えられず起動された場合は、使い方の事例を示すメッセージと共に戻り値 -1 を伴い、プログラムが異常終了します。
• 入力元ファイルの存在がチェックされ、ない場合にはメッセージと共に戻り値 -2 を伴い、プログラムが異常終了します。
• 出力先フォルダの存在がチェックされ、ない場合にはメッセージと共に戻り値 -3 を伴い、プログラムが異常終了します。

  回り込みが解除用のタグ

• プログラムが正常終了すると、出力先フォルダには４つのCSVファイルが出力されます。
  

  入力元ファイル名	出力先ファイル名	種類
  [path\to\]name.ext []内省略可能	第２引数\name_1.csv	ヘッダ
  	第２引数\name_3.csv	伝票ヘッダ
  	第２引数\name_4.csv	伝票明細
  	第２引数\name_9.csv	トレーラ

• 各ファイルの名前は入力元ファイルの名前に因む名前が自動的に与えられるため利用者が命名する事は出来ません。入力ファイル名と出力ファイル名の関係性は右表の通りです。
• 正常終了時の戻り値は 0 です。

回り込みが解除用のタグ

• 想定する出力結果は次の通りです。
  

  "区分","作成日付" "1","2021-04-01"	"区分","伝票番号","売場","担当職番","顧客ＩＤ","明細数","時刻" "3","A203-00845","012-10008","5521-2303","29395042",4,"13:28:32" "3","A203-00846","005-10003","A058-0023","29395023",2,"16:54:02"
  "区分","件数" "9",8	"区分","伝票番号","明細番号","商品コード","商品名","単価","数量" "4","A203-00845",1,"NW104P","乾電池　単三型　４本パック",230,1 "4","A203-00845",2,"ACN-8500","空気清浄機",42800,1 "4","A203-00845",3,"LCN KS500","取替用ＬＥＤランプ　１３Ｗ",1200,3 "4","A203-00845",4,"BP-50K","交換用紙パック２０枚入",700,2 "4","A203-00846",1,"YPH-862","イヤホン（黒）",2500,1 "4","A203-00846",2,"KBL-5M","ＬＡＮケーブル　５ｍ",580,1

• 出力された結果をよく知られた表計算ソフトやRDBMSへインポートして汎用的に使えるようにする為、以下に挙げた重要なデータ加工をサポートします。
1. 比較や四則演算の対象として扱えるようにする為、数値の前詰めゼロを除去
   例：伝票明細の単価、数量、トレーラの件数
2. セパレータが含まれない日付や時刻表現をセパレータ付きにする変換
   例：ヘッダの作成日付、伝票ヘッダの時刻
3. 固定幅ではない文字列データの末尾部分にある空白文字の除去
   例：伝票明細の商品名、商品コード
4. 外部キーをもつデータセットへの主キーの提供
   例：伝票明細の伝票番号
5. 文字エンコーディングを BOM 付の UTF-8 （UTF-8 with BOM）に設定して出力する
   狙い：エクスプローラからダブルクリックするだけで Microsoft²® Excel³® のノートブックへ取り込めるようにする

入手、ビルド、そして実行

1. プログラムをビルドする為, Microsoft Visual C++ 2017 以降の製品を用意して下さい。もし Visual C++ Community Edition を使うのであれば こちらからダウンロードできます。
2. ソースコードとサンプルデータが入った書庫ファイルをこちらからダウンロードして任意のフォルダへ解凍してください。
   

   本稿で提供するソフトウエアの著作権は株式会社プラムシックスが所有します。
   このソフトウエアを取り扱う際は MIT License に定められた条項を遵守するものとします。

3. Visual Studio の製品のメニューに含まれる「x64 Native Tools Command Prompt」を表示し、サンプルプログラムを解凍した（MfFixed2Csv.slnというファイルがある）フォルダへ移動します。

   cd /d 移動先フォルダ名

4. コマンドプロンプトからMSBuildコマンドを発行してプログラムをビルドします。

   MSBuild MfFixed2Csv.sln -m -verbosity:minimal -target:Build -property:Configuration=Release
   

5. ビルドの進行とともに次のメッセージが出力されます。

   .NET Framework 向け Microsoft (R) Build Engine バージョン 16.9.0+5e4b48a27
   Copyright (C) Microsoft Corporation.All rights reserved.
   
     MfFixed2Csv.cpp
     MfFixed2Csv_Impl.cpp
     コード生成しています。
     267 of 450 functions (59.3%) were compiled, the rest were copied from previous compilation.
       17 functions were new in current compilation
       21 functions had inline decision re-evaluated but remain unchanged
     コード生成が終了しました。
     MfFixed2Csv.vcxproj -> C:\Users\demo_user\Source\Repos\MfFixed2Csv\x64\Release\MfFixed2Csv.exe
   

6. ビルドがうまくいくと実行形式ファイルは x64\Release\MfFixed2Csv.exe へ出力されます。以上で準備が整いました。
7. サンプルデータは２番目の手順でダウンロードした書庫に含まれているので確認します。ファイル名は sample.dat です。
8. ビルドしたプログラムとサンプルデータを与えて、環境変数 TEMP の指し示すフォルダへ CSV を生成してみます。ビルドを行ったコマンドプロンプトをそのまま使い、次のコマンドを入力します。

   x64\Release\MfFixed2Csv.exe  MfFixed2Csv\sample.dat %TEMP%
   

9. プログラムが正常に実行されると次のようなメッセージが表示されます。

   The data before conversion will be read from MfFixed2Csv\sample.dat
   and written to C:\Users\demo_user\AppData\Local\Temp after conversion.
   
   Selected records (3)=2, rec size=62
   Selected records (4)=6, rec size=62
   Total records=10
   

10. 上記の操作が終わると変換結果のCSVファイルが環境変数 TEMP の指し示す場所へ出力されているのでメモ帳などで確認して下さい。ファイルが作成されているかどうかは次のコマンドで確かめることが出来ます。

    C:\Users\demo_user\Source\Repos\MfFixed2Csv>where $TEMP:*.csv
    C:\Users\demo_user\AppData\Local\Temp\sample_1.csv
    C:\Users\demo_user\AppData\Local\Temp\sample_3.csv
    C:\Users\demo_user\AppData\Local\Temp\sample_4.csv
    C:\Users\demo_user\AppData\Local\Temp\sample_9.csv
    

詳細設計

• 右の図は、サンプルプログラムの処理手順を描いたものです。

  

• 処理の流れ：
  1. 引数が２つ未満だったら使い方のヘルプを示して異常終了する。戻り値: -1
  2. arg[1] に指定されたファイル（sample.dat）がオープンできるかどうか試行する。失敗したら異常終了する。戻り値: -2
  3. arg[2] に指定されたフォルダの stat を検査を試行する。失敗したら異常終了する。戻り値: -3
  4. arg[2] に指定されたフォルダの配下に sample_3.csv （伝票ヘッダ用）を新しく作成する
  5. arg[2] に指定されたフォルダの配下に sample_4.csv （伝票明細用）を新しく作成する
  6. 処理開始のメッセージを表示して、メモリーを確保する
  7. sample.dat から１行読みとり、変数 line_buff へストアする
  8. EOF が戻されたかどうかを検査し、Y であれば処理終了のメッセージを表示して、メモリーを解放する
  9. line の最初の１文字目が何かを比較する
  10. ‘3’ の場合は、変数 line_buff を要素へ分割し、CSV 形式になるようにする。
      一括して文字エンコーディングを UTF-8へ変換する。
      その後 sample_3.csv へ書き込む。
      ステップ 7 へ進む
  11. ‘4’ の場合は、変数 line_buff を要素へ分割し、CSV 形式になるようにする。
      一括して文字エンコーディングを UTF-8へ変換する。
      その後 sample_4.csv へ書き込む。
      ステップ 7 へ進む
  12. ‘1’ の場合は、arg[2] に指定されたフォルダの配下に sample_1.csv （伝票ヘッダ用）を新しく作成する。
      変数 line_buff を要素へ分割し、CSV 形式になるようにする。
      一括して文字エンコーディングを UTF-8へ変換する。
      その後 sample_1.csv へ書き込む。
      ファイルはクローズする。ステップ 7 へ進む
  13. ‘9’ の場合は、arg[2] に指定されたフォルダの配下に sample_9.csv （伝票ヘッダ用）を新しく作成する。
      変数 line_buff を要素へ分割し、CSV 形式になるようにする。
      一括して文字エンコーディングを UTF-8へ変換する。
      その後 sample_9.csv へ書き込む。
      ファイルはクローズする。ステップ 7 へ進む
  14. いずれにも該当しない場合は異常終了する。戻り値: -1
• 実装にて達成する課題と実現方法
  ソースコードと突き合わせながらご確認ください
  マルチフォーマット（マルチレイアウト）に対応する処理をスマートに実現する

  共用体と呼ばれるデータ型を利用します。当サンプルでは「LAYOUT」とタグ付けされた共用体を使います。共用体はデータ型の一つで、同じメモリ領域を複数の型が共有する構造です。

  右は当サンプルの MfFixed2Csv/MfFixed2Csv.h を一部を例示していますが先頭にLAYOUTがあります。

  この共用体には、char line_buff[]、REC1 r1、REC3 r3、REC4 r4、REC9 r9、の合計 5 つのメンバーが含まれています。

  共用体では同じメモリ領域を複数の型が共有しますので、例えば line_buff へ固定長ファイルから読み取られたデータが 展開されると他のメンバーも直ちにその内容を参照できます。

  読み取り場所をそのまま他で参照する場所としても利用できるので、追加のメモリ領域を必要としない上、コピーも不要いうメリットがあります。

  回り込みが解除用のタグ

  例えば LAYOUT に属するメンバーのひとつ、REC3 という型の定義はどうなっているか確認してみましょう。これは LAYOUT よりも前方に定義されています。

  項目 C02 ～ C08 までの 7 つの項目は売上伝票のヘッダ部分にあたる項目をそれぞれ表していて、char配列の要素数（大カッコ内の整数）は、ファイル定義書中定義された長さを基に決めます。例えば担当職番がPIC X(09)という定義であれば、char配列の要素数は9、あるいは明細数がPIC 9(03)という定義であれば、char配列の要素数は3とします。

  　　

  読み取ったデータが、伝票ヘッダに該当する事は、項目 C01 （区分）の値に ‘3’ が与えられている事で判別します。８つの項目をすべて合わせると、合計62バイトになりますがこのバイト数が、line_buffへ展開されるデータの長さと同じになります。

  　　

  line_buff への固定長データ展開はどこで行われているかというと、MfFixed2Csv/MfFixed2Csv.cpp の 118 行目にあります。ifstream クラスのメンバー: getline を呼び出して、その引数として unifiedという変数のメンバー: line_buff のアドレスを渡しています。

  getline 関数がリターンすると line_buff には読取データが展開されています。しかし、このステップでは、展開されたデータがどの区分のレコードなのか判別できていません。

  　　

  後続のステップ（右側の枠線内）で line_buff へ展開されたデータの１バイト目を区分として扱い、各区分に応じた固有の処理を行う過程が 124 行目から続く多枝分岐に書かれています。ここまで到達すると共用体：LAYOUT のメンバとして定義されている REC1, REC3, REC4, REC9 の各構造体に当てはめた処理を開始できることになります。

  　　

  もし、共用体を使わずに同じ処理を書こうとするとどうなるのでしょうか。line_buff に展開されたデータを、個別に受け取るバッファーを REC1, REC3, REC4, REC9 の各構造体毎にひとつづつ用意し、line_buff の複写をとる必要が生じます。つまり左側の枠線内のようなコードを書かなければなりません。これは、スマートな実装とは言い難い上に memcpy 関数を何回もコールするので右枠線内のコードと比べると追加の待機時間が発生します。

          ........
  REC1 r3;
  REC1 r4;
          ........
  ifs.getline(unified.line_buff, BUFFER_SIZE);
          ........
  switch (line_buff[0])
  {
  case '3':
      ::memcpy(&r3, &line_buff, sizeof(r3));
      ofs_h << r3.output_body(
          ........
  case '4':
      ::memcpy(&r4, &line_buff, sizeof(r4));
      ofs_b << r4.output_body(
          ........
  

  ところで case '1', case '9' よりも case '3', case '4' の分岐先コードブロックを、先に書く理由は分かりますか？
  '1'と'9'は、for ループ文の内側にあるものの、プログラムの存続期間を通じてそれぞれ１回ずつしか実行されないからです。

  　　

  case 文に並ぶ各分岐先は先頭のものから順にマッチするかどうかが確認されますので、より多くのレコードが存在するであろう、区分 '3'及び'4'を優先して比較するには処理効率上の意味があります。

  回り込みが解除用のタグ

  比較や四則演算の対象として扱えるようにする為、数値の前詰めゼロを除去

  　　

  ソースコード MfFixed2Csv/MfFixed2Csv.h の 82 行目にある adapt_numeric という関数テンプレートで、この処理を行っています。

  　　

  引数の dst は四則演算が可能な short, int, long, int64_t などの整数型を総称する為、型をテンプレート引数に代えて適用しています。ここに第２引数の src から読み取った整数データが格納されます。冒頭部分にある for ループで、数値文字列の全体長 -1 回分だけ繰り返し処理があります。

  　　

  繰り返す内容は dest へ現在格納済みのデータを 10 倍し、src から読み取った次の１文字の数値を足しこむ、というものです。「*src++ - '0'」は何をする処理かというと、読み取ったASCII文字から数量を抽出しています。"++" は src というポインタ変数が指すアドレスを１つ分上位へ移動させるという意味で、数量抽出の後に実行されます。

  　　

  ASCII のコード定義を見ると、'0' から '9' までの文字は 0x30 から 0x39 までのコード値が順番に割り当てられている為、'0' を第 2 項へ置いて算術的な引き算をすると、'0' からのコード表上の距離がそのまま数量として導き出すことが出来ます。C言語の経験がある方は atoi() というライブラリ関数を使えばもっと分かり易いのに、とお思いになるかもしれませんがここではあえて使いません。

  　　

  一般に関数呼び出しは CPU コストが掛かる処理とされている為、プログラム中で大量に呼ばれることがあらかじめ分かっている場合は、このように当該ライブラリ関数で実行されている内容に等しいコード中をベタ書きして最適化を図る場合があります。

  　　

  for ループ文の後に続く if else 文は、固定長文字列 "s" の最後の１文字に対する処理となります。ホストから変換済みのデータを受取った時に、数値表現がすべて符号無し10進数: "PIC 9(桁数" であれば、(*src < 0x40) の条件内のブロックですべて処理されます。

  　　

  そうではなくて符号付き10進数: "PIC S9(桁数" を受取った時に、正しく数値変換が出来るよう (*src < 0x4a) 以下の条件が用意されています。

  下の表は、符号付き10進数の最小桁にあてがわれる文字の全バリエーションと文字コードの関係をまとめたものです。符号付き10進数を表した固定長文字列の正負符号はこの１文字で決定されます。数値 0 を表す文字が、EBCDIC では数値 1 と連続している（C0→C1,D0→D1）のに対して、ASCII ではコード表上のいわば飛び地に置いてある（7B→41,7D→4A）ので、プログラムが少し読みにくくなっています（後方２つの else if 文）。

  正の値				負の値
  数値	EBCDIC	文字	ASCII	数値	EBCDIC	文字	ASCII
  +0	C0	{	7B	-0	D0	}	7D
  +1	C1	A	41	-1	D1	J	4A
  +2	C2	B	42	-2	D2	K	4B
  +3	C3	C	42	-3	D3	L	4C
  +4	C4	D	42	-4	D4	M	4D
  +5	C5	E	42	-5	D5	N	4E
  +6	C6	F	42	-6	D6	O	4F
  +7	C7	G	42	-7	D7	P	5G
  +8	C8	H	42	-8	D8	Q	5H
  +9	C9	I	42	-9	D9	R	5I

  adapt_numeric 関数から戻ると、変換されたデータは整数型としてバッファーへ保存されます。サンプルプログラムではMfFixed2Csv/MfFixed2Csv_Impl.cpp の 300, 322, 325, 326, 346 行目にその呼出しがあります。

  保存されたデータは後続の 310, 332, 335, 336, 351 行目で参照されます。これらは後続の snprintf というライブラリ関数の呼出し引数として与えられています。同じく引数として与えられる書式化文字列で "%d" に適合するようデータが書式化されるので前詰めゼロ値が取り除かれます。

  　　

  前詰めゼロを取り除く、という直接的な操作を行う代わりに、整数型を書式付きで出力する事で結果的に取り除いたことになります。

  　　

  ここで特に留意して頂きたいのは snprintf の呼び出し回数を 1 に抑える、という事です。実際の固定長形式ファイルでは項目数が数百以上にも及ぶケースがあるので、一般には保守を容易にする為 snprintf を項目数だけ繰り返し書くことになります。しかし移行用途のプログラムは保守が容易であることよりもパフォーマンスが重要なので前にも触れた通り関数呼び出し削減を徹底してください。

  回り込みが解除用のタグ

  セパレータが含まれない日付や時刻表現をセパレータ付きにする変換

  例えば Microsoft Excel の場合だと、セパレーター無しで作成日付の "20210401" を読み取らせても、８桁の整数として扱われてしまい、日付固有の演算が出来ません。例えば翌月末の日付や、他の日付との間に何日のインターバルがあるかを求めるのに整数では不適当です。

  データを移行した先のアプリケーション上で正しく日付時刻を扱う為には、インポートされる前に年・月・日、および時・分・秒の正しい区分けが出来ている必要があります。

  当サンプルでは、この処理を行う為の関数として adapt_date() と adapt_time() がそれぞれ MfFixed2Csv/MfFixed2Csv_Impl.cpp 上に用意されています（188 行目と 213 行目）。

  これらは詳しく説明する必要が無いほどシンプルな実装ですが欠かせない存在です。

  回り込みが解除用のタグ

  固定幅ではない文字列データの末尾部分にある空白文字の除去

  連続する半角空白と全角空白文字を固定長データの末尾から取り除く処理: adapt_varchar() が MfFixed2Csv/MfFixed2Csv_Impl.cpp 上の239 行目に用意されています。

  同じ空白のように見える文字でも、半角と全角では構成バイト数や操作用コードが異なるので if else 文を使って選り分けています。else 句には、取り除き対象でない文字をコピーする為の処理です。

  removing というフラグは、文字列中に含まれるデータとしては有効な空白が取り除かれないようにする為にあります。

  関数の戻り値として扱っている wlen は取り除き対象として認識された最後の空白文字があった場所を記録している為、結果的に残された文字列の長さを示すことになります。

  回り込みが解除用のタグ

  外部キーをもつデータセットへ主キーの提供

  当サンプルでの外部キーは伝票番号です。伝票番号が読み取られるのは、区分 '3' のレコードが読み取られた時です。反対に伝票番号が引用されるのは区分 '4' のレコードが読み取られた時です。こちらの処理は REC3::output_body() と REC4::output_bodyが MfFixed2Csv/MfFixed2Csv.cpp 上の 124 ～ 135 行目に用意されています。

  PK_REC3型の pk という名前の変数が媒介となって、伝票番号を REC4 型の変数へ引き渡しています。

  回り込みが解除用のタグ

  文字エンコーディングを BOM 付の UTF-8 （UTF-8 with BOM）に設定して出力する

  UTF-8 への文字エンコーディング変換は何回も繰り返し使うので、クラスを用意して部品化しています。クラス名は Converter といい MfFixed2Csv/MfFixed2Csv_Impl.cpp 上の 112 ～ 148 行目に実装が用意されています。

  static な記憶クラスで宣言された SjisToUtf8 という関数の引数に Shift-JIS でエンコードされた文字列を与えると、UTF-8 への変換が行われ、関数の戻り値として UTF-8 が戻されます。

  意外なことに、Shift-JIS から直接 UTF-8 へ変換する為の手段は 標準テンプレート・ライブラリ(STL) に用意されておらず⁴ OS ベンダーが提供する API か C 標準ライブラリを組み合わせて実現する方法しかありません。当サンプルの場合は、ホストからデータを受取った時の前提として Shift-JIS （つまり Windows での利用）を想定しているので Windows の API である MultiByteToWideChar()、WideCharToMultiByte() とを使います。この API をそれぞれ 2 回ずつ実行して、Shift-JIS → UTF-16LE → UTF-8 の段階を経て変換します。

  １度目の API 呼出しは変換結果を受け取る側の引数に 0 を与え、確保するのに十分なメモリサイズを事前に求めています。こちらで求めたサイズのメモリを後続の処理で確保しますが、メモリの割り当てと解放は頻繁に行われると最大の待機原因になるので、今まで確保した事のある最大のメモリを超えた場合のみ、改めて確保し直すというロジック⁵にして、再割り当てが最小限度に抑えられるようにしてあります。必然的にこのオブジェクトは、プロセスの存続期間中ハイ・ウォーター・マークを保ち続けなければならないという理由と、マルチスレッド化で更なる性能強化を図れるようにするための準備⁶として、Singleton パターンでオブジェクトを実装しています。Convert::SjisToUtf8 関数が static な記憶クラスになっているのはその為です。

  一方、CSV ファイルを BOM 付きにする為の仕掛けは、Converter::bom という static な符号無し8bit整数の配列を、オープン直後のファイルへ出力する事で実現しています。こちらのコードはMfFixed2Csv/MfFixed2Csv_Impl.cpp 上の 150 ～ 179 行目に実装されています。

  回り込みが解除用のタグ

まとめ

• いかがでしたか。本稿ではサンプルとしてマルチフォーマット形式で表現された固定長テキストデータを用意し、CSV化や文字コードを変換しつつ複数のファイルへ仕分けを行うプログラム（ソースコード付き）をご覧頂きながら、具体的な変換方法について解説しました。単にデータ変換が出来るだけでなく、パフォーマンス要求も同時に満たせるよう、CPUコストが高い関数呼び出しを減らすテクニックについて触れました。
• 2025年(昭和100年)問題が目前に迫る中、ホストコンピュータの経験豊かな技術者が現場を卒業していく前に、蓄積した膨大なデータを新しい世代のコンピューティング環境へ引き継いでいく作業は、古くから事業運営にコンピュータを活用してきた歴史ある企業にとっては喫緊の課題であり、確実、かつ速やかに行わなければなりません。
• c++ はオブジェクト指向言語でありながら、共用体の事例をご覧になってもお分かりの通り、古い世代のシステムで作成されたデータ表現と意外にも相性が良く、かつ最高水準の性能で動作するので移行作業を強力にアシストできる点でとても有用です。
• いつかこの記事が読者のお困り事の解決に貢献出来る事を願いつつ締め括りと致します。

by 開発1号

1. HULFTは、株式会社セゾン情報システムズの商標および商標登録です。
2. Microsoftは、米国Microsoft Corporationの米国およびその他の国における登録商標または商標です。
3. Excelは、米国Microsoft Corporationの米国およびその他の国における登録商標または商標です。
4. string から wstring への変換、及びその逆の操作には std::codecvt や std::wstring_convert が利用できますが、c++17 ではもはや非推奨になりました。
5. std::unique_ptr.reset()の呼出し
6. マルチスレッドで書かれているc++プログラムは複雑であり説明の妨げになるので本稿では取り扱いませんでした。