製品紹介-MTU Advance

Oracleデータベースから必要なデータを高速抽出
任意のデータ加工([仕分け] [結合] [集計] など)を行って
結果をテキストファイルに出力します

※ マルチ・スレッド・アンローダー及びMulti-threaded Unloaderは株式会社プラムシックスの登録商標です。

MTU Advanceとは?

Oracle Database サーバが抱える過剰な作業負荷を減らして他のサーバへ肩代わりさせる事を可能にするミドルウエアです。

<特長>
コミット不要なデータ処理は MTU Advance が動く 他のサーバへどんどん肩代わりさせましょう。こうすることでシステム全体の負荷バランスがフラットになり、ロー・コストなストレージ装置が使える為領域のやりくりが今までよりも楽になります。

結果的に夜間バッチ処理の突き抜けや、領域不足による計画外停止等の課題解決に寄与します。

DB負荷分散化

DB負荷分散化

発想の転換

 Oracle Database といえば RDBMS、リレーショナルといえば SQL
- SQLはデータ加工(抽出、集計、連結、関数修飾、ソート)が自由自在、しかし…
 RDBMSはトランザクションを成立させるために多くのコンピュータ資源をいけにえにする
- 原子性、一貫性、独立性、永続性
- SQLを使うから上記四特性が勝手におまけで付いてくる
- EUCで欲しいと思う情報に一貫性以外は過剰品質
 SQLを使わなければ資源を余計に消費しない
 節約しながらSQLと同じことが出来る方法はあるの?

発想の転換

MTU Advanceの「Advance」部分とは?

関係代数演算を処理するプログラム・コンポーネントの集合です。
MTU部分に関するご説明はこちらをご覧ください。

<ポイント>

データの流れ

データの流れ

バッチ処理工場_加工機能

バッチ処理工場_加工機能

MTU Advanceの特長

大量データの加工はお任せください!

高効率化を追求した設計でデータ加工も「超」高速

大量データの加工はお任せください!

一回の処理で複数条件に合致したデータの条件仕分けが可能! 従来方式では出力ファイルの条件毎に複数回の処理(クエリ)を行っており、それぞれの処理が参照するデータソースの競合によって処理速度の遅延が発生していました。 これに対してMTU Advanceのデータ加工プログラムは、アンロードプログラムから渡されたデータをワンリード(複数条件時も一度しか読まない)で処理して結果を返します。

実際の売上集計業務への事例では、10時間にも及ぶ販売データと複数のマスタデータの結合バッチ処理をたった40分まで短縮しました。

 

コマンドベースで簡単、プログラムレス

開発・メンテナンスの費用を大幅削減!

コマンドベースで簡単、プログラムレス

コマンドベースなので、データ操作のために必要な条件を指定して実行するだけ、データは、抽出・連結・集計・ソート機能のコマンドを自由に組み合わせて加工できます。

文字列・数値・日時など、データの種類に応じた便利な関数がたくさん用意されておりますので、コマンドベースでもきめの細かいデータ加工処理を実現可能です。

※SQL文に相当する処理が実現可能、RDBに慣れた方にも容易にご利用いただけます。

MTU AdvanceはPL/SQLフリー

MTU Advanceの導入で、PL/SQLを使用しない高速データ抽出&加工を実現

PL/SQLフリー!

Oracleデータベースを使用したプログラム開発で幅広く利用されているPL/SQL、SQL処理とロジックの両方が単一のサーバープロセスで動作可能な為、クライアント・サーバ間のラウンドトリップ量を減らせるので良好なパフォーマンスを発揮します。 一方、シングルスレッドである点(マルチスレッド不可でCPU1coreしか使用できない)や、DBサーバーに負荷が掛かる点など、用途によっては必要な性能を引き出すことが難しくなってしまう欠点も存在しています。

対してMTU AdvanceはPL/SQLを使用しません、従ってPL/SQLを使ったデータ抽出及び加工処理と比べて次のようなメリットがあります。

マルチスレッドで
大量データも超高速抽出

PL/SQLは並列処理ができません。 一方MTU Advanceはマシンが提供する並列処理機能を制限なく使用する事が可能です。

プログラムレスで
簡単データ加工

PL/SQLはプログラミング言語です。 コマンドベースで利用可能なMTU Advanceは開発コストと時間の削減に貢献します。

DBサーバへの負荷を
最小化できる

リソース集約的な処理をDBとは異なるサーバで実行することで、DBサーバへの負荷を最小限に抑えられます。

データベース用の
高価なストレージは不要

PL/SQLはサーバプロセスで実行される為、サーバプロセスから見えるファイルシステムのみに出力先が限定されます。

MTU Advanceの機能

MTU Advanceの4つの基本機能 [抽出] [連結] [集計] [ソート] と、柔軟なデータ加工を実現する [統合コマンド] と [仮想項目機能] をご紹介します。

基本機能1:抽出

指定条件に一致するデータを抽出し、結果をデータファイルに出力します。

抽出

また、1回の抽出処理で複数の異なる条件を指定し、結果を別々に出力できます。

複数の異なる条件

抽出時、以下の機能が有効です。

  • 文字列の完全一致、部分一致および大小比較、数値比較
  • バリエーション(前方一致検索、文字範囲検索など)豊富な検索
  • 複数条件指定によるデータの一括抽出(仕分け処理)

基本機能2:連結

指定した連結条件に合わせて結合・編集し、結果をデータファイルに出力します。例えば、日々の業務で発生する更新履歴などのジャーナルデータと、顧客マスタ・商品マスタなど、複数のマスタデータを一度に連結できます。

連結

◆ INNER JOIN, LEFT OUTER JOIN, FULL OUTER JOIN に対応

連結時、以下の機能が有効です。

  • 複数ファイルの項目間の連結
  • 連結する項目間の算術演算

基本機能3:集計

指定した軸(グループキー)に従って集計し、結果をデータファイルに出力します。 一時ファイルを使用することで、マシンの実装メモリが少ない場合でも大量データを集計できます。

◆ グループキーは階層的に複数の項目を指定できます。

集計

集計時、以下の機能が有効です。

  • 多種類の集計処理(sum, avg, max, min, count 関数)
  • 階層的なグループ化と各階層における集計処理
  • 集計する項目間の算術演算

基本機能4:ソート

指定した軸(ソートキー)に従って並び替え、結果をファイル出力します。

ソート

また、ソートキーを使った仕分け処理も可能です。

仕分け処理

ソート時、以下の機能が有効です。

  • 文字、数値、日付、時間などによるソート
  • ソートする項目間の算術演算

統合コマンド機能

必要な機能(抽出・連結・集計・ソート)をまとめて実行できます。 処理の定義は一つのファイルに集約します。

統合コマンド機能

仮想項目機能

データの値を設定した条件に基づいて別の値に変換した上で処理できます。 この機能を使用することで、より多角的な切り口でのデータ加工が可能となります。

仮想項目機能

MTU Advanceの用途

分野 具体例
期間業務 OLTPの補完的役割(即時性は要求されないが大量データに対してアドホック*な問い合わせを繰り返す)
EUC データマート、分析(予実対比、パレート分析、ヒストグラム等)資料作成
セキュリティ 個人情報のマスキング処理
監査証跡から特定悪性イベントの検出
データ移行 データ・クレンジング、異機種間移動などダンプ・ユーティリティーを適用できない加工処理を含むデータ移行
論理バックアップ 人的エラーやバグによるデータ消失からトランザクションを保護
ストレージ装置の費用負担軽減

*アドホック=ad hoc, その場限りの、使い捨てといった意味。

導入実績

ビッグデータの時代を迎え、日々大量データを扱う大手企業様や団体様を中心に広くご活用いただいております

63295 ライセンス
※2020年1月時点、MTUとMTU Advanceの実績合計

お問い合わせ

MTU及びMTU Advanceの機能や料金・ライセンスに関するご質問は、下記フォームよりお問い合わせください。
専任技術者と担当営業が丁寧にご対応致します。