KNIME - 固定長のファイルを読み込む fixed length input ~Java Snippet~

f:id:makkynm:20201220101041p:plain

はじめに
固定長のファイルとは？
覚えてほしいこと
やりたいこと
固定長ファイルの読み込み方
ちょっと一言
- Javaで文字列・バイト配列変換を行うときに使用するクラスについて
- Digit数を数えるためのおすすめテキストエディタ紹介
おわりに
- 生活必需品系
- 在宅勤務用品
参考リンク

はじめに

こんにちは、まっきーです。今回は書いていたと思って書いていなかった固定長のデータを、Digit数で読み込む方法を解説したいと思います。

前回は固定長ではなくて文字数で区切る方法を解説しました。そして前回、全角と半角が混じっている場合はうまく区切れないですね！ということだけ投げてじゃあその場合どうすんの？というところをカバーしていませんでした。

今回はきちんと半角と全角が混じっているファイルでも区切れる方法を解説します。

degitalization.hatenablog.jpJ

※この方法Macでは動きませんでした。デフォルトの文字コードの違いからかもしれません。原因分かればまた記事書こうと思います。

今回のテーマ ~Java Snippet~

Java Snippet Nodeを使って固定長のデータを複数コラムに分割していきます。

f:id:makkynm:20201127114517p:plain — 今回のテーマ ~Java Snippet~

JavaのNodeを初めてみる方は、まずは下記の記事を読んでみてください。

degitalization.hatenablog.jp

固定長のファイルとは？

そもそも固定長ファイルという言葉をご存知でしょうか。コトバンクによると、固定長は下記の定義になっています。

長さ・桁数・文字数・データの大きさなどが定められていること。特に、コンピューターで、レコード（ファイルを構成する単位）の長さが一定である形式を指す。⇔可変長。

引用：

固定長とは - コトバンク

固定長というのは、長さが決まっているということです。あらかじめ決めた区切り位置のルールに沿って、それぞれ値を入れていくイメージです。

テキストファイルには、いくつかの区切り方があったと思います。カンマ区切り、タブ区切り、スペース区切り等です。この固定長ファイルは、この区切りが長さで決められているものです。

今回は下のような固定長ファイルを用意してみました。上の方に半角スペースを1digitとしたメモリが振られているので、すこし分かるかもしれませんが、あらかじめ決めておいたDigit数から各値がスタートするイメージです。

f:id:makkynm:20201127140137p:plain — 固定長ファイルの例

固定長ファイルはかなり一般的なので、Nodeとして用意されていてもおかしくないのですが、どうやらまだないみたいです。

fixed length input - KNIME Analytics Platform - KNIME Community Forum

古い基幹システムからバッチ処理で吐き出されるファイルの多くはこの固定長ファイルとなっているので、かなりビジネスケースとしては大きいと思うのですが、、、

ぜひ作っていただきたいですね。

覚えてほしいこと

new String(sbyte, 開始digit数, Digit長さ);
半角は1digit, 全角は2digit

日本語は全角なので、英語の２倍スペースを取ってます。

f:id:makkynm:20201127141058p:plain — 全角は2digit分

やりたいこと

下のような固定長のデータを読み込んでいきます。今回はスペースが半角となっているため、文字数で区切る方法（Cell splitterやFixed width file reader）は使用できません。

固定長ファイルの読み込み方

Workflow

Workflowは下のようになります。

まず、File Readerでファイルを１つのコラム、複数の行として読み込みます。

次に今回解説するJava Snippetで、Digit数でコラムを区切っていきます。

最後に、元々のコラムを削除して、Headerを挿入したら完成です。

Workflowは下記からダウンロードできます。

固定長ファイルを読み込む fixed length input ~Java Snippet~ – KNIME Hub

Step1 - File ReaderのConfigure - １つのコラムとして取り込む

まずは、File Readerについてです。Column delimiterをnoneにすることにより、１つのコラムとして取り込むことができます。

degitalization.hatenablog.jp

f:id:makkynm:20201127130954p:plain — File Reader Configuration - １つのコラムとして取り込む

MACの場合は、DefaultのCharacter decodingが、”UTF-8”だと思うので、user definedから、正しく読めるようにShift-JISを指定しました。

f:id:makkynm:20201127145202p:plain — decodingを指定

Step2 - Java Snippet Nodeで、Digit数によってコラムを分割する

ここが今回のメインの部分、Java Snippet NodeでDigit数を元にコラムを分割する部分です。文字列を一度、バイト配列に変換して、もう一度文字列に戻すという作業を行っています。

Charsetクラスの追加 - system imports

まず、String型をByte型という方に変換する際に使うクラスをImportします。文字コードを指定する際に使用します。

System importsの下にコピペしてみてください。このクラス、使わなくても変換出来きるのですが、一応Importの練習のために入れておきます。

f:id:makkynm:20201127141502p:plain — クラスを追加

import java.nio.charset.Charset;

String型からByte型の変換 - expression

まずは、String 型をByte型に変換します。これは呪文だと思ってください。

これで、文字列をShift_JISの文字コードに変換した結果を、「sbyte」という変数に格納していきます。この、「c_Col0」の部分は、File Readerで取り込んだコラムになります。また、"Shift_JIS"の部分でEncodingを指定しています。「Charset.forName("Shift_JIS")」の部分はなくても動いたりします。OSが変わらない前提です。

byte[] sbyte = c_Col0.getBytes(Charset.forName("Shift_JIS"));

Byte型からString型の変換 - expression

次にByte型からString型に変換していきます。下のようにOutputコラムを作った後に、開始位置と長さを書いていきます。

Output Column = new String(sbyte, 開始digit数, Digit長さ);

Outputコラムの名前はひとまず、Col1、Col2というようにしてみました。

// byte型からString型に変換
// String(sbyte, 開始digit位置, 文字長さ)
out_Col1 = new String(sbyte,0,10);
out_Col2 = new String(sbyte,10,10);
out_Col3 = new String(sbyte,20,9);
out_Col4 = new String(sbyte,29,4);
out_Col5 = new String(sbyte,33,8);
out_Col6 = new String(sbyte,41,8);
out_Col7 = new String(sbyte,49,8);
out_Col8 = new String(sbyte,57,8);