はじめに
今日は超頻出Nodeを解説します。このNode、Excel Readerの次に説明すべきものなのですが、JoinerやGroupByを早めに説明すればKNIMEの使える場面を想像してもらえるかなと思い、後回しにしました。
正規表現(regular expression)や、ワイルドカード(wildcard)を使えるようになるとよりパワフルになりますが、その詳細はここでは触れないことにします。
今回のテーマ ~Row Filter / Splitter~
FilterとSplitterには、いくつもの種類があります。今回は、その中の一番ベーシックなものであるRow Filter/Row Splitter について解説します。
覚えてほしいこと
データを捨てたいときは"Filter"
残したいときは"Splitter"
やりたいこと
やりたいこと１
社員表で、部署が「営業」の人を抜き出す
やりたいこと２
勤怠表で、残業時間の合計が10[h]以上の人を抜き出す
（前回のGroupByの結果を使います）
やりたいこと３
欠損値（エクセルでいう空白セル、KNIMEでいう"missing value / ?"）になっている行を抜き出す。社員表で、生年月日の値が一部なかった（欠損値）とします。
やりたいこと４
社員表で、部署が「営業」の人とそれ以外で分ける
Row Filterの使い方（やりたいこと１～３）
Workflow - やりたいこと１
社員表のデータを使って、営業の人だけを抜き出していきましょう。
Workflowはこちらからダウンロードできます。
Confirm - Before After - やりたいこと１
Confirmの結果を先に見ていきます。
Configure - やりたいこと１
今回は３Stepです。
Step1 - Filter Criteria
まず、Filterの基準を設定します。Includeは「含む」、Excludeは「除く」ですので、「By attribute value」「by number」「row ID」の３つから選択します。今回は「Include rows by attribute value」を選択します。
その他のFilter Criteria についてはちょっと一言コーナーで解説します。
Step2 - Column value to test
次に対象のコラム名を選択します。今回は「部署」に対してフィルタを適用したいので、「部署」を選択しました。Excelでいう、プルダウンメニューを押す作業ですね。
Step3 - Matching criteria
最後にフィルタの基準を選択します。大きく分けて３種類あります。
１．「use pattern matching（文字のパターンでフィルタ）」
２．「use range checking（数値の範囲でフィルタ）」
３．「only missing values match（欠損値でフィルタ）」
やりたいこと１では、営業を選択したいので「use pattern matching（文字のパターンでフィルタ）」を使います。「営業」と入力してもいいですし、プルダウンから営業を選択してもいいです。以上でフィルタは完了です！
Excelでいうと、下記のようにチェックマークを入れる感覚ですね。
また、下に３つのチェックボックスがあると思います。今回の場合、case sensitive matchはあってもなくてもいいです。これらの意味は、ちょっと一言で解説しますが、これらのオプションを使うとExcelのテキストフィルタのようなことが可能になります。
Workflow - やりたいこと２
GroupByの結果を使って、残業時間の合計が10時間以上の人を抜き出していきましょう。
Workflowはこちらからダウンロードできます。
Confirm - Before After - やりたいこと２
Confirmの結果を先に見ていきます。
Configure - やりたいこと２
お気づきかと思いますが、やりたいこと１とほぼ変わりません。
Matching criteria には、２．「use range checking（数値の範囲でフィルタ）」を選択します。
Lower boundに下限値
Upper boundに上限値
を入れて終了です。
Workflow - やりたいこと３
社員表で、生年月日の値が一部なかった（欠損値；エクセルでいう空白セル、KNIMEでいう"missing value / ?"））として、欠損値になっている行を抜き出すことをやってみます。
Confirm - Before After - やりたいこと３
Confirmの結果を先に見ていきます。
Configure - やりたいこと３
この設定、もっと簡単です。
Matching criteria に、３．「only missing values match（欠損値でフィルタ）」を選択して終了です。
Row Spliterの使い方（やりたいこと４）
Workflow - やりたいこと４
Confirm - Before After - やりたいこと４
Row Splitterは、Outputが２つあるのでConfirmのボタンも２つあります。"Filtered"が上のOutput、"Filtered Out"が下のOutputを確認できます。
Confirmの結果を先に見ていきます。
Configure - やりたいこと４
Row SplitterのConfigureは下図のようになっています。
はい、気付きましたか？
そうです、Row Filterと全く同じです。
Row SplitterとRow Filterの違いは、フィルタに引っかからなかったデータを捨てるかどうかです。
データを捨てたいときは"Filter"
残したいときは"Splitter"
だけ覚えておきましょう。
ちょっと一言
Use pattern matchingの３つのオプションの使い方
User pattern matchingには下に３つのチェックボックスがあると思います。これはそれぞれ下記の意味を持ちます。この３つは覚えるとかなりできることが増えるので、ぜひ使ってみてください。
・case sensitive match（大文字と小文字を区別）
・contains wild cards（ワイルドカードを含む）
ワイルドカード文字 意味 *0文字以上の「任意の文字列」を表す（"空文字"を含む。未入力のセルは含まない） ?「任意の文字列」であり、かつ「文字数が1文字の文字列」を表す
参考：【Excel】 ワイルドカード文字について詳解 - Qiita
・regular expression（正規表現）
これらは、Excelのテキストフィルタに感覚が似ています。
"Include rows by number"の使い方
今回は"Include by attribute value" を詳しく解説しましたが、その他のFiltering Criteriaも軽く触れておきたいと思います。
"Include rows by number"は、行数でFiltering するものです。Defaultでは、下図のようになっていて、これは「１行目から1000行目を取り出す」という設定です。
"to the end of the table"にチェックを入れると、Last row numberをテーブルの終端に自動的に設定してくれます。
私は「１行目だけいらないんだよなー」というときに よく使います。
"Exclude rows by number"で、First row numberとLast row numberをともに１にすることで、１行目が取り除けます。
"Include rows by row ID" の使い方
Row IDとは、Confirmの画面で一番左に出てくる、行のヘッダ情報です。
"Include rows by row ID"は、このRow IDの名前を使用して、Filtering ができるのがこの設定です。例えば、下図のように設定すると、Row1（上の図でいう２行目）を抜き出すことができます。
また、これは正規表現（Regular Expression）を使用可能なので、たとえば任意の１文字を指定できる「.」を使用すると、「"row"＋"任意の１文字"であるRow ID」つまり、Row0 ~ Row9までを抜き出すことができます。
Case sensitive match にチェックを付けると、大文字と小文字を区別するようになります。チェックをしていないと、区別しないので「row1」でもOKということになります。
"Row ID must only start with expression" にチェックを入れると、"Regular expression" に入力した文字から始まるRow IDの行を取り出せます。
私はこの設定を使ったことはありません。Row IDが変わるタイミングは、"Joiner" や "Concatenate" を使った後や、"Row ID"というNodeで、Row IDを変更したときかと思います。そのRow IDを基準にして何かしらのフィルタをかけたいことがあれば、使用できます。
使用例としては、Joinerの検証用でしょうか。片方のテーブルのある一行に対して、どうもう一方のテーブルがくっついたかを確認する際に使用できるかと思います。
Row IDを使用するよりも、テーブルのレコードを使用したほうが処理するNodeが多いので、Row IDでのフィルタリングの使用頻度は低いのではないかと思っています。
おわりに
簡単に終わろうと思っていたのですが、ついつい長くなってしまいました。Row Filter系は絶対に出てくる頻出Nodeです。
ブログはスクリーンショットがどうしても多めになってしまうので１記事書くのにかなり時間かかってしまいますね、、
コロナ期間に初級編は少なくとも終わるように記事書いていきたいと思いますー
余談
抜き出してる感ある映画でおススメなのが、「女神の見えざる手」です！
政治の意図を叶えるために工作をする大手ロビー会社でバリバリ働いていたエリザベスが、自分の信念と異なる工作をしないといけなくなり小さなロビー会社に移籍して、真っ向から戦う話です。
物語の最初からあるフラグを見事に回収していって最終的にきれいにまとめる構成が、本当にすっきりします！ぜひ最初から最後まで集中してみてほしいです！
参考リンク
- すさんのBlog：【超入門(2/3)】KNIMEの使い方 〜欲しい行だけ抽出しよう(Row filter, splitter)〜 - 非プログラマーのためのインフォマティクス入門。（仮）
- KNIME公式Node Pit（英語）：Row Filter — NodePit
- KNIME公式Node Pit（英語）：Row Splitter — NodePit
- KNIME Example Workflow（英語）：Row Splitter – KNIME Hub
- Regular Expression 正規表現 について：基本的な正規表現一覧 | murashun.jp
- contains wild card ワイルドカードについて：【Excel】 ワイルドカード文字について詳解 - Qiita
