KNIME – 特定のデータを抜き出す３~Duplicate Row Filter~ 重複削除・重複チェック

f:id:makkynm:20201220092128p:plain

今回も頻出Node、Duplicated Row FIilterを紹介していきます。使える場面多めだと思います。Excelでも重複チェック機能や重複削除機能はありますよね。

今回のテーマ ~Duplicate Row FIilter~

Row Filterの部類としては、Splitterがないので少し異色ですが、特定の行を抜き出すシリーズに入れてます。nominal value Row Splitter等を組み合わせれば、Splitterにすることも可能です。

Workflowは下記からダウンロードできます。

重複削除はRemoveモード、重複チェックはKeepモード

数値列を基準に残す行を決定したい場合はDuplicate Row Filter

Excelの重複削除機能と同じことを行います。今回は例として、社員表の部署と部署IDをキーにして、重複がないように削除していきます。Excelのデフォルト設定に従って、最初に出てきた組み合わせを残し、あとから出てきたものを削除することにします。

今回は削除するのではなく、重複チェックのみを行い、一回しか出てこなかったもの、重複のあるものを分類します。

重複を削除するときに使います。Joiner前でよく使いますね。検証作業にもよく使います。社員表の部署と部署IDをキーにして重複を削除していきましょう。

Excelの重複削除を再現してみます。

Excelと同様の重複削除を行いたい場合はStep2以降はデフォルト設定で問題ありません。詳細を知るとExcelではできないこともできるので、解説します。

最初はGroupByでもおなじみ、重複を検索する組み合わせを指定します。エクセルの重複削除と同じ作業ですね。

重複削除か、重複チェックかを指定します。今回は重複削除なので、

Remove duplicate rows

を選択しましょう。

重複が検知された場合、残す行をどれにするかを選択できます。Excelでは"First"「最初に出てきた行を残す」という設定しかできないのではないでしょうか。（できるのであれば勉強不足です、すみません）

このNodeでは残す行の設定をFirst・Last・Minimum of・Maximum of の４種類から選べます。

重複のあった場合、、

First：一番最初に出てきた行を残す

Last：一番最後に出てきた行を残す

Minimum of：指定された列の値で、最小値を持つ行を残す

Maximum of：指定された列の値で、最大値を持つ行を残す

これはあまり気にする必要のない設定です。

In-memory computation：

RAM（作業用のメインメモリ）を使用して計算スピードを上げます。

Retain row order：

チェックを入れると、Outputで出てくる行の順序はInputテーブルで出てきた順序に沿ってソートされて出てきます。