デジタル推進課

KNIME・Excel Macro・Power Automateなど日々の業務で使用できる自動化ツールを中心に書き綴ります

業務自動化これ一本!? KNIME 初心者への完全ガイド！ KNIMEの使い方 入門から応用まで

KNIME KNIME - 便利情報 プログラミング その他 Python スクレイピング

本ブログでは、KNIME 初心者のための完全ガイドを作成しています。

 

KNIME初心者でもこれだけやれば、「KNIMEなんて簡単！」「自動化？まかせて！」「まだExcelでレポート作ってるの？」と言えるような人になれるようになることを想定しています。

Excelしか使ったことない・使う気のない方々に、KNIMEを使ってもらえるよう、私が実際に某外資系企業で教えているノウハウを惜しみなく掲載中です。

自動化ツールKNIMEを社員全員が使える、ハイテク企業を目指しましょう！

 

また、まっきーに下記のような業務を依頼してみたいということがございましたら、お気軽にお問合せフォーム、もしくはTwitter DMよりご連絡ください。好意にしている企業さん経由での受注も可能です。

 

皆さんの応援のおかげで2021年7月、KNIME社から日本人初Contributer Of the Monthを授与していただくことになりました。本当にありがとうございます。今後ともまっきーをよろしくお願いいたします！

 

その他の自動化ツール・プログラミングも随時更新しようと思います。 

Twitter アカウント：まっきー | デジタル推進課 (@makkynm) | Twitter

KNIME Hub アカウント：makkynm/Public – KNIME Hub

 

にほんブログ村 IT技術ブログへ

 

youtu.be

 

KNIME - 始める前に

  1.  KNIMEとは？

  2. KNIMEをインストールしてみよう 

  3. KNIME - ２分で完了！？ KNIMEをインストールしてみよう Mac編 - 2020年M1搭載MacBook Air で起動時間検証！

  4.  KNIME - 始めるその前に Databaseの基礎を理解しよう 

  5. KNIME - 始めるその前に （知っておくと便利）正規化とは？ 

その他

  1. KNIME - 最新バージョンにアップデートしてみよう

  2. KNIME - 拡張機能を使って最強便利ツールに激変させる~install KNIME extensions~

  3. KNIME - KNIME版GitHub!? KNIME Hubとは？ - 機能・使い方を解説 

  4. KNIME - 新UI登場！新しくなった操作画面を解説 -  KNIME v5 Modern UI

KNIME - 初級編

  1. KNIME - 画面構成とNodeの基本構成 

  2. KNIME - 新しいワークフローを作ってみよう

  3. KNIME - Excelを読み書きしよう 

  4. KNIME - データ型変換を覚える ～XX to YY～ 

  5. KNIME - VLOOK UP を覚える ~Joiner~ 

  6. KNIME - グループで集計する ~GroupBy~ 

  7. KNIME - 特定のデータを抜き出す１ ~Row Filter / Splitter~ 

  8. KNIME - テーブルを上下でくっつける ~Concatenate~ 

  9. KNIME - 文字列を操作する ~String Manipulation~ CONCATENATE関数・置換・MID関数・FIND関数・LEFT関数・RIGHT関数 

  10. KNIME - 計算をする ~Math Formula~ 

  11. KNIME - 並び替えを行う ~Sorter~ 

  12. KNIME - ピボットを行う 行から列へ ~Pivoting~ 

  13. KNIME - ピボットをもとに戻す 列から行へ ~Unpivoting~ 

  14. KNIME - コラムの名前変更・削除・並び替え ~Column Rename / Column Filter / Column Resorter ~ 

  15. KNIME - ワークフローを共有しよう・受け取ろう 

知っておくと便利

  1. KNIME - ブラックボックスツールにしないためには？ メモを残そう ~Annotation・Metanode・Node Description~ 

  2. KNIME - Workflowをカスタマイズしよう ～グリッドサイズ・ノード接続線～ 

 

 

KNIME - 中級編

  1. KNIME - 変数を使ってExcelに日付のSheetを追加してみよう ~Flow variable / Date&Time Configuration / Excel Sheet Appender~ 

  2. KNIME - Loopで複数ファイルを一気に読み込む ~List Files / Loop Start / Loop End / URL to File Path~

  3. KNIME - CSV ファイル・タブ区切りファイルを読み込む / Excel区切り位置の自動化 ~CSV Reader~

  4. KNIME - CSV ファイルを書き出す ~CSV Writer~ 

  5. KNIME - すべて文字列Stringとして取り込む ~File Reader~

  6. KNIME - 特定のデータを抜き出す２ ~Nominal Value Row Filter / Splitter~

  7. KNIME –特定のデータを抜き出す３~Duplicate Row Filter~ 重複削除・重複チェック

  8. KNIME - 特定のデータを抜き出す４ ~Reference Row Filter / Splitter~ 他テーブルを参照してフィルタを適用

  9. KNIME - 特定のデータを抜き出す５ ~Rule-based Row Filter/Splitter~ 複数の条件でフィルタ

  10. KNIME - 行/列の入れ替え ~Transpose~ Excel貼り付けオプションの自動化 

  11. KNIME - マニュアルでテーブルをKNIME内で作る ~Table Creator~

  12. KNIME - コラム名を抽出する ~Extract Column Header~

  13. KNIME - 総入れ替え！ コラム名を挿入する ~Insert Column Header~

  14. KNIME - Row IDをいじり倒す ~Row ID~ 

  15. KNIME - コラムリストをもとにコラム削除 ~Reference Column Filter / Splitter~

  16. KNIME - ラベルを付ける ~Rule Engine~

  17. KNIME - 値の種類を数える / 固定値のコラムを作成する ~Value Counter / Constant Value Column~

  18. KNIME - セルをぶった切る ~Cell Splitter~

  19. KNIME - 文字数でセルをぶった切る ~Cell Splitter by position~

  20. KNIME - 欠損値（空白セル）を埋める ~Missing Value~

  21. KNIME - 時を操る１ 日時を作る ~Create Date&Time Range~

  22. KNIME - 総当たりでデータ作成！ ~Cross Joiner~

  23. KNIME - 時を操る２ 期間の計算 ~Date&Time Difference~

  24. KNIME - 時を操る３ 日時の足し算・引き算 ~Date&Time Shift~

  25. KNIME - 時を操る４ 日時でフィルタリング ~Date&Time-based Row Filter~

  26. KNIME - 超便利！ 時を操る５ 日時情報を抜き出す ~Extract Date&Time Fields~

  27. KNIME - ファイルパスを操る１ - 今日の日付のフォルダを作る Create Directory

  28. KNIME - ファイルパスを操る２ - ファイルパスを作る Create File name

  29. KNIME - ファイルパスを操る３ - 自動削除フォルダを作る Create Temp Dir 

  30. KNIME - ファイルパスを操る４ - KNIMEで相対パス使うには？

  31. KNIME - ショートカットキーで毎日をちょっと便利に

  32. KNIME - これで完全自動化！ - KNIMEを立ち上げずに実行する - バッチファイル・コマンドプロンプト

知っておくと便利編

  1. KNIME - 指定した回数繰り返すには？ ~Counting Loop Start~

  2. KNIME - 実践編！ 前処理が命。数日単位のデータを日単位のデータに ~Chunk Loop Start~

  3. KNIME - バグ取り支援 わざとエラーを起こす ~ Breakpoint ~

  4. KNIME - GroupByをしたあと元データに戻すには？ Listの分解 ~Ungroup~

  5. KNIME - 桁数調整をするには？ 四捨五入・切り上げ・切り捨て ~Round Double~

  6. KNIME - Google アカウントと１クリックで連携させるには？ ~Google Authentification~

  7. KNIME - Google Spread Sheet をKNIMEで使うには？ ~Google Sheets Connection / Google Sheets Reader Writer~

  8. KNIME - Googleドライブ上にあるExcelを読み込み・書き出すには？ ~Google Drive Connector / Excel Reader Writer v4.3~

  9. KNIME - 時系列解析の第一歩！株価の移動平均を求めるには？ ~Moving Average~

  10. KNIME - [使いすぎ注意] 中間処理テーブル・離れた場所にTableの受け渡しをするには？ ~Table Reader / Table Writer~

  11. KNIME - Excelの見た目を綺麗にするには？ Excelの書式設定を自動化！ ~XLS Formatter Nodes~

  12. KNIME - 分割してExcel出力！グループごとに繰り返すには？ - Group Loop Start

  13. KNIME - カラム操作はこれ１つで十分！？ 万能Node！ - Column Expressions

  14. KNIME - 時系列データ処理に必須！？ 変化量を求める ~Lag Column~

  15. KNIME - 勝手にランク付！２番目に残業時間が長い社員は誰！？ - Rank

  16. KNIME - 累積を使ってコロナ陽性者数推移を出してみよう！- Moving Aggregation

  17. KNIME - テーブル情報を抜き出すには？ - Extract Table Dimension / Extract Table Spec

  18. KNIME - 分析初心者に送る！相関係数を１クリックで求めるには？ - Linear Correlation

  19. KNIME - ファイル名作りで大活躍！ "数字の0埋め" はどうやるのか？ - String Manipulation

 

 

KNIME - 上級編

  1. KNIME - データベースノードとは？ - 無料ETLツールとしてのKNIME

  2. KNIME - データベース（MS Access）を読み込む - Microsoft Access Connector・DB Table Selector・DB Reader

  3. KNIME - 条件によって異なる処理を - IF文・Switch文を習得する ~IF Switch・End IF~ 

  4. KNIME - Java でデータを操作する ~Java Snippet~ 

  5. KNIME - 固定長のファイルを読み込む fixed length input ~Java Snippet~

  6. KNIME - Javaで全角半角の相互変換！カタカナ・英数字・記号 ~Java Snippet~ 

  7. KNIME - Java 全角半角変換Nodeを作る - Java Snippet｜まっきー｜note

  8. KNIME - エラーでも止めない努力 - 例外処理 ~Try / Catch Errors~

  9. KNIME - 条件付きDo While Loop を実現させるには？ ~ Variable Condition Loop End ~

  10. KNIME - ゼロ点揃えはできるのか？ワークフロー作成の考え方も解説 ~実践編~ 

  11. KNIME - APIを使ってみよう！郵便番号から住所を一括取得するには？ ~GET Request / String to JSON / JSON to Table~ 

  12. KNIME - XMLを簡単に分解するには？ ~XPath・サイトマップ~

  13. KNIME - 無限列車！？ 終了条件まで無限回数繰り返すには？~Recursive Loop Start / End 再帰型ループ~ 

  14. KNIME - 実行完了通知をTeams / Slackに投稿するには？ ~ Post Request / Incoming Webhook ~

  15. KNIME - 空テーブルの発生を検知するには？ ~Empty Table Switch~

 

KNIME - グラフ化

  1. KNIME - 棒グラフを作るには？ - Bar Chart

  2. KNIME - 円グラフを作るには？ - Pie/Donut Chart

  3. KNIME - 線グラフを作るには？ ~Line Plot~

  4. KNIME - データ概要を把握！ヒストグラムをサクッと作る - Histogram

 

KNIME - 実践編

Combination

  1. KNIME - Excelシリアル値を日付型に変更するには？

#66daysofdata

  1. KNIME - 短期集中プログラム #66daysofdata で実践から学ぶ！

  2. KNIME - #66DaysOfData データ読込編 - Day1~Day7

Just KNIME it

  1. KNIME 実践編 - 売上データを年月で分割して出力するには？ - Just KNIME it 第２回課題解説 - デジタル推進課

 

Bat - バッチファイル

  1. バッチファイル - 完全自動化の第一歩！バッチファイルとは？

  2. KNIME - これで完全自動化！ - KNIMEを立ち上げずに実行する２ - タスクスケジューラ 

 

Visualization - BIツール ダッシュボード

  1. 無料公開! 墨田区Paypay30%還元レストラン検索ツール

  2. 関東賃貸物件 Dashboard

  3. ツール公開! - エグゼクティブダイニング おすすめはどこ！？

  4. Google評価×30%還元 食べて応援！海の幸キャンペーン - 東京都

 

AppSheet - アプリ開発 

  1. GoogleMap 美味しいレストラン検索ツール

  2. 新春ママチャリGPに向けてアプリ開発！ ~チーム対抗耐久レース~

 

 

Python - ウェブスクレイピング

  1. Python - 情報処理試験 サイト内にあるPDFを一括でダウンロードする！！ 123ファイルが２分でダウンロードできたよ！

  2. [東カレ] 完全自動いいね・足跡ツール公開｜まっきー｜note

  3. Python - Jupyter NotebookをMac M1 搭載機にインストールする

  4. Python - M1 MacにVisual Studio codeをインストールしてpythonを実行する

  5. Python - Mac M1搭載機にPython 3.9.1をインストーラでインストールしてみた

  6. Python - WebページをPDFで自動保存する ~Selenium pdf Print Option~ HTML to PDF

  7. Mac M1搭載機にHomebrewをインストールするには？

  8. Python - 完全自動化！初心者が無料でウェブスクレイピングを定期実行してみた - Mac M1搭載機 ~Heroku / Selenium / Homebrew / Chrome Driver~ 

  9. Python - Mac M1 ARMネイティブな環境を作る ~miniforge / Conda~

  10. Python - SUUMOで関東一人暮らしお得物件を見つけたい！ ~ 不動産賃貸物件スクレイピング

  11. Mac M1 での形態要素分析 - python仮想環境構築

  12. 初心者でもok！ Google Map Places API(New)の使い方 - Pythonコード付きで完全解説 

 

資格取得

  1. 資格取得 - 勉強期間１ヶ月！？独学で基本情報技術者試験に合格するためにすべき３つのこと

  2. 資格取得 - 勉強期間１週間！？独学で簿記３級に合格するためにするべき３つのこと

 

Mircrosoft

Power Automate

  1. Power Automate - 10分で完成！SharepointやOnedriveにアップロードされたことを通知する

 

Backendless - チュートリアル

  1. Backendlessチュートリアルミッション1- DATA SPONGE - DATABASE

  2. Backendlessチュートリアルミッション2- FILE EXPLORER

  3. Backendlessチュートリアルミッション3- CODELESS CRUD ROOKIE

  4. Backendlessチュートリアルミッション4- FILE MANAGER

  5. Backendlessチュートリアルミッション5- USER ROOKIE

  6. Backendlessチュートリアルミッション6- GEO EXPLORER

  7. Backendlessチュートリアルミッション7 - USER MANAGER

  8. Backendlessチュートリアルミッション8 - DATA MINER

  9. Backendlessチュートリアルミッション9 - SERVERLESS 101

 

その他

  1. ブログ開設記念

  2. はてなブログ無料版でGoogle Adsenseに合格したい方必見！ - 審査基準を徹底分析 17回落ちて気付いたこと ~2020年８月版~ 

  3. プライバシーポリシー 

  4. お問い合わせ 

 

KNIMEに関する本

たまに質問もらいます、KNIMEに関する書籍です。

KNIMEに関する日本語の本って今これくらいしかないと思うんですよね、、

本がいいなーと言う人はぜひ試してみてください。

AI、IoTを成功に導く データ前処理の極意

AI、IoTを成功に導く データ前処理の極意

  

 

 

 

KNIME - 新UI登場！新しくなった操作画面を解説 - KNIME v5 Modern UI

KNIME KNIME - 便利情報



 

はじめに

みなさんご無沙汰しております。デジタル推進課のまっきーです。

しばらくネタがなくあまりブログも更新できていませんでしたが、新しいUIが発表されてデフォルトの操作画面が新しい方に切り替わったので、そちらを解説していきたいと思います。操作画面はかなり新しくなりましたが、やることは特に以前と変わらないです！

 

 今回のテーマ ~Modern UI ~

新しくなった操作画面

覚えてほしいこと

右クリックをせずとも操作ができるようになった！

 

新しい操作画面の使い方

新しい操作画面を試したい方、旧KNIMEをupdateしても良いですが、私の場合はUIを変えるボタンが出てこなかったので新しくKNIMEをダウンロードしなおした方が早いかもしれません。一応extensionをダウンロードすることで使えるようにすることはできるみたいです。ただ色々面倒だったので新しくKNIMEをダウンロードして既存のworkspaceを指定することをお勧めします。既存のworkspaceを指定すれば、全てのworkflowをバックアップ取るなどの面倒な作業はしなくて問題ないです。

 

初期画面

まず初期画面から変更されました。以前はいきなりワークベンチが立ち上がりましたが、新しいUIの方は立ち上げたいworkflowを選択させる画面から始まることになりました。

以前作ったworkflowを開きたい場合は左側、新規作成したい場合は右側を押す形になります。

なんとなく、knime hub のUIと似てますね。

新UI - 立ち上げ画面

 

workflow操作画面

こちらもかなり変化がありました。順番に見ていきます。

右クリックのいらないconfiguration/execute/output

以前は各nodeに対して右クリックしてから、configuration, execute, stop, confirm, resetという操作があったため、クリック数がどうしても多くなってしまっていました。新しい操作画面では、左クリックのみで全ての重要操作が行えるようになりました。

右クリックのいらない重要操作

 

Outputの確認(confirm)はnode monitorがデフォルトで起動

以前は各Nodeの中身を見る際には右クリック -> confirm outputという２clickが必要でした。もしくはデフォルト設定にないnode monitorを別途設定から表示させる必要がありました。

今回からはnode monitorがデフォルトで起動することになったので、confirm outputのクリックが不要になりました。

node monitorがデフォルトで表示されるようになった

私はこの変更、そこまで歓迎してないんです。。。

node monitorでのoutputの確認を起動すると、データ量が多いworkflowを扱ってるとむしろ動作が遅くなって邪魔だったりします。そのために、node monitorを使用するときは、表示させる画面をflow variableの方をクリックしておいてこの操作性の低下を防いだりしていました。

 

table specの代わりに主要統計指標(statistics)を表示

table specの代わりに主要統計指標(statistics)が表示されるように

また、table specの代わりに、statistics から主要な統計指標が表示されるように変更されました。分析を頻繁に行う方は、以前はtable viewerなどの別nodeを挿入していたと思うので、非常に嬉しいのではないでしょうか。

私個人的には、以前見えていたtable specが意外と重宝していたのですがそれがなくなってしまったのがかなり悲しいです。。。もしtable specを同じよう

にmodern UIで確認する方法があればぜひコメント等いただけると非常に助かります。。（おそらく、outputテーブルのポップアップでの確認でフィルタリングを行えば、どんあ値が含まれているかを確認する同じような操作を行えるのですがクリック数が多いですね。。）

ちなみに、テーブルを別画面で確認したい場合はTableの文字の右にあるポップアップアイコンをクリックすれば別画面でも確認できます。

 

Outputテーブルの確認でフィルタリングなど操作性が向上

以前はoutputテーブルを表示しても、ソートくらいしかできませんでした。今回からは各列でフィルタを行えるなど、操作性がかなり向上しました。

また各列のデータ型はアイコンではなくて文字で表示されるようになったため、理解しやすくなりました。

outputテーブルの確認でフィルタリングが可能になった

Consoleは廃止、メッセージは文字が折り返されて全文表示されることに

以前はエラーメッセージやwarningメッセージが表示されるとき、メッセージが長すぎるとnodeにカーソルを合わせるだけでは全文確認できなかったので、console 画面を確認する必要がありました。今回からは文字が折り返されて全文表されるようになり非常に確認しやすくなりました。

以前はエラーメッセージを全文確認することが難しかった

新しいUIはメッセージが折り返されて非常に読みやすくなった

 

画面分割されて表示されていたものは一つに集約

Description, Node repository, space exploer 

は以前まで画面分割されて表示されていましたが、アイコンに変わって一つの場所に集約されることになりました。

また、Node repositoryにはよく使うNodeが大きく表示され、より詳細な表示は各カテゴリ（IO など）をクリックすると表示されるほか、検索窓から検索する形になりました。

表示タブ

 

待望のChatGPTが登場

待望のChatGPTが統合されることになりました。画面に従ってExtensionをインストール、knime hubでログインしたら使えるようになります。

日本語でも対応しているようです。ただし、入力中にも関わらずにチャットが送信されてしまうなど、少し荒い部分はまだありそうですが、レスポンスは早いので、こういうときどうすれば良いかなと思うとき、役に立つと思います！

提案されたnodeはそのままDrug&Dropでworkflowに追加することもできるのはすごい点です。

ChatGPTが使えるようになった

嫌なら旧操作画面に戻すことも可能

操作画面が気に食わなければすぐに旧操作画面に戻すことも可能です。workflowを編集中でも切り替え可能ですぐに変更されるのが嬉しいです。

また、時々必要になるextensionのインストールやpreferenceを開く操作などもたくさんあるMenuの中から選ばなくて良くなったのも嬉しいポイントです。

操作画面を新旧ですぐに入れ替え可能

 

おわりに

いかがでしたでしょうか。

思いつくままに解説しましたが、どの操作も基本的には簡易的になり、かなり操作性が向上したのではないでしょうか。

今後はこの新しい操作画面が主流になっていくとは思いますが、基本的には旧操作画面が簡単になったと思えば良いでしょう。難しく考えず新しい流れを受け入れていきましょう。

ではまた！

 

 

 

KNIME Hubワークスペース

makkynm/Public – KNIME Hub

Twitter アカウント

まっきー | デジタル推進課 (@makkynm) | Twitter

 

KNIMEに関する本

本がいいなーと言う人はぜひ試してみてください。

AI、IoTを成功に導く データ前処理の極意

AI、IoTを成功に導く データ前処理の極意

  

 

参考リンク