技術ブログ

RPAロボット見学

今日はSmallitのRPAチームの方に、話題のRPAの入門編を見せてもらいました。

見せてもらったのはSikuliという画像認識を得意としたオープンソースのツールによるもの。
画像認識を使いながら、このアイコンをクリックして、開いたファイルのこのへんをダブルクリックして、
みたいな操作をコーディングするというもの。
「アイコン」の位置とか、「このへん」の位置などは、画像認識で行なっているとのこと。
覚えてるアイコンを、目で探してクリックする人間と同じような動作ですね〜。

コードはトップ画像に載せたみたいな、ソースコードに画像が埋め込まれているような、
なんとも変な感触のヤツ。

今回作ってもらった簡単なサンプルでは、

①デスクトップにあるExcelファイルを開く
②Excelシートの特定の文字列をコピーする
③Chromeを起動する
④Google検索で②でコピーした文字列で検索を行う
⑤検索結果のURLをコピーして、Excelシートの隣のセルに貼り付け

みたいなことをやってました。

 ↓動かすとこんな感じです

パソコンが勝手に動くので、「オォォォッ」と、
ちょっとだけ感動。

★RPAとは
RPA(Robotic Process Automation=ロボティック・プロセス・オートメーション)とは、コンピュータ上のロボットにAI、画像認識、機械学習などの機能を持たせ、これまで人間が経験に基づいたルールによって行なっていた手作業を自動化する仕組みです。


   

コメントを残す

*