masuoのブログ

BizRobo!(Chromium) ClassicやWebkitの「ページの変更」、Chromiumのページ変更はJavaScriptで

これまでBizRobo!のWebオートメーションを支えていたClassicブラウザやWebkitブラウザですが、バージョン11.4からは、Classicブラウザでの開発ができなくなりました。WebKitブラウザでの開発はまだできるようですが、「今後はChromiumブラウザを使った開発に切り替えていかな

2023/08/06 13:17

BizRobo!(DA) Tree Mode「ISA」のOCR言語に「日本語」を追加設定しよう

Citrix ClientやVMware Clientなど、UIオートメーション機能がないアプリケーションを操作したいときの方法としては、操作したい位置の検索（指定）に画像を使う方法がありますが、BizRobo!の画像検索はピクセル単位で100%一致している画像を検索するため、対象アプリケーシ

2023/06/19 01:05

PowerShellでWeb画面操作の自動化 -目次-

1．概要C#版のSelenium WebDriverをPowerShellから使えるようにしたPowerShellモジュール「selenium-powershell」を利用して、Web画面の操作を自動化する方法を紹介します。「selenium-powershell」はPowerShell Galleryに公開されているので、Install-Moduleで簡単にインス

2023/02/23 21:04

PowerShellでWeb画面操作の自動化 -スクリーンショット編-

C#版のSelenium WebDriverをPowerShellから使えるようにしたPowerShellモジュール「selenium-powershell」を利用して、Web画面の操作を自動化する方法を紹介します。操作対象画面は、当ブログの「Webページ項目要素サンプル」ページです。■概要Chrome WebDriverを使って、We

2023/02/23 20:19

BizRobo!(DA) 画像認識で使っている画像の一覧リスト作成

BizRobo!でDesktop Automationロボットを作る場合の話ですが、操作対象の画面から項目要素の認識ができない（Web画面のタグや.NET画面のUI Automationオブジェクトが認識できない）場合でも、画像認識を使って操作位置を特定することができます。画像認識を使った場合、[ロケ

2023/01/17 22:45

BizRobo! REST WEBサービス機能を使ってDX Suiteに連携する

ここ でAutomation Anywhere REST WEBサービス機能を使ったDX Suite連携記事を紹介したのに続き、BizRobo!からDXsuiteを使う方法について紹介します。仕分け結果を問い合わせたときのレスポンスを、ブラウザにロード出来るところがBizRobo!の強みですね。ブラウザにロードす

2023/01/03 12:23

Automation Anywhere A360のバージョン管理について

非公開フォルダで新規にロボットAを作ってチェックインすると、ロボットAのバージョンがver.1になって公開フォルダに表示され、非公開フォルダからは消えます。ロボットAに変更が必要になった場合には、公開フォルダのロボットAをチェックアウトして非公開フォルダで編集した

2023/01/02 23:18

Automation Anywhere REST WEBサービス機能を使ってDX Suiteに連携する

DX Suiteは、帳票の仕分け・文字認識を行うAI OCR製品のひとつです。Web画面を操作して処理を実行するだけでなく、Web APIを使って処理を実行することができます。ここでは、Automation Anywhere REST WEBサービス機能を使ってDX Suiteに仕分け結果を問い合わせする処理の例

2022/12/31 09:46

Automation Anywhere からPowerShellスクリプト連携 A360で文字列の抽出パターンをBizRobo!のように指定してみた

BizRobo!やAutomation Anywhereなど複数のRPAツールを使っていると、一方で出来ることが他方で出来ないときに大変ストレスを感じることがあります。しばらくBizRobo!を使っていて、Automation Anywhereを一切使うことが無かった後で、Automation Anywhereを使うことになった

2022/12/30 21:26

AI JIMY PaperbotをPowerShellで自動化 -ファイル名を入力する-

画像ファイルやPDFファイルの中の文字をOCR機能で抽出する製品「AI JIMY Paperbot」の操作を、Automation Anywhere A360を使って自動化する方法の操作フローに倣って、PowerShellで自動化する方法を試してみたので紹介します。このページで紹介するのは、ファイル名を入力す

2022/12/24 19:10

AI JIMY PaperbotをPowerShellで自動化 -ボタンをクリックする-

画像ファイルやPDFファイルの中の文字をOCR機能で抽出する製品「AI JIMY Paperbot」の操作を、Automation Anywhere A360を使って自動化する方法の操作フローに倣って、PowerShellで自動化する方法を試してみたので紹介します。このページで紹介するのは、[実行]ボタンをクリ

2022/12/24 16:57

AI JIMY PaperbotをPowerShellで自動化 -メッセージボックスを待つ-

画像ファイルやPDFファイルの中の文字をOCR機能で抽出する製品「AI JIMY Paperbot」の操作を、Automation Anywhere A360を使って自動化する方法の操作フローに倣って、PowerShellで自動化する方法を試してみたので紹介します。このページで紹介するのは、仕分処理・文字認識

2022/12/24 15:47

Sikuli SikuliX2.0.2になって変更になったこと

OCR機能にJavaライブラリの「Tess4j」を使うようになっています。Javaライブラリ内部では「Tesseract4.x」を使っています。詳細は ここ に説明があります。マウスのプロパティウィンドウから、OCR機能で文字を読み取る例を示します。＜ウィンドウ＞＜スクリプト例＞

2020/05/24 00:54

Sikuli 複数の候補からベストマッチを見つけるときのヒント

画面上のボタンやチェックボックスの状態を調べたいときに使えるfindBest()とgetIndex()について紹介します。「ボタンが活性(クリックできる状態)なのか非活性なのか」、「チェックボックスにチェックが入っているのかないのか」などを調べたいときは、複数の候補画像を指定

2020/03/27 09:28

Sikuli findAnyで見つかった場所をハイライト表示する

複数の画像を指定して存在確認をするfindAny()、画像が見つかった場所を表示するときは、highlight()よりもhighlightOn()で同時にハイライト表示するのがいいかも！■検索対象スクリーン■スクリプト■実行結果

2020/03/25 23:22

PowerShellで画面操作の自動化 -dateTimePicker編-

カテゴリ[PowerShellでRPA]では、UI AutomationをPowerShellで使えるようにしたライブラリ「UI Automation PowerShell Extensions」を利用して、画面の操作を自動化する方法を紹介しています。操作対象画面は、Windows10の「タスクスケジューラ」です。■処理フロー 「タス

2020/01/18 12:19

PowerShellで画面操作の自動化 -データグリッド編-

カテゴリ[PowerShellでRPA]では、UI AutomationをPowerShellで使えるようにしたライブラリ「UI Automation PowerShell Extensions」を利用して、画面の操作を自動化する方法を紹介しています。操作対象画面は、Windows10の「マウスのプロパティ」です。■処理フロー 「コン

2020/01/17 01:46

PowerShellで画面操作の自動化 -オブジェクトの存在確認-

カテゴリ[PowerShellでRPA]では、UI AutomationをPowerShellで使えるようにしたライブラリ「UI Automation PowerShell Extensions」を利用して、画面の操作を自動化する方法を紹介しています。操作対象画面は、Windows10の「デバイスとプリンター」です。■処理フロー 「コ

2020/01/11 14:40

PowerShellで画面操作の自動化 -スライダー編-

カテゴリ[PowerShellでRPA]では、UI AutomationをPowerShellで使えるようにしたライブラリ「UI Automation PowerShell Extensions」を利用して、画面の操作を自動化する方法を紹介しています。操作対象画面は、Windows10の「マウスのプロパティ」です。■処理フロー 「コン

2020/01/11 12:18

PowerShellで画面操作の自動化 -マウス座標設定-

■処理フロー 「コントロールパネル」を開く。 ウィンドウ左上から右下にマウスを移動する。■スクリプトImport-Module C:\UIAutomation\UIAutomation.0.8.7B3.NET35\UIAutomation.dll[UIAutomation.Preferences]::Highlight=$false#「コントロールパネル」を開く。Start-P

2020/01/10 03:29

PowerShellで画面操作の自動化 -スピナー編-

カテゴリ[PowerShellでRPA]では、UI AutomationをPowerShellで使えるようにしたライブラリ「UI Automation PowerShell Extensions」を利用して、画面の操作を自動化する方法を紹介しています。操作対象画面は、Windows10の「マウスのプロパティ」です。■処理フロー 「コン

2020/01/10 02:25

PowerShellで画面操作の自動化 -キー操作編-

カテゴリ[PowerShellでRPA]では、UI AutomationをPowerShellで使えるようにしたライブラリ「UI Automation PowerShell Extensions」を利用して、画面の操作を自動化する方法を紹介しています。■処理フロー 「メモ帳」ウィンドウを取得する。 メッセージボックスを表示する

2020/01/09 19:34

PowerShellで画面操作の自動化 -テキスト編-

カテゴリ[PowerShellでRPA]では、UI AutomationをPowerShellで使えるようにしたライブラリ「UI Automation PowerShell Extensions」を利用して、画面の操作を自動化する方法を紹介しています。操作対象画面は、Windows10の「メモ帳」です。■処理フロー 「ページ設定」ウィ

2020/01/08 07:04

PowerShellで画面操作の自動化 -メニューアイテム編-

カテゴリ[PowerShellでRPA]では、UI AutomationをPowerShellで使えるようにしたライブラリ「UI Automation PowerShell Extensions」を利用して、画面の操作を自動化する方法を紹介しています。操作対象画面は、Windows10の「メモ帳」です。■処理フロー「メモ帳」を開く。[フ

2020/01/08 06:55

PowerShellで画面操作の自動化 -ラジオボタン編-

カテゴリ[PowerShellでRPA]では、UI AutomationをPowerShellで使えるようにしたライブラリ「UI Automation PowerShell Extensions」を利用して、画面の操作を自動化する方法を紹介しています。操作対象画面は、Windows10の「マウスのプロパティ」です。■処理フロー 「コン

2020/01/08 03:16

PowerShellで画面操作の自動化 -チェックボックス編-

カテゴリ[PowerShellでRPA]では、UI AutomationをPowerShellで使えるようにしたライブラリ「UI Automation PowerShell Extensions」を利用して、画面の操作を自動化する方法を紹介しています。操作対象画面は、Windows10の「マウスのプロパティ」です。■処理フロー 「コン

2020/01/08 02:39

PowerShellで画面操作の自動化 -リストボックス編-

カテゴリ[PowerShellでRPA]では、UI AutomationをPowerShellで使えるようにしたライブラリ「UI Automation PowerShell Extensions」を利用して、画面の操作を自動化する方法を紹介しています。操作対象画面は、Windows10の「マウスのプロパティ」です。■処理フロー 「コン

2020/01/08 02:16

PowerShellで画面操作の自動化 -目次-

カテゴリ[PowerShellでRPA]では、UI AutomationをPowerShellで使えるようにしたライブラリ「UI Automation PowerShell Extensions」を利用して、画面の操作を自動化する方法を紹介します。1．UI Automation PowerShell Extensionsの入手方法 入手方法はここを参照してくだ

2020/01/07 23:41

PowerShellで画面操作の自動化 -コンボボックス編-

カテゴリ[PowerShell]では、UI AutomationをPowerShellで使えるようにしたライブラリ「UI Automation PowerShell Extensions」を利用して、画面の操作を自動化する方法を紹介しています。操作対象画面は、Windows10の「マウスのプロパティ」です。■処理フロー 「コントロー

2020/01/07 23:24

Sikuli SikuliX2.1.0からの新機能など

SikuliX2.1.0は、まだNightly Build版(2019/12/17時点)ですが、これまでに無かった、すばらしい機能が追加になっています。■スクリーン保存機能（←masuoが勝手に名付けました）画像をキャプチャしたときのスクリーン全体の画像が、「.screenshots」フォルダに保存されます

2019/12/17 03:10

Sikuli リモートデスクトップ接続時の入力操作を回避する

画面操作を自動化したいPCや仮想マシンに、Sikuliの動作環境をセットアップできない場合でも、対象PCや仮想マシンにリモートデスクトップ接続すれば、リモートデスクトップ元で動作するスクリプトで、リモートデスクトップ先の画面操作を自動化することができます。ただし、

2019/06/28 17:09

Sikuli エラー発生時にスクリーンショットとトレースバックを残す

自分の目の前にあるPCではなくて、別のデスクトップPCや仮想マシンでスクリプトを実行する場合、エラーが発生してスクリプトが停止したときの状況を残す仕掛けを実装しておかないと、エラーの原因がなかなかつかめません。Sikuliのデバッグログをファイルに出力するようにし

2019/06/16 10:41

Automation Anywhere Enterprise環境でSikuliスクリプトを実行する

Automation Anywhereのフリー版「Automation Anywhere Community Edition」が公開されました。（Community Editionが使えるユーザーには条件があります。詳しくは、ダウンロードページの説明を参照してください。）Sikuliは、画像認識を使って操作位置を特定しますが、Automa

2019/06/08 22:48

Sikuli 【SikuliX1.1.4バグ】App.open()で同じアプリケーションを複数開けない

SikuliX1.1.3までのSikuliで、URLを指定してブラウザを開くには、バッチファイルを作成しておいて、App.open()の引数にバッチファイルのパスを指定する方法が一般的でした。例1）バッチファイルをApp.open()で開く例SikuliXのドキュメントURLを指定したバッチファイルSikuli

2019/05/22 22:14

Sikuli カードゲームのソリティアを自動化する－[5]下段から上段への移動

「[4]移動可能なカードを探す」では、下段に並べたカードの中だけで移動できるカードを探してドラッグ＆ドロップ操作を行いました。ここでは、下段に並べたカードの中だけで移動できるカードが無くなった場合の、次の処理として、下段から上段にカードを移動する処理を考えま

2019/03/24 06:32

Sikuli カードゲームのソリティアを自動化する－[4]移動可能なカードを探す

ソリティアの下段にカードを重ねるときは、マークの色が互い違いになるようにするので、「[3]カードを読み取る」で示した方法でカードを読み取った結果を使って、移動先となり得るカードと移動元となり得るカードの情報を新たに作成します。移動元となり得るカードは、表にな

2019/03/23 22:16

Sikuli カードゲームのソリティアを自動化する－[3]カードを読み取る

※ここで紹介するのは、Sikuliでカードを特定する処理の一例です。カードを検索するときの画像としては、カード右下角の周辺の画像を使うことにします。検索の実行には、複数画像をリストにして引数で渡すと、最も類似度の高かった画像のマッチオブジェクト（見つけた画像の

2019/03/23 17:28

Sikuli カードゲームのソリティアを自動化する－[1]はじめに

「ITmedia」がSikuliX1.1.3を使った記事を公開しています。記事へのリンク：無料RPAで「ソリティア」に挑んでみた 業務自動化でゲームも自動化できるか「2日間で実装を試みた」ということで、記事を作成する過程で作成したスクリプトコードでは、ゲームをクリアすることは

2019/03/23 15:21

Sikuli カードゲームのソリティアを自動化する－[2]画像の準備

あ

2019/03/23 12:23

Sikuli カードゲームのソリティアを自動化する－目次

1．カードを認識して移動するサンプルコード [1]はじめに [2]画像を準備する [3]カードを読み取る [4]移動可能なカードを探す [5]下段から上段への移動2．サンプルコード補足（1）Sikuliで検索を速くしたいときの対処方法効果が大きい順に示します。・検索領域をでき

2019/03/23 11:04

Sikuli JREをJavaSE8からOpenJDK11に変更

これまでJavaSEバージョン8の64ビット版JREを使っていましたが、バージョン8は2019年1月のリリースをもって無償アップデートが終了になっていることもあり、OpenJDK11に変更することにしました。SikuliX1.1.4はOpenJDK11で開発中なので、SikuliX1.1.4との相性はいいはず、と

2019/03/10 22:11

Sikuli ドキュメント未公開の設定や機能

※2019/2/15に内容を更新しました。SikuliX公式サイトのドキュメントページで公開していない設定や機能を紹介するページです。（※カッコ内の日付は、ドキュメントページ公開状況を確認した日付です。いつの間にかドキュメントに追加になっているかもしれません。）■設定（

2019/02/15 22:00

Sikuli SikuliX1.1.4になって変更になったこと

※2018/8/25時点で、SikuliX1.1.4はNightly Build版が提供されています。■SikuliX1.1.4になって変更になったこと（1）SikuliX1.1.3までC++で実装されていたほとんどの機能がJavaで実装されました。 （2）画像認識に使っているOpenCVのバージョンが3.4になりました。（3

2018/11/06 06:29

Sikuli スクリプト例や自動化のヒントへのリンク一覧

※2018/10/17に内容を更新しました。このブログの中にあるSikuliのスクリプト例や自動化のヒントへのリンク一覧です。SikuliXのバージョンアップによって使える機能が順次増えているので、古いバージョンには無い機能もある。SikuliX-IDEのタイトル行に（SikuliX1.1.0からは

2018/10/17 06:35

Sikuli 【FAQ】EXCELにフィルタを設定して合計値を取得したいとき

【質問】EXCELにあるデータを、ある条件で絞り込んで特定の列の合計値を求めたいので、『フィルタの設定』や『合計値のセルの追加』を自動化したいんだけど。Sikuliで出来ますか？【解決策】フィルタ(AutoFilter)を設定して(SUBTOTAL関数を使って)合計値を求めるってことです

2018/10/17 06:31

Sikuli 機能一覧

※2018/9/30に内容を更新しました。SikuliXで使える関数とか設定とかを俯瞰できるように一覧にしている。[公式サイト]と表記したリンクは、http://sikulix-2014.readthedocs.org/en/latest/の該当ページへのリンクを設定している。よく使う機能は限られているから、一度も

2018/09/30 23:42

Sikuli 画像の一部を透明にして検索する

SikuliX1.1.4から、透明な部分を持つ画像を検索条件に使うことが可能になりました。【検索対象画像】いろいろな表情のイラストをランダムに配置し、姿勢・髪型・顔色がすべて同じイラストを探す例です。【検索条件画像】【スクリプト】findAllList()の引数に渡している画像は

2018/09/01 06:36

Sikuli SikuliX1.1.4以降ではload()が使えない

※2018/8/30に内容を更新しました。JDBCドライバーやSeleniumを使いたいとき重宝していたload()が、SikuliX1.1.4から使えなくなりました。load()はsikulix.jarに無いモジュールでも、load(jarファイルへのパス)と記述するだけで使えるようにする機能です。でも、もっと簡単に

2018/08/30 07:01

Sikuli 入手方法とセットアップ方法

※2018/8/23に内容を更新しました。■入手方法・SikuliX 1.1.4（nightly builds）64ビット版のOSのみサポートしています。Javaバージョン8以降(64ビット版)が必要です。・SikuliX 1.1.3（2018 Bug Fixes for SikuliX version 1）Javaバージョン8以降が必要です。・SikuliX 1.

2018/08/23 22:15

Sikuli キャプチャしたときより表示倍率が小さい環境で実行するときの設定方法

SikuliXでは、キャプチャした画像のピクセルの単位でスクリーンを検索し、類似した画像の位置を探し出します。このため、画像をキャプチャしたときと実行時とで表示倍率が異なると、キャプチャしたときの画像は探し出せなくなります。基本的な考え方に変わりはありませんが、

2018/07/05 05:26