[Appium] 이미지 인식하여 버튼 클릭 feat. PyAutoGUI

네이버 페이의 화면 문제되는 부분 모바일 자동화를 하게 된다면 마주하게 될 사항인 보안 영역입니다. Inpector 를 통해서 Element 를 잡을 수는 있지만 로드가 될 때마다 패드 순서가 바뀌는 영역인데요. 이런 부분은 우리가 흔히 작성하는 방식인 Xpath 로는 알 수가 없습니다. 위의 화면을 봤을 때 Number Pad 중 숫자1을 선택해보았을 때의 화면인데요. property 에서 해당 element가 숫자1이라는 것을 알수가 없습니다. 해결하는 방법 여러가지 방법이 있겠지만 저는 이미지를 인식해서 인식을 해보자라는 생각을 했습니다. 그래서 바로 찾아본 게 유명한 PyAutoGUI 라는 Library 를 이용해보았습니다. 제가 생각한 Flow 는 아래와 같습니다. 그리고 이것을 실행하기 위해 먼저 각각 선택할 이미지들을 캡쳐해둡니다. 이 이미지들과 실제 Appium이 돌아가고 있는 에뮬레이터의 버튼과 비교하여 클릭을 하는 겁니다. 먼저 아래 명령줄을 통해 pyautogui...

원문링크 : [Appium] 이미지 인식하여 버튼 클릭 feat. PyAutoGUI