龙空技术网

UI自动化测试工具AirTest学习笔记

码上青春 499

前言:

眼前看官们对“android实现sift算法”大致比较着重,看官们都需要知道一些“android实现sift算法”的相关内容。那么小编也在网上收集了一些有关“android实现sift算法””的相关文章,希望我们能喜欢,我们快快来了解一下吧!

本篇更偏向于源码解析,适用于对airtest有一些了解,看过入门教程,写过demo的童鞋,当然初学者也可以在本章的上手环节跳转到网易官方最快5分钟教程中学习,因为我觉得那篇教程已经够好了,就不多写入门教程了。

简介

Airtest Project是最近非常火的一个ui自动化测试工具,由网易游戏内部工具团队开发并开源,获得谷歌力挺。

AirtestIDE 是一个跨平台、多端(Windows、web、android、ios、游戏)的UI自动化测试编辑器。

自动化脚本录制、一键回放、报告查看,轻而易举实现自动化测试流程,自有编辑器一站式解决支持基于图像识别的 Airtest 框架,适用于所有Android和Windows游戏,会截图就能写脚本支持基于UI控件搜索的 Poco 框架,适用于Unity3d,Cocos2d与Android、ios App、web能够运行在Windows和MacOS上网易内部已成功应用在数十个项目上,利用 手机集群 进行大规模自动化测试,手机集群没有开源,准备做收费模式吧使用python编写,兼容2、3,尽量用3吧上手

网易官方的最快五分钟上手教程,

官方教程,有演示视频,有动图,一目了然。环境搭建也相当简单,基本上安装好IDE就可以了。

AirTest IDE提供了一站式功能:脚本开发(录制、编辑)、设备管理、运行、回放、结果查看

相信通过网易的这个上手教程,很多人都能很快就可以把airtest玩起来了。

进阶

当我们跟随着教程写好一条脚本,运行起来以后,一起来看看AirTest的大致框架。

首先在AirTest的定义中脚本文件名的后缀是.air,当我们在IDE中新建一个脚本文件

再来到文件管理中我们可以看到这是一个文件夹。

这里面有一个跟air脚本同名的py文件,其他的png图片就是在IDE里截图,录制,生成的图像文件。

打开这个py文件来看看:

可以看出在IDE里显示的touch(图片),就是在api里的一个touch接口,里面传入一个Template,这个对象包含了图片文件的名称、录制时的相对坐标(record_pos),分辨率(resolution)等,当然还有其他参数:目标位置(target_pos)、rgb匹配(rgb),如果你在IDE里双击图片就会弹出窗口设置这些详细参数。

我想图像识别大概就是这样了:写脚本时截下目标图片(你想要点击的地方),这图片就跟python脚本保存在一起,touch接口传入这些目标图片,进行匹配,成功后点击目标图片的位置,有兴趣的话继续来看看这个touch接口的源码。

@logwrapdef touch(v, times=1, **kwargs):    """    Perform the touch action on the device screen    :param v: target to touch, either a Template instance or absolute coordinates (x, y)    :param times: how many touches to be performed    :param kwargs: platform specific `kwargs`, please refer to corresponding docs    :return: finial position to be clicked    :platforms: Android, Windows, iOS    """    if isinstance(v, Template):        pos = loop_find(v, timeout=ST.FIND_TIMEOUT)    else:        try_log_screen()        pos = v    for _ in range(times):        G.DEVICE.touch(pos, **kwargs)        time.sleep(0.05)    delay_after_operation()    return pos

入参:

v,可以是Template对象(目标截图),或者是pos(坐标)times,点击次数,默认为1kwargs,平台的特殊参数

loop_find(v, timeout=ST.FIND_TIMEOUT)#通过名字大概知道,循环查找这个v,有个超时退出,返回坐标点

G.DEVICE.touch(pos, **kwargs)#点击设备的指定坐标点

G.DEVICE应该就是一个当前的设备,兼容android、ios、windows

delay_after_operation#最后点击完以后还等待一下,所以这里可以配置每步点击的等待时间

所以touch接口的逻辑是:

如传入图片信息,循环查找匹配出目标图片所在屏幕的坐标点;传入是坐标,开始记录log信息;循环点击指定的坐标点;等待,然后返回目标坐标点。

再往下,看一下loop_find这个接口,我想这就是“图像识别”的“核心”部分了,哈哈

@logwrapdef loop_find(query, timeout=ST.FIND_TIMEOUT, threshold=None, interval=0.5, intervalfunc=None):    """    Search for image template in the screen until timeout    Args:        query: image template to be found in screenshot        timeout: time interval how long to look for the image template        threshold: default is None        interval: sleep interval before next attempt to find the image template        intervalfunc: function that is executed after unsuccessful attempt to find the image template    Raises:        TargetNotFoundError: when image template is not found in screenshot    Returns:        TargetNotFoundError if image template not found, otherwise returns the position where the image template has        been found in screenshot    """    G.LOGGING.info("Try finding:\n%s", query)    start_time = time.time()    while True:        screen = G.DEVICE.snapshot(filename=None)        if screen is None:            G.LOGGING.warning("Screen is None, may be locked")        else:            if threshold:                query.threshold = threshold            match_pos = query.match_in(screen)            if match_pos:                try_log_screen(screen)                return match_pos        if intervalfunc is not None:            intervalfunc()        # 超时则raise,未超时则进行下次循环:        if (time.time() - start_time) > timeout:            try_log_screen(screen)            raise TargetNotFoundError('Picture %s not found in screen' % query)        else:            time.sleep(interval)

入参:

query:要在截图中查找的图片模板(也就是我们写脚本截的图咯)timeout:最大匹配时间threshold:默认是None,字面意思是阈值,也就是匹配时的相似度吧,调低点可以更容易匹配上,也更容易匹配错interval:循环匹配的间隔时间,每次要对设备截图传入进来匹配,中间的等待时间intervalfunc:传入一个方法,在匹配失败时调用,也就是可以在接口的外部自定义匹配失败后的动作

返参:pos:目标图片在设备屏幕中的位置

screen = G.DEVICE.snapshot(filename=None)#设备截图,所以运行完脚本以后工程路径会有很多个截图文件,就是这里产生的。

match_pos = query.match_in(screen)#在设备截图中匹配查找我们传入的目标图片

所以这loop_find的逻辑就是:一个循环,从设备中截取屏幕的图片,在屏幕图片上查找匹配我们的目标图片,匹配成功则记录日志然后返回位置坐标,失败则判断是否是否有intervalfunc方法需要执行,默认是没有的,跳过,然后接着继续循环截图、匹配,直到超时报一个TargetNotFoundError异常出去。

那么图像的匹配算法大概就是在这个match_in接口里了,接着再看一点吧,哈哈

    def match_in(self, screen):        match_result = self._cv_match(screen)        G.LOGGING.debug("match result: %s", match_result)        if not match_result:            return None        focus_pos = TargetPos().getXY(match_result, self.target_pos)        return focus_pos    @logwrap    def _cv_match(self, screen):        # in case image file not exist in current directory:        image = self._imread()        image = self._resize_image(image, screen, ST.RESIZE_METHOD)        ret = None        for method in ST.CVSTRATEGY:            if method == "tpl":                ret = self._try_match(self._find_template, image, screen)            elif method == "sift":                ret = self._try_match(self._find_sift_in_predict_area, image, screen)                if not ret:                    ret = self._try_match(self._find_sift, image, screen)            else:                G.LOGGING.warning("Undefined method in CV_STRATEGY: %s", method)            if ret:                break        return ret

match_in调用cv_match进行匹配,然后TargetPos().getXY(match_result, self.target_pos)就是对匹配出来的结果进行处理,在前面讲touch的时候有一个参数是target_pos,还有印象吗?根据教程和文档说明,target_pos是以123456789的数字按九宫格键盘排列,分别代表左上角,正上角,右上角,...,右下角。这个getXY就是对这个进行处理的,根据传入的target_pos对匹配到的坐标信息再做处理返回目标图片中的不同位置上的坐标,默认是返回中心点。

再看cv_match接口,

imread()#根据图片路径,将图片读取为cv2的图片处理格式_resize_image(image, screen, ST.RESIZE_METHOD)#处理图片尺寸,这里可以在ST.RESIZE_METHOD自定义缩放规则,默认是用COCOS中的MIN策略然后根据CVSTRATEGY(cv策略,应该不同匹配的算法),有tpl、sift,进行try_match。

其中sift策略中优先对预测的区域进行匹配,也就是用到了再touch接口中传入的record_pos,终于知道为啥要传入写脚本是截图的位置了吧。

这个try_match是转换接口,method,再调用method,也就是说匹配的算法有三个不同的,有兴趣可以继续去看看:

_find_template、_find_sift_in_predict_area、_find_sift这三个接口。

    @staticmethod    def _try_match(method, *args, **kwargs):        G.LOGGING.debug("try match with %s" % method.__name__)        try:            ret = method(*args, **kwargs)        except aircv.BaseError as err:            G.LOGGING.debug(repr(err))            return None        else:            return ret
总结

Airtest的优点

有个IDE,大大地减少了写自动化脚本的难度,搭建环境、写脚本,运行脚本,查看报告都一站式解决了;图像识别,对不能用ui控件定位的地方的,使用图像识别来定位,对一些自定义控件、H5、小程序、游戏,都可以支持;支持多个终端,使用图像识别的话可以一套代码兼容android和ios哦,用ui控件定位的话需要兼容一下。

本篇通过touch接口对airtest的图像识别的源码进行了初步的分析,更多图像匹配算法实现部分,下回分解。

标签: #android实现sift算法