pytest之assert断言的具体使用_Python

背景

本文总结使用pytest编写自动化测试时常用的assert断言。

说明

本文将从以下几点做总结：

为测试结果作断言
为断言不通过的结果添加说明信息
为预期异常作断言
为失败断言自定义说明信息

为测试结果作断言

在断言方面，pytest框架比其他类似的框架（比如unittest）更加简洁，易用，我想这是我选择pytest作为自动化测试框架之一的原因之一。
pytest的assert断言关键字支持使用python内置的assert表达式。可以理解为pytest的断言就是直接使用python自带的assert关键字。

python assert的概念：

Python assert（断言）用于判断一个表达式，在表达式条件为 false 的时候触发异常。

我们可以在在assert后面添加任何符合python标准的表达式，如果表达式的值通过bool转换后等于False，则意味着断言结果为失败。

以下举例常用的表达式：

				?

									# ./test_case/test_func.py

									import pytest

									from func import *

									class TestFunc:

									 def test_add_by_class(self):

									  assert add(2,3) == 5

									def test_add_by_func_aaa():

									 assert 'a' in 'abc'

									 assert 'a' not in 'bbc'

									 something = True

									 assert something

									 something = False

									 assert not something

									 assert 1==1

									 assert 1!=2

									 assert 'a' is 'a'

									 assert 'a' is not 'b'

									 assert 1 < 2

									 assert 2 > 1

									 assert 1 <= 1

									 assert 1 >= 1

									 assert add(3,3) == 6

									'''

									# 以上全是合法的表达式且表达式的值都为True,所以测试结果为通过

									============================= test session starts =============================

									platform win32 -- Python 3.7.0, pytest-5.3.4, py-1.8.1, pluggy-0.13.1 -- D:\Python3.7\python.exe

									cachedir: .pytest_cache

									rootdir: D:\Python3.7\project\pytest, inifile: pytest.ini

									plugins: allure-pytest-2.8.9, rerunfailures-8.0

									collecting ... collected 2 items

									test_case/test_func.py::TestFunc::test_add_by_class PASSED               [ 50%]

									test_case/test_func.py::test_add_by_func_aaa PASSED                      [100%]

									============================== 2 passed in 0.06s ==============================

									[Finished in 1.8s]

									'''

为断言不通过的结果添加说明信息

在编写测试时，为了提高易用性，我们想知道断言失败时的一些关于失败的原因等说明信息，assert也能满足该功能。
请看示例：

				?

									# ./test_case/test_func.py

									import pytest

									from func import *

									class TestFunc:

									 def test_add_by_class(self):

									  assert add(2,3) == 5

									def test_add_by_func_aaa():

									 assert add(3,3) == 5, "3+3应该等于6"

									'''

									============================= test session starts =============================

									platform win32 -- Python 3.7.0, pytest-5.3.4, py-1.8.1, pluggy-0.13.1 -- D:\Python3.7\python.exe

									cachedir: .pytest_cache

									rootdir: D:\Python3.7\project\pytest, inifile: pytest.ini

									plugins: allure-pytest-2.8.9, rerunfailures-8.0

									collecting ... collected 2 items

									test_case/test_func.py::TestFunc::test_add_by_class PASSED               [ 50%]

									test_case/test_func.py::test_add_by_func_aaa FAILED                      [100%]

									================================== FAILURES ===================================

									____________________________ test_add_by_func_aaa _____________________________

									    def test_add_by_func_aaa():

									>    assert add(3,3) == 5, "3+3应该等于6"

									E    AssertionError: 3+3应该等于6

									E    assert 6 == 5

									E      -6

									E      +5

									test_case\test_func.py:14: AssertionError

									========================= 1 failed, 1 passed in 0.09s =========================

									[Finished in 1.4s]

									'''

为预期异常作断言

在某些测试用例中，比如异常测试用例，测试的结果必然是失败并应该爆出异常的。这时候自动化测试用例的期望结果就是该异常。如果期望结果等于该异常，那么测试用例执行通过，否则用例结果为失败。pytest提供为为预期异常作断言的方法：pytest.raises()。一般结合with上下文管理器使用。

使用示例：

				?

									# ./func.py

									def add(a,b):

									 if isinstance(a,int) and isinstance(b,int):

									  return a+b

									 else:

									  raise NameError('数据类型错误')

									# ./test_case/test_func.py

									import pytest

									from func import *

									class TestFunc:

									 # 正常测试用例

									 def test_add_by_class(self):

									  assert add(2,3) == 5

									# 异常测试用例，期望结果为爆出TypeError异常

									def test_add_by_func_aaa():

									 with pytest.raises(TypeError):

									  add('3',4)

									# ./run_test.py

									import pytest

									if __name__ == '__main__':

									 pytest.main(['-v'])

									'''

									============================= test session starts =============================

									platform win32 -- Python 3.7.0, pytest-5.3.4, py-1.8.1, pluggy-0.13.1 -- D:\Python3.7\python.exe

									cachedir: .pytest_cache

									rootdir: D:\Python3.7\project\pytest, inifile: pytest.ini

									plugins: allure-pytest-2.8.9, rerunfailures-8.0

									collecting ... collected 2 items

									test_case/test_func.py::TestFunc::test_add_by_class PASSED               [ 50%]

									test_case/test_func.py::test_add_by_func_aaa PASSED                      [100%]

									============================== 2 passed in 0.06s ==============================

									[Finished in 1.4s]

									'''

接下来看看没有爆出预期异常的示例：

				?

									# ./func.py

									def add(a,b):

									 # 指定异常

									 raise NameError("天降异常")

									 if isinstance(a,int) and isinstance(b,int):

									  return a+b

									 else:

									  raise NameError('数据类型错误')

									# ./test_case/test_func.py

									import pytest

									from func import *

									'''

									class TestFunc:

									 # 正常测试用例

									 def test_add_by_class(self):

									  assert add(2,3) == 5

									'''

									# 异常测试用例，期望结果为爆出TypeError异常

									def test_add_by_func_aaa():

									 with pytest.raises(TypeError):

									  add('3',4)

									# ./run_test.py

									import pytest

									if __name__ == '__main__':

									 pytest.main(['-v'])

									'''

									============================= test session starts =============================

									platform win32 -- Python 3.7.0, pytest-5.3.4, py-1.8.1, pluggy-0.13.1 -- D:\Python3.7\python.exe

									cachedir: .pytest_cache

									rootdir: D:\Python3.7\project\pytest, inifile: pytest.ini

									plugins: allure-pytest-2.8.9, rerunfailures-8.0

									collecting ... collected 1 item

									test_case/test_func.py::test_add_by_func_aaa FAILED                      [100%]

									================================== FAILURES ===================================

									____________________________ test_add_by_func_aaa _____________________________

									    def test_add_by_func_aaa():

									     with pytest.raises(TypeError):

									>     add('3',4)

									test_case\test_func.py:14: 

									_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

									a = '3', b = 4

									    def add(a,b):

									     # 指定异常

									>    raise NameError("天降异常")

									E    NameError: 天降异常

									func.py:4: NameError

									============================== 1 failed in 0.09s ==============================

									[Finished in 1.4s]

									'''

判定用例执行结果为失败。

上面我们只是断言了异常的类型。但有的时候我们想更进一步断言异常的说明信息，pytest也可以做到。with pytest.raises()执行结束后会生成一个ExceptionInfo的实例对象。该对象包含type , value, traceback属性。value属性就是我们需要的异常说明信息。

见示例：

				?

									# ./func.py

									def add(a,b):

									 if isinstance(a,int) and isinstance(b,int):

									  return a+b

									 else:

									  raise TypeError('数据类型错误')

									# ./test_case/test_func.py

									import pytest

									from func import *

									class TestFunc:

									 # 正常测试用例

									 def test_add_by_class(self):

									  assert add(2,3) == 5

									# 异常测试用例，期望结果为爆出TypeError异常

									def test_add_by_func_aaa():

									 with pytest.raises(TypeError) as E:

									  add('3',4)

									 print(E.type)

									 print(E.value)

									 print(E.traceback)

									 # 加入该不通过断言为了查看stdout

									 assert 1 == 2

									# ./run_test.py

									import pytest

									if __name__ == '__main__':

									 pytest.main(['-v'])

									'''

									============================= test session starts =============================

									platform win32 -- Python 3.7.0, pytest-5.3.4, py-1.8.1, pluggy-0.13.1 -- D:\Python3.7\python.exe

									cachedir: .pytest_cache

									rootdir: D:\Python3.7\project\pytest, inifile: pytest.ini

									plugins: allure-pytest-2.8.9, rerunfailures-8.0

									collecting ... collected 2 items

									test_case/test_func.py::TestFunc::test_add_by_class PASSED               [ 50%]

									test_case/test_func.py::test_add_by_func_aaa FAILED                      [100%]

									================================== FAILURES ===================================

									____________________________ test_add_by_func_aaa _____________________________

									    def test_add_by_func_aaa():

									     with pytest.raises(TypeError) as E:

									      add('3',4)

									     print(E.type)

									     print(E.value)

									     print(E.traceback)

									>    assert 1 == 2

									E    assert 1 == 2

									E      -1

									E      +2

									test_case\test_func.py:18: AssertionError

									---------------------------- Captured stdout call -----------------------------

									<class 'TypeError'>

									数据类型错误

									[<TracebackEntry D:\Python3.7\project\pytest\test_case\test_func.py:14>, <TracebackEntry D:\Python3.7\project\pytest\func.py:6>]

									========================= 1 failed, 1 passed in 0.10s =========================

									[Finished in 1.4s]

									'''

控制台输出的“Captured stdout call”就是异常的信息，包含类型，异常说明，异常跟踪信息。
可以通过assert断言这些信息。

也可以通过给pytest.raises()传入match关键字参数来完成E.value的断言，这里运用到的是python中正则表达式的原理。

示例：

该示例意味断言通过

				?

									def test_add_by_func_aaa():

									 with pytest.raises(TypeError, match=r'.*类型错误$') as E:

									  add('3',4)

该示例意味断言失败：

				?

									# 异常测试用例，期望结果为爆出TypeError异常

									def test_add_by_func_aaa():

									 with pytest.raises(TypeError, match=r'.*正确$') as E:

									  add('3',4)

									'''

									During handling of the above exception, another exception occurred:

									    def test_add_by_func_aaa():

									     with pytest.raises(TypeError, match=r'.*正确$') as E:

									>     add('3',4)

									E     AssertionError: Pattern '.*正确$' not found in '数据类型错误'

									test_case\test_func.py:14: AssertionError

									'''

如果，某个测试用例可能出现不同的预期异常，只要爆出的异常在预期的几个异常之内，那么如何断言呢。解决方法很简单，原理和接口都没变，只是在pytest.raises(）中传入异常类型的参数，从传入一个异常类型，改变为传入一个异常类型组成的元组。同样只是传入一个参数。

示例：

				?

									# ./func.py

									def add(a,b):

									 raise NameError('名字错了')

									 if isinstance(a,int) and isinstance(b,int):

									  return a+b

									 else:

									  raise TypeError('数据类型错误')

									# ./test_case/test_func.py

									import pytest

									from func import *

									'''

									class TestFunc:

									 # 正常测试用例

									 def test_add_by_class(self):

									  assert add(2,3) == 5

									'''

									# 异常测试用例，期望结果为爆出TypeError异常

									def test_add_by_func_aaa():

									 with pytest.raises((TypeError,NameError),match=r'.*错.*$') as E:

									  add('3',4)

									# ./run_test.py

									import pytest

									if __name__ == '__main__':

									 pytest.main(['-v'])

									'''

									============================= test session starts =============================

									platform win32 -- Python 3.7.0, pytest-5.3.4, py-1.8.1, pluggy-0.13.1 -- D:\Python3.7\python.exe

									cachedir: .pytest_cache

									rootdir: D:\Python3.7\project\pytest, inifile: pytest.ini

									plugins: allure-pytest-2.8.9, rerunfailures-8.0

									collecting ... collected 1 item

									test_case/test_func.py::test_add_by_func_aaa PASSED                      [100%]

									============================== 1 passed in 0.04s ==============================

									[Finished in 1.4s]

									'''

为失败断言自定义说明信息

这种行为，相当于改变了pytest的运行方式，虽然只是一种锦上添花的改变。我们通过编写hook函数来改变pytest的行为。hook函数是pytest提供的，有很多，各个hook函数的详细定义应该参考pytest的官方文档。
为失败断言自定义说明信息是通过pytest_assertrepr_compare这个hook函数完成的。
先看没有编写pytest_assertrepr_compare这个hook函数时，默认的失败断言说明：

				?

									def test_add_by_func_aaa():

									 assert 'aaa' == 'bbb'

									'''

									================================== FAILURES ===================================

									____________________________ test_add_by_func_aaa _____________________________

									    def test_add_by_func_aaa():

									>    assert 'aaa' == 'bbb'

									E    AssertionError: assert 'aaa' == 'bbb'

									E      - aaa

									E      + bbb

									test_case\test_func.py:16: AssertionError

									'''

再看编写pytest_assertrepr_compare这个hook函数后：

				?

									# ./conftest.py

									def pytest_assertrepr_compare(op, left, right):

									    if isinstance(left, str) and isinstance(right, str) and op == "==":

									        return ['两个字符串比较:',

									                '   值: %s != %s' % (left, right)]

									# ./test_case/test_func.py

									import pytest

									def test_add_by_func_aaa():

									 assert 'aaa' == 'bbb'

									'''

									.F                                                                       [100%]

									================================== FAILURES ===================================

									____________________________ test_add_by_func_aaa _____________________________

									    def test_add_by_func_aaa():

									>    assert 'aaa' == 'bbb'

									E    assert 两个字符串比较:

									E         值: aaa != bbb

									test_case\test_func.py:15: AssertionError

									1 failed, 1 passed in 0.09s

									[Finished in 1.5s]

									'''