jszy 2020-03-08
单元测试是一项对技术要求很高的工作,只有白盒测试人员和软件开发人员才能胜任但用单元测试框架做单元测试却十分简单,而且单元测试框架不仅可以用来做单元测试,它还适用于不同类型的「自动化」测试。
1.提供测试用例组织和执行
在 Python 中,我们编写的代码可以定义类、方法和函数,那么如何定义一条「测试用例」?如何灵活地控制这些「测试用例」的执行?单元测试框架会告诉我们。
2.提供丰富的断言方法
当我们进行功能测试时,测试用例需要有预期结果。当测试用例的执行结果与预期结果不一致时,判定测试用例失败。在自动化测试中,通过「断言」来判定测试用例执行成功与否。
一般单元测试框架会提供丰富的断言方法。例如,判断相等/不相等、包含/不包含、True/False 等。
3.提供丰富的日志
自动化测试在运行过程中并不需要人工干预,因此执行的结果非常重要。我们需要从结果中清晰地看出失败的原因。另外,我们还需要统计测试用例的执行结果,如总执行时间、失败测试用例数、成功测试用例数等,这些功能也是由单元测试框架提供的。
从以上几点来看,单元测试框架不仅可以用来写测试用例,凡是涉及自动化测试的工作都可以由单元测试框架完成,如 Web 自动化测试、App 自动化测试,以及接口自动化测试等。
在 Python 中有诸多单元测试框架,如 doctest、unittest、pytest、nose 等,Python 2.1 及其以后的版本已经将 unittest 作为一个标准模块放入 Python 开发包中。
不用单元测试框架能写单元测试吗?答案是肯定的。单元测试本质上就是通过一段代码去验证另外一段代码,所以不用单元测试框架也可以写单元测试。下面就通过例子演示。
这样的测试存在着一些问题。首先,我们需要自己定义断言失败的提示;其次,当一个测试函数运行失败后,后面的测试函数将不再执行;最后,执行结果无法统计。
当然,我们可以通过编写更多的代码来解决这些问题,但这就偏离了我们做单元测试的初衷。我们应该将重点放在测试本身,而不是其他上面。引入单元测试框架可以很好地解决这些问题。
calculator
# 计算器类 class Calculator: """ 用于完成两个数的加、减、乘、除 """ def __init__(self, a, b): self.a = int(a) self.b = int(b) # 加法 def add(self): return self.a + self.b # 减法 def sub(self): return self.a - self.b # 乘法 def mul(self): return self.a * self.b # 除法 def div(self): return self.a / self.b
下面通过 unittest 单元测试框架重新编写测试用例。
test_calculator_ut
import unittest from calculator import Calculator class TestCalculator(unittest.TestCase): def test_add(self): c = Calculator(3, 5) result = c.add() self.assertEqual(result, 8) def test_sub(self): c = Calculator(7, 2) result = c.sub() self.assertEqual(result, 5) def test_mul(self): c = Calculator(3, 3) result = c.mul() self.assertEqual(result, 10) def test_div(self): c = Calculator(6, 2) result = c.div() self.assertEqual(result, 3) if __name__ == ‘__main__‘: unittest.main()import unittest from calculator import Calculator class TestCalculator(unittest.TestCase): def test_add(self): c = Calculator(3, 5) result = c.add() self.assertEqual(result, 8) def test_sub(self): c = Calculator(7, 2) result = c.sub() self.assertEqual(result, 5) def test_mul(self): c = Calculator(3, 3) result = c.mul() self.assertEqual(result, 10) def test_div(self): c = Calculator(6, 2) result = c.div() self.assertEqual(result, 3) if __name__ == ‘__main__‘: unittest.main()
运行结果如下。
引入 unittest 模块。如果想用 unittest 编写测试用例,那么一定要遵守它的「规则」。
(1)创建一个测试类,这里为 TestCalculator 类,必须要继承 unittest 模块的 TestCase 类。
(2)创建一个测试方法,该方法必须以「test」开头。
接下来的测试步骤与前面测试代码相同。
首先,调用被测试类,传入初始化数据。
其次,调用被测试方法,得到计算结果。通过 unittest 提供的 assertEqual()方法来断言结果是否与预期结果相同。该方法由 TestCase 父类提供,由于继承了该类,所以可以通过 self 调用。
最后,调用 unittest 的 main()来执行测试用例,它会按照前面的两条规则查找测试用例并执行。
测试结果明显丰富了很多,用「.」表示一条运行通过的测试用例,用「F」表示一条运行失败的测试用例,用「E」表示一条运行错误的测试用例,用「s」表示一条运行跳过的测试用例。本次统计运行了 4 条测试用例,运行时间为 0.001s,失败(failures)了 1 条测试用例。失败的测试用例也有清晰说明。
在 unittest 文档中有四个重要的概念:Test Case、Test Suite、Test Runner 和 Test Fixture。只有理解了这几个概念,才能理解单元测试的基本特征。
1.Test Case
Test Case 是最小的测试单元,用于检查特定输入集合的特定返回值。unittest 提供了 TestCase 基类,我们创建的测试类需要继承该基类,它可以用来创建新的测试用例。
2.Test Suite
测试套件是测试用例、测试套件或两者的集合,用于组装一组要运行的测试。unittest 提供了 TestSuite 类来创建测试套件。
3.Test Runner
Test Runner 是一个组件,用于协调测试的执行并向用户提供结果。Test Runner 可以使用图形界面、文本界面或返回特殊值来展示执行测试的结果。unittest 提供了 TextTestRunner 类运行测试用例,为了生成 HTML 格式的测试报告,后面会选择使用 HTMLTestRunner 运行类。
4.Test Fixture
Test Fixture 代表执行一个或多个测试所需的环境准备,以及关联的清理动作。例如,创建临时或代理数据库、目录,或启动服务器进程。unittest 中提供了 setUp()/tearDown()、setUpClass()/tearDownClass()等方法来完成这些操作。
在理解了上面几个概念之后,我们对前面的测试用例做如下修改。
test_calculator_ut2
import unittest from calculator import Calculator class TestCalculator(unittest.TestCase): # 测试用例前置动作 def setUp(self): print("test start:") # 测试用例后置动作 def tearDown(self): print("test end") def test_add(self): c = Calculator(3, 5) result = c.add() self.assertEqual(result, 8) def test_sub(self): c = Calculator(7, 2) result = c.sub() self.assertEqual(result, 5) def test_mul(self): c = Calculator(3, 3) result = c.mul() self.assertEqual(result, 10) def test_div(self): c = Calculator(6, 2) result = c.div() self.assertEqual(result, 3) if __name__ == ‘__main__‘: # 创建测试套件 suit = unittest.TestSuite() suit.addTest(TestCalculator("test_add")) suit.addTest(TestCalculator("test_sub")) suit.addTest(TestCalculator("test_mul")) suit.addTest(TestCalculator("test_div")) # 创建测试运行器 runner = unittest.TextTestRunner() runner.run(suit)
首先,创建一个测试类并继承 TestCase 类,在该类下面创建一条以「test」开头的方法为测试用例。这个前面已有说明,这里再次说明是为了强调它的重要性。
其次,在测试类中增加了 setUp()/tearDown()方法,用于定义测试用例的前置和后置动作。因为在当前测试中暂时用不上,所以这里定义了一些简单的打印。
接下来,是测试用例的执行,这里做了很大的改动。首先,抛弃了 unittest 提供的 main()方法,而是调用 TestSuite 类下面的 addTest()来添加测试用例。因为一次只能添加一条用例,所以需要指定测试类及测试方法。然后,再调用 TextTestRunner 类下面的 run()运行测试套件。
这样做确实比直接使用 main()方法要麻烦得多,但也并非没有优点。
首先,测试用例的执行顺序可以由测试套件的添加顺序控制,而 main()方法只能按照测试类、方法的名称来执行测试用例。例如,TestA 类比 TestB 类先执行,test_add()用例比 test_div()用例先执行。
其次,当一个测试文件中有很多测试用例时,并不是每次都要执行所有的测试用例,尤其是比较耗时的 UI 自动化测试。因而通过测试套件和测试运行器可以灵活地控制要执行的测试用例。
执行结果如下。
从执行结果可以看到,setUp/tearDown 作用于每条测试用例的开始之处与结束之处。
在执行测试用例的过程中,最终测试用例执行成功与否,是通过测试得到的实际结果与预期结果进行比较得到的。unittest 框架的 TestCase 类提供的用于测试结果的断言方法如表 6-1 所示。
断言方法的使用如下所示。
test_assert
import unittest class TestAssert(unittest.TestCase): def test_equal(self): self.assertEqual(2+2, 4) self.assertEqual("python", "python") self.assertNotEqual("hello", "python") def test_in(self): self.assertIn("hello", "hello world") self.assertNotIn("hi", "hello") def test_true(self): self.assertTrue(True) self.assertFalse(False) if __name__ == ‘__main__‘: unittest.main()
运行上面的测试用例,即可通过测试结果推断出这些断言方法是如何使用的。
前面针对 Calculator 类所编写的测试用例存在以下问题。
首先,一个功能对应一条测试用例显然是不够的,要写多少测试用例取决于你对功能需求与测试方法的理解。
其次,是测试用例的划分,笔者建议一个测试类对应一个被测试功能。
calculator
# 计算器类 class Calculator: """ 用于完成两个数的加、减、乘、除 """ def __init__(self, a, b): self.a = int(a) self.b = int(b) # 加法 def add(self): return self.a + self.b # 减法 def sub(self): return self.a - self.b # 乘法 def mul(self): return self.a * self.b # 除法 def div(self): return self.a / self.b
test_calculator
from calculator import Calculator import unittest class TestAdd(unittest.TestCase): """ add()方法测试 """ def test_add_integer(self): """ 整数相加测试 """ c = Calculator(3, 5) self.assertEqual(c.add(), 8) def test_add_decimals(self): """ 小数相加测试 """ c = Calculator(3.2, 5.5) self.assertEqual(c.add(), 8) def test_add_string(self): """ 字符串整数相加测试 """ c = Calculator("7", "9") self.assertEqual(c.add(), 16) # …… class TestSub(unittest.TestCase): """ sub()方法测试 """ def test_sub(self): c = Calculator(7, 2) result = c.sub() self.assertEqual(result, 5) class TestMul(unittest.TestCase): """ mul()方法测试 """ def test_mul(self): c = Calculator(3, 3) result = c.mul() self.assertEqual(result, 9) class TestDiv(unittest.TestCase): """ div()方法测试 """ def test_div(self): c = Calculator(6, 2) result = c.div() self.assertEqual(result, 3) if __name__ == ‘__main__‘: unittest.main()
我们可以在一个测试文件中定义多个测试类,只要它们遵循测试用例的「规则」,main()方法就可以找到并执行它们。但是,我们要测试的类或方法可能有很多。
下面开发一个功能,用于判断某年是否为闰年。创建 leap_year.py 文件。
leap_year
class LeapYear: """计算结果某一年份是否为闰年""" def __init__(self, year): self.year = int(year) def answer(self): year = self.year if year % 100 == 0: if year % 400 == 0: # 整百年能被400整除的是闰年 return "{0}是闰年".format(year) else: return "{0}不是闰年".format(year) else: if year % 4 == 0: # 非整百年能被4整除的为闰年 return "{0}是闰年".format(year) else: return "{0}不是闰年".format(year)
创建对应的测试文件 test_leap_year.py。
test_leap_year
from leap_year import LeapYear import unittest class TestLeapYear(unittest.TestCase): def test_2000(self): ly = LeapYear(2000) self.assertEqual(ly.answer(), "2000是闰年") def test_2004(self): ly = LeapYear(2004) self.assertEqual(ly.answer(), "2004是闰年") def test_2017(self): ly = LeapYear(2017) self.assertEqual(ly.answer(), "2017不是闰年") def test_2100(self): ly = LeapYear(2100) self.assertEqual(ly.answer(), "2100不是闰年") if __name__ == ‘__main__‘: unittest.main()
显然,这里的判断闰年功能(leap_year.py)和计算器功能(calculator.py)并不相关,它们的代码分别写在两个文件当中,所以对应的测试用例最好分开,分别为 test_calculator.py 和 test_leap_year.py。
当前目录结构如下:
如何执行多个测试文件呢?unittest 中的 TestLoader 类提供的 discover()方法可以从多个文件中查找测试用例。
该类根据各种标准加载测试用例,并将它们返回给测试套件。正常情况下,不需要创建这个类的实例。unittest 提供了可以共享的 defaultTestLoader 类,可以使用其子类或方法创建实例,discover()方法就是其中之一。
找到指定目录及其子目录下的所有测试模块,只有匹配的文件名才能被加载。如果启动的不是顶层目录,那么顶层目录必须单独指定。
● start_dir:待测试的模块名或测试用例目录。
● pattern=‘test*.py『:测试用例文件名的匹配原则。此处匹配文件名以「test」开头的「.py」类型的文件,星号「*」表示任意多个字符。
● top_level_dir=None:测试模块的顶层目录,如果没有顶层目录,则默认为 None。
现在通过 discover()方法重新实现 run_tests.py 文件的功能。
run_tests
import unittest # 定义测试用例的目录为当前目录中test_case/目录 test_dir = ‘./test_case‘ suits = unittest.defaultTestLoader.discover(test_dir, pattern=‘test*.py‘) if __name__ == ‘__main__‘: runner = unittest.TextTestRunner() runner.run(suits)
discover()方法会自动根据测试用例目录(test_dir)查找测试用例文件(test*.py),并将找到的测试用例添加到测试套件中,
因此,可以直接通过 run()方法执行测试套件 suits。这种方式极大地简化了测试用例的查找,我们需要做的就是按照文件的匹配规则创建测试文件即可。