时间复杂度
00 分钟
2024-7-26
2024-7-26
type
status
date
slug
summary
tags
category
icon
password
时间复杂度分析统计的不是算法运行时间,而是算法运行时间随着数据量变大时的增长趋势
“时间增长趋势”这个概念比较抽象,我们通过一个例子来加以理解。假设输入数据大小为 𝑛 ,给定三个算法 AB 和 C :
  • 算法 A 只有1个打印操作,算法运行时间不随着𝑛增大而增长。我们称此算法的时间复杂度为“常数阶”。
  • 算法 B 中的打印操作需要循环𝑛次,算法运行时间随着𝑛增大呈线性增长。此算法的时间复杂度被称为“线性阶”。
  • 算法 C 中的打印操作需要循环1000000次,虽然运行时间很长,但它与输入数据大小。𝑛无关。因此 C 的时间复杂度和 A 相同,仍为“常数阶”
notion image
相较于直接统计算法的运行时间,时间复杂度分析有哪些特点呢?
  • 时间复杂度能够有效评估算法效率。例如,算法 B 的运行时间呈线性增长,在𝑛>1时比算法 A 更慢,在时比算法 C 更慢。事实上,只要输入数据大小𝑛足够大,复杂度为“常数阶”的算法一定优于“线性阶”的算法,这正是时间增长趋势的含义。
  • 时间复杂度的推算方法更简便。显然,运行平台和计算操作类型都与算法运行时间的增长趋势无关。因此在时间复杂度分析中,我们可以简单地将所有计算操作的执行时间视为相同的“单位时间”,从而将“计算操作运行时间统计”简化为“计算操作数量统计”,这样一来估算难度就大大降低了。
  • 时间复杂度也存在一定的局限性。例如,尽管算法 A 和 C 的时间复杂度相同,但实际运行时间差别很大。同样,尽管算法 B 的时间复杂度比 C 高,但在输入数据大小𝑛较小时,算法 B 明显优于算法 C 。对于此类情况,我们时常难以仅凭时间复杂度判断算法效率的高低。当然,尽管存在上述问题,复杂度分析仍然是评判算法效率最有效且常用的方法。

函数渐近上界

给定一个输入大小为𝑛的函数:
设算法的操作数量是一个关于输入数据大小𝑛的函数,记为,则以上函数的操作数量为:
 是一次函数,说明其运行时间的增长趋势是线性的,因此它的时间复杂度是线性阶。
我们将线性阶的时间复杂度记为  ,这个数学符号称为记号(big-𝑂 notation),表示函数渐近上界(asymptotic upper bound)
时间复杂度分析本质上是计算“操作数量 ”的渐近上界,它具有明确的数学定义。
💡
若存在正实数和实数,使得对于所有的,均有  ,则可认为 给出了 的一个渐近上界,记为
如下图所示,计算渐近上界就是寻找一个函数,使得当趋向于无穷大时,处于相同的增长级别,仅相差一个常数项的倍数。
notion image

推算方法

渐近上界的数学味儿有点重,如果你感觉没有完全理解,也无须担心。我们可以先掌握推算方法,在不断的实践中,就可以逐渐领悟其数学意义。
根据定义,确定 之后,我们便可得到时间复杂度 。那么如何确定渐近上界 呢?总体分为两步:首先统计操作数量,然后判断渐近上界。

1.统计操作数量

针对代码,逐行从上到下计算即可。然而,由于上述 中的常数项可以取任意大小,因此操作数量  中的各种系数、常数项都可以忽略。根据此原则,可以总结出以下计数简化技巧。
  1. 忽略  中的常数项。因为它们都与无关,所以对时间复杂度不产生影响。
  1. 省略所有系数。例如,循环次、次等,都可以简化记为次,因为𝑛前面的系数对时间复杂度没有影响。
  1. 循环嵌套时使用乘法。总操作数量等于外层循环和内层循环操作数量之积,每一层循环依然可以分别套用第 1. 点和第 2. 点的技巧。
给定一个函数,我们可以用上述技巧来统计操作数量:
以下公式展示了使用上述技巧前后的统计结果,两者推算出的时间复杂度都为

2.判断渐近上界

时间复杂度由中最高阶的项来决定。这是因为在趋于无穷大时,最高阶的项将发挥主导作用,其他项的影响都可以忽略。
下面展示了一些例子,其中一些夸张的值是为了强调“系数无法撼动阶数”这一结论。当趋于无穷大时,这些常数变得无足轻重。
不同操作数量对应的时间复杂度
操作数量 𝑇(𝑛)
时间复杂度 𝑂(𝑓(𝑛))
100000

常见类型

设输入数据大小为,常见的时间复杂度类型下所示(按照从低到高的顺序排列)。
notion image

常数阶 

常数阶的操作数量与输入数据大小无关,即不随着的变化而变化。
在以下函数中,尽管操作数量 size 可能很大,但由于其与输入数据大小 𝑛 无关,因此时间复杂度仍为
 

线性阶 

线性阶的操作数量相对于输入数据大小以线性级别增长。线性阶通常出现在单层循环中:
遍历数组和遍历链表等操作的时间复杂度均为,其中为数组或链表的长度:
值得注意的是,输入数据大小需根据输入数据的类型来具体确定。比如在第一个示例中,变量为输入数据大小;在第二个示例中,数组长度为数据大小。

平方阶 

平方阶的操作数量相对于输入数据大小以平方级别增长。平方阶通常出现在嵌套循环中,外层循环和内层循环的时间复杂度都为,因此总体的时间复杂度为
对比了常数阶、线性阶和平方阶三种时间复杂度。
notion image
以冒泡排序为例,外层循环执行次,内层循环执行𝑛−1、𝑛−2、…、2、1次,平均为次,因此时间复杂度为

指数阶

生物学的“细胞分裂”是指数阶增长的典型例子:初始状态为1个细胞,分裂一轮后变为2个,分裂两轮后变为4个,以此类推,分裂轮后有个细胞。
下面代码模拟了细胞分裂的过程,时间复杂度为
notion image
在实际算法中,指数阶常出现于递归函数中。例如在以下代码中,其递归地一分为二,经过次分裂后停止:
指数阶增长非常迅速,在穷举法(暴力搜索、回溯等)中比较常见。对于数据规模较大的问题,指数阶是不可接受的,通常需要使用动态规划或贪心算法等来解决。

对数阶

与指数阶相反,对数阶反映了“每轮缩减到一半”的情况。设输入数据大小为,由于每轮缩减到一半,因此循环次数是,即的反函数。
以下代码模拟了“每轮缩减到一半”的过程,时间复杂度为,简记为 
notion image
与指数阶类似,对数阶也常出现于递归函数中。以下代码形成了一棵高度为的递归树:
对数阶常出现于基于分治策略的算法中,体现了“一分为多”和“化繁为简”的算法思想。它增长缓慢,是仅次于常数阶的理想的时间复杂度。

线性对数阶

线性对数阶常出现于嵌套循环中,两层循环的时间复杂度分别为相关代码如下:
下图展示了线性对数阶的生成方式。二叉树的每一层的操作总数都为,树共有层,因此时间复杂度为
notion image
主流排序算法的时间复杂度通常为,例如快速排序、归并排序、堆排序等。

阶乘阶

阶乘阶对应数学上的“全排列”问题。给定个互不重复的元素,求其所有可能的排列方案,方案数量为:
阶乘通常使用递归实现。如下代码所示,第一层分裂出个,第二层分裂出个,以此类推,直至第层时停止分裂:
notion image
请注意,因为当时恒有,所以阶乘阶比指数阶增长得更快,在较大时也是不可接受的。

最差、最佳、平均时间复杂度

算法的时间效率往往不是固定的,而是与输入数据的分布有关。假设输入一个长度为 𝑛 的数组 nums ,其中 nums 由从 1 至 𝑛 的数字组成,每个数字只出现一次;但元素顺序是随机打乱的,任务目标是返回元素 1 的索引。我们可以得出以下结论。
  • 当 nums = [?, ?, ..., 1] ,即当末尾元素是1时,需要完整遍历数组,达到最差时间复杂度
  • 当 nums = [1, ?, ?, ...] ,即当首个元素为1时,无论数组多长都不需要继续遍历,达到最佳时间复杂度 。
“最差时间复杂度”对应函数渐近上界,使用大记号表示。相应地,“最佳时间复杂度”对应函数渐近下界,用记号表示:
值得说明的是,我们在实际中很少使用最佳时间复杂度,因为通常只有在很小概率下才能达到,可能会带来一定的误导性。而最差时间复杂度更为实用,因为它给出了一个效率安全值,让我们可以放心地使用算法。
从上述示例可以看出,最差时间复杂度和最佳时间复杂度只出现于“特殊的数据分布”,这些情况的出现概率可能很小,并不能真实地反映算法运行效率。相比之下,平均时间复杂度可以体现算法在随机输入数据下的运行效率,用 Θ 记号来表示。
对于部分算法,我们可以简单地推算出随机数据分布下的平均情况。比如上述示例,由于输入数组是被打乱的,因此元素 1 出现在任意索引的概率都是相等的,那么算法的平均循环次数就是数组长度的一半,平均时间复杂度为 。
但对于较为复杂的算法,计算平均时间复杂度往往比较困难,因为很难分析出在数据分布下的整体数学期望。在这种情况下,我们通常使用最差时间复杂度作为算法效率的评判标准。
💡
为什么很少看到符号?
可能由于符号过于朗朗上口,因此我们常常使用它来表示平均时间复杂度。但从严格意义上讲,这种做法并不规范。在本书和其他资料中,若遇到类似“平均时间复杂度”的表述,请将其直接理解为

📎
本文摘抄自Hello 算法
 
上一篇
Css 弧线选项卡
下一篇
算法效率评估