「计算机网络」前端必备知识,看到就是赚到系列(上)
计算机网络-传输层协议专项复习(上)
⭐️⭐️这篇文章是一个我计算机网络复习的大汇总,参考了许多文章,也非常感谢大佬对我这篇文章的帮助,由于内容太多了我把它分成了上下两篇来写,这一篇将传输层协议TCP、UDP
以上是这篇文章的思维导图,个人建议复习的小伙伴都可以搞一个,方便自己复习用~
TCP和UDP的区别
首先
- TCP是面向连接的、可靠的、基于字节流的传输层协议
- UDP是一个面向无连接的传输层协议
详细的区别:
1、tcp是基于连接的,可靠性高;udp是基于无连接的,可靠性较低;
2、由于tcp是连接的通信,需要有三次握手、重新确认等连接过程,会有延时,实时性差;由于协议所致,安全性较高;而udp无连接,无建立连接的过程,因而实时性较强,安全略差;
3、在传输相同大小的数据时,tcp首部开销20字节;udp首部开销只有8个字节,tcp报头比udp复杂,故实际包含的用户数据较少。tcp无丢包,而udp有丢包,故tcp开销大,udp开销较小;
4、每条tcp连接只能是点到点的;udp支持一对一、一对多、多对一、多对多的交互通信。
应用场景的区别:
- 由于TCP和UDP的特点,如果对实时性要求高和高速传输的场景下需要使用UDP;
- 如果需要传输大量数据且对数据可靠性要求高的场景使用TCP;
- 在可靠性要求低追求效率的情况使用UDP;
TCP三大核心:
- 面向连接;所谓面向连接,指的是客户端与服务端的连接,在双方互相通信之前,TCP需要三次握手简历连接,而UDP没有相应的简历连接的过程
- 可靠性;TCP可靠性主要体现在1有状态2可控制
- 面向字节流;UDP数据传输基于数据报,仅仅是继承了IP层的特性,而TCP为维护状态,将IP包变成了字节流
有状态;TCP会精准记录哪些数据发送了,被对方接受了,哪些没有,而保证数据按序到达,不允许差错
可控制;意识到丢包或者网络环境差,TCP根据具体情况调整自己的行为,控制自己发送速度或重发
而UDP不可靠原因:无状态,不可控
TCP三次握手
一次握手过程及变化、为什么不是两次、为什么不是四次、握手过程中可以携带数据吗、同时发起挥手会怎样
TCP三次握手的过程
三次握手要确认双方的两样能力:发送能力与接收的能力。
最开始双方都属于CLOSED状态。然后服务器开始监听某个端口,进入LISTEN状态。
- 客户端注重发起连接,发送SYN,自己变成了SYN-SENT状态
- 服务端收到,返回SYN和ACK(对应客户端发来的SYN),自己变成了SYN-RECD
- 客户端再发送ACK给服务端,自己变成ESTABLISHED(established)状态;服务端收到ACK之后,也变成这个状态
为什么不是两次?
根本原因:无法确认客户端的接收能力。
可能出现的问题是,两次握手,服务端只要接收到然后发送相应的数据包,就 默认连接
了 ,但是事实上现在客户端可能已经断开连接了,这样也就带来了连接资源的浪费
``
为什么不是四次?
因为三次已经足够确认双方的发送和接收的能力了,四次以及四次以上当然就没必要啦
三次握手过程中可以携带数据吗?
可以,但是只有第三次,此时的established
状态相对安全并且够确认服务器的接收发送能力。
而不能在第一次握手携带数据是为了防止黑客在syn
中放入大量数据造成服务器资源的消耗。
四次挥手断开连接
- 首先客户端主动关闭,向服务器发
FIN
报文 - 服务端接收后通知应用进程并向客户端发送
ACK
确认- 服务端处理完后被动关闭再次向客户端发送
FIN
以及ACK
,进入LAST-ACK
状态,
- 服务端处理完后被动关闭再次向客户端发送
- 客户端收到服务端发来的
FIN
后,发送ACK
给服务端。在等待2MSL
后进入CLOSED
状态
注意了,这个时候,客户端需要等待两个
MSL
(Maximum Segment Lifetime,报文最大生存时间),在这段时间内如果客户端没有收到服务端的重发请求,那么表示ACK
成功到达,挥手结束,否则客户端重发 ACK。
为什么要等待 2 MSL?
- 1 个 MSL 确保四次挥手中主动关闭方最后的 ACK 报文最终能达到对端
- 1 个 MSL 确保对端没有收到 ACK 重传的 FIN 报文可以到达
为什么是四次挥手而不是三次?
- 因为服务端在接收到
FIN
, 往往不会立即返回FIN
, 必须等到服务端所有的报文都发送完毕了,才能发FIN
。 - 因此先发一个ACK表示已经收到客户端的
FIN
,延迟一段时间才发FIN
。这就造成了四次挥手。如果是三次挥手会有什么问题?
等于说服务端将ACK
和FIN
的发送合并为一次挥手,长时间的延迟可能会导致客户端误以为FIN
没有到达客户端,从而让客户端不断的重发FIN
。
同时发起挥手
在发送方给接收方发SYN报文的同时,接收方也给发送方发SYN报文
上图就是解释同时打开情况下的状态变迁。
- 发完SYN,两者的状态都变为SYN-SENT。
- 在各自收到对方的SYN后,两者状态都变为SYN-REVD。
- 接着会回复对应的ACK + SYN,这个报文在对方接收之后,两者状态一起变为ESTABLISHED。
SYN Flood
半连接队列、全连接队列、SYN Flood攻击过程、如何应对这种攻击
半连接队列
当客户端发送SYN
到服务端,服务端收到以后回复ACK
和SYN
,状态由LISTEN
变为SYN_RCVD
,此时这个连接就被推入了SYN队列,也就是半连接队列。
全连接队列
当客户端返回ACK
, 服务端接收后,三次握手完成。这个时候连接等待被具体的应用取走,在被取走之前,它会被推入另外一个 TCP 维护的队列,也就是全连接队列(Accept Queue)。
SYN Flood 攻击原理
SYN Flood 属于典型的 DoS/DDoS 攻击。其攻击的原理很简单,就是用客户端在短时间内伪造大量不存在的 IP地址,并向服务端疯狂发送SYN。对于服务端而言,会产生两个危险的后果:
- 处理大量的SYN包并返回对应ACK, 势必有大量连接处于SYN_RCVD状态,从而占满整个半连接队列,无法处理正常的请求。
- 由于是不存在的 IP,服务端长时间收不到客户端的ACK,会导致服务端不断重发数据,直到耗尽服务端的资源。
如何应对 SYN Flood 攻击?
- 增加 SYN 连接,也就是增加半连接队列的容量。
- 减少 SYN + ACK 重试次数,避免大量的超时重发。
- 利用 SYN Cookie技术,在服务端接收到SYN后不立即分配连接资源,而是根据这个SYN计算出一个Cookie,连同第二次握手回复给客户端,在客户端回复ACK的时候带上这个Cookie值,服务端验证Cookie 合法之后才分配连接资源。
半连接队列和 SYN Flood 攻击的关系
- 三次握手前,服务端的状态从
CLOSED
变为LISTEN
, 同时在内部创建了两个队列:
半连接队列和全连接队列,即SYN队列和ACCEPT队列。 - 半连接队列是当客户端发送
SYN
到服务端,服务端收到以后回复ACK
和SYN
,状态由LISTEN
变为SYN_RCVD
,此时这个连接就被推入了SYN队列 - SYN Flood在短时间内伪造大量不存在的 IP地址,并向服务端疯狂发送SYN。处理大量的SYN包并返回对应ACK, 势必有大量连接处于SYN_RCVD状态,从而占满整个半连接队列,无法处理正常的请求。
剖析TCP报文首部字段
源端口、目标端口、序列号、ISN:ISN是如何计算的,为什么、确认号标记位窗口大小校验和可选项
- 源端口、目标端口
如何标识唯一标识一个连接?答案是 TCP 连接的四元组——源 IP、源端口、目标 IP 和目标端口。 |
- 序列号
即Sequence number, 指的是本报文段第一个字节的序列号。
序列号在 TCP 通信的过程中有两个作用: |
- ISN
即Initial Sequence Number(初始序列号),在三次握手的过程当中,双方会用过SYN报文来交换彼此的 ISN。 |
确认号
即ACK(Acknowledgment number)。用来告知对方下一个期望接收的序列号,小于ACK的所有字节已经全部收到。标记位
常见的标记位有SYN,ACK,FIN,RST,PSH。
SYN 和 ACK 已经在上文说过,后三个解释如下:
FIN: 即 Finish,表示发送方准备断开连接。
RST:即 Reset,用来强制断开连接。
PSH: 即 Push, 告知对方这些数据包收到后应该马上交给上层的应用,不能缓存。窗口大小
占用两个字节,实际上是不够用的。因此 TCP 引入了窗口缩放的选项,作为窗口缩放的比例因子,这个比例因子的范围在 0 ~ 14,比例因子可以将窗口的值扩大为原来的 2 ^ n 次方。校验和
占用两个字节,防止传输过程中数据包有损坏,如果遇到校验和有差错的报文,TCP 直接丢弃之,等待重传。可选项
常用的可选项有以下几个:
TimeStamp: TCP 时间戳,后面详细介绍。
MSS: 指的是 TCP 允许的从对方接收的最大报文段。
SACK: 选择确认选项。
Window Scale: 窗口缩放选项。
不要死记,只要有个印象就行
TCP快速打开(TFO)原理
首轮三次握手、之后的三次握手、TFO优势
TFO 流程
首轮三次握手
就是第二次握手的时候不是立即返回SYN+ACK了, |
- 首先客户端发送SYN给服务端,服务端接收到。
注意哦!现在服务端不是立刻回复 SYN + ACK
,而是通过计算得到一个SYN Cookie, 将这个Cookie放到 TCP 报文的 Fast Open选项中,然后才给客户端返回。- 客户端拿到这个 Cookie 的值缓存下来。后面正常完成三次握手。
首轮三次握手就是这样的流程。而后面的三次握手就不一样啦!
后面的三次握手
客户端发送Cookie+SYN+HTTP请求, |
在后面的三次握手中,客户端会将之前缓存的 Cookie、SYN 和HTTP请求(是的,你没看错)发送给服务端,服务端验证了 Cookie 的合法性,如果不合法直接丢弃;如果是合法的,那么就正常返回SYN + ACK。
重点来了,现在服务端能向客户端发 HTTP 响应了!
这是最显著的改变,三次握手还没建立,仅仅验证了 Cookie 的合法性,就可以返回 HTTP 响应了。当然,客户端的ACK还得正常传过来,不然怎么叫三次握手嘛。
注意: 客户端最后握手的 ACK 不一定要等到服务端的 HTTP 响应到达才发送,两个过程没有任何关系。
TFO 的优势
拿到Cookie验证通过就能返回HTTP请求了, |
TFO 的优势并不在与首轮三次握手,而在于后面的握手,在拿到客户端的 Cookie 并验证通过以后,可以直接返回 HTTP 响应,充分利用了1 个RTT(Round-Trip Time,往返时延)的时间提前进行数据传输,积累起来还是一个比较大的优势。
TCP时间戳作用
- 计算往返时延RTT
- 防止序列号回绕的问题
TCP超时重传算法
- 经典方法
- Jacobson / Karels 算法
TCP流量控制
TCP滑动窗口概念、流量控制过程
流量控制要做的事情,就是在通过接收缓存区的大小,控制发送端的发送。如果对方的接收缓存区满了,就不能再继续发送了。
具体是如何做的呢?举个例子:
- 首先双方三次握手,初始化各自的窗口大小,均为 200 个字节。
- 假如当前发送端给接收端发送 100 个字节,那么此时对于发送端而言,可用窗口减少了 100 个字节。
- 现在这 100 个到达了接收端,被放到接收端的缓冲队列中。不过此时由于大量负载的原因,接收端处理不了这么多字节,只能处理 40 个字节,剩下的 60 个字节被留在了缓冲队列中。
- 上述是处理能力不够用啦的情况,意思你发送端给我少发点,所以此时接收端的接收窗口应该缩小,具体来说,缩小 60 个字节,由 200 个字节变成了 140 字节,因为缓冲队列留下 60个字节没被拿走。
- 因此,接收端会在 ACK 的报文首部带上缩小后的滑动窗口 140 字节,发送端对应地调整发送窗口的大小为 140 个字节。
- 此时发送端情况是,已经发送且确认的部分增加 40 字节,右移 40 个字节,同时发送窗口缩小为 140 个字节。
- 下图:滑动窗口结构(发送端)
还是搞不清,那你写一下画一下就想得明白了
TCP拥塞控制
慢启动、 拥塞避免、快速重传和快速恢复、基于丢包的拥塞控制点产生的问题–Google的BBR拥塞控制算法
说说 TCP 的拥塞控制?
- 流量控制发生在发送端跟接收端之间
- 而TCP 的拥塞控制主要处理的问题是,整个网络环境,网络特别差,特别容易丢包的情况。
对于拥塞控制来说,TCP每条连接都需要维护两个核心状态:
- 拥塞窗口(Congestion Window,cwnd):
是指目前自己还能传输的数据量大小; |
- 慢启动阈值(Slow Start Threshold,ssthresh)
涉及到的算法有这几个:
- 慢启动
采用一种保守的算法来慢慢地适应整个网路,这种算法叫慢启动;
过程:
1.首先,三次握手,双方宣告自己的接收窗口大小
2.双方初始化自己的拥塞窗口(cwnd)大小
3.在开始传输的一段时间,发送端每收到一个 ACK,拥塞窗口大小加 1,也就是说,每经过一个 RTT,拥塞窗口 翻倍。
如果说初始窗口为 10,那么第一轮 10 个报文传完且发送端收到 ACK 后,拥塞窗口 变为 20,
第二轮变为 40,第三轮变为 80,依次类推。直到达到慢启动阈值
- 拥塞避免
达阈值后,如何来控制拥塞窗口的大小;
原来每收到一个 ACK,拥塞窗口加1,现在到达阈值了,拥塞窗口只能加: 1/拥塞窗口
以前一轮 RTT 下来,cwnd翻倍,现在cwnd只是增加 1 而已。
慢启动和拥塞避免是一起作用的,是一体的。
- 快速重传和快速恢复
快速重传
如果发生了丢包,数据不是按序到达,接收端则重复发送之前的ACK
比如第5个包丢了,即使第6、7个包到达的接收端,接收端也一律返回第4个包的ACK。
收到 3 个重复的 ACK ,意识到丢包,马上重传;
选择性重传
ACK 报文SACK属性,通过left edge和right edge已经收到区间
快速恢复
发送端收到三次重复ACK之后,发现丢包觉得现网络已经有些拥塞了,会进入快速恢复阶段
发送端如下改变:
拥塞阈值降低为 cwnd 的一半、cwnd 的大小变为拥塞阈值、cwnd 线性增加
结合图片更好理解:
首先慢开始,拥塞窗口买次翻倍直到达到慢启动阈值,进入拥塞避免,拥塞窗口每次加一,遇到超时的情况进入快速重传,拥塞阈值降为拥塞窗口的一半,重新慢启动和拥塞避免,当再收到三个重复的ack时会进入块恢复阶段
参考文章
可能还有一些我参考到的忘记了,我把我记得的都列出来,再次感谢~
- 一百个Chocolate :https://github.com/Chocolate1999
- CavsZhouyou:https://github.com/CavsZhouyou
- 神三元:(建议收藏)TCP协议灵魂之问,巩固你的网路底层基础、(建议收藏)TCP协议灵魂之问,巩固你的网路底层基础
- LinDaiDai_霖呆呆:Shutdown HTTP系列文章
⭐️⭐️ 都看到这了,求一个赞不过分吧 ,能一键三连的话那就更好啦 ❀ ,你的支持是我继续写作的动力
最后再附上我的迟到的新年祝福:祝大家身体健康,天天开心,事事顺心,心想事成,暴富暴富~~