豌豆

超文本传输安全协议 (HTTPS, Hypertext Transfer Protocol Secure) 常称为HTTP over TLS，HTTP over SSL或HTTP Secure, 是一种使用计算器网络进行安全通信的传输协议。HTTPS经由HTTP进行通信，但利用SSL/TLS来加密数据包。HTTPS开发的主要目的，是提供对网站服务器的身份认证，保护交换数据的隐私与完整性。这个协议由网景公司（Netscape）在1994年首次提出，随后扩展到互联网上。
传输层安全性协议 (TLS, Transport Layer Security) ，及其前身 安全套接层(SSL,Secure Sockets Layer)是一种安全协议，目的是为互联网通信，提供安全及数据完整性保障。网景公司推出HTTPS协议时，以SSL进行加密，这是SSL的起源。IETF将SSL进行标准化，1999年公布第一版TLS标准文件。随后又公布RFC 5246 （2008年8月）与 RFC 6176 （2011年3月）。TLS/SSL 不仅为浏览器提供支持，在邮箱、即时通信、VoIP、网络传真等应用程序中也得到广泛应用。
由此可知，HTTPS 是在 SSL/TLS 之上承载 HTTP 。与HTTP 不同，HTTPS 使用 https:// 做为URL前缀， 默认端口为 443.
为方便，后面将 SSL/TLS 简写为 TLS.

协议的层次

TLS 协议为由 TLS记录协议(TLS record protocol) 与 TLS握手协议(TLS handshake protocol) 这两层协议叠加而成。记录协议负责进行加密，握手协议负责进行加密之外的其它操作。

1. TLS记录协议 位于握手协议的下层，负责对消息进行加密。它使用了对称加密和消息认证，但具体的算法和共享密钥则是通过握手协议在服务端和客户端之间协商决定的。
2. TLS握手协议 分为4个子协议
   • 握手协议 负责在客户端与服务端之间协商决定密码算法和共享密钥。基于证书的认证操作也是在这个协议中完成。在握手协商一致后，双方会互发信号来切换密码。
   • 密码规格变更协议 负责向通信对象传达密码变更的信号。
   • 警告协议 负责在发生错误时将错误信息传递给对方。如果没有发生错误，接下来会使用应用数据协议进行通信。
   • 应用数据协议 负责将TLS 上面承载的应用数据传达给通信对象

继续阅读

SOCKS 是一种网络传输协议，主要用于客户端与外网服务器之间通讯的中间代理传递 。SOCKS是 "SOCKetS" 的缩写。目前其最新的版本是5，相比于前一个版本，其新增了 IPv6, UDP 及 验证。
根据OSI模型，SOCKS是会话层的协议，位于表示层与传输层之间。

协议详情

一个 socks5 连接的过程主要有两部分，协商与请求,如果协商后需要验证，则还包含验证的部分。

(1) 认证方法协商

客户端向服务端发出连接认证方法协商请求

• VER 是 SOCKS 的版本，此处是 0x05
• NMETHODS 是 METHODS 部分数据的长度，即客户端支持的认证方式的 count
• METHODS 是客户端支持的认证方式列表，每个方法占一个字节
  • 0x00 不需要认证
  • 0x01 GSSAPI
  • 0x02 用户名密码认证
  • 0x03 - 0x7F 由 IANA分配(保留)
  • 0x80 - 0xFE 私人方法(保留)
  • 0xFF 无可接受的方法

服务器回应协商，从客户端提供的方法中选择一个并通知客户端：

• VER 是SOCKS的版本号，此处应为 0x05
• METHOD 是服务端选中的方法。如果不支持客户端提供的所有方法，则返回 0xFF

(2) 认证

继续阅读

TCP(TRANSMISSION CONTROL PROTOCOL，即传输控制协议)

是当今网络中使用得最为广泛的协议。与 UDP不同，TCP 提供了一种 面向连接(connection-oriented) 的、可靠的字节流服务。"面向连接",是指使用 TCP 的两个应用程序 必须在它们可以交换数据之前，通过相互联系建立起一个 TCP 连接。建立起连接的两端称为两个 端点(endpoint) 。因为 TCP 是面向连接的，所以像广播和组播这样的概念在 TCP 中是不存在的。 TCP 提供了流的概念，应用程序可以将任意大小的数据交给 TCP而不用关心如何发送。如，一个应用程序在一端先后写入 10 个字节、20个字节、50个字节的数据，连接的另一端的应用程序是不需要关心这个过程的，应用程序可以选择自己读取数据流的大小，如一次读20字段分4次读取，也可以一次读入80个字节。

一个 TCP 块包含了 TCP头和应用程序数据，称之为 报文段(segment) 。TCP 是依赖于 IP 协议的，TCP 必须将报文段转换成一个 IP 可以携带的分组，这被称为一个 组包(packetizition)

如图，显示了 TCP 在 IP 数据报中的封装，以及 TCP 头部的结构。其中，着色部分用于与该报文的发送方关联的相反方向上的数据流。

• 端口号 每个TCP 头包含了源和目标的端口号，这两个值与IP头部的源和目标IP地址一起组成了唯一标识。一个IP与一个端口的组合被你为一个 端点(endpoint) 或一个 套接字(Socket) ,每一个TCP连接由一对套接字唯一标识。
• 序列号 字段标识了TCP发送端到接收端的数据流的字节数，代表着该报文段的数据中的第一个字节。它是一个32位无符号数，到达 2³²-1后再循环到0. 使用序列号，TCP的接收端可以丢弃重复的报文，并归整以杂乱次序到达的报文。TCP接收到报文的顺序是不可控的，然而TCP是一种流协议，它不能向程序程序提供顺序错乱的数据，因此，TCP接收端在向上层提供数据时，会等待较小序列号的报文，并对报文进行排序。
• 确认号 可以认为，TCP 发送的数据的每一个字节都已被编号。当TCP接收到另一端发送的数据时，它会发送一个确认。但这个确认可能不会立即发出。当接收方向发送方确认接收时，确认号表示发送言期望收到的下一个报文的序列号。所以确认号应该为 序列号 + 收到的数据的字节数据 + 1 。确认号字段只有在ACK字段启用后才有效。TCP使用确认是积累的，可以认为，一个确认号 N 表示 N-1 个字节已经被成功接收。
• 头部长度 字段给出了头部的长度，以32位字为单位。该字段只有4位，那么它能表示的最大头部长度为 60 字节。((2^{4}-1) * 32 / 8)。即一个TCP报文的头部长度的范围为 20 ~ 60 字节。
• 窗口大小 字段用来控制流量。该字段以字节为单位，因为它是 16 位的，故限制了窗口大小为 65535 字节，从而限制了 TCP 的吞吐性能。
• TCP校验和 字段由发送方计算和保存，由接收方校验。它用于检测传送过程中的比特差错。如果一个报文的校验和无效，那么TCP会丢弃它而不会返回任何确认信息。然而TCP可能会对一个已经确认过的报文再次确认，以帮助发送方计算它的拥塞控制。
• 紧急指针 字段只有在URG字段设置时才有效。它表示从报文的序列号开始的一个 正偏移 ，用以产生紧急数据的字段一个字段的序列号。
• 选项 是可变的。最常见的选项是 “最大段大小” 选项(MSS)，连接的每一个端点一般在它发送的第一个报文上指定该选项(即设置SYN位字段的那个报文)，指定该选项的发送者在相反方向上希望接收到的报文段的最大值。
• 标识位
  • CWR: 拥塞窗口减(发送方降低它的发送速率)
  • ECE: ECN 回显(发送方接收到了一个更早的拥塞报告)
  • URG: 紧急(紧急指针字段有效)
  • ACK: 确认(确认号字段有效)
  • PSH: 推送(接收方应该尽快给应用程序传送这个数据 —然而没有被可靠实现或用到)
  • RST: 重置连接(连接取消，经常是因为错误)
  • SYN: 用于初始化一个连接的同步序列号
  • FIN: 结束向对方发送数据

当TCP发送一组报文段时，通常会设置一个重传计时器，等待对方确认接收。当对方的确认报文到达时，该计时器会被更新，如果确认没有及时到达，这个报文就会被重传。 TCP提供了一种可靠、面向连接、字节流、传输层的服务。在接下来，我们将对TCP的细节进行研究。

概述

HTTP(HyperText Transfer Protocal)超文本传输协议， 是一个基于请求与响应模式的、无状态的应用层协议。它是 WEB 上应用最广泛的协议。它一般基于 TCP 的连接方式。其主要特点有：

• 支持 C/S 通信模式
• 简单快速。HTTP 协议简单，使得 HTTP 服务器的程序规模小，因而通信快。
• 灵活。HTTP 协议允许客户端和服务端传输任意类型任意格式的数据。不同的类型由 Content-Tyoe 标记
• 面向无连接。无连接是指每次建立的连接只处理一个文请求。
• 无状态。无状态是指协议对于事务处理没有记忆能力。如果后续处理需要前面的信息，则它必须重传。这样可有导致每次连接传送的数据量增大。

HTTP URL

URL(Uniform Resource Locator) 统一资源定位符，它包含了查找某个资源的信息。其格式如下：

http 指定协议的名称，表示要通过 HTTP 协议来定位网络资源。 host 是一个合法的网络域名 或 IP 地址。 port 指定使用的网络端口，缺省值为 80 。 abs_path 指定请求的资源的 URI .如果 URL 中没有给出 URI, 则必须以 "/" 符号结束(这个工作通常由浏览器完成)。

连接

浏览器与服务器联系的最常用方法是与服务器的 80 端口建立 TCP 连接。使用 TCP 的意义在于，浏览器和服务器都不需要担心如何处理长消息、可靠性与拥塞控制，这些事将由 TCP 来处理。 在早期的 HTTP1.0 中，连接建立起来后会在一个请求和一个响应后立即释放。因为那时的 HTML 很简单，基本只有文本，使用这种模式就够了。但是随着时代的发展，HTML里包含了太多的东西，使用单独的 TCP 来传递每个资源代价太大。于是 HTTP1.1诞生了，它支持持续连接(persistent connection),它可以在一个 TCP 连接上进行多次请求响应，还可以发送流水线请求。这种做法减少建立多个 TCP 连接所用的时间，减少服务器的空闲时间，提高了性能。

HTTP 协议的请求

每个 HTTP Request (请求) 由一行或多行 ASCII 文本组成。其中第一行的第一个词为请求方法的名称，然后是请求资源的 URI,再后是协议的版本。这几个部分使用空格分开：

Method 为请求方法，必须为大写。 Request-URI 是一个统一资源标识符。  HTTP-Version 表示请求的 HTTP 协议版本。 CRLF 表示换行符。 例如：

常用的请求方法如下： 继续阅读