搜索引擎与资源供给者之间存在相互依赖的联系，其间搜索引擎需求站长为其供给资源，不然搜索引擎就无法满意用户检索需求；而站长需求经过搜索引擎将自己的 内容推行出去获取更多的受众。spider抓取体系直接触及互联网资源供给者的利益，为了使搜素引擎与站长能够到达双赢，在抓取过程中两边有必要恪守必定的 规范，以便于两边的数据处理及对接。这种过程中恪守的规范也便是日常中咱们所说的一些网络协议。济南seo优化以下简略罗列：

 http协议：超文本传输协议，是互联网上使用最为广泛的一种网络协议，客户端和服务器端恳求和应对的规范。济南seo优化客户端一般状况是指终端用户，服务器端即指网 站。终端用户经过浏览器、蜘蛛等向服务器指定端口发送http恳求。发送http恳求会回来对应的httpheader信息，能够看到包含是否成功、服务 器类型、网页最近更新时刻等内容。

 https协议：实践是加密版http，一种愈加安全的数据传输协议。UA特点：UA即user-agent，是http协议中的一个特点，代表了终端的身份，向服务器端标明我是谁来干嘛，从而服务器端能够依据不同的身份来做出不同的反应成果。

 robots协议：robots.txt是搜索引擎拜访一个网站时要拜访的第一个文件，用以来确认哪些是被答应抓取的哪些是被制止抓取的。 robots.txt有必要放在网站根目录下，且文件名要小写。百度严厉依照robots协议履行，济南seo优化别的，相同支撑网页内容中增加的名为robots的meta标 签，index、follow、nofollow等指令。