• 设为首页
  • 点击收藏
  • 手机APP
    手机扫一扫下载
    华域联盟APP
  • 关注官方公众号
    微信扫一扫关注
    华域联盟公众号
hotWEB访问日志自动化剖析浅谈

1.概略最近经常需求剖析WEB访问日志,从中发现非法央求,然后做相应安全检查,为了便当,所以写了一个日志 详情

百度蜘蛛(Baiduspider+)匍匐返回代码的含义 ...

0
回复
483
查看
[复制链接]
发表于 2017-6-27 20:45:57 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?立即注册 新浪微博登陆

x
6 h. |% q9 Q4 h& B/ p

. m* A( W. a7 B2 y& s) g1 Y( N
031413qzs1ssjjvijk071s.jpg
" @, }0 R5 k4 A0 f& E" N# E

3 Y7 O8 s  U: ^9 ]* S  具有自己的博客或网站的人都希望百度能收录自已发表的文章,特别是对运作网站的站长来说,更是希望百度蜘蛛(Baiduspider)多抓取自己网站的内容,查看效劳器日志时我们会发现如200 0 0 17571等代码,这些代码是什么含义你明白吗?% v7 B/ A( |, a
  下面,以抓取一家网站的访问日志来作为案例:& t+ _. i2 M' V" K' m* z
  Software: Microsoft Internet Information Services 6.07 H, H: G1 I8 G4 H5 ~
  #Version: 1.0( [6 ?6 `# r8 Y& b
  #Date: 2011-05-28 16:12:15
* z$ w" c6 o8 w  #Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status sc-bytes' j" R- O7 Q$ V
  2011-05-28 16:31:41 W3SVC854 116.254.252.22 GET /news/1032.html - 80 - 220.181.108.179 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html) 200 0 0 17571
( Z7 S( |3 m# p$ ]. x! z+ [  留意粗体内容:
& T8 d9 @( r2 O; c; n: J  date表示记载访问日期;% s. I3 q7 o5 P! N+ b
  time访问时间;
5 @; ^( C! v' o" F! T& F3 B" u- j  s-sitename表示你的虚拟主机的代称。  t* v& p2 ]' I, @8 `3 r# k" E- X
  s-ip访问者IP;: b8 e( y  e8 t
  cs-method表示访问办法,常见的有两种,一是GET,就是平常我们翻开一个URL访问的动作,二是POST,提交表单时的动作;3 R" B/ g5 R( z1 X: V
  cs-uri-stem就是访问哪一个文件;! o6 n. M4 y1 w( C! ]& b
  cs-uri-query是指访问地址的附带参数,如asp文件?后面的字符串id=12等等,假定没有参数则用-表示;
7 a& N' F4 K( R" V& T5 _6 h  s-port 访问的端口3 M2 b/ R+ k0 p- s$ j
  cs-username 访问者称号+ r9 T. P0 P( D# ?
  c-ip 来源ip
, g9 P! L4 T0 K. n. C  cs(User-Agent)访问来源;" V$ n+ Q0 T/ d/ @
  sc-status状态,200表示胜利,403表示没有权限,404表示打不到该页面,500表示程序有错;' y  N5 D1 U# u, c6 P' z- |
  sc-substatus 效劳端传送到客户端的字节大小;3 W$ U! y& I7 E( s
  cs–win32-statu客户端传送到效劳端的字节大小;
9 \- M( v6 y# i  t8 L  1**:央求收到,继续处置
/ S" _; @8 f1 }8 ?  2**:操作胜利收到,剖析、接受
, Y, Y9 k$ z; ^  3**:完成此央求必需进一步处置3 q- J, v: @/ Z
  4**:央求包含一个错误语法或不能完成: Y- b+ ~7 }7 p* n1 s- T& U4 C
  5**:效劳器执行一个完好有效央求失败
- V  @! X& @5 m$ Q2 F  100——客户必需继续发出央求" P$ {8 ?* W8 Q3 D+ ]# {- \. n2 e0 @
  101——客户央求效劳器依据央求转换HTTP协议版本
- d+ y& z; N7 u* V; g% [  200——买卖胜利
# ?7 s' U. {! M( g  201——提示知道新文件的URL
/ ?8 Y$ A$ B% U2 y" P, Q, K  M  202——接受和处置、但处置未完成
) {! ~# w0 v# O, h. {  203——返回信息不肯定或不完好
6 L( b2 e% ^- E5 G& P  204——央求收到,但返回信息为空" ]2 J$ v+ }6 F* M2 @" _& d$ t# c. [$ Z
  205——效劳器完成了央求,用户代理必需复位当前曾经阅读过的文件
+ b+ m# ^: h' a0 g2 k! z2 _% j3 f  206——效劳器曾经完成了部分用户的GET央求
' e8 W8 |- m' A- ^2 A) `! F( c7 c9 O  300——央求的资源可在多处得到
4 v* S: [$ a) F; P) E5 @- t  301——删除央求数据
1 e- N: {# G% F6 @  302——在其他地址发现了央求数据
3 c0 v; G% h! O) H: B  303——倡议客户访问其他URL或访问方式
, |0 ~5 f9 s8 O+ d" x- Z  304——客户端曾经执行了GET,但文件未变化
% I" C2 |# P6 ]5 W, _  305——央求的资源必需从效劳器指定的地址得到# Y9 I  z. w& A3 K4 [- P& q
  306——前一版本HTTP中运用的代码,现行版本中不再运用
7 J1 z( m. m  k  307——声明央求的资源暂时性删除  f( P7 S/ O% J+ c. [# A# f
  400——错误央求,如语法错误
0 b+ n7 q* t7 U) b- j( V- z' [  401——央求受权失败
& i3 F  r. O; B( _* Z* b  402——保管有效ChargeTo头响应
. b0 y: _; @* E$ G8 `9 y# I  403——央求不允许+ J; h: E" h) u- `, c  t
  404——没有发现文件、查询或URl
" H" Q0 |) V1 W1 ]0 C  405——用户在Request-Line字段定义的办法不允许1 ^( j; T7 H8 Y
  406——依据用户发送的Accept拖,央求资源不可访问
$ M. K$ o% G: }: U  407——相似401,用户必需首先在代理效劳器上得到受权
+ `; X" \# W$ P- r& Y  408——客户端没有在用户指定的饿时间内完成央求
6 L5 v; k: f0 Q! J* |" E: o" ~  409——对当前资源状态,央求不能完成
, P0 y/ K; @4 t1 |* i$ {  410——效劳器上不再有此资源且无进一步的参考地址+ S6 v8 V; u, Y* Y6 S- a8 E
  411——效劳器拒绝用户定义的Content-Length属性央求
5 W2 _! p- l" c- N  412——一个或多个央求头字段在当前央求中错误
9 i1 D* E- }  i2 o( Y) \  413——央求的资源大于效劳器允许的大小+ p3 ~, W7 k; Y; o! V' W9 B
  414——央求的资源URL擅长效劳器允许的长度3 N7 S6 P  C5 [9 y
  415——央求资源不支持央求项目格式
( n* b( w# e7 E4 T4 p3 c1 _  416——央求中包含Range央求头字段,在当前央求资源范围内没有range指示值,央求也不包含If-Range央求头字段
) h+ Q( d8 E# ?& k  417——效劳器不满足央求Expect头字段指定的希冀值,假定是代理效劳器,可能是下一级效劳器不能满足央求
5 g2 B/ e& A- O# d( u  L  500——效劳器产生内部错误
3 O9 [- a! u9 [3 @4 Y  U  501——效劳器不支持央求的函数
( e- O" g6 [) z. j( h3 n2 h( [  502——效劳器暂时不可用,有时是为了避免发作系统过载% _4 }& z6 x) q% P2 q$ f$ H, }; H
  503——效劳器过载或暂停维修+ `9 F$ l5 c# L8 @
  504——关口过载,效劳器运用另一个关口或效劳来响应用户,等候时间设定值较长
- u! e; N8 R0 |  505——效劳器不支持或拒绝支央求头中指定的HTTP版本, `) E. u% p. Q7 r/ [2 \. d; l' E
  上以这些代码,有些或许你历来都没有见到,那是好事,呵呵,见到了阐明网站有问题了,那就要对号入座,好好剖析一下在日常的操作中有什么不当的中央,及时矫正,毕竟,网页只需被搜索引擎收录并放出来了,他人才干看到。
, ^2 i& A! U7 C9 J 



上一篇:史上最全的百度索引量降落缘由剖析及处置计划
下一篇:华域联盟 2017年6月28日签到记录帖

扫描微信二维码

关注华域联盟公众号

随时了解更新最新资讯

在线客服(服务时间 9:00~18:00)

在线QQ客服

电邮:admin@cnhackhy.com

Powered by 华域联盟! © 2015-2019

备案号:蒙ICP备17000689号-2蒙公网安备 15062202000105号中国互联网举报中心 Free counters!