• 设为首页
  • 点击收藏
  • 手机APP
    手机扫一扫下载
    华域联盟APP
  • 关注官方公众号
    微信扫一扫关注
    华域联盟公众号
hotWEB访问日志自动化剖析浅谈

1.概略最近经常需求剖析WEB访问日志,从中发现非法央求,然后做相应安全检查,为了便当,所以写了一个日志 详情

关于如何形成一个好的数据库设计

0
回复
118
查看
[复制链接]
发表于 2018-1-20 17:06:14 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?立即注册 新浪微博登陆

x
  如果你正在负责一个基于SQL Server的项目,或者你刚刚接触SQL Server,你都有可能要面临一些数据库性能的问题,这篇文章会为你提供一些有用的指导(其中大多数也可以用于其它的DBMS)。在这里,我不打算介绍使用SQL Server的窍门,也不能提供一个包治百病的方案,我所做的是总结一些经验----关于如何形成一个好的设计。
  i8 S, {' y% e        20160106192339661301.JPG
) ^; ^% x8 ?/ q/ a' |$ r          一、了解你用的工具
7 U. C9 A( `% `/ g7 k/ F" R          不要轻视这一点,这是我在这篇文章中讲述的最关键的一条。也许你也看到有很多的SQL Server程序员没有掌握全部的T-SQL命令和SQL Server提供的那些有用的工具5 L9 C: y: m% \' H" ]- u
          “什么?我要浪费一个月的时间来学习那些我永远也不会用到的SQL命令???”,你也许会这样说。对的,你不需要这样做。但是你应该用一个周末浏览所有的 T-SQL命令。在这里,你的任务是了解,将来,当你设计一个查询时,你会记起来:“对了,这里有一个命令可以完全实现我需要的功能”,于是,到MSDN 查看这个命令的确切语法。
3 k0 c  @0 c2 J/ d          二、不要使用游标/ u9 R6 b$ C  g, j2 g
          让我再重复一遍:不要使用游标。如果你想破坏整个系统的性能的话,它们倒是你最有效的首选办法。大多数的初学者都使用游标,而没有意识到它们对性能造成的影响。它们占用内存,还用它们那些不可思议的方式锁定表,另外,它们简直就像蜗牛。而最糟糕的是,它们可以使你的DBA所能做的一切性能优化等于没做。不知你是否知道每执行一次FETCH就等于执行一次SELECT命令?这意味着如果你的游标有10000条记录,它将执行10000次SELECT!如果你使用一组SELECT、UPDATE或者DELETE来完成相应的工作,那将有效率的多。
3 ]6 C8 q* ~( M( ~1 s& `' Y7 g          初学者一般认为使用游标是一种比较熟悉和舒适的编程方式,可很不幸,这会导致糟糕的性能。显然,SQL的总体目的是你要实现什么,而不是怎样实现。
- M" w8 T5 O% c% E( i5 g4 m6 T6 E" `          我曾经用T-SQL重写了一个基于游标的存储过程,那个表只有100,000条记录,原来的存储过程用了40分钟才执行完毕,而新的存储过程只用了10秒钟。在这里,我想你应该可以看到一个不称职的程序员究竟在干了什么!!!
  d- w7 q! [* z          我们可以写一个小程序来取得和处理数据并且更新数据库,这样做有时会更有效。记住:对于循环,T-SQL无能为力。1 J/ X  b2 F" V; e. \
          我再重新提醒一下:使用游标没有好处。除了DBA的工作外,我从来没有看到过使用游标可以有效的完成任何工作。3 l$ x) A) ~; E1 P
          三、规范化你的数据表  u$ o1 Q7 n! ^- w
          为什么不规范化数据库?大概有两个借口:出于性能的考虑和纯粹因为懒惰。至于第二点,你迟早得为此付出代价。而关于性能的问题,你不需要优化根本就不慢的东西。我经常看到一些程序员“反规范化”数据库,他们的理由是“原来的设计太慢了”,可结果却常常是他们让系统更慢了。DBMS被设计用来处理规范数据库 的,因此,记住:按照规范化的要求设计数据库。
; I8 D3 r+ x9 k. d& K' f          四、不要使用SELECT *
  S& s' n: e9 B- k! O) q4 B+ M          这点不太容易做到,我太了解了,因为我自己就经常这样干。可是,如果在SELECT中指定你所需要的列,那将会带来以下的好处:
: Z6 i) S" J7 U. J8 ^+ u          1 减少内存耗费和网络的带宽# r0 D* s, y* i7 ]- g0 D
          2 你可以得到更安全的设计
8 y. L' n  ]% @& f( ^3 l2 v. G          3 给查询优化器机会从索引读取所有需要的列1 c. K0 G. i$ g! f5 Q
          五、了解你将要对数据进行的操作# q$ M7 Q8 T3 ^6 B
          为你的数据库创建一个健壮的索引,那可是功德一件。可要做到这一点简直就是一门艺术。每当你为一个表添加一个索引,SELECT会更快了,可INSERT 和DELETE却大大的变慢了,因为创建了维护索引需要许多额外的工作。显然,这里问题的关键是:你要对这张表进行什么样的操作。这个问题不太好把握,特别是涉及DELETE和UPDATE时,因为这些语句经常在WHERE部分包含SELECT命令。
/ }! ^, u1 @: t; n" G          六、不要给“性别”列创建索引
. V# z0 d0 O0 X6 Y! m0 Z3 a+ i, q          首先,我们必须了解索引是如何加速对表的访问的。你可以将索引理解为基于一定的标准上对表进行划分的一种方式。如果你给类似于“性别”这样的列创建了一个 索引,你仅仅是将表划分为两部分:男和女。你在处理一个有1,000,000条记录的表,这样的划分有什么意义?记住:维护索引是比较费时的。当你设计索 引时,请遵循这样的规则:根据列可能包含不同内容的数目从多到少排列,比如:姓名+省份+性别。
# O' `. j! ]# j0 I' R% |! N          七、使用事务5 F8 N( L% }; b6 _6 n8 J
          请使用事务,特别是当查询比较耗时。如果系统出现问题,这样做会救你一命的。一般有些经验的程序员都有体会-----你经常会碰到一些不可预料的情况会导致存储过程崩溃。
3 u# ]0 P, m# \          八、小心死锁 5 M# D3 h: Y! x4 p# \1 G3 q
          按照一定的次序来访问你的表。如果你先锁住表A,再锁住表B,那么在所有的存储过程中都要按照这个顺序来锁定它们。如果你(不经意的)某个存储过程中先锁定表B,再锁定表A,这可能就会导致一个死锁。如果锁定顺序没有被预先详细的设计好,死锁是不太容易被发现的。4 j7 R6 X! X* O" k- U
          九、不要打开大的数据集3 e8 d$ Q' _0 |. K! F5 k  }" j
          一个经常被提出的问题是:我怎样才能迅速的将100000条记录添加到ComboBox中?这是不对的,你不能也不需要这样做。很简单,你的用户要浏览 100000条记录才能找到需要的记录,他一定会诅咒你的。在这里,你需要的是一个更好的UI,你需要为你的用户显示不超过100或200条记录。( K+ r7 J; U; d6 K2 y. ^6 S  G
          十、不要使用服务器端游标5 r- S) _5 ]( r& Q
          与服务器端游标比起来,客户端游标可以减少服务器和网络的系统开销,并且还减少锁定时间。" T4 o: k4 c1 A6 c$ D4 n1 P: N5 U
          十一、使用参数查询
& z2 y5 s" i6 R" q3 r0 T          有时,我在CSDN技术论坛看到类似这样的问题:“SELECT * FROM a WHERE a.id='A'B,因为单引号查询发生异常,我该怎么办?”,而普遍的回答是:用两个单引号代替单引号。这是错误的。这样治标不治本,因为你还会在其他一些字符上遇到这样的问题,更何况这样会导致严重的bug,除此以外,这样做还会使SQL Server的缓冲系统无法发挥应有的作用。使用参数查询,釜底抽薪,这些问题统统不存在了。4 \' w' y3 i/ u3 y5 g" W: u1 }
          十二、在程序编码时使用大数据量的数据库9 I: ?* ~9 L% w. d1 R' P1 x
          程序员在开发中使用的测试数据库一般数据量都不大,可经常的是最终用户的数据量都很大。我们通常的做法是不对的,原因很简单:现在硬盘不是很贵,可为什么性能问题却要等到已经无可挽回的时候才被注意呢?
' d& l' c! I5 Y4 ^  X          十三、不要使用INSERT导入大批的数据0 r/ ]! k( Y; t1 p  S  J
          请不要这样做,除非那是必须的。使用UTS或者BCP,这样你可以一举而兼得灵活性和速度。
/ s1 h4 R7 H/ C; z" s  H8 O2 z          十四、注意超时问题
" h* S1 N( N; C5 J# y/ h          查询数据库时,一般数据库的缺省都比较小,比如15秒或者30秒。而有些查询运行时间要比这长,特别是当数据库的数据量不断变大时。/ O( t4 b* p( p( t3 x
          十五、不要忽略同时修改同一记录的问题
- J* S2 D/ f, }6 t# }  {9 r% E          有时候,两个用户会同时修改同一记录,这样,后一个修改者修改了前一个修改者的操作,某些更新就会丢失。处理这种情况不是很难:创建一个timestamp字段,在写入前检查它,如果允许,就合并修改,如果存在冲突,提示用户。
6 K4 |6 W* f9 m+ m/ d- O* D          十六、在细节表中插入纪录时,不要在主表执行SELECT MAX(ID)
( X6 A) @* Y' e0 S. N          这是一个普遍的错误,当两个用户在同一时间插入数据时,这会导致错误。你可以使用SCOPE_IDENTITY,IDENT_CURRENT和IDENTITY。如果可能,不要使用IDENTITY,因为在有触发器的情况下,它会引起一些问题(详见这里的讨论)。
5 R8 L3 [9 H, S" _" Z- H, s) w( S/ ~          十七、避免将列设为NULLable
0 s3 U  o, c4 M          如果可能的话,你应该避免将列设为NULLable。系统会为NULLable列的每一行分配一个额外的字节,查询时会带来更多的系统开销。另外,将列设为NULLable使编码变得复杂,因为每一次访问这些列时都必须先进行检查。- F; t0 [+ R4 {- G, {  z7 o
          我并不是说NULLS是麻烦的根源,尽管有些人这样认为。我认为如果你的业务规则中允许“空数据”,那么,将列设为NULLable有时会发挥很好的作用,但是,如果在类似下面的情况中使用NULLable,那简直就是自讨苦吃。
  G+ J& g7 r# D9 S6 D2 e# z( R- d0 c  W" _          CustomerName1% }2 d$ ~/ y3 R0 Y- U3 G* Q' L
          CustomerAddress1
, H: n( y) f) a* E$ x; P/ a          CustomerEmail1; h" d/ z3 o, ^5 P/ v; c5 y
          CustomerName26 a/ V4 ]& Z5 [+ W4 i$ i
          CustomerAddress2
9 O5 o/ {: l! p5 u/ k          CustomerEmail3
+ o4 Y/ `- B2 R  [7 b          CustomerName1
/ {, Z  ]1 l5 d) H+ |          CustomerAddress2
; k) q! Y4 d% X  s; B$ {          CustomerEmail30 Z5 v9 Q2 c. p) f) ^+ }
          如果出现这种情况,你需要规范化你的表了。
0 i: x* x& B  s. T7 Q3 y3 S, U  w          十八、尽量不要使用TEXT数据类型
) d5 a2 [! D4 b6 l6 w, A8 C          除非你使用TEXT处理一个很大的数据,否则不要使用它。因为它不易于查询,速度慢,用的不好还会浪费大量的空间。一般的,VARCHAR可以更好的处理你的数据。
/ o0 N* d; O/ ^: T% b          十九、尽量不要使用临时表
; H: P# f) I- Y  k          尽量不要使用临时表,除非你必须这样做。一般使用子查询可以代替临时表。使用临时表会带来系统开销,如果你是用COM+进行编程,它还会给你带来很大的麻 烦,因为COM+使用数据库连接池而临时表却自始至终都存在。SQL Server提供了一些替代方案,比如Table数据类型。. a1 J- }# ^8 C) E" K2 m6 C! {
          二十、学会分析查询
1 d3 ^( o. k$ r* k5 Y# b          SQL Server查询分析器是你的好伙伴,通过它你可以了解查询和索引是如何影响性能的。
! F4 ^. g7 u# t4 d4 H# G9 U3 v$ ~          二十一、使用参照完整性6 m" X4 S. C4 X" F3 ]+ x- S
          定义主健、唯一性约束和外键,这样做可以节约大量的时间。



上一篇:关于 NoSQL 数据库你应该了解的 10 件事
下一篇:如何将 JSON, Text, XML, CSV 数据文件导入 MySQL

扫描微信二维码

关注华域联盟公众号

随时了解更新最新资讯

在线客服(服务时间 9:00~18:00)

在线QQ客服

电邮:admin@cnhackhy.com

Powered by 华域联盟! © 2015-2019

备案号:蒙ICP备17000689号-2蒙公网安备 15062202000105号中国互联网举报中心 Free counters!