sqlserver千万,sqlserver千万数据查询优化

mysql 如何更好的给一个千万级数据量的表增

例子：

数据表 collect ( id, title ,info ,vtype) 就这4个字段，其中 title 用定长，info 用text, id 是逐渐，vtype是tinyint，vtype是索引。这是一个基本的新闻系统的简单模型。现在往里面填充数据，填充10万篇新闻。

最后collect 为 10万条记录，数据库表占用硬盘1.6G。OK ,看下面这条sql语句：

select id,title from collect limit 1000,10; 很快；基本上0.01秒就OK，再看下面的

select id,title from collect limit 90000,10; 从9万条开始分页，结果？

8-9秒完成，my god 哪出问题了？？？？其实要优化这条数据，网上找得到答案。看下面一条语句:

select id from collect order by id limit 90000,10; 很快，0.04秒就OK。为什么？因为用了id主键做索引当然快。网上的改法是：

select id,title from collect where id=(select id from collect order by id limit 90000,1) limit 10;

这就是用了id做索引的结果。可是问题复杂那么一点点，就完了。看下面的语句

select id from collect where vtype=1 order by id limit 90000,10; 很慢，用了8-9秒！

到了这里我相信很多人会和我一样，有崩溃感觉！vtype 做了索引了啊？怎么会慢呢？vtype做了索引是不错，你直接 select id from collect where vtype=1 limit 1000,10; 是很快的，基本上0.05秒，可是提高90倍，从9万开始，那就是0.05*90=4.5秒的速度了。和测试结果8-9秒到了一个数量级。从这里开始有人提出了分表的思路，这个和discuz 论坛是一样的思路。思路如下：

建一个索引表： t (id,title,vtype) 并设置成定长，然后做分页，分页出结果再到 collect 里面去找info 。 是否可行呢？实验下就知道了。

10万条记录到 t(id,title,vtype) 里，数据表大小20M左右。用

select id from t where vtype=1 order by id limit 90000,10; 很快了。基本上0.1-0.2秒可以跑完。为什么会这样呢？我猜想是因为collect 数据太多，所以分页要跑很长的路。limit 完全和数据表的大小有关的。其实这样做还是全表扫描，只是因为数据量小，只有10万才快。OK，来个疯狂的实验，加到100万条，测试性能。

加了10倍的数据，马上t表就到了200多M，而且是定长。还是刚才的查询语句，时间是0.1-0.2秒完成！分表性能没问题？错！因为我们的limit还是9万，所以快。给个大的，90万开始

select id from t where vtype=1 order by id limit 900000,10; 看看结果，时间是1-2秒！

why 　 分表了时间还是这么长，非常之郁闷！有人说定长会提高limit的性能，开始我也以为，因为一条记录的长度是固定的，mysql 应该可以算出90万的位置才对啊？ 可是我们高估了mysql 的智能，他不是商务数据库，事实证明定长和非定长对limit影响不大？怪不得有人说 discuz到了100万条记录就会很慢，我相信这是真的，这个和数据库设计有关！

难道MySQL 无法突破100万的限制吗？？？到了100万的分页就真的到了极限？？？

答案是： NO !!!! 为什么突破不了100万是因为不会设计mysql造成的。下面介绍非分表法，来个疯狂的测试！一张表搞定100万记录，并且10G 数据库，如何快速分页！

好了，我们的测试又回到 collect表，开始测试结论是： 30万数据，用分表法可行，超过30万他的速度会慢道你无法忍受！当然如果用分表+我这种方法，那是绝对完美的。但是用了我这种方法后，不用分表也可以完美解决！

答案就是：复合索引！有一次设计mysql索引的时候，无意中发现索引名字可以任取，可以选择几个字段进来，这有什么用呢？开始的select id from collect order by id limit 90000,10; 这么快就是因为走了索引，可是如果加了where 就不走索引了。抱着试试看的想法加了 search(vtype,id) 这样的索引。然后测试

select id from collect where vtype=1 limit 90000,10; 非常快！0.04秒完成！

再测试: select id ,title from collect where vtype=1 limit 90000,10; 非常遗憾，8-9秒，没走search索引！

再测试：search(id,vtype)，还是select id 这个语句，也非常遗憾，0.5秒。

综上：如果对于有where 条件，又想走索引用limit的，必须设计一个索引，将where 放第一位，limit用到的主键放第2位，而且只能select 主键！

完美解决了分页问题了。可以快速返回id就有希望优化limit ， 按这样的逻辑，百万级的limit 应该在0.0x秒就可以分完。看来mysql 语句的优化和索引时非常重要的！

好了，回到原题，如何将上面的研究成功快速应用于开发呢？如果用复合查询，我的轻量级框架就没的用了。分页字符串还得自己写，那多麻烦？这里再看一个例子，思路就出来了：

select * from collect where id in (9000,12,50,7000); 竟然 0秒就可以查完！

mygod ，mysql 的索引竟然对于in语句同样有效！看来网上说in无法用索引是错误的！

有了这个结论，就可以很简单的应用于轻量级框架了：

代码如下：

$db=dblink();

$db-pagesize=20;

$sql="select id from collect where vtype=$vtype";

$db-execute($sql);

$strpage=$db-strpage(); //将分页字符串保存在临时变量，方便输出

while($rs=$db-fetch_array()){

$strid.=$rs['id'].',';

}

$strid=substr($strid,0,strlen($strid)-1); //构造出id字符串

$db-pagesize=0; //很关键，在不注销类的情况下，将分页清空，这样只需要用一次数据库连接，不需要再开；

$db-execute("select id,title,url,sTime,gTime,vtype,tag from collect where id in ($strid)");

php while($rs=$db-fetch_array()):

tr

td$amp;amp;$amp;nbsp; php echo $rs['id']; $amp;amp;$lt;/td

td$amp;amp;$amp;nbsp; php echo $rs['url']; $amp;amp;$lt;/td

td$amp;amp;$amp;nbsp; php echo $rs['sTime']; $amp;amp;$lt;/td

td$amp;amp;$amp;nbsp; php echo $rs['gTime']; $amp;amp;$lt;/td

td$amp;amp;$amp;nbsp; php echo $rs['vtype']; $amp;amp;$lt;/td

td$amp;amp;$amp;nbsp;a act=showid= php echo $rs['id']; $amp;quot;$ target="_blank"$amp;amp;$lt; php echo $rs['title']; $amp;amp;$lt;/a$amp;amp;$lt;/td

td$amp;amp;$amp;nbsp; php echo $rs['tag']; $amp;amp;$lt;/td

/tr

php endwhile;

/table

php

echo $strpage;

通过简单的变换，其实思路很简单：1）通过优化索引，找出id，并拼成 "123,90000,12000" 这样的字符串。2）第2次查询找出结果。

小小的索引+一点点的改动就使mysql 可以支持百万甚至千万级的高效分页！

通过这里的例子，我反思了一点：对于大型系统，PHP千万不能用框架，尤其是那种连sql语句都看不到的框架！因为开始对于我的轻量级框架都差点崩溃！只适合小型应用的快速开发，对于ERP,OA，大型网站，数据层包括逻辑层的东西都不能用框架。如果程序员失去了对sql语句的把控，那项目的风险将会成几何级数增加！尤其是用mysql 的时候，mysql 一定需要专业的dba 才可以发挥他的最佳性能。一个索引所造成的性能差别可能是上千倍！

PS: 经过实际测试，到了100万的数据，160万数据，15G表，190M索引，就算走索引，limit都得0.49秒。所以分页最好别让别人看到10万条以后的数据，要不然会很慢！就算用索引。经过这样的优化，mysql到了百万级分页是个极限！但有这样的成绩已经很不错，如果你是用sqlserver肯定卡死！而 160万的数据用 id in (str) 很快，基本还是0秒。如果这样，千万级的数据，mysql应该也很容易应付。

相关问答

Q1: sql如何最快地返回上千万的总记录数？

第一种方法:select * from 表

select @@rowcount as '记录数' -----@@rowcount返回select * from 表 中数据行的数目.

第二种方法:1.在表中加一identity属性列,每增加一条记录,该列值自动加1

最后一条记录的identity属性列值就是总条数

2.最后查询表中最后一条记录的identity属性列的列值就可以知道总条数了.

语句为:

select top 1 identity属性列 from 表 order by identity属性列 desc

Q2: 请问sqlserver如果要能处理千万级的数据，机器硬件要求是什么？

sql server 到底能否处理百万级，千 最近又想起曾经被忽悠过n 次的问题。 刚毕业的时候，很多次去面试的时候被问及sql server 能处理能力， 以及上百万级别的数据的优化问题？我当然是说东又扯西的，说了一大堆方法 我吹你吹了半天后，得到的提问着告诉我的很轻描淡写的答案是：不行， sql server 不行，百万级别还是换oracle 好。 我当时总是很茫然的接受答案。因为我没玩过，我没发言权。(但是我搞 的缘由？是到今日，自己面试别人了，也还是不明白当时那些面试官的心态。) 。。。。。。两年时间过去了。。。。。。 我很有幸在一个小门户（其实也还好，不是那么小了），玩过百万级的数 据了。真是很荣幸还能玩到bbs 库这样的实时操作比较多的库。 当我再一次在面试中被问到sql server 的处理能力的时候，我能很有底 气的告诉他们sql server 能承受百万级别的处理能力，我也实践证明了它能。 这时候面试官总是表现得思维很敏捷，问题又很快出来了，处理千万级别的数 做。 我再次追问面试官给出的答案当然还是无情的否认了sql server。 。。。。。又两年时间过去了。。。。。。 目前又有幸玩门户的bbs，记录是过亿的。每天这过亿记录的表的查询次 数过了千万，我当然现在没有去面试，但是我还是真心的在这里希望不要碰到 问我sql server 处理百亿级，千亿级的数据的性能问题，更不希望告诉我答案 是换oracle。 sql server 我真为它难过。在这里我要为sql server 平反也想在此也问问各 位，目前用sql server 处理数据的级别和对它的看法，当然也可以评论下其他 人对sql server 的看法。

Q3: sqlserver数据库能不能支持千万级别数据

可以的，我每天都在用

SQLSERVER

查大批量数据，其中千万的也有，只不过相比ORACLE在性能上会有些低。

Q4: sqlserver 如何提取一千万条记录

提取。

select * from table ordr by id limit 0,1000000000000；

即可。有条件便行。