正文

分页查询不知你是否真正的懂和PHP的正则的应用和一些性能优化

IP云
IP云V管理员/6 阅读
09/13
提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

一、不废话太多  直接进入例子。

1  问题：

有一张收藏表，里面存储的是用户和图书ID。数据量为1亿。现在要求分页获取所有用户ID（不重复），写下你的sql语句。
 
表结构大致如下：
          CREATE TABLE 收藏表(
             `id` bigint(20) unsigned NOT NULL auto_increment COMMENT 'primary key',
             `uid` bigint(20) unsigned NOT NULL default 0 COMMENT 'uid',<br>  `status` tinyint(3) unsigned NOT NULL default 0 COMMENT 'status',
             `book_id` bigint(20) unsigned NOT NULL default 0 COMMENT 'book Id',
             `create_time` int(11) unsigned not null default 0 COMMENT 'create time',
             PRIMARY KEY (`id`),
             UNIQUE KEY `uid_book_id` (`uid`, `book_id`),<br> KEY `uid_status` (`uid`, `status`)
          )ENGINED=Innodb Auto_increment=1 default charset=gbk COMMENT '用户收藏信息';
 
2   有三种给出的分页查询的方法：

最容易想到的第一种分页语句是（这也是我们最容易想到的语句）：

1
2
select distinct uid from 收藏表 order by uid desc limit 0, 10;
select distinct uid from 收藏表 order by uid desc limit 11, 10;

再高级点语句，第二种（$last_min_uid表示上一次读到的最后一个uid）：

1
2
select distinct uid from 收藏表 order by uid desc limit 10;
select distinct uid from 收藏表 where uid < $last_min_uid order by uid desc limit 10;

最高级的方式

                                          1  select uid from 收藏表 group by uid order by uid desc limit 10;
                                          2  select uid from 收藏表 group by uid having uid < $last_min_uid order by uid desc limit 10;
 
3   我们来分析一下：

以上三种方式都可以实现分页获取到用户ID列表，那么区别是什么？我现在就把每一种跟大家分析下。

第一种在业务场景中，会出现丢数据的情况。——这是比较严重的情况，不予采纳。

具体的业务场景是这样的：当你读取第5页的时候，前四页的用户id列表中，假如有一页的用户ID从库中删除掉，那么你这时读到的第5页(limit 51, 10)，就是原来的第6页，你会把1页的用户ID丢失掉。

第二种的第二条语句，通过explain分析，实际并没有命中唯一索引，而只是命中了一般索引，数据查询范围在7百万级别，故explain建议我们使用group by。——这个查询会有严重的性能问题。

+----+--------------+---------------+-------+-------------------------------------------------------------+-------------+----------+-------+------------+------------------------------------------------------------------------+
| id   | select_type | table           | type  | possible_keys                                                      | key           | key_len | ref     | rows        | Extra                                                                               |
+----+--------------+---------------+-------+-------------------------------------------------------------+---------------------+---------+------+---------+---------------------------------------------------------------------+
| 1    | SIMPLE      | ubook_room | range | uid_book_id                                                       | uid_status  | 4          | NULL | 7066423  | Using where; Using index for group-by; Using temporary; Using filesort | 
+----+--------------+---------------+-------+-------------------------------------------------------------+-------------+----------+-------+------------+------------------------------------------------------------------------+

第三种explain分析，数据查询范围在12万级别（跟第二种相差一个数量级），查询性能高。

+----+---------------+------------+-------+-----------------+-----------------+---------+----------+----------+-------------+
| id   | select_type  | table       | type  | possible_keys  | key               | key_len | ref       | rows      | Extra         |
+----+---------------+------------+-------+-----------------+-----------------+---------+----------+----------+-------------+
| 1    | SIMPLE       | 收藏表      | index | NULL             | uid_book_id   | 12         | NULL  | 121719   | Using index | 
+----+---------------+------------+-------+-----------------+-----------------+---------+----------+----------+-------------+

二、 PHP的正则：

正则表达式相信大家在很多种开发语言中都见到过，像javascript,java,php中。

  需要知道的术语——下面的术语你知道多少?
 
    Δ  定界符
    Δ  字符域
    Δ  修饰符
    Δ  限定符
    Δ  脱字符
    Δ  通配符(正向预查，反向预查)
    Δ  反向引用
    Δ  惰性匹配
    Δ  注释
    Δ  零字符宽
 
  定位
 
       我们什么时候使用正则表达式呢？不是所有的字符操作都用正则就好了，php在某些方面用正则反而影响效率。当我们遇到复杂文本数据的解析时候，用正则是比较好的选择。
 
  优点
 
      正则表达式在处理复杂字符操作的时候，可以提高工作效率，也在一定程度节省你的代码量。
 
  缺点
 
       我们在使用正则表达式的时候，复杂的正则表达式会加大代码的复杂度，让人很难理解。所以我们有的时候需要在正则表达式内部添加注释。
 
  通用模式
 
 ¤ 定界符，通常使用 "/"做为定界符开始和结束,也可以使用"#"。
什么时候使用"#"呢?一般是在你的字符串中有很多"/"字符的时候，因为正则的时候这种字符需要转义，比如uri。
     使用"/"定界符的代码如下.
$regex = '/^http:\/\/([\w.]+)\/([\w]+)\/([\w]+)\.html$/i';
$str = 'http://www.youku.com/show_page/id_ABCDEFG.html';
$matches = array();
 
if(preg_match($regex, $str, $matches)){
    var_dump($matches);
}
 
echo "\n";

preg_match中的$matches[0]将包含与整个模式匹配的字符串。

使用"#"定界符的代码如下.这个时候对"/"就不转义!

$regex = '#^http://([\w.]+)/([\w]+)/([\w]+)\.html$#i';
$str = 'http://www.youku.com/show_page/id_ABCDEFG.html';
$matches = array();
 
if(preg_match($regex, $str, $matches)){
    var_dump($matches);
}
 
echo "\n";

¤ 修饰符:用于改变正则表达式的行为。

我们看到的('/^http:\/\/([\w.]+)\/([\w]+)\/([\w]+)\.html/i')中的最后一个"i"就是修饰符,表示忽略大小写，还有一个我们经常用到的是"x"表示忽略空格。

贡献代码:

$regex = '/HELLO/';
$str = 'hello word';
$matches = array();
 
if(preg_match($regex, $str, $matches)){
    echo 'No i:Valid Successful!',"\n";
}
 
if(preg_match($regex.'i', $str, $matches)){
    echo 'YES i:Valid Successful!',"\n";
}

¤ 字符域:[\w]用方括号扩起来的部分就是字符域。

¤ 限定符:如[\w]{3,5}或者[\w]*或者[\w]+这些[\w]后面的符号都表示限定符。现介绍具体意义。

{3,5}表示3到5个字符。{3,}超过3个字符，{,5}最多5个，{3}三个字符。

* 表示0到多个

+ 表示1到多个。

¤ 脱字符号

^:

> 放在字符域(如:[^\w])中表示否定(不包括的意思)——“反向选择”

>  放在表达式之前，表示以当前这个字符开始。(/^n/i,表示以n开头)。

注意，我们经常管"\"叫"跳脱字符"。用于转义一些特殊符号，如".","/"

通配符(lookarounds):断言某些字符串中某些字符的存在与否！
 
lookarounds分两种:lookaheads(正向预查 ?=)和lookbehinds(反向预查?<=)。
> 格式:
正向预查:(?=) 相对应的 (?!)表示否定意思
反向预查:(?<=) 相对应的 (?<!)表示否定意思
前后紧跟字符
$regex = '/(?<=c)d(?=e)/';  /* d 前面紧跟c, d 后面紧跟e*/
$str = 'abcdefgk';
$matches = array();
 
if(preg_match($regex, $str, $matches)){
    var_dump($matches);
}
 
echo "\n";

否定意义:

$regex = '/(?<!c)d(?!e)/';  /* d 前面不紧跟c, d 后面不紧跟e*/
$str = 'abcdefgk';
$matches = array();
 
if(preg_match($regex, $str, $matches)){
    var_dump($matches);
}
 
echo "\n";
>字符宽度:零
验证零字符代码
$regex = '/HE(?=L)LO/i';
$str = 'HELLO';
$matches = array();
 
if(preg_match($regex, $str, $matches)){
    var_dump($matches);
}
 
echo "\n";

打印不出结果！

$regex = '/HE(?=L)LLO/i';
$str = 'HELLO';
$matches = array();
 
if(preg_match($regex, $str, $matches)){
    var_dump($matches);
}
 
echo "\n";

能打印出结果!

说明:(?=L)意思是HE后面紧跟一个L字符。但是(?=L)本身不占字符，要与(L)区分，（L）本身占一个字符。

 
捕获数据
 
没有指明类型而进行的分组,将会被获取,供以后使用。
> 指明类型指的是通配符。所以只有圆括号起始位置没有问号的才能被捕捉。
> 在同一个表达式内的引用叫做反向引用。
> 调用格式: \编号(如\1)。
$regex = '/^(Chuanshanjia)[\w\s!]+\1$/';   
$str = 'Chuanshanjia thank Chuanshanjia';
$matches = array();
 
if(preg_match($regex, $str, $matches)){
    var_dump($matches);
}
 
echo "\n";
> 避免捕获数据
   格式:(?:pattern)
   优点:将使有效反向引用数量保持在最小，代码更加、清楚。
 
>命名捕获组
   格式:(?P<组名>) 调用方式 (?P=组名)
$regex = '/(?P<author>chuanshanjia)[\s]Is[\s](?P=author)/i';
$str = 'author:chuanshanjia Is chuanshanjia';
$matches = array();
 
if(preg_match($regex, $str, $matches)){
    var_dump($matches);
}
 
echo "\n";

运行结果

  

惰性匹配(记住：会进行两部操作,请看下面的原理部分)

格式:限定符?

原理:"?"：如果前面有限定符，会使用最小的数据。如“*”会取0个，而“+”会取1个，如过是{3,5}会取3个。

先看下面的两个代码:

代码1.

<?php
$regex = '/heL*/i';
$str = 'heLLLLLLLLLLLLLLLL';
if(preg_match($regex, $str, $matches)){
    var_dump($matches);
}
 
echo "\n";

结果1.

代码2

<?php
$regex = '/heL*?/i';
$str = 'heLLLLLLLLLLLLLLLL';
if(preg_match($regex, $str, $matches)){
    var_dump($matches);
}
 
echo "\n";

结果2

代码3,使用“+”

<?php
$regex = '/heL+?/i';
$str = 'heLLLLLLLLLLLLLLLL';
if(preg_match($regex, $str, $matches)){
    var_dump($matches);
}
 
echo "\n";

结果3

代码4,使用{3,5}

<?php
$regex = '/heL{3,10}?/i';
$str = 'heLLLLLLLLLLLLLLLL';
if(preg_match($regex, $str, $matches)){
    var_dump($matches);
}
 
echo "\n";

结果4

 
 
正则表达式的注释
 
格式:(?# 注释内容)
用途:主要用于复杂的注释
 
 贡献代码:是一个用于连接MYSQL数据库的正则表达式
$regex = '/
    ^host=(?<!\.)([\d.]+)(?!\.)                 (?#主机地址)
\|
    ([\w!@#$%^&*()_+\-]+)                       (?#用户名)
\|
    ([\w!@#$%^&*()_+\-]+)                       (?#密码)
(?!\|)$/ix';
 
$str = 'host=192.168.10.221|root|123456';
$matches = array();
 
if(preg_match($regex, $str, $matches)){
    var_dump($matches);
}
 
echo "\n";
 
特殊字符
 
特殊字符解释
*0到多次
+1到多次还可以写成{1,}
?0或1次
.匹配除换行符外的所有单个的字符
\w[a-zA-Z0-9_]
\s空白字符(空格，换行符，回车符）[\t\n\r]
\d[0-9]

三、PHP一些性能优化问题

使用缓存
 
利用缓存模块（如Memcache）或者模板系统(如Smarty)进行缓存处理。我们可以缓存数据库结果和提取页面结果的方式来提升网站性能。
 
使用输出缓冲区
 
当你的脚本尝试着渲染的时候，php会使用内存缓存区保存所有的数据。缓存区可能让你的页面看起来很慢，原因是缓冲区填满所有要响应的数据之后再把结果响应给用户。幸运的是，你能够做一下改变，迫使php强行在缓冲区填满之前把数据响应给用户，这样就会让你的网站看起来更快一些。
  • 输出缓存控制
避免写幼稚的setters和getters
 
当你写php类的时候，你可以直接操作对象属性，这样能帮助你节省时间和提升你的脚本性能。而不是那种让人感到幼稚可笑的setters和getters。
下面是一些案例：dog类通过使用setName()和getName()方式来操作name属性。
 
1
2
3
4
5
6
7
8
9
10
11
class dog {
  public $name = '';
 
  public function setName($name) {
    $this->name = $name;
  }
 
  public function getName() {
    return $this->name;
  }
}

注意：setName()和getName()除了存储和返回name属性外，没做任何工作。

1
2
3
$rover = new dog();
$rover->setName('rover');
echo $rover->getName();

直接设置和访问name属性，性能能提升100%，而且也能缩减开发时间！

1
2
3
$rover = new dog();
$rover->name = 'rover';
echo $rover->name;

没有原因不要copy变量
 
有时初级phper，为了使代码更加“干净”，常常把已经定义的变量重新赋值给另一个变量。这实际上就导致了双重内存的消耗（当改变变量的时候）,这就导致脚本的性能下降。比如一个用户把一个512KB的变量在额外插入给另一个变量，那么就会导致1MB的内存被消耗掉。
 
1
2
$description = strip_tags($_POST['description']);
echo $description;

上面的代码没有任何原因，复制了一遍变量。你仅需要使用内联的方式简单输出变量，而不用额外的消耗内存。
 
1
echo strip_tags($_POST['description']);

避免循环做SQL操作
 
经常犯的错误是把一个SQL 操作放置到一个循环中，这就导致频繁的访问数据库，更重要的是，这会直接导致脚本的性能低下。以下的例子，你能够把一个循环操作重置为一个单一的SQL语句。
 
1
2
3
4
foreach ($userList as $user) {
  $query = 'INSERT INTO users (first_name,last_name) VALUES("' . $user['first_name'] . '", "' . $user['last_name'] . '")';
  mysql_query($query);
}

过程：

1
INSERT INTO users (first_name,last_name) VALUES("John", "Doe")

替换这种循环方案，你能够拼接数据成为一个单一的数据库操作。

1
2
3
4
5
6
$userData = array();
foreach ($userList as $user) {
    $userData[] = '("' . $user['first_name'] . '", "' . $user['last_name'] . '")';
 }
$query = 'INSERT INTO users (first_name,last_name) VALUES' . implode(',', $userData);
mysql_query($query);

过程:

1
INSERT INTO users (first_name,last_name) VALUES("John", "Doe"),("Jane", "Doe")...

  • MySQL INSERT Syntax
其他资源
 
  • PHP Memcache module
  • Smarty templating engine
  • http://3v4l.org  --- 分析各个版本间的代码执行效率，非常不错的网站
  • http://www.php-internals.com/ ———研究php内核的网站！
谢谢大家！希望这些能对大家有帮助
 
 
 
by ld