php更新处理大数据,php 大数据处理

PHP如何解决网站的大数据大流量与高并发

使用缓存，比如memcache,redis,因为它们是在内存中运行，所以处理数据，返回数据非常快，所以可以应对高并发。

2.增加带宽和机器性能，1M的带宽同时处理的流量肯定有限，所以在资源允许的情况下，大带宽，多核cpu,高内存是一个解决方案。

3.分布式，让多个访问分到不同的机器上去处理，每个机器处理的请求就相对减少了。

简单说些常用技术，负载均衡，限流，加速器等

相关问答

Q1: php 更新大数据时很慢

没必要一次性查出100W条。每次请求3-5W数据update，分页用递归。

控制好变量内存，不要内存溢出。

Q2: php每天抓取数据并更新新

以前我用过querylist插件抓数据，服务器写和定时器，每天固定时间去运行脚本。朝这个方式试试

高并发下数据的更新，应该 update table xxx set num = num - 1 的方式，这种方式可以保证数据的正确性。

但是会出现 num 为负数的问题，如果库存为负数，显然是不合理的。

于是，需要将 num 字段设置为 无符号整型，这样就不会出现负数了，因为，如果减到负数，就会更新失败。

但是这种依然会造成很多无用的更新语句的执行，是不合理的。

于是，update table xxx set num = num - 1 where num 0，

这样当 num 等于0之后就不会去更新数据库了，减少了很多无用的开销。

这种方式被称作“乐观锁”

此外，对于抢红包这种非整数的操作，我们应该转换为整数的操作。

关于抢购超卖的控制

一般抢购功能是一个相对于正常售卖系统来说独立的子系统，这样既可以防止抢购时的高并发影响到正常系统，

也可以做到针对于抢购业务的特殊处理。

在后台设计一些功能，可以就昂正常的商品加入到抢购活动中并编辑成为抢购商品，写入到抢购商品表，当然

也可以把抢购商品表写入redis而不是数据表。并且在原商品表写入一个同样的商品（id相同，用于订单查看，

此商品不可购买）

如果是数据表，为了控制超卖，需要对表进行行锁，更新的时候带上 where goods_amount 0。

如果是redis，使用 hincrby 一个负数来减库存，并且 hincrby 会返回改变后的值，再来判断返回值是否大于0，

因为redis每个命令都是原子性的，这样不用锁表就可控制超卖。

Q3: PHP中如何更新大量的mysql数据

sql= "UPDATE mydata SET p1='".$pointarr[i][1]."' where ps like '%".$pointarr[i][

每次都去做一次like的全表扫描当然慢了。

建议使用批量更新，减少查询次数。

比如先查询出结果集，然后在内存里去操作字段更新

最后采用 update ...... where id = xxx 这样的更新方法。避免多次全表扫描。

不是最了解你的需求，仅供参考。

Q4: 求助：用php一次更新10万条记录怎么办

检查下 php.ini 文件中的限制

upload_max_filesize

post_max_size

如果超出你提交的文件大小，就改大一些

改了之后重启 apache！

Q5: Thinkphp怎么批量更新数据

thinkphp批量更新数据可以参考如下三种方法：

方法一：

//批量修改 data二维数组 field关键字段 参考ci 批量修改函数 传参方式

function batch_update($table_name='',$data=array(),$field=''){

if(!$table_name||!$data||!$field){

return false;

}else{

$sql='UPDATE '.$table_name;

}

$con=array();

$con_sql=array();

$fields=array();

foreach ($data as $key = $value) {

$x=0;

foreach ($value as $k = $v) {

if($k!=$field!$con[$x]$x==0){

$con[$x]=" set {$k} = (CASE {$field} ";

}elseif($k!=$field!$con[$x]$x0){

$con[$x]=" {$k} = (CASE {$field} ";

}

if($k!=$field){

$temp=$value[$field];

$con_sql[$x].= " WHEN '{$temp}' THEN '{$v}' ";

$x++;

}

}

$temp=$value[$field];

if(!in_array($temp,$fields)){

$fields[]=$temp;

}

}

$num=count($con)-1;

foreach ($con as $key = $value) {

foreach ($con_sql as $k = $v) {

if($k==$key$key$num){

$sql.=$value.$v.' end),';

}elseif($k==$key$key==$num){

$sql.=$value.$v.' end)';

}

}

}

$str=implode(',',$fields);

$sql.=" where {$field} in({$str})";

$res=M($table_name)-execute($sql);

return $res;

}

//测试

function test(){

$update_array=array();

for ($i=2; $i 7 ; $i++) {

$data=array();

$data['id']=$i;

$data['memeber_type']=2;

$data['memeber_type_state']=1;

$update_array[]=$data;

}

$res=$this-batch_update('yl_member',$update_array,id);

var_dump($res);

}