php获取远程数据量大,php处理大批量数据

php+mysql在数据库里数据大的话查询很慢

1.建立索引，尽可能把索引建立到你你经常比较的字段上，如select

a,b,c,d

from

a

where

索引字段＝值，这个索引字段最好是数值型数据

2.慢有更多情况，

情况1：远程查询，其实可能查询不慢，由于数据量大，传输过程慢

情况2：WHERE

后面的比较数据太多，比如

like

类的语句

情况3：需要哪个字段只取那个字段就行了，比如select

*

from

a与select

b,c,d

from

a速度是有差距的

3.数据库定期维护，压缩，把不常用的数据备份后放入备份库里，查询时查备份库等

问题补充：

.第一条：建立索引，怎么建立，我也听说过，但不知道怎么使用

答：每种数据建立索引的方法有差异，比如SQL

SERVER

2000中可对多个字段进行索引，比如SQL

SERVER2000中有命令

CREATE

INDEX

为给定表或视图创建索引。

只有表或视图的所有者才能为表创建索引。表或视图的所有者可以随时创建索引，无论表中是否有数据。可以通过指定限定的数据库名称，为另一个数据库中的表或视图创建索引。

语法

CREATE

[

UNIQUE

]

[

CLUSTERED

|

NONCLUSTERED

]

INDEX

index_name

ON

{

table

|

view

}

(

column

[

ASC

|

DESC

]

[

,...n

]

)

[

WITH

index_option

[

,...n]

]

[

ON

filegroup

]

index_option

::=

{

PAD_INDEX

|

FILLFACTOR

=

fillfactor

|

IGNORE_DUP_KEY

|

DROP_EXISTING

|

STATISTICS_NORECOMPUTE

|

SORT_IN_TEMPDB

}

第三条：数据库定期维护，压缩：怎么个压缩法？及时备份数据到备份库查询备份库，那查询时不是还慢吗？

答：这个有压缩工具，基本上每种数据库都有自己的压缩数据库的工具

相关问答

Q1: 如何用PHP获取远程大文件的大小

php获取请求远程文件时响应的报头中的 Content-Length, 至于如何获取这个值,有很多种方法

Q2: php获取远程文件大小

?php

#### 此代码由 工具啦() 转换 ####

echo"function remote_filesize($uri,$user='',$pw='') "

. "{ "

. "// start output buffering "

. "ob_start(); "

. "// initialize curl with given uri "

. "$ch = curl_init($uri); "

. "// make sure we get the header "

. "curl_setopt($ch, CURLOPT_HEADER, 1); "

. "// make it a http HEAD request "

. "curl_setopt($ch, CURLOPT_NOBODY, 1); "

. "// if auth is needed, do it here "

. "if (!empty($user) !empty($pw)) "

. "{ "

. "$headers = array('Authorization: Basic ' . base64_encode($user.':'.$pw)); "

. "curl_setopt($ch, CURLOPT_HTTPHEADER, $headers); "

. "} "

. "$okay = curl_exec($ch); "

. "curl_close($ch); "

. "// get the output buffer "

. "$head = ob_get_contents(); "

. "// clean the output buffer and return to previous "

. "// buffer settings "

. "ob_end_clean(); "

. ""

. "// gets you the numeric value from the Content-Length "

. "// field in the http header "

. "$regex = '/Content-Length:\\s([0-9].+?)\\s/'; "

. "$count = preg_match($regex, $head, $matches); "

. ""

. "// if there was a Content-Length field, its value "

. "// will now be in $matches[1] "

. "if (isset($matches[1])) "

. "{ "

. "$size = $matches[1]; "

. "} "

. "else "

. "{ "

. "$size = 'unknown'; "

. "} "

. "$last=round($size/(1024*1024),3); "

. "return $last.' MB'; "

. "

."";

?

Q3: php curl 大量数据采集

这个需要配合js，打开一个html页面，首先js用ajax请求页面，返回第一个页面信息确定处理完毕（ajax有强制同步功能），ajax再访问第二个页面。（或者根据服务器状况，你可以同时提交几个URL，跑几个相同的页面）

参数可以由js产生并传递url，php后台页面根据URL抓页面。然后ajax通过php，在数据库或者是哪里设一个标量，标明检测到哪里。由于前台的html页面执行多少时候都没问题，这样php的内存限制和执行时间限制就解决了。

因为不会浪费大量的资源用一个页面来跑一个瞬间500次的for循环了。（你的500次for循环死了原因可能是获取的数据太多，大过了php限制的内存）

不过印象中curl好像也有强制同步的选项，就是等待一个抓取后再执行下一步。但是这个500次都是用一个页面线程处理，也就是说肯定会远远大于30秒的默认执行时间。

Q4: php中向mysql取数据，如果数据库中的数据量大于10w，后面的数据就取不到，如何解决？

应该是你的数据库配置限制了内存使用量导致的.建议查找下相关mysql配置资料.

直接倒序取一部分,如果可以就应该是配置的问题.

如果慢的话要考虑字段优化

问题需要具体.不铭感的话可以把数据发来我调试一下看看.