php抓网页数据库 php网页调用数据库

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

使用PHP的cURL库进行网页抓取

使用PHP的cURL库可以简单和有效地去抓网页 php抓网页数据库你只需要运行一个脚本然后分析一下你所抓取的网页然后就可以以程序的方式得到你想要的数据php抓网页数据库了无论是你想从从一个链接上取部分数据或是取一个XML文件并把其导入数据库那怕就是简单的获取网页内容 cURL 是一个功能强大的PHP库本文主要讲述如果使用这个PHP库

启用 cURL 设置

首先我们得先要确定我们的PHP是否开启了这个库你可以通过使用php_info()函数来得到这一信息

﹤?phpphpinfo();?﹥

如果你可以在网页上看到下面的输出那么表示cURL库已被开启

如果你看到的话那么你需要设置你的PHP并开启这个库如果你是在Windows平台下那么非常简单你需要改一改你的php ini文件的设置找到php_curl dll 并取消前面的分号注释就行了如下所示

//取消下在的注释extension=php_curl dll

如果你是在Linux下面那么你需要重新编译你的PHP了编辑时你需要打开编译参数——在configure命令上加上 –with curl 参数

一个小示例

如果一切就绪下面是一个小例程

﹤?php// 初始化一个 cURL 对象$curl = curl_init();

// 设置你需要抓取的URLcurl_setopt($curl CURLOPT_URL //cocre );

// 设置headercurl_setopt($curl CURLOPT_HEADER );

// 设置cURL 参数要求结果保存到字符串中还是输出到屏幕上 curl_setopt($curl CURLOPT_RETURNTRANSFER );

// 运行cURL 请求网页$data = curl_exec($curl);

// 关闭URL请求curl_close($curl);

// 显示获得的数据var_dump($data);

如何POST数据

上面是抓取网页的代码下面则是向某个网页POST数据假设我们有一个处理表单的网址// example /sendSMS php 其可以接受两个表单域一个是电话号码一个是短信内容

﹤?php$phoneNumber = ;$message = This message was generated by curl and php ;$curlPost = pNUMBER= urlencode($phoneNumber) MESSAGE= urlencode($message) SUBMIT=Send ;$ch = curl_init();curl_setopt($ch CURLOPT_URL // example /sendSMS php );curl_setopt($ch CURLOPT_HEADER );curl_setopt($ch CURLOPT_RETURNTRANSFER );curl_setopt($ch CURLOPT_POST );curl_setopt($ch CURLOPT_POSTFIELDS $curlPost);$data = curl_exec();curl_close($ch);?﹥

从上面的程序我们可以看到使用CURLOPT_POST设置HTTP协议的POST方法而不是GET方法然后以CURLOPT_POSTFIELDS设置POST的数据

　　关于代理服务器

下面是一个如何使用代理服务器的示例请注意其中高亮的代码代码很简单我就不用多说了

﹤?php $ch = curl_init();curl_setopt($ch CURLOPT_URL // example );curl_setopt($ch CURLOPT_HEADER );curl_setopt($ch CURLOPT_RETURNTRANSFER );curl_setopt($ch CURLOPT_HTTPPROXYTUNNEL );curl_setopt($ch CURLOPT_PROXY fakeproxy : );curl_setopt($ch CURLOPT_PROXYUSERPWD user:password );$data = curl_exec();curl_close($ch);?﹥ 关于SSL和Cookie

关于SSL也就是HTTPS协议你只需要把CURLOPT_URL连接中的//变成//就可以了当然还有一个参数叫CURLOPT_SSL_VERIFYHOST可以设置为验证站点

关于Cookie 你需要了解下面三个参数

CURLOPT_COOKIE 在当面的会话中设置一个cookie

CURLOPT_COOKIEJAR 当会话结束的时候保存一个Cookie

CURLOPT_COOKIEFILE Cookie的文件

HTTP服务器认证

最后我们来看一看HTTP服务器认证的情况

﹤?php $ch = curl_init();curl_setopt($ch CURLOPT_URL // example );curl_setopt($ch CURLOPT_RETURNTRANSFER );curl_setopt($ch CURLOPT_HTTPAUTH CURLAUTH_BASIC);curl_setopt(CURLOPT_USERPWD [username]:[password] )

$data = curl_exec();curl_close($ch);?﹥

关于其它更多的内容请参看相关的cURL手册 lishixinzhi/Article/program/PHP/201311/21491

相关问答

Q1: 你好，你有抓取网页数据到数据库的PHP代码么?

?php

//设置连接

$DBserver

"localhost";

$DBname

"数据库";

$DBuser

"账号";

$DBpassword

"密码";

$con

mysql_connect("localhost","账号","密码");

mysql_select_db("数据库");

$contents

file_get_contents($url);

//$contents就是网页内容，$url就是链接

$contents

mysql_real_escape_string($contents);

//转义，不用可以不要

$SQL="

INSERT

INTO

数据库表(数据字段)

VALUES('{$contents}')";

mysql_query($SQL)

die(mysql_error());

Q2: 抓取网页数据怎么保存到数据库 php

给一个例子php抓网页数据库你看看吧.

if($pro_list_contents=@file_get_contents(''))

{

preg_match_all("/td width=\"50%\" valign=\"top\"(.*)td width=\"10\"img src=\"images\/spacer.gif\"/isU", $pro_list_contents, $pro_list_contents_ary);

for($i=0; $icount($pro_list_contents_ary[1]); $i++)

{

preg_match_all("/a href=\"(.*)\"img src=\"(.*)\".*span(.*)\/span/isU", $pro_list_contents_ary[1][$i], $url_img_price);

$url=addslashes($url_img_price[1][0]);

$img=str_replace(' ', '20%', trim(''.$url_img_price[2][0]));

$price=(float)str_replace('$', '', $url_img_price[3][0]);

preg_match_all("/a class=\"ml1\" href=\".*\"(.*)\/a/isU", $pro_list_contents_ary[1][$i], $proname_ary);

$proname=addslashes($proname_ary[1][0]);

include("inc/db_connections.php");

$rs=mysql_query("select * from pro where Url='$url' and CateId='{$cate_row['CateId']}'"); //是否已经采集php抓网页数据库了

if(mysql_num_rows($rs))

{

echo "跳过php抓网页数据库：{$url}br";

continue;

}

$basedir='/u_file/pro/img/'.date('H/');

$save_dir=Build_dir($basedir); //创建目录函数

$ext_name = GetFileExtName( $img ); //取得图片后辍名

$SaveName = date( 'mdHis' ) . rand( 10000, 99999 ) . '.' . $ext_name;

if( $get_file=@file_get_contents( $img ) )

{

$fp = @fopen( $save_dir . $SaveName, 'w' );

@fwrite( $fp, $get_file );

@fclose( $fp );

@chmod( $save_dir . $SaveName, 0777 );

@copy( $save_dir . $SaveName, $save_dir . 'small_'.$SaveName );

$imgpath=$basedir.'small_'.$SaveName;

}

else

{

$imgpath='';

}

if($pro_intro_contents=@file_get_contents($url))

{

preg_match_all("/\/h1(.*)\/td\/tr/isU", $pro_intro_contents, $pro_intro_contents_ary);

$p_contents=addslashes(str_replace('src="', 'src="', $pro_intro_contents_ary[1][0]));

$p_contents=SaveRemoteImg($p_contents, '/u_file/pro/intro/'.date('H/')); //把远程html代码里php抓网页数据库的图片保存到本地

}

$t=time();

mysql_query("insert into pro(CateId, ProName, PicPath_0, S_PicPath_0, Price_0, Contents, AddTime, Url) values('{$cate_row['CateId']}', '$proname', '$imgpath', '$img', '$price', '$p_contents', '$t', '$url')");

echo $url.$img.$cate."br\r\n";

}

Q3: PHP网站怎么连接到数据库？

常规方式

常规方式就是按部就班的读取文件了。其余的话和上述方案一致。

// 读取配置文件内容

$handle = fopen("filepath", "r"); $content = fread($handle, filesize("filepath"));123

PHP解析XML

上述两种读取文件，其实都是为了PHP解析XML来做准备的。关于PHP解析XML的方式的博客有很多。方式也有很多，像simplexml，XMLReader，DOM啦等等。但是对于比较小型的xml配置文件，simplexml就足够了。

配置文件

?xml version="1.0" encoding="UTF-8" ?mysql

!-- 为防止出现意外，请按照此标准顺序书写.其实也无所谓了 --

hostlocalhost/host

userroot/user

password123456/password

dbtest/db

port3306/port/mysql12345678910

解析

?php/**

* 作为解析XML配置文件必备工具

*/class XMLUtil {

public static $dbconfigpath = "./db.config.xml"; public static function getDBConfiguration() {

$dbconfig = array (); try { // 读取配置文件内容

$handle = fopen(self::$dbconfigpath, "r"); $content = fread($handle, filesize(self::$dbconfigpath)); // 获取xml文档根节点，进而获取相关的数据库信息

$mysql = simplexml_load_string($content); // 将获取到的xml节点信息赋值给关联数组，方便接下来的方法调用

$dbconfig['host'] = $mysql-host; $dbconfig['user'] = $mysql-user; $dbconfig['password'] = $mysql-password; $dbconfig['db'] = $mysql-db; $dbconfig['port'] = $mysql-port; // 将配置信息以关联数组的形式返回

return $dbconfig;

} catch ( Exception $e ) { throw new RuntimeException ( "mark读取数据库配置文件信息出错！/markbr /" );

} return $dbconfig;

}

}1234567891011121314151617181920212223242526272829

数据库连接池

对于PHP程序而言，优化永无止境。而数据库连接池就在一定程度上起到了优化的作用。其使得对用户的每一个请求而言，无需每次都像数据库申请链接资源。而是通过已存在的数据库连接池中的链接来返回，从时间上，效率上，都是一个大大的提升。

于是，这里简单的模拟了一下数据库连接池的实现。核心在于维护一个“池”。

从池子中取，用毕，归还给池子。

?php/**x

* PHP中的数据库工具类设计

* 郭璞

* 2016年12月23日

**/class DbHelper { private $dbconfig; private $dbpool; public $poolsize; public function __construct($poolsize = 20) { if (! file_exists ( "./utils.php" )) { throw new RuntimeException ( "markutils.php文件丢失，无法进行配置文件的初始化操作！/markbr /" );

}else {

require './utils.php';

} // 初始化配置文件信息

$this-dbconfig = XMLUtil::getDBConfiguration (); // 准备好数据库连接池“伪队列”

$this-poolsize = $poolsize;

$this-dbpool = array (); for($index = 1; $index = $this-poolsize; $index ++) {

$conn = mysqli_connect ( $this-dbconfig ['host'], $this-dbconfig ['user'], $this-dbconfig ['password'], $this-dbconfig ['db'] ) or die ( "mark连接数据库失败！/markbr /" );

array_push ( $this-dbpool, $conn );

}

} /**

* 从数据库连接池中获取一个数据库链接资源

* @throws ErrorException

* @return mixed

public function getConn() { if (count ( $this-dbpool ) = 0) { throw new ErrorException ( "mark数据库连接池中已无链接资源，请稍后重试!/mark" );

} else { return array_pop ( $this-dbpool );

}

} /**

* 将用完的数据库链接资源放回到数据库连接池

* @param unknown $conn