基于php编写的新闻类爬虫，插入WordPress数据库

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

这个爬虫写的比较久远，很久没有更新博客了。

1.首先思路是：通过php的curl_setopt()函数可以方便快捷的抓取网页。

2.什么样的新闻吸引人呢，当然的热点新闻了。这里选百度的搜索风云榜，获取热点关键词列表。

3.为了方便过滤，我们筛选搜狐的新闻。由于搜狐是通过搜狗搜索的新闻。所以把百度热点关键词通过搜狗一一搜索，打开对应的结果，筛选出搜狐的新闻链接。

4.进入搜狐新闻。获取新闻数据，进行内容筛选，重复过滤。

5.插入WordPress数据库，得到自己的新闻链接

6.自己的新闻链接主动提交给百度收录。

spider.class.php

<?php
//网页爬虫
class spider{
public $curl;
public $timeout = 5;
//尝试请求链接的时间
public $data;
public $fromUrl;
//初始化
public function __construct($url) {//构造函数
$this -> fromUrl=$url;
$this -> curl = curl_init();
//相当于header里的Accept-Encoding>>防止乱码
curl_setopt($this -> curl, CURLOPT_ENCODING, "");
// 设置你需要抓取的URL
curl_setopt($this -> curl, CURLOPT_URL, $url);
// 设置header
curl_setopt($this -> curl, CURLOPT_HEADER, 0);
// 设置cURL 参数，要求结果保存到字符串中还是输出到屏幕上。如果希望获得内容但不输出,使用 CURLOPT_RETURNTRANSFER参数,并设为非0值/true!
curl_setopt($this -> curl, CURLOPT_RETURNTRANSFER, 1);
//参数CURLOPT_CONNECTTIMEOUT 通常用来设置curl尝试请求链接的时间
curl_setopt($this -> curl, CURLOPT_CONNECTTIMEOUT, $this -> timeout);
// CURLOPT_USERAGENT，它允许你自定义请求是的客户端名称，
curl_setopt($this -> curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36');
// 运行cURL，请求网页
$this -> data = curl_exec($this -> curl);
if($this -> data){
$wcharset = preg_match("/<meta.+?charset=[^\w]?([-\w]+)/i",$this -> data,$temp) ? strtolower($temp[1]):"";//获取网页编码
if($temp[1]!='utf-8' && $temp[1]!=''){
$this -> data = iconv($temp[1], "utf-8//IGNORE", $this -> data);//转换成utf8
} }else{
return FALSE;
}
}
} ?>

mysql.class.php

<?php
//数据库操作
header('Content-Type: text/html; charset=UTF-8');
$conn = mysql_connect("10.10.10.10","","");
mysql_select_db('cn_bjxxw_wenzhang');
mysql_query("set names utf8");
if (!$conn){
die('数据库连接失败: ' . mysql_error());
}
class mysqlJi{//数据库
static function mysqlQu($sql){//sql语句
return mysql_query($sql);
}
static function mysqlFeAs($result){//遍历结果
$i=0;//变量i
while($row = mysql_fetch_assoc($result)){
$reslist[$i] =$row;
$i++;
}
return $reslist;
}
static function jsonEn($reslist){//输出json
echo json_encode($reslist);
}
static function mysqlRows(){ //受影响的行数
$info_str = mysql_info(); //函数返回最近一条查询的信息。如果成功，则返回有关该语句的信息，如果失败，则返回 false
$a_rows = mysql_affected_rows(); //受影响的行数
preg_match("([0-9]*)", $info_str, $r_matched);
return ($a_rows < 1)?($r_matched[1]?$r_matched[1]:0):$a_rows; }
static function insertId(){//最后一条记录的ID
$getID=mysql_insert_id();//$getID即为最后一条记录的ID
return $getID;
}
static function mysqlCl(){//关闭数据库
mysql_close();
}
}
?>

baiduPush.class.php

<?php
//百度收录主动提交
class baiduPush{
public $result;//返回结果
public function __construct($urls,$api){//构造函数//(传递数组,api )
$ch = curl_init();
$options = array(
CURLOPT_URL => $api,
CURLOPT_POST => true,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_POSTFIELDS => implode("\n", $urls),
CURLOPT_HTTPHEADER => array('Content-Type: text/plain'),
);
curl_setopt_array($ch, $options);
$this->result = curl_exec($ch);
}
} ?>

info.php

<?php
//本页为获取新闻详情页面
include ("mysql.class.php");//引入数据库相关
date_default_timezone_set("PRC");//时区
include ("spider.class.php");
include("baiduPush.class.php");
class spider_cont extends spider{
public $title = array();//被过滤后的标题
public $stime = array();//被过滤后的时间
public $screenData = array();//被过滤的内容
public $classNew;//新闻分类
//数据过滤(html标签,属性id class,属性值)//搜狐新闻
function sohuCon($fenlei){ if (preg_match('/top\-pager\-current/',$this->data,$if_page1)) {
print "------数据放空";
} else { preg_match('/<div[^>]*itemprop="articleBody"[^>]*>(.*?) seo/si',$this->data,$this->screenData);
if($this->screenData[0]==''){
//取出 div 标签且 id 为 contentText 的內容，并储存至二维数组 $screenData 中
preg_match('/<div[^>]*id="contentText"[^>]*>(.*?) seo/si',$this->data,$this->screenData);
if($this->screenData[0]==''){
preg_match('/<div[^>]*id="contentText"[^>]*>(.*?) -->/si',$this->data,$this->screenData);
preg_match_all('/<h1(.*?)>(.*?)<\/h1>/si',$this->data,$tit2);//标题
$this->title[0]=$tit2[0][1];
}else{
preg_match('/<h1(.*?)>(.*?)<\/h1>/si',$this->data,$this->title);//标题 }
}else{
preg_match('/<h1(.*?)>(.*?)<\/h1>/si',$this->data,$this->title);//标题 } //过滤标签
$this->screenData[0]=preg_replace("/media_span_url$\'(.*?)\'$/si","",$this->screenData[0]); //过滤head标签单独过滤
$this->screenData[0]=$this->guolv($this->screenData[0], "<img><div><span><p>"); //内容过滤 $this->title[0]=$this->guolv($this->title[0], ""); //标题过滤
preg_match('/<span itemprop="name">(.*?)<\/span>/si',$this->data,$laiyuan);//来源
$g_laiyuan=$this->guolv($laiyuan[0], ""); //来源过滤
if($this->screenData[0] && $this->title[0] && $g_laiyuan!="新京报"){
//数据库执行
$atime=date('y-m-d H:i:s',time());
$this->sqlDo($this->title[0],$atime,$this->screenData[0],$g_laiyuan,$this->fromUrl,$fenlei); }else{
echo $this->title[0].$g_laiyuan."-----数据为空<br>";
}
}
}
//数据语句操作--- 对应的WordPress数据库
function sqlDo($atitle,$atime,$acontent,$fromName,$biaoshi,$fenlei){//(文章标题,时间,内容,来源名,来源标识url,分类) $getBiaoshi=mysqlJi::mysqlQu("SELECT COUNT(*) as biaoshi FROM `wp_posts` WHERE post_content_filtered='{$biaoshi}';");
$acount=mysqlJi::mysqlFeAs($getBiaoshi);//查找数据库是否已经存在该数据
if($acount[0]['biaoshi']==0){
$res=mysqlJi::mysqlQu("INSERT INTO `wp_posts` (`ID`, `post_author`, `post_date`, `post_date_gmt`, `post_content`, `post_title`, `post_excerpt`, `post_status`, `comment_status`, `ping_status`, `post_password`, `post_name`, `to_ping`, `pinged`, `post_modified`, `post_modified_gmt`, `post_content_filtered`, `post_parent`, `guid`, `menu_order`, `post_type`, `post_mime_type`, `comment_count`, `laiyuan`, `description`) VALUES ('', '9192206', '{$atime}', '{$atime}', '{$acontent}', '{$atitle}', '', 'publish', 'open', 'open', '', '%e6%9e%81%e5%8c%96%e6%b3%a2', '', '', '{$atime}', '{$atime}', '{$biaoshi}', '0', '', '0', 'post', '', '0', '{$fromName}', '')");//sql语句
$rows=mysqlJi::mysqlRows();//受影响的行数
if($rows==1){
$inid=mysqlJi::insertId();//最后一条记录的ID
$urls = array('http://wenzhang.bjxxw.com/archives/'.$inid.'.html');//提交地址
$baiduApi = 'http://data.zz.baidu.com/urls?site=wenzhang.bjxxw.com&token=GKEJ4ENj4i6PMu51';//百度api
$aBaiduPush= new baiduPush($urls,$baiduApi); //百度自动提交
echo $aBaiduPush->result;
$res2=mysqlJi::mysqlQu("INSERT INTO `wp_term_relationships` (`object_id`, `term_taxonomy_id`) VALUES ('{$inid}', '{$fenlei}')");//sql语句
$rows2=mysqlJi::mysqlRows();//受影响的行数
echo $atitle."----来源".$fromName."----插入id为".$inid."----成功<br>";
}else{
echo $atitle."----来源".$fromName."----失败<br>";
}
}else{
echo "--数据库已经有啦--";
}
}
//过滤所有html标签(数据,除了哪些标签)
function guolv($data,$chule){
return strip_tags($data,$chule);//除了img标签
}
//结束
function __destruct(){
curl_close($this->curl);
}
}
//$aNewcont= new spider_cont("http://mil.sohu.com/20160905/n467640017.shtml");
//$aNewcont->sohuCon(3013); ?>

getRollNews.php

<?php
//本页为新闻列表获取也面
//引入详情页
include ("info.php");
///网页爬虫列表
class spider_list extends spider {
//新闻列表
function screen_list($zhengze, $fenlei) {
$this -> data = $this -> guolv($this -> data, '<td>');
//过滤所有html标签(数据,除了哪些标签)
$this -> data = preg_replace("/search/si", "", $this -> data);
//过滤head标签单独过滤
//过滤筛选
preg_match_all($zhengze, $this -> data, $regArr, PREG_SET_ORDER);
//定义一维数组
$array = array();
for ($i = 0; $i < count($regArr); $i++) {//二维数组转一维数组
$array[$i] = $regArr[$i][0];
}
//去除重复
$array = array_unique($array);
//去除数组键名
$array = array_values($array);
for ($i = 0; $i < count($array); $i++) {//找出所有匹配的链接
//网址列表目录
if ($array[$i]) {
// //执行内容获取
$sohuList = "/http:\/\/([\.a-z]+)\.sohu\.com\/20(\d+)\/n(\d+)\.shtml/";
//搜狐列表过滤规则
$new = strip_tags($array[$i]);
//去除html标记
$new = trim($new);
//去空格
echo "<hr>".($i+1)."通过:<em>" . $new . "</em> 搜索到::";
$ser = rawurlencode($new);
//转换成url
$sohuUrl = new spider_sohu("http://news.sogou.com/news?query=site%3Asohu.com+" . $ser);
$sohuUrl -> screen_list($sohuList, $fenlei);
}
} } //过滤所有html标签(数据,除了哪些标签)
function guolv($data, $chule) {
return strip_tags($data, $chule);
} //结束
function __destruct() {
curl_close($this -> curl);
} } ///网页爬虫列表
class spider_sohu extends spider {
//新闻列表
function screen_list($zhengze, $fenlei) { preg_match('/<h3 class="vrTitle">(.*?)<\/h3>/si', $this -> data, $gulv1);
//过滤
$this -> data = $this -> guolv($gulv1[0], '<a><h3>');
//过滤所有html标签(数据,除了哪些标签) // var_dump($laiyuan[0]);
//过滤筛选
preg_match($zhengze, $this -> data, $regArr);
echo $regArr[0]."<br>";
$aNewcont= new spider_cont($regArr[0]);
$aNewcont->sohuCon($fenlei);
} //过滤所有html标签(数据,除了哪些标签)
function guolv($data, $chule) {
return strip_tags($data, $chule);
} //结束
function __destruct() {
curl_close($this -> curl);
} } $baiduList = '/<td[^>]*class="keyword">(.*?)<\/td>/si';
//百度列表过滤规则
//$aNewList = new spider_list('http://top.baidu.com/buzz?b=42&c=513&fr=topbuzz_b341_c513');
//$aNewList -> screen_list($baiduList, 239); $NewUrls = array(
array('aid'=>3021,'aurl'=>'http://top.baidu.com/buzz?b=344&c=513&fr=topbuzz_b42_c513','aname'=>'娱乐'),//
array('aid'=>2585,'aurl'=>'http://top.baidu.com/buzz?b=341&c=513&fr=topbuzz_b1_c513','aname'=>'今日热点'),//
array('aid'=>2585,'aurl'=>'http://top.baidu.com/buzz?b=1&c=513&fr=topbuzz_b344_c513','aname'=>'热点'),//
array('aid'=>2585,'aurl'=>'http://top.baidu.com/buzz?b=42&c=513&fr=topbuzz_b341_c513','aname'=>'热点'),//
); for ($i = 0; $i < count($NewUrls); $i++) {//找出所有匹配的链接
echo "<br>-----------分类-----------".$NewUrls[$i]['aname']."------------<br>";
$aNewList = new spider_list($NewUrls[$i]['aurl']);
$aNewList->screen_list($sohuList,$NewUrls[$i]['aid']);
}
//关闭数据库
mysqlJi::mysqlCl(); ?>