vb.net爬虫编写 vb制作网络爬虫

VB.NET 如何获取网页中的数据

Public Function webCaptureContent(ByVal mWebsiteUrl As String, ByVal mWebsiteType As Boolean) As String

'启动一次具体的数据采集工作,返回采集到的HTML内容:要求必须输入带://的全地址数据

On Error Resume Next

Dim Str_WebContent As String = "请输入查找网站地址."

Dim wb As WebClient = New WebClient() '//创建一个WebClient实例

If mWebsiteUrl.IndexOf("://") 0 Then

'//获取或设置用于对向 Internet 资源的请求进行身份验证的网络凭据。（可有可无）

wb.Credentials = CredentialCache.DefaultCredentials

'//从资源下载数据并返回字节数组。（加@是因为网址中间有"/"符号）

Dim pagedata As Object = wb.DownloadData(mWebsiteUrl)

'//转换字符

If mWebsiteType Then

Str_WebContent = Encoding.Default.GetString(pagedata)

Else

Str_WebContent = Encoding.UTF8.GetString(pagedata)

End If

End If

Return Str_WebContent '提取出来新闻内容,删除Body前后的多余内容,同时补充上该 Body标记,形成完整的内容 Str_WebContent '

End Function

相关问答

Q1: 我用vb.net写了一个爬虫程序，但运行起来，点击所有按钮都没有反应，非得强制关闭，listview控件也得等到

你想一边运行，一边填充数据，我给你出的主意是多线程，用另一个线程来Invoke数据，

Thread和线程Timer（不是Form中的Timer），要是同时访问一块数据注意用

SyncLock锁

Q2: 求VB.NET读取网页内容写法

Imports System.Net

Imports System.IO

Imports System.Text.RegularExpressions

Public Class Form1

Private Sub button1_Click(sender As Object, e As EventArgs) Handles Button1.Click

Dim stream As IO.Stream = WebRequest.Create(UrlAdress).GetResponse().GetResponseStream()

'注意urladress为你上面的网页地址。

Dim sr As StreamReader = New StreamReader(stream, System.Text.Encoding.UTF8)

Label1.Text = Regex.Match(sr.ReadToEnd, "回答采纳率").ToString

'sr。readtoend读取网页流到末尾，即使用正则表达式从网页流中提取“回答采纳率”，赋值给Label1.Text ‘没有则为空

sr.Dispose() '关闭流

End Sub'要提取什么东西用正则表达式最好

End Class

Q3: 如何编写VB.NET 接口程序

可以的，把项目的类型设成类库，将所有的函数用Public修饰附封装在类里面，生成dll文件。这样别人就可以在别人项目属性的引用页里面添加对你的dll文件的引用，然后导入命名空间，直接使用了。

比如说，在一个项目里：

NameSpace Controller

Public Class ControlMachine

Public Sub Boot()

End Sub

Public Sub Shutdown()

End Sub

End Class

End NameSpace

进入另一个项目的项目属性，进入引用页，添加到那个dll文件的引用。在代码中：

Imports Controller '加在代码文档的最顶端

使用：

Dim controller As New ControlMachine

controller.Boot()

controller.Shutdown()

希望你能了解，不懂再追问

vb.net爬虫编写的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于vb制作网络爬虫、vb.net爬虫编写的信息别忘了在本站进行查找喔。