python函数下载 python内置函数详解

python 2.7 urlopen 函数,如何提高下载速度.

可以使用多进程或多线程并发下载。其实你的方法已经是多进程的一种了。

python中有多进程模块multiprocessing和多线程multithreading。

思路是这样，将需要下载的连接送入队列，然后各个进程（或线程）从队列里拿任务然后下载。前面的两个类库都提供进程、线程安全的队列。

楼下给了个多线程的示例，这里我给一个稍微复杂点的进程的示例。其实线程和进程库的接口基本是一致的。

#!/usr/bin/env python

# encoding=utf-8

# test.py

from multiprocessing import Queue, Process

from Queue import Empty

import urllib

import time

urls = [line.strip() for line in open('urls.txt')]

queue = Queue(1024)

for url in urls:

    queue.put(url)

def download():

    while True:

        try:

            url = queue.get()

            f = urllib.urlopen(url)

            r = f.read()

            # 这里保存你下载的文件

        except Empty:

            time.sleep(5)

        except Exception, e:

            print 'download error: %s' % e

for i in range(10):

    p = Process(target=download)

    p.start()

    p.join()

使用方法：编辑一个文件urls.txt，每行一个url。然后：

nohup ./test.py 

结束进程则需要找到它的进程号，然后kill -9

望采纳，谢谢支持！

相关问答

Q1: 在使用Python3时,如果没有相应的函数库可以使用什么命令来 下载

使用 pip 命令行工具在线下载你需要的第三方库。

具体步骤如下：使用pip工具安装软件包的命令是：pipinstallsome到package到name。我们现在下载名字为：requests的第三方库。在命令行窗口中执行下面的命令：pipinstallrequests

这样 requests 第三方库就下载和安装完成了。

Python由荷兰数学和计算机科学研究学会的吉多·范罗苏姆 于1990 年代初设计，作为一门叫做ABC语言的替代品。Python提供了高效的高级数据结构，还能简单有效地面向对象编程。

Q2: 在使用Python3时,如果没有相应的函数库可以使用什么命令来下载

＜strong＞答案如下：＜/strong＞

在使用Python3时,如果没有相应的函数库可以使用python函数下载，其实可程序的功能知识提供使用者操作系统的一个接口python函数下载，因此这个可程序需要可以调用其python函数下载他软件才好。有很多命令行命令python函数下载，man，chmod，chown, vi, fdisk等指令，这些指令都是独立的应用程序，但是我们可以通过可程序(就是命令行界面)来操作这些应用程序，让这些应用程序来运行所需的工作“也就是说，只要能够操作应用程序的接口都能够称为壳程序。狭义的壳程序指的是命令行方面的软件，包括本章要介绍的 bash 等。广义的壳程序则包括图形接口的软件！因为图形接口其实也能够操作各种应用程序来调用核心工作。”

Q3: 如何设置python 中函数 urlretrieve 下载文档，5秒没有下载完成就跳出执行下一次的下载？

给你一段代码吧。

import socket

socket.setdefaulttimeout(5.0)

import urllib

urllib.urlretrieve(url,filename)

通过socket类设置全局的超时。

关于python函数下载和python内置函数详解的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。