python函数整个框架 python常用框架介绍

Python的框架可以用来做什么

Python的应用方向

1. 常规软件开发

Python支持函数式编程和OOP面向对象编程，能够承担任何种类软件的开发工作，因此常规的软件开发、脚本编写、网络编程等都属于标配能力。

2. 科学计算

随着NumPy, SciPy, Matplotlib, Enthought librarys等众多程序库的开发，Python越来越适合于做科学计算、绘制高质量的2D和3D图像。和科学计算领域最流行的商业软件Matlab相比，Python是一门通用的程序设计语言，比Matlab所采用的脚本语言的应用范围更广泛，有更多的程序库的支持。虽然Matlab中的许多高级功能和toolbox目前还是无法替代的，不过在日常的科研开发之中仍然有很多的工作是可以用Python代劳的。

3. 自动化运维

这几乎是Python应用的自留地，作为运维工程师首选的编程语言，Python在自动化运维方面已经深入人心，比如Saltstack和Ansible都是大名鼎鼎的自动化平台。

4. 云计算

开源云计算解决方案OpenStack就是基于Python开发的，搞云计算的同学都懂的。

5. WEB开发

基于Python的Web开发框架不要太多，比如耳熟能详的Django，还有Tornado，Flask。其中的Python+Django架构，应用范围非常广，开发速度非常快，学习门槛也很低，能够帮助你快速的搭建起可用的WEB服务。

6. 网络爬虫

也称网络蜘蛛，是大数据行业获取数据的核心工具。没有网络爬虫自动地、不分昼夜地、高智能地在互联网上爬取免费的数据，那些大数据相关的公司恐怕要少四分之三。能够编写网络爬虫的编程语言有不少，但Python绝对是其中的主流之一，其Scripy爬虫框架应用非常广泛。

7. 数据分析

在大量数据的基础上，结合科学计算、机器学习等技术，对数据进行清洗、去重、规格化和针对性的分析是大数据行业的基石。Python是数据分析的主流语言之一。

8. 人工智能

Python在人工智能大范畴领域内的机器学习、神经网络、深度学习等方面都是主流的编程语言，得到广泛的支持和应用。

当然，除了以上的主流和前沿领域，Python还在其他传统或特殊行业起着重要的作用。

相关问答

Q1: python模块中使用了hadoop框架

1、什么是python？

2、python的10大Web框架有哪些，以及它们各自的特点？

3、本文只是这10大框架做了简单介绍，让你对它们有个初步的了解。

Python 是一门动态、面向对象语言。其最初就是作为一门面向对象语言设计的，并且在后期又加入了一些更高级的特性。除了语言本身的设计目的之外，Python标准 库也是值得大家称赞的，Python甚至还自带服务器。其它方面，Python拥有足够多的免费数据函数库、免费的Web网页模板系统、还有与Web服务 器进行交互的库、这些都可以设计到你的Web应用程序里面。在这篇文章里，我们将为Python Web开发者介绍基于Python的10大Web应用框架。

1、CubicWeb

1.jpg (101.51 KB, 下载次数: 2)

2015-7-16 11:04 上传

CubicWeb的最重要的支柱就是代码的可重用性。CubicWeb宣扬自己不仅是一个Web开发框架，而且还是一款语义Web开发框架。CubicWeb使用关系查询语言(RQL Relation Query Language)与数据库之间进行通信。

2、Zope2

2.jpg (53.86 KB, 下载次数: 1)

2015-7-16 11:04 上传

Zope 2是一款基于Python的Web应用框架，是所有Python Web应用程序、工具的鼻祖，是Python家族一个强有力的分支。Zope 2的“对象发布”系统非常适合面向对象开发方法，并且可以减轻开发者的学习曲线，还可以帮助你发现应用程序里一些不好的功能。

3、Web2py

3.jpg (99.94 KB, 下载次数: 1)

2015-7-16 11:04 上传

Web2py是一个用Python语言编写的免费的开源Web框架，旨在敏捷快速的开发Web应用，具有快速、可扩展、安全以及可移植的数据库驱动的应用，遵循LGPLv3开源协议。

Web2py提供一站式的解决方案，整个开发过程都可以在浏览器上进行，提供了Web版的在线开发，HTML模版编写，静态文件的上传，数据库的编写的功能。其它的还有日志功能，以及一个自动化的admin接口。

4、TurboGears

4.jpg (95.37 KB, 下载次数: 1)

2015-7-16 11:04 上传

它是另外一个基于 Python 的 MVC 风格的 Web 应用程序框架。

TurboGears 开发人员称这个项目是一个 “大框架(megaframework)”，这是因为它是由现有的子项目构成的。TurboGears 可以帮助将很多主要组件集成在一起：MochiKit：JavaScript 库

Kid：模板语言

CherryPy：基本 Web 框架

SQLObject：对象关系映射器(ORM)

5、Pylons

5.jpg (131.51 KB, 下载次数: 1)

2015-7-16 11:04 上传

Pylons是一个开放源代码的Web应用框架，使用python语言编写。它对WSGI标准进行了扩展应用，提升了重用性且将功能分割到独立的模块中。

Pylons是最新的Web应用框架中的典型，类似于Django和TurboGears。Pylons受Ruby on Rails影响很深：它的两个组件，Routes和WebHelpers是Rails特性的Python实现。

6、Grok

6.jpg (79.28 KB, 下载次数: 0)

2015-7-16 11:04 上传

Grok 是一个为 Python 开发者提供的Web应用开发框架，Grok 的重点是敏捷开发，是一个易用而且功能强大的开发框架，基于 Zope 3 技术。

7、Web.py

7.jpg (69.53 KB, 下载次数: 2)

2015-7-16 11:10 上传

Web.py是一个轻量级的开源Python Web框架，小巧灵活、简单并且非常强大，在使用时没有任何限制。目前Web.py被广泛运用在许多大型网站，如西班牙的社交网站Frinki、主页日平均访问量达7000万次的Yandex等。

8、Pyramid

8.jpg (98 KB, 下载次数: 2)

2015-7-16 11:10 上传

Pyramid也是一款轻量级的开源Python Web框架，是Pylons项目的一部分。Pyramid只能运行在Python 2.x或2.4以后的版本上。在使用后端数据库时无需声明，在开发时也不会强制使用一些特定的模板系统。

9、CherryPy

9.jpg (83.16 KB, 下载次数: 2)

2015-7-16 11:11 上传

CherryPy是一个基于Python的Web使用程序开发框架，它极大地简化了运用 Python 的web开发人员的工作。它为Python开发人员提供了友好的HTTP协议接口。大家知道，HTTP可是万维网的支柱协议，而CherryPy将HTTP协议简化成Python API来供Python 开发人员使用，这极大地简化了Web开发人员对HTTP协议的操作。CherryPy自身内置了一个HTTP服务器，或者称为Web服务器。这样，对于CherryPy的用户来说，不用另外搭设Web服务器就能直接运行 CherryPy应用程序了。实际上，Web服务器是到达CherryPy应用程序的关口，是所有的HTTP请求和响应的必经之地。因此，可以这样理解 CherryPy内建的Web服务器：它是位于处理客户端与服务器端之间的一层软件，用于把底层TCP套按字传输的信息转换成Http请求，并传递给相应 的处理程序;同时，还把上层软件传来的信息打包成Http响应，并向下传递给底层的TCP套按字。

10、Flask

10.jpg (52.97 KB, 下载次数: 2)

2015-7-16 11:10 上传

Flask是一个轻量级的Web应用框架, 使用Python编写。基于 WerkzeugWSGI工具箱和 Jinja2模板引擎。使用 BSD 授权。

Flask也被称为 “microframework” ，因为它使用简单的核心，用 extension 增加其他功能。Flask没有默认使用的数据库、窗体验证工具。然而，Flask保留了扩增的弹性，可以用Flask-extension加入这些功 能：ORM、窗体验证工具、文件上传、各种开放式身份验证技术

Q2: Python高性能分布式执行框架-Ray

这是别人说的，咱也不敢说，咱也不敢问 ! 了解大致的逻辑就好.你只需要知道他超级牛逼,超级方便

安装就是简单的 pip install ray , 需要提醒的就是ray现在只有linux编译版本, windows就别想着用了,为了这,我硬生生把开发环境从windows切到了linux.

首先来看一下最简单的Ray程序是如何编写的。

在Ray里，通过Python注解@ray.remote定义remote函数。使用此注解声明的函数都会自带一个默认的方法remote，通过此方法发起的函数调用都是以提交分布式任务的方式异步执行的，函数的返回值是一个对象id，使用ray.get内置操作可以同步获取该id对应的对象

参考:

高性能分布式执行框架——Ray

取代 Python 多进程！伯克利开源分布式框架 Ray

官方文档

基于python的高性能实时并行机器学习框架之Ray介绍

Q3: 最高效的python爬虫框架有几个

1、Scrapy：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。它是很强大的爬虫框架，可以满足简单的页面爬取，比如可以明确获知url pattern的情况。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这个框架就满足不了需求了。它的特性有：HTML, XML源数据 选择及提取 的内置支持；提供了一系列在spider之间共享的可复用的过滤器(即 Item Loaders)，对智能处理爬取数据提供了内置支持。　

2、Crawley：高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。

3、Portia：是一个开源可视化爬虫工具，可让使用者在不需要任何编程知识的情况下爬取网站！简单地注释自己感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。简单来讲，它是基于scrapy内核；可视化爬取内容，不需要任何开发专业知识；动态匹配相同模板的内容。

4、newspaper：可以用来提取新闻、文章和内容分析。使用多线程，支持10多种语言等。作者从requests库的简洁与强大得到灵感，使用Python开发的可用于提取文章内容的程序。支持10多种语言并且所有的都是unicode编码。

5、Python-goose：Java写的文章提取工具。Python-goose框架可提取的信息包括：文章主体内容、文章主要图片、文章中嵌入的任何Youtube/Vimeo视频、元描述、元标签。

6、Beautiful Soup：名气大，整合了一些常用爬虫需求。它是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。Beautiful Soup的缺点是不能加载JS。

7、mechanize：它的优点是可以加载JS。当然它也有缺点，比如文档严重缺失。不过通过官方的example以及人肉尝试的方法，还是勉强能用的。

8、selenium：这是一个调用浏览器的driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码。Selenium是自动化测试工具，它支持各种浏览器，包括 Chrome，Safari，Firefox等主流界面式浏览器，如果在这些浏览器里面安装一个 Selenium 的插件，可以方便地实现Web界面的测试. Selenium支持浏览器驱动。Selenium支持多种语言开发，比如 Java，C，Ruby等等，PhantomJS 用来渲染解析JS，Selenium 用来驱动以及与Python的对接，Python进行后期的处理。

9、cola：是一个分布式的爬虫框架，对于用户来说，只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分配到多台机器上，整个过程对用户是透明的。项目整体设计有点糟，模块间耦合度较高。

10、PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。Python脚本控制，可以用任何你喜欢的html解析包。

Q4: Python函数的定义(构造)和调用

这里来给大家演示一下，函数的定义或构造，并调用函数来实现封装后的效果。

首先我们来看看想实现下面的这个效果，如果不使用函数应该怎么实现。

以上两种返回结果都是1-9这几个数字。

以上两种方法，第一种代码重复率太高，代码美观效果太差，虽然能实现效果，但是因为数量比较少，还能手工打出来这几行代码，如果是打印1-100000就很难实现了。这时候for循环还是可以实现的，但是for循环只能实现类似的数字和变量循环，无法进行复杂的功能开发。鉴于此，函数这个概念就被python引入了，下面先来看看函数是怎么实现上面的效果的，还是两种方法。

这时候如果想实现上面的打印结果就直接使用函数名+小括号调用函数就可以了，这种类型的语法，不仅可以反复使用，而且封装后的代码更美观。

Q5: Python有哪些常见的，好用的爬虫框架

目前实现爬虫技术的编程环境有很多种，Java、Python、C++等都可以用来写爬虫。但很多人选择Python来写爬虫，原因是Python确实很适合做爬虫，丰富的第三方库十分强大，简单几行代码便可实现你想要的功能。更重要的，Python也是数据挖掘和分析的好能手。那么，今天IPIDEA就带大家来了解Python爬虫一般用什么框架比较好。

Beautiful Soup：整合了一些常用爬虫需求。它是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。Beautiful Soup的缺点是不能加载JS。

selenium：这是一个调用浏览器的driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码。Selenium是自动化测试工具，它支持各种浏览器，包括 Chrome，Safari，Firefox等主流界面式浏览器，如果在这些浏览器里面安装一个 Selenium 的插件，可以方便地实现Web界面的测试. Selenium支持浏览器驱动。Selenium支持多种语言开发，比如 Java，C，Ruby等等，PhantomJS 用来渲染解析JS，Selenium 用来驱动以及与Python的对接，Python进行后期的处理。

Scrapy：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。它是很强大的爬虫框架，可以满足简单的页面爬取，比如可以明确获知url pattern的情况。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这个框架就满足不了需求了。它的特性有：HTML, XML源数据 选择及提取 的内置支持；提供了一系列在spider之间共享的可复用的过滤器(即 Item Loaders)，对智能处理爬取数据提供了内置支持。

Portia：是一个开源可视化爬虫工具，可让使用者在不需要任何编程知识的情况下爬取网站！简单地注释自己感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。简单来讲，它是基于scrapy内核；可视化爬取内容，不需要任何开发专业知识；动态匹配相同模板的内容。

cola：是一个分布式的爬虫框架，对于用户来说，只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分配到多台机器上，整个过程对用户是透明的。项目整体设计有点糟，模块间耦合度较高。

PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。Python脚本控制，可以用任何你喜欢的html解析包。