爬虫postgresql的简单介绍

大数据开发难不难学？

大数据开发难不难学？

大数据开发，难点有以下4个阶段：

1、数据采集

数据采集有线上和线下两种方式，线上一般通过爬虫、通过抓取，或者通过已有应用系统的采集，在这个阶段，我们可以做一个大数据采集平台，依托自动爬虫(使用python或者nodejs制作爬虫软件)，ETL工具、或者自定义的抽取转换引擎，从文件中、数据库中、网页中专项爬取数据，如果这一步通过自动化系统来做的话，可以很方便的管理所有的原始数据，并且从数据的开始对数据进行标签采集，可以规范开发人员的工作。并且目标数据源可以更方便的管理。

数据采集的难点在于多数据源，例如mysql、postgresql、sqlserver 、 mongodb 、sqllite。还有本地文件、excel统计文档、甚至是doc文件。如何将他们规整的、有方案的整理进我们的大数据流程中也是必不可缺的一环。

2、数据汇聚

数据的汇聚是大数据流程关键的一步，你可以在这里加上数据标准化，你也可以在这里做数据清洗，数据合并，还可以在这一步将数据存档，将确认可用的数据经过可监控的流程进行整理归类，这里产出的所有数据就是整个公司的数据资产了，到了一定的量就是一笔固定资产。

数据汇聚的难点在于如何标准化数据，例如表名标准化，表的标签分类，表的用途，数据的量，是否有数据增量?，数据是否可用? 需要在业务上下很大的功夫，必要时还要引入智能化处理，例如根据内容训练结果自动打标签，自动分配推荐表名、表字段名等。还有如何从原始数据中导入数据等。

3、数据转换和映射

经过数据汇聚的数据资产如何提供给具体的使用方使用?在这一步，主要就是考虑数据如何应用，如何将两个?三个?数据表转换成一张能够提供服务的数据。然后定期更新增量。

经过前面的那几步，在这一步难点并不太多了，如何转换数据与如何清洗数据、标准数据无二，将两个字段的值转换成一个字段，或者根据多个可用表统计出一张图表数据等等。

4、数据应用

数据的应用方式很多，有对外的、有对内的，如果拥有了前期的大量数据资产，通过restful API提供给用户?或者提供流式引擎 KAFKA 给应用消费? 或者直接组成专题数据，供自己的应用查询?这里对数据资产的要求比较高，所以前期的工作做好了，这里的自由度很高。

大数据开发的难点主要是监控，怎么样规划开发人员的工作?开发人员随随便便采集了一堆垃圾数据，并且直连数据库。 短期来看，这些问题比较小，可以矫正。 但是在资产的量不断增加的时候，这就是一颗定时炸弹，随时会引爆，然后引发一系列对数据资产的影响，例如数据混乱带来的就是数据资产的价值下降，客户信任度变低。

相关问答

Q1: python爬虫学习教程哪个好？

链接：

提取码：2b6c

课程简介

毕业不知如何就业？工作效率低经常挨骂？很多次想学编程都没有学会？

Python 实战：四周实现爬虫系统，无需编程基础，二十八天掌握一项谋生技能。

带你学到如何从网上批量获得几十万数据，如何处理海量大数据，数据可视化及网站制作。

课程目录

开始之前，魔力手册 for 实战学员预习

第一周：学会爬取网页信息

第二周：学会爬取大规模数据

第三周：数据统计与分析

第四周：搭建 Django 数据可视化网站

......

Q2: 如何构建一个分布式爬虫

爬虫本质上不需要分布式。因为你要爬一个网站通常5-10个线程足够了，再多就是对网站压力测试了。你只需要将任务分配到不同的机器上，然后各运行各自己的，结果合并一下就可以。这个与nutch人map,reduse也没有什么差别。只是手工分，手工合并。当然也可以用脚本分，脚本合并，脚本远程启动。有一个远程控制模块，似乎叫rpy。很简单，很容易上手。可以远程控制一个模块。数据库用postgresql不是很好。因为爬行结果放在关系型数据库里太吃力。特别是网页内容。通常是URL放在redis里。内容放在文件系统里，你可以用hadoop+hdfs+thrift方案放在hadoop里。如果使用了hadoop，就干脆模仿nutch的流程，把python脚本也交给hadoop去管理好了。至于控制与通信这个都让hadoop来处理好了。当然我个人觉着rpy方式更简单。里面控制与通信都是现成的。10分钟就学会了。还是回到原来的说法，大部分情况下，单机多线程跑爬虫足够用了。不需要分布式。而且效率甚至比分布式更高。

Q3: 学python就业都有哪些方向

其实我个人是很看好python未来的就业前景的，因为我认识太多的工程师都已经在学python，很多都是月收入大几万的

我个人也并非一直用python。前些年主要用c/c++以及java开发一些通信，移动系统，互联网通信。近3年开始才转向python。坦白的说，这可能与你相处的公司以及环境不大一样。随便举个例子，google的protocol buffer协议一出来就具有c++/python/java三种语言支持。google的广告系统早在03,04年左右就一并对python进行了webservice支持，大部分涉及基础核心系统的公司，都开始对python进行了扩展支持。甚至开源社区的postgresql数据库，除了自身的ansi SQL,pgsql,pg/TCL,PG/PERL之外对python进行了内嵌支持，唯独却没有呼声很高的java。在FREEBSD（MIT）/LINUX(GPL)平台上，对java可能排斥性比较大，但综合而言，目前python发展还没有java那种普及，主要是python大部分工作仍然是在较为深入地系统层和框架层做设计开发，例如django,SQLAlchemy,fail2ban,mail邮件系统,twisted等等。这部分对于那种习惯应用前辈们框架的编码人员而言，缺乏创造力的他们根本无法适用这种开发。尤其在python涉及一些系统层面需要有较强的c/c++能力，这部分人在国内要么就累得要死没时间，要么就啥都不会就会拷贝代码，而国内公司也鲜有主动去做这部分基础劳动的，大多都是等别人做好了在直接拿来用，所以造就了任何技术性的东西出来，国内都是先等等看，然后抄袭应用。

大环境如此，但千万误认为先等等看吧。对于一个技术人员而言，缺乏对新技术的渴望与热情，这是一种非常危险的事情。我工作8年了，按照国内很多的人的说法早已不做代码了，但又一次在听一个老外的演讲，他说他50多岁仍然每天坚持写代码，了解最新的动态，所以他才能做到他们公司的首席科学家，因此它才能时刻指导项目团队前进并保证项目的质量。他坦言对于一个不写代码并且不了解最新的技术动态的技术人员或者技术团队的负责人而言，这种团队也就足够做作小项目，一旦压力和项目过大，就会有很多问题漏出来。

对于新人而言，无论学习什么技术，都要以鼓励的姿态出现。太多用薪水和你个人所看到的现状去衡量一门技术，那绝对是欠缺眼光的。任何一门技术，一旦有人学习，他有可能逐渐成为这个领域的专家，即便再滥再没有人用的开发语言技术，他也有可能就是明日的奠基者或者大师。