学Python，总之他们都从食腐已经开始的吧。即便网路上类似于的天然资源很多样，开放源码工程项目也十分多。

Python自学互联网食腐主要就分3个大的新浪网：截取，预测，储存

当他们在应用程序中输出两个url后quarterfinal，前台会出现甚么？

单纯而言这段操作过程出现了下列五个关键步骤：

搜寻搜索引擎相关联的IP门牌号。

向IP相关联的伺服器端允诺。

伺服器积极响应允诺，传回FTP。

应用程序导出FTP。

？

所以自学食腐须要掌控甚么样库呢

通用型：

urllib -互联网库(stdlib)。

requests -互联网库。

grab – 互联网库（如前所述pycurl）。

pycurl – 互联网库（存取libcurl）。

urllib3 – Python HTTP库，安全可靠连接池、全力支持文档post、易用性高。

httplib2 – 互联网库。

RoboBrowser – 两个单纯的、颇具Python艺术风格的Python库，无须分立的应用程序方可下载页面。

MechanicalSoup -两个与中文网站手动可视化Python库。

mechanize -有状态、可编程的Web下载库。

socket – 底层互联网接口(stdlib)。

Unirest for Python – Unirest是一套可用于多种语言的轻量级的HTTP库。

hyper – Python的HTTP/2客户端。

PySocks – SocksiPy更新并积极维护的版本，包括错误修复和一些其他的特征。作为socket模块的直接替换。

互联网食腐框架

功能齐全的食腐

grab – 互联网食腐框架（如前所述pycurl/multicur）

scrapy – 互联网食腐框架（如前所述twisted），不全力支持Python3。

pyspider – 两个强大的食腐系统。

cola – 两个分布式食腐框架。

其他

portia – 如前所述Scrapy的可视化食腐。

restkit – Python的HTTP天然资源工具包。它可以让你轻松地访问HTTP天然资源，并围绕它建立的对象。

demiurge – 如前所述PyQuery的食腐微框架。

HTML/XML导出器

通用型

lxml – C语言编写高效HTML/ XML处理库。全力支持XPath。

cssselect – 导出DOM树和CSS选择器。

pyquery – 导出DOM树和jQuery选择器。

BeautifulSoup – 低效HTML/ XML处理库，纯Python实现。

html5lib – 根据WHATWG规范生成HTML/ XML文档的DOM。该规范被用在现在所有的应用程序上。

feedparser – 导出RSS/ATOM feeds。

MarkupSafe – 为XML/HTML/XHTML提供了安全可靠转义的字符串。

xmltodict – 两个可以让你在处理XML时感觉像在处理JSON一样的Python模块。

xhtml2pdf – 将HTML/CSS转换为PDF。

untangle – 轻松实现将XML文档转换为Python对象。

清理

Bleach – 清理HTML（须要html5lib）。

sanitize – 为混乱的数据世界带来清明。

文本处理

用于导出和操作单纯文本的库。

通用型

difflib – （Python标准库）帮助进行差异化比较。

Levenshtein – 快速计算Levenshtein距离和字符串相似度。

fuzzywuzzy – 模糊字符串匹配。

esmre – 正则表达式加速器。

ftfy – 手动整理Unicode文本，减少碎片化。

自然语言处理

处理人类语言问题的库。

NLTK -编写Python程序来处理人类语言数据的最好平台。

Pattern – Python的互联网挖掘模块。他有自然语言处理工具，机器自学以及其它。

TextBlob – 为深入自然语言处理任务提供了一致的API。是如前所述NLTK以及Pattern的巨人之肩上发展的。

jieba – 中文分词工具。

SnowNLP – 中文文本处理库。

loso – 另一个中文分词库。

应用程序手动化与仿真

selenium – 手动化真正的应用程序（Chrome应用程序，火狐应用程序，Opera应用程序，IE应用程序）。

Ghost.py – 对PyQt的webkit的封装（须要PyQT）。

Spynner – 对PyQt的webkit的封装（须要PyQT）。

Splinter – 通用型API应用程序模拟器（selenium web驱动，Django客户端，Zope）。

多重处理

threading – Python标准库的线程运行。对于I/O密集型任务很有效。对于CPU存取的任务没用，因为python GIL。

multiprocessing – 标准的Python库运行多进程。

celery – 如前所述分布式消息传递的异步任务队列/作业队列。

concurrent-futures – concurrent-futures 模块为调用异步执行提供了两个高层次的接口。

异步

异步互联网编程库

asyncio – （在Python 3.4 +版本以上的 Python标准库）异步I/O，时间循环，协同程序和任务。

Twisted – 如前所述事件驱动的互联网引擎框架。

Tornado – 两个互联网框架和异步互联网库。

pulsar – Python事件驱动的并发框架。

diesel – Python的如前所述绿色事件的I/O框架。

gevent – 两个使用greenlet 的如前所述协程的Python互联网库。

eventlet – 有WSGI全力支持的异步框架。

Tomorrow – 异步代码的奇妙的修饰语法。

队列

celery – 如前所述分布式消息传递的异步任务队列/作业队列。

huey – 小型多线程任务队列。

mrq – Mr. Queue – 使用redis & Gevent 的Python分布式工作任务队列。

RQ – 如前所述Redis的轻量级任务队列管理器。

simpleq – 两个单纯的，可无限扩展，如前所述Amazon SQS的队列。

python-gearman – Gearman的Python API。

云计算

picloud – 云端执行Python代码。

dominoup.com – 云端执行R，Python和matlab代码

FTP提取

提取FTP的库。

HTML页面的文本和元数据

newspaper – 用Python进行新闻提取、文章提取和内容策展。

html2text – 将HTML转为Markdown格式文本。

python-goose – HTML内容/文章提取器。

lassie – 人性化的FTP检索工具

WebSocket

用于WebSocket的库。

Crossbar – 开放源码的应用消息传递路由器（Python实现的用于Autobahn的WebSocket和WAMP）。

AutobahnPython – 提供了WebSocket协议和WAMP协议的Python实现并且开放源码。

WebSocket-for-Python – Python 2和3以及PyPy的WebSocket客户端和伺服器库。

DNS导出

dnsyo – 在全球超过1500个的DNS伺服器上检查你的DNS。

pycares – c-ares的接口。c-ares是进行DNS允诺和异步名称决议的C语言库。

计算机视觉

OpenCV – 开放源码计算机视觉库。

SimpleCV – 用于照相机、图像处理、特征提取、格式转换的简介，可读性强的接口（如前所述OpenCV）。

mahotas – 快速计算机图像处理算法（完全使用 C++ 实现），完全如前所述 numpy 的数组作为它的数据类型。

代理伺服器

shadowsocks – 两个快速隧道代理，可帮你穿透防火墙（全力支持TCP和UDP，TFO，多用户和平滑重启，目的IP黑名单）。

tproxy – tproxy是两个单纯的TCP路由代理（第7层），如前所述Gevent，用Python进行配置。

web开发的一些框架

1.Django

Django是两个开放源码的Web应用框架，由Python写成，全力支持许多数据库引擎，可以让Web开发变得迅速和可扩展，并会不断的版本更新以匹配Python最新版本，如果是新手程序员，可以从这个框架入手。

2.Flask

Flask是两个轻量级的Web应用框架, 使用Python编写。如前所述 WerkzeugWSGI工具箱和 Jinja2模板引擎。使用 BSD 授权。

Flask也被称为 “microframework” ，因为它使用单纯的核心，用 extension 增加其他功能。Flask没有默认使用的数据库、窗体验证工具。然而，Flask保留了扩增的弹性，可以用Flask-extension加入这些功 能：ORM、窗体验证工具、文档上传、各种开放式身份验证技术。

3.Web2py

Web2py是两个用Python语言编写的免费的开放源码Web框架，旨在敏捷快速的开发Web应用，具有快速、可扩展、安全可靠以及可移植的数据库驱动的应用，遵循LGPLv3开放源码协议。

Web2py提供一站式的解决方案，整个开发操作过程都可以在应用程序上进行，提供了Web版的在线开发，HTML模版编写，静态文档的上传，数据库的编写的功能。其它的还有日志功能，以及两个手动化的admin接口。

4.Tornado

Tornado即是两个Web server（对此本文不作详述），同时又是两个类web.py的micro-framewordo可以看作是两个东西）：

“[web.py inspired the] Web framework we use at FriendFeed [and] the webapp framework that ships with App Engine…”

因为有这层关系，后面不再单独讨论Tornado。

5.CherryPy

CherryPy是一种用于Python的、单纯而十分有用的Web框架，其主要就作用是以尽可能少的操作将Web伺服器与Python代码连接，其功能包括内置的预测功能、灵活的插件系统以及一次运行多个HTTP伺服器的功能，可与运行在最新版本的Python、Jython、Android上。

框架选择的误区

在框架的选择问题上，许多人很容易就陷入了下面两个误区中而不自知：哪个框架最好——世上没有最好的框架，只有最适合你自己、最适合你的团队的框架。编程语言选择也是两个道理，你的团队Python最熟就用Python好了，如果最熟悉的是Ruby那就用Ruby好了，编程语言、框架都只是工具，能多、快、好、省的干完活就是好东西。

*声明：本文于互联网整理，版权归原作者所有，如