分类 python 中的文章

Sanic 使用教程 - 1.初使用

在安装Sanic之前,让我们一起来看看Python在支持异步的过程中,都经历了哪些比较重大的更新。 首先是Python3.4版本引入了asyncio,这让Python有了支持异步IO的标准库,而后3.5版本又提供了两个新的关键字 async/await,目的是为了更好地标识异步IO,……

阅读全文

gRPC使用初试

1.前言 gRPC是一个开源的高性能并且能在任何环境中运行的RPC框架,其采用 protocol buffer: protocol buffer是一个用于结构化数据序列化的一个灵活的、有效率的自动化机制,类似于XML(但比其更简单、小巧且简单),对于某个服务需要定义的数据结构,可以使用protocol buffer(proto3)……

阅读全文

talospider - 简单的爬虫框架

为什么写这个? 一些简单的页面,无需用比较大的框架来进行爬取,自己纯手写又比较麻烦 因此针对这个需求写了talospider: 1.针对单页面的item提取 - 具体介绍点这里 2.spider模块 - 具体介绍点这里 介绍&&使用 item 这个模块是可以独立使用的,对于一些请求比较简单的……

阅读全文

owllook -- 一个简洁的网络小说搜索引擎

前言 上一篇介绍了自己在使用sanic过程中遇到的一些问题,这次就想介绍下这个owllook,上面是演示demo,具体可以见https://www.owllook.net/ 本项目纯属共享学习之用,不得用于商业! 首先我想说下目前的项目进度: v0.1.0: 小说的基本搜索解析功能 搜索记录……

阅读全文

sanic使用记录

在使用python异步的时候,我了解到了sanic这个据说是最快的web服务框架,其支持异步请求处理机制,这意味你可以使用python3.5的async/await来编写无阻塞的异步程序。 于是我利用业余时间使用sanic编写了这个项目。

……

阅读全文

Mastering Python 01

1.准备 1.说明:《Mastering Python》读书笔记 2.要求:首先,希望你是处在python3版本,然后拥有一个干净的虚拟环境更是必要。 3.virtualenv或者anaconda都是不错的选择 2.Pythonic Syntax, Common Pitfalls, and Style Guide 2.1.Pythonic code 对于python开发者,无不希望写出pythonic风格的代……

阅读全文

ITBooks—简单的书籍下载小工具

1.前言 我有个习惯就是收藏一些书籍,比如说编程类的,总是会去某些网站刷刷,若有新书籍更新恰又是自己感兴趣的,自然会立马下载下来,写程序的都知道,编程书籍更新换代太快,国内的翻译的速度很难全面地跟上,对此,阅读国外的电子书籍是个途径。 很早就想写个书籍集成的脚本,本周女朋友回学校改论……

阅读全文

对于python抓取google搜索结果的一些了解

大学时期博文 1.问题 目前主流的搜索引擎,非google莫属,但其对于非法(流量异常、爬虫)请求的封锁也是异常严厉 本人前段时间有个脚本用到了谷歌搜索,具体见python之由公司名推算出公司官网(余弦相似度)当时直接使用的是一个python开源项目 但在使用过程中,单ip的情况下爬取速……

阅读全文

Mastering Pandas 01

1.pandas特性 对于python开发者来说,在面对海量数据时,pandas可谓是数据分析的首选,以下关键特性是它如此热门的原因: 1. 可以处理各种不同格式的数据集:时间序列,表格,矩阵数据 2. 促进csv、DB/SQL等来源数据的加载/导入 3. 可以在很大数据集的基础上进行一些过滤、合并……

阅读全文

CentOS7分布式部署pyspider

搭建环境: 系统版本:Linux centos-linux.shared 3.10.0-123.el7.x86_64 #1 SMP Mon Jun 30 12:09:22 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux python版本:Python 3.5.1 搭建python3环境: 本人在尝试过后选择集成环境Anaconda 编译 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 # 下载依赖 yum install -y ncurses-devel openssl openssl-devel zlib-devel gcc make glibc-devel libffi-devel glibc-static glibc-utils sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-deve # 下载pyth……

阅读全文