如今的生活—2017

高三时候,为了写作文 背了这么一句话 生活如同一朵玫瑰,每瓣花代表一根梦想,每根刺代表一个现实 差不多已是三年过去 刺不多,花香犹存 2017年对我来说是具有挑战的一年 我即将毕业 有以下愿景我希望能实现 温饱、进步、健康、爱 读书、代码、拿得出手的东西 16年大三暑假我就从学校跑了出来,毕业照回去……

阅读全文

Mastering Python 01

1.准备 1.说明:《Mastering Python》读书笔记 2.要求:首先,希望你是处在python3版本,然后拥有一个干净的虚拟环境更是必要。 3.virtualenv或者anaconda都是不错的选择 2.Pythonic Syntax, Common Pitfalls, and Style Guide 2.1.Pythonic code 对于python开发者,无不希望写出pythonic风格的代……

阅读全文

ITBooks—简单的书籍下载小工具

1.前言 我有个习惯就是收藏一些书籍,比如说编程类的,总是会去某些网站刷刷,若有新书籍更新恰又是自己感兴趣的,自然会立马下载下来,写程序的都知道,编程书籍更新换代太快,国内的翻译的速度很难全面地跟上,对此,阅读国外的电子书籍是个途径。 很早就想写个书籍集成的脚本,本周女朋友回学校改论……

阅读全文

对于python抓取google搜索结果的一些了解

大学时期博文 1.问题 目前主流的搜索引擎,非google莫属,但其对于非法(流量异常、爬虫)请求的封锁也是异常严厉 本人前段时间有个脚本用到了谷歌搜索,具体见python之由公司名推算出公司官网(余弦相似度)当时直接使用的是一个python开源项目 但在使用过程中,单ip的情况下爬取速……

阅读全文

Mastering Pandas 01

1.pandas特性 对于python开发者来说,在面对海量数据时,pandas可谓是数据分析的首选,以下关键特性是它如此热门的原因: 1. 可以处理各种不同格式的数据集:时间序列,表格,矩阵数据 2. 促进csv、DB/SQL等来源数据的加载/导入 3. 可以在很大数据集的基础上进行一些过滤、合并……

阅读全文

CentOS7分布式部署pyspider

搭建环境: 系统版本:Linux centos-linux.shared 3.10.0-123.el7.x86_64 #1 SMP Mon Jun 30 12:09:22 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux python版本:Python 3.5.1 搭建python3环境: 本人在尝试过后选择集成环境Anaconda 编译 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 # 下载依赖 yum install -y ncurses-devel openssl openssl-devel zlib-devel gcc make glibc-devel libffi-devel glibc-static glibc-utils sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-deve # 下载pyth……

阅读全文

祝你生日快乐

很荣幸,能将你写到我的生命里 生命不过百年,你我相识六年有余 记忆中我为你过了四次生日,高一、大一、大二、大三 第五次,祝你生日快乐 这次却有些不同,因为我们相爱了,我可以加上一句,我爱你 或许有些矫情,可在这夜晚中我毫不介意 我爱你 如果把生命想象成一条线,我们早已经在某个点相交,然后相互环……

阅读全文

Python之由公司名推算出公司官网(余弦相似度)

1.问题 对展会数据分类后,我的新任务是如何通过公司名、公司地址、国家等海关数据推断出该公司的官网网站(若官网不存在则不考虑) 以下数据仅供参考: 公司名 国家 地址 JPW INDUSTRIES INC 427 NEW SANFORD RD LAVERGNE TN 37086 US Fujian Xishi Co., Ltd CN, CHINA BusinessPartner Co.,ltd BENKAI Co.,Ltd GOLD INC 18245 E 40TH AVE AURORA CO 80011 US 需要得到结果: 公司名 官方网站 JPW INDUSTRIES INC http://http://www.jpwindustries.com/ Fujian Xishi Co., Ltd http://www.xishigroup.com/ BusinessPartner Co.,ltd http://www.traderthailand.com/ BENKAI Co.,Ltd http://www.benkaico.com GOLD INC……

阅读全文

Python之朴素贝叶斯对展会数据分类

目的 在公司实习,分别从国内国外两个网站爬取了一些展会数据,在数据处理上目前需要将其按照各个类别分类好,并提供对应展会地址的经纬度,国内数据如下: 国内数据比较少,占四百多条,在类别上来看有所属行业这一列,所以比较好处理,国外数据就有些尴尬: 国外网站展会数据将近五万多条,跟分类有关的……

阅读全文

python之装饰器

认识装饰器 在python中,对于一个函数,若想在其运行前后做点什么,那么装饰器是再好不过的选择,话不多说,上代码。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 #!/usr/bin/env # -*-coding:utf-8-*- # script: 01.py __author__ = 'howie' from functools import wraps def decorator(func): @wraps(func) def wrapper(*args, **kwargs): print("%swas called" % func.__name__) func(*args, **kwargs) return wrapper @decorator def hello(name="howie"): print("Hello %s!" % name) hello() outputs: hello was called Hello howie! 这段代码,初看之下,确实不是很理解,接下来一步一步分析……

阅读全文