python爬虫可以做什么工作-自学Python爬虫学到什么程度？就可以去找工作了？-程序员宅基地
python 爬虫学到什么程度可以去找工作了，关于这点，和大家分享下我的理解。
确立目标、了解需求
首先我们要先定位自己的目标，当然我们先以爬虫工程师来做个说明。
去招聘网上看看需求都有哪些,直接做个拉勾网爬虫（有需要的私信）出结果了：
仔细看看，我们可以得出以下几点：
1、 python 不是唯一可以做爬虫的，很多语言都可以，尤其是 java,同时掌握它们和拥有相关开发经验是很重要的加分项
2、 大部分的公司都要求爬虫技术有一定的深度和广度，深度就是类似反反爬、加密破解、验证登录等等技术；广度就是分布式、云计算等等，这都是加分项
3、 爬虫，不是抓取到数据就完事了，如果有数据抽取、清洗、消重等方面经验，也是加分项
4、 一般公司都会有自己的爬虫系统，而新进员工除了跟着学习以外最常做的工作就是维护爬虫系统，这点要有了解
5、 最后一个加分项就是前端知识，尤其是常用的 js、ajax、html/xhtml、css 等相关技术为最佳，其中 js 代码的熟悉是很重要的
6、 补充一条，随着手持设备的市场占比越来越高，app 的数据采集、抓包工具的熟练使用会越来越重要
以上内容，不要求全部掌握，但是掌握的越多，那么你的重要性就越高
如何提高自己
网上教程很多，就 python 而言，只会 requests 明显是不够的，起码 scrapy 和pyspider 这俩框架要掌握，scrapy_redis 原理要理解
多做全站爬虫，比如抓取一个小说网站， 能抓一本小说是基本功，你要想办法分类别把整站小说全部抓取下来，存到数据库，甚至自己建站，完全用你的方式将对方的网站 copy 下来！这个过程需要注意的是如何去重，Mongo 可以、redis 也可以。
实战项目经验
这个是在面试中经常会问到
1、 你抓过哪些网站？
2、 日均采集量有多少？
3、 遇到哪些问题，怎么解决的？
那么，怎么找项目呢？Github 你需要多去看看，项目多到超出你的想象！
如何判断能力是否足够
很简单，去网上找一个爬虫的外包方案，自己去尝试做一下！当然你要能卖出去，那是最好了。实践是硬道理！
以上仅为个人看法，若有不足之处请指教，希望可以帮助到大家！
智能推荐
codeforces 148D之概率DP_codeforces 概率-程序员宅基地
文章浏览阅读2.4k次。http://codeforces.com/problemset/problem/148/DD. Bag of micetime limit per test2 secondsmemory limit per test256 megabytesinputstandard inputoutputstandard outp_codeforces 概率
在java中实现订餐系统_Java实现简单订餐系统-程序员宅基地
文章浏览阅读4.1k次，点赞2次，收藏28次。本文实例为大家分享了Java实现简单订餐系统的具体代码，供大家参考，具体内容如下import java.util.Scanner;import java.util.*;public class OrderingMsg {public static void main(String[] args) {// 数据主体：一组订单信息String[] names = new String[4]; // 订..._java美每胃订餐系统
用DB类写新闻系统-1-程序员宅基地
文章浏览阅读40次。今天用DB类写个新闻系统（点击查看DB类） 添加新闻主要代码<form action="news_add_up.asp?tabname=news" onSubmit="return isok(this)" method="post" name="upload" id="upload"> <table width="100%" border="0" class="df..._$hot_news= mymps_get_news
设计模式——行为型模式之——命令模式Command_命令模式 李建忠-程序员宅基地
文章浏览阅读94次。命令模式Command_命令模式 李建忠
借助腾讯云CDN开启全站https及问题解决分享_cdn的http3开不开-程序员宅基地
文章浏览阅读5.5k次。版权声明：本文由张戈原创文章，转载请注明出处: 文章原文链接：https://www.qcloud.com/community/article/78来源：腾云阁 https://www.qcloud.com/community自从百度推荐全站 https 以来，一直就想让博客跟上这个节奏。可惜，国内所有的免费CDN都不支持https。所以要开启https势必要暴露网_cdn的http3开不开
卷积神经网络学习二：tinny_cnn程序试运行_对于卷积神经网络文件过多,怎样运行-程序员宅基地
文章浏览阅读1.4k次。卷积神经网络学习二：tinny_cnn程序试运行_对于卷积神经网络文件过多,怎样运行
随便推点
PPT-程序员宅基地
文章浏览阅读330次。1.好的 PPT字要少，因为相比于选择题与判断题观众不喜欢阅读题。2.PPT做的好的人，一定是要站在观众角度进行思考的人。3.增加PPT的审美。站酷、花瓣网。海报、VI、画册、平面、演示。4.PPT初始化设置：撤销次数设置：文件--选项--高级--编辑选项--最多可取消操作数。自动保存：文件--选项--保存--勾选自动恢复版本。幻灯片比例调整：设计--右...
http://liveforlinux.blog.51cto.com/3337218/1056484-程序员宅基地
文章浏览阅读522次。awk系列3--比较全面在各大网站看到的 自己整理的awk学习实例[root@localhostopt]#catgrade.txtM.Tansley05/9948311Green84044J.Lulu06/9948317green92426P.Bunny02/99..._456mmmcon
Python机器学习入门 -- 支持向量机学习笔记_支持向量机 python-程序员宅基地
文章浏览阅读879次，点赞5次，收藏10次。大部分传统的机器学习算法都可以实现分类任务，但这些模型关注的是将不同类别的数据分得开就行，也就是说它们的核心思想是让整个模型分类出错的损失越小越好。刚刚好有一种机器学习模型，它不仅关注分类能不能将不同类别的数据完全分得开，还关注分类得到的决策边界的间隔能不能最大化，即离该决策边界每个类别最近的数据点的距离能不能更远，这就是我们今天的主角 - - 支持向量机。_支持向量机 python
信息学奥赛一本通 1321：【例6.3】删数问题(Noip1994) 贪心算法_1321信息学奥赛一本通答案-程序员宅基地
文章浏览阅读437次，点赞9次，收藏10次。输入一个高精度的正整数n，去掉其中任意s个数字后剩下的数字按原左右次序组成一个新的正整数。编程对给定的n和s，寻找一种方案使得剩下的数字组成的新数最小。时间限制: 1000 ms 内存限制: 65536 KB。每次删除第一个比下一个数字大的数字，如果没有就删除最后一个。1321：【例6.3】删数问题(Noip1994)理由是越高位替换成小的数字，得到的数字就会越小。（n不超过240位）输入数据均不需判错。_1321信息学奥赛一本通答案
OS短作业优先调度算法C语言,OS短作业优先调度算法C语言.doc-程序员宅基地
文章浏览阅读295次。采用短作业优先调度算法调度程序学 号：姓 名：专 业：指导老师：日 期：目录一、实验题目3二、课程设计的目的3三、设计内容3四、设计要求3五、主要数据结构及其说明4六、程序运行结果5七、流程图7八、源程序文件9九、实验体会13十、参考文献13摘要在多道程序环境下，主存中有着多个进程，其数目往往多于处理机数目。这就要求系统能按某种算法，动态地把处理机分配给就绪队列中的一个进程..._os长作业与短作业
黑马程序员--Java基础学习第十三天-程序员宅基地
文章浏览阅读84次。---------------------- android培训、java培训、期待与您交流！ ----------------------一、String类概述String类被final修饰，不能被继承。字符串一旦被初始化就不能被改变。字符串在内存中的存储请参考：http://www.cnblogs.com/heima/archive/2012/03/25/2417253.html..._java黑马程序员di13天代码