如果想要模拟浏览器，可以使用casperJS。用swoole扩展封装一个服务接口给PHP层调用 在这里有一套爬虫系统就是基于上述技术方案实现的，每天会抓取几千万个页面。
专业成都网站建设公司，做排名好的好网站，排在同行前面，为您带来客户和效益!创新互联公司为您提供成都网站建设，五站合一网站设计制作，服务好的网站设计公司，成都网站建设、网站设计负责任的成都网站制作公司!
具体处理方式就是建立就一个任务队列，往队列里面插入一些种子任务和可以开始爬行，爬行的过程就是循环的从队列里面提取一个URL，打开后获取连接插入队列中，进行相关的保存。队列可以使用数组实现。
一般php采集网络数据会用file_get_contents、file和cURL。不过据说cURL会比file_get_contents、file更快更专业，更适合采集。今天就试试用cURL来获取网页上的所有链接。
几乎任何语言都能写爬虫，原理也都一样，http 协议抓网页内容，按照需求程度不同，可能还要抓响应码、Cookies、header然后自行处理。
1、城市ip定位？如果要用ip来知道地址的话，必须有ip和地址的对应库，现在很多DNS服务器可以做到这一点。所以这个还是需要有一定的基础数据才行 。
2、TP好一点，在国内用的人比CI要多，各种技术交流也是非常多的。
3、PHP深化。掌握Ajax异步传输，学习面向对象，学习MVC框架并掌握流行的PHP框架，如Yii框架，国内的ThinkPHP框架，形成良好的编码习惯。能快速用框架开发网站。
4、PHP自学之路——小白请看！基础部分：HTML+CSS+DIV 学习方法：看手册或看书，跟着写代码，这个阶段不建议大家看视频教程，因为这是最基础的东西，不是很难掌握，看视频确实有点浪费时间。
5、自学PHP到一般程度，或比较深的程度都叫自学。关键是你的悟性，你每天投入的学习时间是多少。有自学半年左右去上班的，就是工资低点，也有自学一年多去上班的。取决于自己的理解程度。
6、从默默自己向别人问怎么学PHP开始，到后来不少人又来问默默怎么学PHP，不管默默是新手，还是老鸟，似乎总是感觉摸不出一条清晰的脉络来，不过，默默既然学会了PHP，那么我走的这条路或多或少的有一定借鉴性。
具体处理方式就是建立就一个任务队列，往队列里面插入一些种子任务和可以开始爬行，爬行的过程就是循环的从队列里面提取一个URL，打开后获取连接插入队列中，进行相关的保存。队列可以使用数组实现。
只要包含网络和字符串处理功能的编程语言理论上都可以写爬虫，所以PHP当然完全没问题。如何用PHP写爬虫的前提是你要先调研清楚爬什么内容。这需要你针对要爬取目标做好充分的测试和准备工作，否则会浪费很多时间。
从爬虫基本要求来看：抓取：抓取最基本就是拉网页回来，所以第一步就是拉网页回来，慢慢会发现各种问题待优化；存储：抓回来一般会用一定策略存下来，可以选择存文件系统开始，然后以一定规则命名。
一般php采集网络数据会用file_get_contents、file和cURL。不过据说cURL会比file_get_contents、file更快更专业，更适合采集。今天就试试用cURL来获取网页上的所有链接。
直接用Curl就行，具体爬取的数据可以穿参查看结果，方法不区分淘宝和天猫链接，但是前提是必须是PC端链接，另外正则写的不规范，所以可以自己重写正则来匹配数据。
