两类网站可以用不同的方法去爬取
创新互联建站主要从事成都网站建设、成都网站设计、网页设计、企业做网站、公司建网站等业务。立足成都服务铜陵,10多年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:18982081108
一、开放API的网站
一个网站如果开放了API，那么就可以直接GET到它的json数据。有三种方法可以判断一个网站是否开放了API。
1、在站内寻找API入口；
2、用搜索引擎搜索“某网站API”；
3、抓包。有的网站虽然用到了ajax，但是通过抓包还是能够获取XHR里的json数据的（可用抓包工具抓包，也可以通过浏览器按F12抓包：F12-Network-F5刷新）。
二、不开放API的网站
1、如果网站是静态页面，那么可以用requests库发送请求，再通过HTML解析库（lxml、parsel等）来解析响应的text；解析库强烈推荐parsel，不仅语法和css选择器类似，而且速度也挺快，Scrapy用的就是它。
2、如果网站是动态页面，可以先用selenium来渲染JS，再用HTML解析库来解析driver的page_source。
本教程介绍了使用 Godatabase/sql及其标准库中的包访问关系数据库的基础知识。
您将使用的database/sql包包括用于连接数据库、执行事务、取消正在进行的操作等的类型和函数。
在本教程中，您将创建一个数据库，然后编写代码来访问该数据库。您的示例项目将是有关老式爵士乐唱片的数据存储库。
首先，为您要编写的代码创建一个文件夹。
1、打开命令提示符并切换到您的主目录。
在 Linux 或 Mac 上：
在 Windows 上：
2、在命令提示符下，为您的代码创建一个名为 data-access 的目录。
3、创建一个模块，您可以在其中管理将在本教程中添加的依赖项。
运行go mod init命令，为其提供新代码的模块路径。
此命令创建一个 go.mod 文件，您添加的依赖项将在其中列出以供跟踪。
注意： 在实际开发中，您会指定一个更符合您自己需求的模块路径。有关更多信息，请参阅一下文章。
GO语言（二十五）：管理依赖项（上）
GO语言（二十六）：管理依赖项（中）
GO语言（二十七）：管理依赖项（下）
接下来，您将创建一个数据库。
在此步骤中，您将创建要使用的数据库。您将使用 DBMS 本身的 CLI 创建数据库和表，以及添加数据。
您将创建一个数据库，其中包含有关黑胶唱片上的老式爵士乐录音的数据。
这里的代码使用MySQL CLI，但大多数 DBMS 都有自己的 CLI，具有类似的功能。
1、打开一个新的命令提示符。
在命令行，登录到您的 DBMS，如下面的 MySQL 示例所示。
2、在mysql命令提示符下，创建一个数据库。
3、切到您刚刚创建的数据库，以便您可以添加表。
4、在文本编辑器的 data-access 文件夹中，创建一个名为 create-tables.sql 的文件来保存用于添加表的 SQL 脚本。
将以下 SQL 代码粘贴到文件中，然后保存文件。
在此 SQL 代码中：
（1）删除名为album表。 首先执行此命令可以让您更轻松地稍后重新运行脚本。
（2）创建一个album包含四列的表：title、artist和price。每行的id值由 DBMS 自动创建。
（3）添加带有值的四行。
5、在mysql命令提示符下，运行您刚刚创建的脚本。
您将使用以下形式的source命令：
6、在 DBMS 命令提示符处，使用SELECT语句来验证您是否已成功创建包含数据的表。
接下来，您将编写一些 Go 代码进行连接，以便进行查询。
现在你已经有了一个包含一些数据的数据库，开始你的 Go 代码。
找到并导入一个数据库驱动程序，该驱动程序会将您通过database/sql包中的函数发出的请求转换为数据库可以理解的请求。
1、在您的浏览器中，访问SQLDrivers wiki 页面以识别您可以使用的驱动程序。
2、使用页面上的列表来识别您将使用的驱动程序。为了在本教程中访问 MySQL，您将使用 Go-MySQL-Driver。
3、请注意驱动程序的包名称 - 此处为github.com/go-sql-driver/mysql.
4、使用您的文本编辑器，创建一个用于编写 Go 代码的文件，并将该文件作为 main.go 保存在您之前创建的数据访问目录中。
5、进入main.go，粘贴以下代码导入驱动包。
在此代码中：
（1）将您的代码添加到main包中，以便您可以独立执行它。
（2）导入 MySQL 驱动程序github.com/go-sql-driver/mysql。
导入驱动程序后，您将开始编写代码以访问数据库。
现在编写一些 Go 代码，让您使用数据库句柄访问数据库。
您将使用指向结构的指针sql.DB，它表示对特定数据库的访问。
编写代码
1、进入 main.go，在import您刚刚添加的代码下方，粘贴以下 Go 代码以创建数据库句柄。
在此代码中：
（3）使用 MySQL 驱动程序Config和FormatDSN类型以收集连接属性并将它们格式化为连接字符串的 DSN。
该Config结构使代码比连接字符串更容易阅读。
（4）调用sql.Open 初始化db变量，传递 FormatDSN。
（5）检查来自 的错误sql.Open。例如，如果您的数据库连接细节格式不正确，它可能会失败。
为了简化代码，您调用log.Fatal结束执行并将错误打印到控制台。在生产代码中，您会希望以更优雅的方式处理错误。
（6）调用DB.Ping以确认连接到数据库有效。在运行时， sql.Open可能不会立即连接，具体取决于驱动程序。您在Ping此处使用以确认 database/sql包可以在需要时连接。
（7）检查来自Ping的错误，以防连接失败。
（8）Ping如果连接成功，则打印一条消息。
文件的顶部现在应该如下所示：
3、保存 main.go。
1、开始跟踪 MySQL 驱动程序模块作为依赖项。
使用go get 添加 github.com/go-sql-driver/mysql 模块作为您自己模块的依赖项。使用点参数表示“获取当前目录中代码的依赖项”。
2、在命令提示符下，设置Go 程序使用的DBUSER和DBPASS环境变量。
在 Linux 或 Mac 上：
在 Windows 上：
3、在包含 main.go 的目录中的命令行中，通过键入go run来运行代码。
连接成功了！
接下来，您将查询一些数据。
理论上是不行的，要想实时就必须连续不断传输的视频信号，而你的软件是播放视频文件的，文件的话必须有头尾，如果做成文件格式再播放，那就不叫实时监控了。
用Golang做爬虫，当面对页面存在复杂的JS的情况，使用普通的http.get或者http.post，如不做特殊处理，将无法解析页面源代码。
在使用python的过程中，可以使用selenium进行爬取数据，或使用selenium自动化测试，那么用Golang怎么处理这个问题呢？
其实Golang中也有selenium，Selenium 作为一个用于 Web 应用程序测试的工具，可以模拟真实浏览器进行操作，也可以实现鼠标点击、滚轮、输入等用户日常操作。
我们通过2节课的学习，实现1、本地启动selenium服务；2、远程启动selenium服务。
Go没有泄露，并发原生支持，速度快。Python如果用代理IP，如果代理IP失效，会莫名其妙使用本地IP。且Go写爬虫可以和很多的数据库如mongo,redis,hbase,mysql集成。
Go开发效率还高，半个小时就写了个爬虫，看，写分布式爬虫也是Go的优势，因为Go协程比Python和Java都容易写。
最后，如果你用Go写爬虫，还可以直接用Go来写网站，三句代码就可以建立一个Web服务器和Python差不多，但包管理机制简单，只需go get –u –v 包
colly一款快速优雅的golang爬虫框架，简单易用，功能完备。
官网地址：
包地址： import "github.com/gocolly/colly"
一个简单的例子：
使用方式概括下来主要有三步：
创建采集器时可以指定一些配置参数，如useragent，爬取深度及日志等
回调函数共有7中
通过浏览器开发者工具查看jianshu.com结构如下
文章列表为ul标签，中间每一项是li标签，li中包含content，content中包含title，abstract和meta标签
