Golang爬虫技术

发表于 更新于 分类于

Golang 爬虫简介

什么是爬虫

利用编程手段获取数据，为其他应用程序提供数据。如常用的搜索引擎等（Google、Baidu）。

学习爬虫预备知识

  • Html
  • Css
  • JavaScript
  • 浏览器调试

爬虫实现方法

  1. 使用 http 标准库 net/http
  2. 使用爬虫框架
  • Colly
  • Goquery# 第一次个爬虫程序

第一个爬虫程序

使用 Golang 中的 http 标准库实现

导包

1
2
3
4
5
import (
	"fmt"
	"io/ioutil"
	"net/http"
)

创建请求

1
2
client := &http.Client{}
req, _ := http.NewRequest("GET", url, nil)
1
2
req.Header.Set("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.74 Safari/537.36")
req.Header.Add("cookie","__yjs_duid=1_f3119d919ba464b8e6563af405bd8d7f1647049585313; wordpress_test_cookie=WP+Cookie+check; yjs_use_ob=0; mk-font-size=100; __gads=ID=335c7013b1ddf54b-220cf1fdf4d00063:T=1647153036:RT=1647153036:S=ALNI_MZV-Mj-gp4y4E4yaNmryFh3Cv85Rw;")

未完持续…