怎么做收费视频网站aso优化方案
目录
前言
将进酒，杯莫停！
一、浇给
二、前摇
1.导入selenium库
2.下载浏览器驱动
三、爬虫四步走
1.UA伪装
2.获取url
3.发送请求
4.获取响应数据进行解析并保存
总结
前言
博主身为一个农批，当然要尝试爬取王者荣耀的东西啦。
将进酒，杯莫停！
一、浇给
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.edge.options import Optionsif __name__ == '__main__':# 无头模式opt = Options()opt.add_argument("--headless")driver = webdriver.Edge(options=opt)# 创建一个可以通过 Selenium 控制的 Microsoft Edge 浏览器实例，并将其赋值给变量 driver# driver = webdriver.Edge()# 获取url并发送请求driver.get("https://pvp.qq.com/web201605/herolist.shtml")# time.sleep(3)WebDriverWait(driver, 10).until( # 等待程序运行10s，定位到英雄列表的位置则继续运行，未定位到则报错EC.presence_of_element_located((By.XPATH, "//ul[@class='herolist clearfix']")))# find_elements获取ul标签下的所有li标签 find_element获取该标签下第一个标签的内容li_list = driver.find_elements(By.XPATH, "//ul[@class='herolist clearfix']/li")for i in li_list:img_url = i.find_element(By.XPATH, "a/img").get_attribute("src")name = i.find_element(By.XPATH, "a/img").get_attribute("alt")print(img_url, name)driver.close()输出：太多了，就不复制进代码里展示了，获取了所有英雄的图片和名字。
二、前摇
1.导入selenium库
按win + r打开命令提示符，输入cmd，按回车进入，安装selenium库
安装不了的可以先给pip换个源，这篇文章开头即有：python-快速上手爬虫-CSDN博客
pip install selenium
2.下载浏览器驱动
我用的edge的浏览器，所以在这介绍的就是下载edge浏览器的驱动。
打开浏览器设置，点击最下面的关于浏览器，记住浏览器的版本号。
搜索edge驱动。
点进去，往下翻找到驱动的版本，找到自己浏览器对应的版本下载，安装x64的。
下载完之后将文件解压并移至python解释器所在的文件夹，上面的就是浏览器的驱动，下面的是python解释器。如果python解释器下载时环境变量没有配置好的可以看：0基础学python-1：python解释器的安装及环境配置-CSDN博客
至此，技能前摇已完成。
三、爬虫四步走
1.UA伪装
这一次不用进行UA伪装，虚晃一枪，哈哈哈。实际原因是selenium请求是驱动浏览器自己进行操作，所以不需要UA伪装，但是有一些网站可能还是能检测到。
2.获取url
进入王者荣耀英雄列表的界面，按f12进入检查，刷新页面，然后获取url。
先展示一段selenium请求的效果，selenium会驱动浏览器自己去打开给定的url界面。这就意味着我们可以使用这种方式让浏览器自己进行更多的操作。
3.发送请求
流水的url，铁打的发送请求。不过这俩可以合并使用。
# 获取url并发送请求driver.get("https://pvp.qq.com/web201605/herolist.shtml")
4.获取响应数据进行解析并保存
- 睡眠三秒是为了等界面渲染完再获取信息，不然界面未渲染完就获取信息，会导致找不到信息，然后报错。
- WebDriverWait(driver, 10).until 的作用也是如此，前一个参数是等待的程序，后一个是等待的时间。
- EC.presence_of_element_located里是期望定位到的内容。定位到了就继续运行，未定位或者超出等待时间会报错。
- selenium里定位标签的方法是By，这里是通过XPATH进行定位，还有其他的参数可以进行定位，例如ID，ClASS_NAME之类的信息。
- find_elements获取ul标签下的所有li标签 ，find_element获取ul标签下第一个li标签。
- 然后就是熟悉的遍历li标签取值，在这里不需要用"./"来表示当前目录，而是直接写li标签下的标签。
- 还有一点不同的是，取标签里的属性这里不使用@属性名，而是用.get_attribute(''属性名'')来进行取值。
- 最后要关闭这个运行程序,使用.close()进行关闭
time.sleep(3)WebDriverWait(driver, 10).until( # 等待程序运行10s，定位到英雄列表的位置则继续运行，未定位到则报错EC.presence_of_element_located((By.XPATH, "//ul[@class='herolist clearfix']")))# find_elements获取ul标签下的所有li标签 find_element获取该标签下第一个标签的内容li_list = driver.find_elements(By.XPATH, "//ul[@class='herolist clearfix']/li")for i in li_list:img_url = i.find_element(By.XPATH, "a/img").get_attribute("src")name = i.find_element(By.XPATH, "a/img").get_attribute("alt")print(img_url, name)driver.close()
这样进行操作的时候，浏览器会打开王者荣耀英雄列表的界面，这样会占用一定资源。
那我们可以使用"无头模式"进行操作。更快更有效的利用资源
将这段代码
# 创建一个可以通过 Selenium 控制的 Microsoft Edge 浏览器实例，并将其赋值给变量 driverdriver = webdriver.Edge()
替换成这样即可
from selenium.webdriver.edge.options import Options# 无头模式opt = Options()opt.add_argument("--headless")driver = webdriver.Edge(options=opt)
总结
博主作为李白十年老玩家，就使用了李白的《行路难》里的一句诗当文章题目。
将进酒，杯莫停！
这句真的很帅啊！
希望大家使用我这个方法都能成功，如果有什么问题可以私信交流，或者直接在评论区询问即可。一起加油！