[该文章已设置加密,请点击标题输入密码访问]
一.修改爬虫文件1.导入scrapy-redis模块:from scrapy_redis.spiders import RedisSpider
2.将当前爬虫类的父类修改成RedisSpider
3.将allowed_domains和start_urls进行删除
4.添加一个新的属性redis_key = 'xxx',该属性值表示的就是可以被共享的调度器队列的名称
二.进行配置文件的配置1.保证爬虫文件发起的请求都会被提交到可以被共享的调度器的队列中
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
2.保证爬虫文件提交的item...
from selenium import webdriver
# 1.创建浏览器对象
# chrome = webdriver.Chrome(executable_path='C:/python310/chromedriver.exe')
# service = webdriver.chrome.service.Service('C:/python310/chromedriver.exe')
from selenium.webdriver.chrome.service import Service as ChromeService
service = ChromeServ...
手动安装 inspetor
报错信息 No route found for /sessions
修改配置如图
配置的json信息{
"platformName": "Android",
"appium:platformVersion": "7.1.2",
"appium:deviceName": "SM-G977N",
"appium:appPackage": "com.android.browser",
"appium:appActivity": "BrowserActivity"
}
[scrapy.extensions.telnet] info: telnet console listening
这里默认会 telnet本机的一个端口 6023
因为本机开了代理导致的, 关闭本机代理即可
使用“from Crypto.Cipher import AES”相关函数解密:
#EXT-X-KEY 记录了加密的方式,一般是AES-128以及加密的KEY信息
出现问题:
from Crypto.Cipher import AES
pip install Crypto
出错
解决办法:
安装crypto库(首字母c是小写)
pip install crypto
进入python的库管理位置,site-packages文件夹,找到crypto,将其首字母c改为大写
判断是否解决的方式:
from Crypto.Cipher i...
0x01 下载安装tesseract
下载地址 : download
python安装 pytesseract
pip install pytesseractpip install pillow
0x02 配置环境变量
将Tesseract-OCR 加入到路径中
C:\Users\gyarmy\AppData\Local\Tesseract-OCR
0x03 验证安装# 命令如下
tesseract test.jpg result
cat result.txt
0x04 python 代码测试from PIL import Image
import pyt...
[该文章已设置加密,请点击标题输入密码访问]
xpath 定位节点
表达式
说明
nodename
选中该元素
/
从根节点选取、或者是元素和元素间的过渡
//
从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置
.
当前节点
..
父节点
@
属性
text()
选取文本节点
*
通配符
[@attr]
选取具有给定属性的所有元素
案例
https://i.hacking8.com/
//nav/ul/li/a/@href
节点的修饰语法
修饰语法
说明
...
总是忘记,还要去找,那还是在自己这里找吧
alt + j
报错信息1
Config value ‘plugins’: The “blog” plugin is not installed
处理方式
pip install mkdocs-blog-plugin
报错信息2
Config value ‘plugins’: The “minify” plugin is not installed
处理方式
pip install mkdocs-minify-plugin
总结在测试python写包, 报错之后,我直接安装了 blog, 结果没有正确,
然后看到一篇文章地址 :参考地址
自己想了下,换了个plugs名字,运...
git clone https://username:password@remote-git-repository-url
# 例如
git clone https://roc:123456@e.coding.net/roc/example.git
如果用户名使用的是邮箱,那么 @ 符号需要转义成 %40,否则会无法识别邮箱,与 Git 仓库地址前面的 @ 造成冲突:
# 例如
git clone https://roc@qq.com:123456@e.coding.net/roc/example.git
# 需要写成
git clone https://roc%40qq.c...
# 文件更名操作
import os
import shutil
# 1.获取当前目录
current_path = os.getcwd()
# 2.获取当前目录下的所有文件
file_list = os.listdir(current_path)
# 需要替换的字符
replace_str = "2022年网络安全项目技术"
# replace_str = " "
# 3.遍历文件列表
for file in file_list:
# 4.判断是否为文件
if os.path.isfile(file):
# 5.判断...
前端环境搭建nvm的使用nodejs的配置
查看本机的 node版本
安装最新版的 nodejs
安装指定版本nvm install 16.18.1
使用指定的版本
记得使用管理员权限
基于 Node.js 安装cnpm(淘宝镜像)
npm install -g cnpm —registry=https://registry.npmmirror.com前端vue环境的安装安装Vuenpm install vue@2.x.xnpm install vue
安装vue命令行工具,即vue-cli 脚手架cnpm install vue-cli -g报错处理遇到一种情况,就是使用vue -V 查看版...
更换为淘宝镜像
npm config set registry https://registry.npm.taobao.org
查看更换镜像
npm config get registry
切换会原来的镜像
npm config set registry https://registry.npmjs.org
安装 cnpm
npm install -g cnpm —registry=https://registry.npm.taobao.org
使用cnpm 安装module
cnpm install xxxx -g
webpack执行失败 无法...