一.修改爬虫文件1.导入scrapy-redis模块:from scrapy_redis.spiders import RedisSpider 2.将当前爬虫类的父类修改成RedisSpider 3.将allowed_domains和start_urls进行删除 4.添加一个新的属性redis_key = 'xxx',该属性值表示的就是可以被共享的调度器队列的名称 二.进行配置文件的配置1.保证爬虫文件发起的请求都会被提交到可以被共享的调度器的队列中 SCHEDULER = "scrapy_redis.scheduler.Scheduler" 2.保证爬虫文件提交的item...

阅读全文>>

手动安装 inspetor 报错信息 No route found for /sessions 修改配置如图 配置的json信息{ "platformName": "Android", "appium:platformVersion": "7.1.2", "appium:deviceName": "SM-G977N", "appium:appPackage": "com.android.browser", "appium:appActivity": "BrowserActivity" }

阅读全文>>

[scrapy.extensions.telnet] info: telnet console listening 这里默认会 telnet本机的一个端口 6023 因为本机开了代理导致的, 关闭本机代理即可

阅读全文>>

使用“from Crypto.Cipher import AES”相关函数解密: #EXT-X-KEY 记录了加密的方式,一般是AES-128以及加密的KEY信息 出现问题: from Crypto.Cipher import AES pip install Crypto 出错 解决办法: 安装crypto库(首字母c是小写) pip install crypto 进入python的库管理位置,site-packages文件夹,找到crypto,将其首字母c改为大写 判断是否解决的方式: from Crypto.Cipher i...

阅读全文>>

0x01 下载安装tesseract 下载地址 : download python安装 pytesseract pip install pytesseractpip install pillow 0x02 配置环境变量 将Tesseract-OCR 加入到路径中 C:\Users\gyarmy\AppData\Local\Tesseract-OCR 0x03 验证安装# 命令如下 tesseract test.jpg result cat result.txt 0x04 python 代码测试from PIL import Image import pyt...

阅读全文>>

xpath 定位节点 表达式 说明 nodename 选中该元素 / 从根节点选取、或者是元素和元素间的过渡 // 从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置 . 当前节点 .. 父节点 @ 属性 text() 选取文本节点 * 通配符 [@attr] 选取具有给定属性的所有元素 案例 https://i.hacking8.com/ //nav/ul/li/a/@href 节点的修饰语法 修饰语法 说明 ...

阅读全文>>

报错信息1 Config value ‘plugins’: The “blog” plugin is not installed 处理方式 pip install mkdocs-blog-plugin 报错信息2 Config value ‘plugins’: The “minify” plugin is not installed 处理方式 pip install mkdocs-minify-plugin 总结在测试python写包, 报错之后,我直接安装了 blog, 结果没有正确, 然后看到一篇文章地址 :参考地址 自己想了下,换了个plugs名字,运...

阅读全文>>

git clone https://username:password@remote-git-repository-url # 例如 git clone https://roc:123456@e.coding.net/roc/example.git 如果用户名使用的是邮箱,那么 @ 符号需要转义成 %40,否则会无法识别邮箱,与 Git 仓库地址前面的 @ 造成冲突: # 例如 git clone https://roc@qq.com:123456@e.coding.net/roc/example.git # 需要写成 git clone https://roc%40qq.c...

阅读全文>>

# 文件更名操作 import os import shutil # 1.获取当前目录 current_path = os.getcwd() # 2.获取当前目录下的所有文件 file_list = os.listdir(current_path) # 需要替换的字符 replace_str = "2022年网络安全项目技术" # replace_str = " " # 3.遍历文件列表 for file in file_list: # 4.判断是否为文件 if os.path.isfile(file): # 5.判断...

阅读全文>>

前端环境搭建nvm的使用nodejs的配置 查看本机的 node版本 安装最新版的 nodejs 安装指定版本nvm install 16.18.1 使用指定的版本 记得使用管理员权限 基于 Node.js 安装cnpm(淘宝镜像) npm install -g cnpm —registry=https://registry.npmmirror.com前端vue环境的安装安装Vuenpm install vue@2.x.xnpm install vue 安装vue命令行工具,即vue-cli 脚手架cnpm install vue-cli -g报错处理遇到一种情况,就是使用vue -V 查看版...

阅读全文>>

更换为淘宝镜像 npm config set registry https://registry.npm.taobao.org 查看更换镜像 npm config get registry 切换会原来的镜像 npm config set registry https://registry.npmjs.org 安装 cnpm npm install -g cnpm —registry=https://registry.npm.taobao.org 使用cnpm 安装module cnpm install xxxx -g webpack执行失败 无法...

阅读全文>>