编码和加密 编码AsciiASCII (American Standard Code for Information Interchange)美国信息交换标准代码 是基于拉丁字母的一套电脑编码系统,主要用于显示现代英语和其他西欧语言它是最通用的信息交换标准,并等同于国际标准ISO/IEC 646ASCII第一次以规范标准的类型发表是在1967年,最后一次更新则是在1986年,到目前为止共定义了128个字符 2020-08-19 Python Javascript 加密 编码
Scrapy-日志 信息Scrapy提供了log功能,可以通过 logging 模块使用 使用通过在setting.py中进行以下设置可以被用来配置logging: 12LOG_FILE = "mySpider.log"LOG_LEVEL = "INFO" 此处指定了 日志文件地址 与 logging级别 Log级别Scrapy提供5层Log级别: CRITICAL - 严重 2020-08-16 日志 Scrapy
SQLAlchemy-ORM-Python 简介SQLAlchemy是Python的SQL``ORM工具SQLAlchemy提供了一整套的持久化方式,提供高性能的数据库访问 特性 SQLAlchemy是一个强大的ORM,基于关系映射和核心Core制作 可以通过操作对象模型,实现SQL的全部功能(包括连接查询,关联等) 拥有一个灵活全面的系统,它可以快速的加载Collections与Objects``Collections被缓存在一个 2020-08-16 python SQLAlchemy ORM
Javascript-混淆 信息代码混淆是增加静态分析难度而牺牲运行效率的一种方法难以分析是混淆的目的,在能达到目的的同时需要确保混淆后的代码和源代码功能表现一致 混淆分类对于混淆的分类,普遍以 Collberg 的理论为基础分为:布局混淆(Layout obfuscation)、数据混淆(data obfuscation)、控制混淆(Control obfuscation)、预防混淆(Preventive obfusc 2020-08-15 javascript 混淆
Node.js 信息Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行时 官网:https://nodejs.org/zh-cn/ 官方文档:https://nodejs.org/zh-cn/docs/ 中文文档:http://nodejs.cn/api/ 安装 进入官网,下载安装包,安装安装过程中可以改安装路径它会自动给系统添加环境变量 测试cmd中输 2020-08-14 javascript node
CentOS-环境变量配置 信息为了能在控制台通过命令访问到对应的程序,配置环境变量不可避免 操作添加环境变量 进入环境变量文件夹 1cd /etc/profile.d 创建环境变量文件 1sudo vim Anaconda.sh 编写环境变量 123# set Anaconda environmentPATH=$PATH:/home/manager/anaconda3/binexport PATH 注意对应自己的 2020-08-12 服务器 CentOS
爬虫-无限debugger 信息 实现简单, 效果明显, 一定程度提高安全性 反调试,阻止我们调试分析代码的运行逻辑 基本用法debugger关键词的嵌套使用 应对 禁用所有断点可以尝试,但并不一定能解决问题,甚至有可能导致死循环吃内存 禁用断点语句可以尝试,但并不一定能解决问题,甚至有可能导致死循环吃内存 条件断点 中间人工具替换字符串 reres替换本地修改过的文件本地代理取代对应js资源 2020-08-11 爬虫 前端
Chrome插件-ToggleJavaScript-禁用或启用JavaScript脚本 信息这是一个能有禁用或启用JavaScript脚本的浏览器插件谷歌商店:https://chrome.google.com/webstore/detail/toggle-javascript/cidlcjdalomndpeagkjpnefhljffbnlo?utm_source=chrome-ntp-icon 2020-08-11 Chrome javascript
Chrome插件-EditThisCookie-管理Cookie 信息这是一个用于管理Cookie的浏览器插件官网:http://www.editthiscookie.com/下载:https://chrome.google.com/webstore/detail/editthiscookie/fngmhnnpilhplaeedifhccceomclgfbg?utm_source=chrome-ntp-icon 使用修改修改设置各种值 清空该网站所有Co 2020-08-11 Chrome EditThisCookie Cookie
Javascript-加密-混淆 为什么要进行JavaScript加密/混淆 JavaScript 代码运行于客户端不安全,存在被篡改,窃取的可能 JavaScript 代码是公开的 如何对JavaScript进行保护 代码压缩:去除空格、换行等 代码加密:eval、emscripten、WebAssembly等 代码混淆:变量混淆、常理混淆、控制流平坦化、调试保护等 JavaScript加密实现 eval 加 2020-08-09 反爬虫 混淆 Javascript 加密
协程-进程-线程 进程与线程 进程是什么进程就是应用程序的启动实例比如我们运行一个游戏,打开一个软件,就是开启了一个进程进程拥有代码和打开的文件资源、数据资源、独立的内存空间 线程是什么线程从属于进程,是程序的实际执行者一个进程至少包含一个主线程,也可以有更多的子线程线程拥有自己的栈空间线程会在不同状态中不断转化线程不同状态之间的转化由操作系统内核中的TCB(Thread Control Block)模块实 2020-08-08 线程 协程 进程
mitmproxy 简介顾名思义,mitmproxy 就是用于 MITM 的 proxy,MITM 即中间人攻击(Man-in-the-middle attack)。用于中间人攻击的代理首先会向正常的代理一样转发请求,保障服务端与客户端的通信,其次,会适时的查、记录其截获的数据,或篡改数据,引发服务端或客户端特定的行为 不同于 fiddler 或 wireshark 等抓包工具,mitmproxy 不仅可以截获请 2020-08-06 mitmproxy
REST-RESTful架构 起源REST这个词,是Roy Thomas Fielding在他2000年的博士论文中提出的 Fielding,HTTP协议(1.0版和1.1版)的主要设计者、Apache服务器软件的作者之一、Apache基金会的第一任主席 RESTFielding将他对互联网软件的架构原则,定名为REST,即Representational State Transfer的缩写如果一个架构符合REST 2020-07-31 RESTful REST
爬虫-基础 HTML DOM文档对象模型 中立于平台和语言的接口允许程序动态地更新文档内容,结构和样式 js代码和css样式可以改变 HTML,但只是改变显示样式,并没有真正改变HTML文档本身 浏览器页面渲染流程因为其它工具里没有js解释器,CSS解释器,所以可以通过这两个东西来进行反爬虫 浏览器缓存 Cookies用于服务端通信,存储量小 Local Storage存储量比Cooki 2020-07-20 爬虫 代理 HTTP/HTTPS Ajax
win10-优化 装机以后的一些操作 Bios基本优化打开Bios,将GAME BOOST和A-XMP开启 将我的文档内容路径修改电脑用得越久,我的文档里的内容就会越来越多,越来越大我的文档 文件夹下有挺多内容的,建议全部都改到其它盘的同一个地方,并且路径名只用英文 windows显示效果性能优化能优化的项目有不少,要是最求极致性能,可以直接点追加性能我一般都会自定义 N卡基本优化打开N卡控制面板 2020-07-20 win10
tesserocr-OCR 简介tesserocr是 Python 的一个 OCR 识别库其本身其实是对tesseract做的一层python API封装 文档信息 内容 地址 tesserocr GitHub https://github.com/sirfz/tesserocr tesserocr PyPi https://pypi.org/project/tesserocr/ tesseract 下 2020-07-20 python 爬虫 OCR
Python-aiohttp-异步web服务-爬虫 简介requests是一个阻塞式HTTP请求库,发出一个请求后,程序会一直等待服务器响应,得到响应后,程序才会进行下一步处理。这种等待会大大降低爬取效率aiohttp是一个提供异步web服务的库,能让你的程序可以在等待的过程中做一切其他的事情,提高效率 文档信息官方文档:https://docs.aiohttp.org/en/stable/github:https://github.com/a 2020-07-20 Python 爬虫 aiohttp
无意义记录-搞事 黑客-溃客-脚本小子黑客 Hacker黑客(Hacker)是指对设计、编程和计算机科学方面具高度理解的人 溃客 Cracker溃客(Cracker)才是专指对计算机系统及网络进行恶意破坏的人 脚本小子 script kiddie是一个贬义词,用来描述以“黑客”自居并沾沾自喜的初学者脚本小子不像真正的黑客那样发现系统漏洞,他们通常使用别人开发的程序来恶意破坏他人系统通常的刻板印象为一位没有专 2020-07-18
Fiddler-抓包 官网https://www.telerik.com/fiddler官网下载,然后安装即可 原理其工作过程就像一个中间人 浏览器发送给服务器的请求会被Fiddler拦截下来,可以进行请求内容的修改,改完以后再继续发送给服务器 服务器返回给浏览器的响应会被Fiddler拦截下来,可以进行请求内容的修改,改完以后再继续返回给浏览器 配置流程开/关一般情况下,打开抓取就会开始抓取 浏览器配 2020-07-12 抓包 Fiddler
Javascript-基础-1 Javascript信息 JavaScript 这个名字的原意是“很像Java的脚本语言” 语言信息 轻量级脚本语言它不具备开发操作系统的能力,而是只用来编写控制其他大型应用程序(比如浏览器)的“脚本” 嵌入式(embedded)语言它本身提供的核心语法不算很多,只能用来做一些数学和逻辑运算。不提供任何与 I/O 相关的 API,都要靠宿主环境(host)提供,所以 JavaScript 2020-07-11 Javascript