又一个随意说博客站点
文章转自星球: @网络爬虫与逆向工程
关于Jetbrains的软件, Community(社区)版的是免费试用的, 而Professional(专业)版的是要收费的, 在某度上的集火方法五花八门, 有直接分享key的, 有某宝购买key, 或者公用/帮申请学生邮箱的. 也有jar文件或者其他插件版本的.
上面的方法除了花钱的其他的我都试过. 在2020年或以前还好jar文件的还算稳定, 2021之后jar无端端就失效了. 后来找了一大堆东西才找到了我现在用的我个人觉得比较好用的办法, eval插件. 这个插件的前提是有版本限制(下面会贴), 并且起码你要有办法正常打开软件下载eval插件才可以使用.
具体的使用方法我就不照抄了. 直接贴链接自己进去看: 点击跳转
在进去之前请核对一下你的版本是否超过了下面版本, 如果超过了要么重装一下, 要么找其他办法激活吧
推荐使用Jetbrains系列软件版本（官网）：
昨晚因为一个人, 一场直播, 直接把半个爬宠圈热闹起来. 原因是因为路飞学城的金角大王Alex在某音直播卖课. 娴熟的捧一踩一手法. 惯例的用一些很多人都知道的大厂作为学习目标, 并且跟别人说这个这个多简单. 我在弄Akamai等之类的来让别人觉得多牛逼.
之前其实也有人跟我说过抖音有一个xxx在直播吹牛逼. 我也没怎么注意, 但是知道是路飞学城里面的人. 昨天一个朋友又跟我推他的直播, 就进去看了一下. 没想到还真上头. 越看越兴奋(看智障的目光)
我一个爬虫小白渣渣都知道滑块是可以协议过的, 一个自称12年就开始教python的 还要卖课, 教人的, 居然说滑块只能selenium模拟过??? 直接就给爷整笑了
到了半夜十一点多的时候, 要离开换人之前, 还要隔空diss其他人……(科班都不是, 搞什么爬虫)——所以, 我们不是科班报什么班, 说白了还是我不配
3998的课程, 有22个案例. 直接从入门到爬虫天花板… 这句话让我意识到原来我距离天花板就是差22个案例. 这22个案例公开出来是不是要人均阿卡迈了
早上还在群里疑似承认了自己’割韭菜’???
不说了 赶紧去专研一下selenium过滑块吧. 顺便再去读一个计算机. 免得被人说 科班都不是, 搞什么爬虫.. 你们一班自以为是的loser
今日分享的是一个利用python的BaidySpider库实现的百度搜索爬取
关键词自己在query那边修改就好了, 目前提取了的就只有百度的链接, 如果需要其他信息, 可以自己打断点对其他数据也清洗入库即可
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 | class MyThread(threading.Thread): def __init__(self, page): super().__init__() self.page = page def run(self) -> None: while True: if self.page.empty(): break self.get_info() def get_info(self): page = self.page.get() spider = BaiduSpider() response = spider.search_web(query="欧阳靖", pn=page) data = [] for result in response["results"]: url = result.get("url") if result.get("url"): data.append(url) continue result_type = result.get("type") # 百科处理 if result.get("result") and result_type != 'total': data.append(result.get("result").get("url")) continue # 其他处理 if result_type != 'total' and result_type != "related": for i in result.get("results"): data.append(i.get('url')) print(data) # 启动线程队列 work_queue = queue.Queue() # 传参 for i in range(1, 50): work_queue.put(i) threads = [] for j in range(10): thread_do = MyThread(work_queue) thread_do.start() threads.append(thread_do) for k in threads: k.join() |
因为网站比较敏感, 所以具体网站就不说了, 直接说逻辑部分
为了降低数据提取的错误率, 所以使用了python的slimit库对js代码进行提取处理
对网站源码的JavaScript进行分析后, 发现在其中一个script标签内的js代码是利用抽取混淆的, 并用flashvars开头的变量存储
首先用python将该js代码进行提取
1 2 | response = requests.get(url=url, proxies=proxies) script = filter(lambda x: 'flashvars' in x, response.html.xpath('//script//text()')).__next__() |
将该部分代码格式化后可以看到键名为mediaDefinitions的值是数组, 数组内存储着videoUrl
在这里可以看到, 链接是被抽取的进行拼接后即可还原真实地址
下面会使用到python的slimit库的ast进行还原
1 2 | # 将js代码转成结构树 tree = Parser().parse(script) |
通过smlit的Parser类的parse方法, 对js代码转换为ast结构树
获取到结构树后, 需要自定义类, 并继承ASTVisitor, 自定义访问者遍历节点对节点进行抽取
下面代码我先对mediaDefinitions和qualityItems对象进行抽取还原
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 | class VarStatement_Visitor(ASTVisitor): # 自定义访问者，重写VarStatement节点访问逻辑 def visit_VarStatement(self, node): Identifier, Object = node.children()[0].children() # 获取flashvars的节点 if 'flashvars' in Identifier.value: for i in Object.properties: left, right = i.children() # mediaDefinitions数组 if left.value == '"mediaDefinitions"': # 还原字典 for item in right.items: media_data = dict() for medias in item.properties: media_left, media_right = medias.children() if isinstance(media_right, ast.Array): data_list = [i.value for i in media_right.items] media_data[media_left.value[1:-1]] = data_list else: if media_left.value == '"defaultQuality"' or media_left.value == '"remote"': media_data[media_left.value[1:-1]] = media_right.value else: media_data[media_left.value[1:-1]] = media_right.value[1:-1] flashvars.append(media_data) # 获取qualityItems的节点 if 'qualityItems' in Identifier.value: for i in Object.items: media_data = dict() for medias in i.properties: media_left, media_right, = medias.children() if isinstance(media_right, ast.Number): media_data[media_left.value[1:-1]] = media_right.value else: media_data[media_left.value[1:-1]] = media_right.value[1:-1].replace('\\/', '/') flashvars.append(media_data) |
还原mediaDefinitions和qualityItems对象后, 继续创建访问者对抽取链接进行还原
进入的节点仍然是VarStatement, 因为视频的链接由多个变量并且不定数量进行拼接, 所以下面使用递归方式并使用了get_Identifier方法对抽取变量进行获取还原
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 | class Media_Visitor(ASTVisitor): def __init__(self, i, *args, **kwargs): # 视频所在的序号 self.i = i # 映射关系 self.identifier = {} # 映射顺序 self.identifiers_list = [] super(*args, **kwargs) # 递归获取映射顺序 def get_Identifier(self, node, identifiers_list): left, right = node.children() identifiers_list.append(self.identifier[right.value]) if isinstance(left, ast.BinOp): self.get_Identifier(left, identifiers_list) else: identifiers_list.append(self.identifier[left.value]) def visit_VarStatement(self, node): Identifier, BinOp = node.children()[0].children() # 获取该函数地址的映射顺序 if 'media_' + str(self.i) in Identifier.value: # 计算该视频的真实地址 self.get_Identifier(BinOp, self.identifiers_list) # 填充视频地址 flashvars[self.i]['videoUrl'] = ''.join(self.identifiers_list[::-1]) # 根据映射关系进行恢复 elif isinstance(BinOp, ast.String) or (len(BinOp.children()) == 2 and isinstance(BinOp.children()[0], ast.String) and isinstance(BinOp.children()[1], ast.String)): if isinstance(BinOp, ast.String): self.identifier[Identifier.value] = BinOp.value[1:-1] else: self.identifier[Identifier.value] = ''.join([i.value[1:-1] for i in BinOp.children()]) |
下面是完整代码:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 | import re import time import traceback import requests_html # 将js代码转为AST结构树 from slimit.parser import Parser # 自定义访问者 from slimit.visitors.nodevisitor import ASTVisitor # 判断类型 from slimit import ast import os requests = requests_html.HTMLSession() flashvars = list() class VarStatement_Visitor(ASTVisitor): # 自定义访问者，重写VarStatement节点访问逻辑 def visit_VarStatement(self, node): Identifier, Object = node.children()[0].children() # 获取flashvars的节点 if 'flashvars' in Identifier.value: for i in Object.properties: left, right = i.children() # mediaDefinitions数组 if left.value == '"mediaDefinitions"': # 还原字典 for item in right.items: media_data = dict() for medias in item.properties: media_left, media_right = medias.children() if isinstance(media_right, ast.Array): data_list = [i.value for i in media_right.items] media_data[media_left.value[1:-1]] = data_list else: if media_left.value == '"defaultQuality"' or media_left.value == '"remote"': media_data[media_left.value[1:-1]] = media_right.value else: media_data[media_left.value[1:-1]] = media_right.value[1:-1] flashvars.append(media_data) # 获取qualityItems的节点 if 'qualityItems' in Identifier.value: for i in Object.items: media_data = dict() for medias in i.properties: media_left, media_right, = medias.children() if isinstance(media_right, ast.Number): media_data[media_left.value[1:-1]] = media_right.value else: media_data[media_left.value[1:-1]] = media_right.value[1:-1].replace('\\/', '/') flashvars.append(media_data) class Media_Visitor(ASTVisitor): def __init__(self, i, *args, **kwargs): # 视频所在的序号 self.i = i # 映射关系 self.identifier = {} # 映射顺序 self.identifiers_list = [] super(*args, **kwargs) # 递归获取映射顺序 def get_Identifier(self, node, identifiers_list): left, right = node.children() identifiers_list.append(self.identifier[right.value]) if isinstance(left, ast.BinOp): self.get_Identifier(left, identifiers_list) else: identifiers_list.append(self.identifier[left.value]) def visit_VarStatement(self, node): Identifier, BinOp = node.children()[0].children() # 获取该函数地址的映射顺序 if 'media_' + str(self.i) in Identifier.value: # 计算该视频的真实地址 self.get_Identifier(BinOp, self.identifiers_list) # 填充视频地址 flashvars[self.i]['videoUrl'] = ''.join(self.identifiers_list[::-1]) # 根据映射关系进行恢复 elif isinstance(BinOp, ast.String) or (len(BinOp.children()) == 2 and isinstance(BinOp.children()[0], ast.String) and isinstance(BinOp.children()[1], ast.String)): if isinstance(BinOp, ast.String): self.identifier[Identifier.value] = BinOp.value[1:-1] else: self.identifier[Identifier.value] = ''.join([i.value[1:-1] for i in BinOp.children()]) def main(url): response = requests.get(url=url) script = filter(lambda x: 'flashvars' in x, response.html.xpath('//script//text()')).__next__() # 将js代码转成结构树 tree = Parser().parse(script) VarStatement_Visitor().visit(tree) for i, _ in enumerate(flashvars): Media_Visitor(i).visit(tree) print(flashvars) |
原本的Django本地运行的时候是正常的, 当部署线上的时候就一大堆问题出现了.
因为我对Linux并不熟悉, 所以就选择了宝塔的python项目管理器来部署
在部署上线之前, 要添加几个文件.
常规的要在项目根目录加上uwsgi.ini文件, 文件内容如下
1 2 3 4 5 6 7 8 9 10 11 | [uwsgi] master = true processes = 1 threads = 2 chdir = /www/wwwroot/api wsgi-file = /www/wwwroot/api/zeno_api/wsgi.py # wsgi文件的绝对路径 http = 0.0.0.0:520 # 0.0.0.0:端口号 logto = /www/wwwroot/api/logs/error.log # 日志保存路径 chmod-socket = 660 vacuum = true max-requests = 1000 |
以上内容需要注意的是, wsgi-file填写的是wsgi.py文件的绝对路径加上文件夹名字. 网上很多都是只填路径的, 部署后会直接报错. 而wsgi.py是Django在建项目的时候就自带了的, 不需修改
部署成功之后, 如果有域名可以映射到域名上, 点击上面的映射填上域名即可, 映射成功之后可以使用域名访问
如果有使用Django自带的admin后台, 会发现项目部署后admin后台的样式会没了. 找了好几天百度都没有解决, 后来还是看官方文档解决的…
首先是要在settings.py下加上STATIC_ROOT, 然后在这个路径下手动创建一个static文件夹
1 | STATIC_ROOT = '/www/wwwroot/api/zeno_api/static/' |
然后再去主app下的urls.py修改以下代码
1 2 3 4 5 6 | from django.conf import settings from django.conf.urls.static import static urlpatterns = [ # ... the rest of your URLconf goes here ... ] + static(settings.MEDIA_URL, document_root=settings.MEDIA_ROOT) |
修改完之后去服务器切换到你Django所使用的python环境, 去到你Django项目的目录, 然后运行以下命令
1 | python manage.py collectstatic |
官方文档链接: https://docs.djangoproject.com/zh-hans/3.2/howto/static-files/
注: 记得每次修改后重启一下服务才能生效
这次分析的是某车号的一个列表请求头参数加密
网站: aHR0cHM6Ly9oYW8ueWljaGUuY29tLw==
接口: aHR0cHM6Ly9oYW8ueWljaGUuY29tL3NpdGVfd2ViL2hhby9hcGkvZ2V0X2xhdGVzdF9hcnRpY2xlX2xpc3Q=
参数分析:
初步抓包发现部分可疑参数:
x-sign: 目测疑似md5加密
CIGUID, UserGuid,x-user-guid: 相等, 看似uuid之类的随机生成id
至于其他的x-city-id, x-ip-address应该是记录该次请求的ip和ip所在地域, 其他参数并无可疑之处
直接全局搜索x-sign之后只有一个结果, 点击进去查看发现就只有一个地方有x-sign:
打断点后重新发起请求发现r值是32位大写的字符串, 并且下面的sign加密是需要用到该值的, 所以需要分析r值的获取方法
分析o的方法之后 发现这个值可以固定, 是由e.headerEncryptKeys对象里面根据请求头的x-platform获取的不一样的固定值, 因为他的默认请求是phone所对应的value所以r就可以固定为该值
u值就是由字符串拼接而成的, e.cid也是固定默认值601, i是请求体的json格式, r是上面所获得的固定值, e.timestamp自然就是13位的时间戳
u值获取之后, 就到了下面的yicheUtils.md5方法, 看名字是md5, 但是需要验证一下是否md5和是否标准加密. 可以在console里面试一下加密固定值的md5(例如123456) 是否跟标准md5加密一致
确认是标准md5加密算法, 本次分析完毕.
再加一句, 里面的x-user-guid其实是随机的py的uuid随便搞
Some verbs describe a state (and are known as stative), and they aren’t usually used in the continuous (or progressive) form. These verbs include know, believe, like, recognize, etc.
These verbs are not used in the continuous form because the state lasts for a longer period of time, is not an action, and does not have a definite start or finish.
I like classical music. (NOT I’m liking classical music.)
I believe in you. (NOT I’m believing in you.)
We can use some stative verbs like feel, look, hear, taste, see in the continuous form when describing an action or where there is a clear beginning and end.
I feel good doing this. (sense / state)
I’m not feeling well. (action with a clear beginning and end)
I hear a lot of noise. (sense)
I’m hearing a lot of noise. (action with a clear beginning and end)
I can see him. (sense)
I’m seeing him tonight. (action to meet someone with a clear beginning and end)
I think it’s a good idea. (sense / state)
I’m thinking of moving. (action of trying to reach a decision with a clear beginning and end)
I can taste cinnamon. (sense)
I’m tasting the dessert. (action of tasting with a clear beginning and end)
You look good. (sense)
I’m looking for a new job. (action of searching for something with a clear beginning and end)
1.以基本动作为主
要想三角肌快速生长，就必须重点用基本动作训练。哑铃推举、颈后杠铃推举和直立划船应构成肩部训练的核心。
2、正确地做侧平举
侧平举虽对增大三角肌体积作用不大，却能完善三角肌顶部的外形。遗憾的是许多人做这个练习时，往往不是三角肌用力，而是斜方肌和背肌用力，因而达不到预期效果。练侧平举时，两臂轮流做效果最佳，还有助于更好地控制重量和集中精力。
3、采用最佳练习
三角肌的全面发展需要多样化的刺激。比较好的是的三角肌练习是：颈后推举、哑铃推举、单臂侧平举、器械推举和宽握直立划船。我每次肩部训练选用其中的四个练习。
4、充分热身
肩部是复杂而脆弱的部位。正式训练前，确保充分预热整个肩膀及其附属部位非常重要。我的热身活动甚至包括轻重量的卧推和三头肌伸展，随后是轻重量的拉力器体前、体后下拉和侧平举，以直接预热三角肌。正式训练前至少安排5分钟的热身练习，如果是冬天，最好延长到10分钟。
5、自由重量练习时应有保护
许多人做哑铃推举和颈后杠铃推举时伤了肩膀，这并不是说应该避免这些练习，而是说练习是要格外小心。
哑铃推举具有不稳定性，哑铃的重量越大就越不稳定。为确保安全，可以请同伴把哑铃抬到你手上，并在和后面保护。做颈后推举时，应避免杠铃下降得太低，那样会增加受伤的危险。
6、根据需要安排训练顺序
要么拥有发达的三角肌，要么拥有发达的斜方肌，很少两者能同时拥有。因为在任何举的练习中这两个肌群都在相互竞争。与三角肌相比，如果你的斜方肌显得过大，那就应该优先练三角肌。
7、用欺骗法做直立划船
宽握直立划船能很好地刺激三角肌的外侧头。做这个练习时，不要把杠铃上拉到超过锁骨的位置，因为上拉得越多，斜方肌参与用力的程度越大。直立划船使用的重量越大，就越难保证动作的规范，这样会限制三角肌外侧头的发展。考虑到大重量的宽我直立划船也是增大三角肌前部和后部的有效练习，所以可以采用了一个两全其美的做法：头两组非常规范地做两组或更多，第3、4组采用大重量，借助整个身体摇摆把杠铃上拉到锁骨位置，做5-8次，然后返回到规范动作做1组10-12次结束。
8、用不完全动作做颈后推举
大约每隔两次训练，颈后推举的第3、4组可以用非常大的重量进行不完全动作的训练（仅做上半程动作）。采用不完全动作训练，是为了使用大重量，突破肌肉生长的极限。
9、经常改变动作顺序
训练动作少没关系，安排顺序可以每次都不同。这次以哑铃推举开始，随后是颈后推举、侧平举和直立划船；下次则可能是直立划船、杠铃推举、哑铃推举和侧平举。这样可以保持训练的新鲜感。
10、组次安排技巧
每次三角肌训练可以做4个练习，每个练习金字塔式增重做5组，各组次数分别为12-15、10-12、6-8、5-6。第5组返回第一组使用的重量，做10-12次结束。
11、经常“轰炸”三角肌
三角肌是个小肌群，许多人误认为它很容易训练过度，其实恰好相反。由于它很小，所以恢复得非常快。我通常每周练两次三角肌。记得阿诺德．施瓦辛格曾经说过，当他想改善三角肌时，每天早上起床后做的第一件事就是做侧平举……
