作者:ACFUN_AK
额……朋友们好啊,我图吧老二次元了。之前咱在出用Pxer的教程的时候评论区有老铁说要咱试下Powerful Pixiv Batch Downloader相对来说更好用而且不需要太多的精力,所以咱就试试看。
项目官网打开一看我发现咱再熟悉不过了,这不就是咱之前用的那个仙尊PIXIV 图片下载器,只不过换了个名字,甚至作者和维护者都是同一个人
简单说下情况,这东西是个PIXIV的下载器,功能和Pxer大同小异,使用的时候对于机器本身的软件特异性要求更高,而且对系统内存的要求也更高,由于下载所以过去那会儿NGINX还能用的时候咱可以直接用各种下载器直接拉下载链接做批量下载所以就不怎么乐意用浏览器挂着图片下载很容易白屏或者给网页卡掉,所以咱后期就偏向于用Pxer了
如各位所见这是个Chrome插件,理论上支持所有Chromium内核浏览器,但是也仅限于此了。所以最远可以用在Chromium内核的安卓手机浏览器上,然后就没了,IOS好像还没有能安装Chrome插件的Chromium内核浏览器,但是tampermonkey好像更容易装备一些,这个具体我没用过也不太清楚,但是后者的门槛确实没有前者高。毕竟Chrome应用商店是需要网络环境才能正常访问的,不然就得走.CRX安装,而tampermonkey在普通的火狐内核或者Opera之类的浏览器上也能不需要经过Chrome应用商店也就不需要网络环境可以直接安装。
顺带测试了一下这个插件生效的网站的其他域名,发现pixiv.cat不能直连,并不是咱常用的pixiv镜像站比如pixiv.re
pixivision可以直连访问但是图片刷不出来
如果能支持.re的话相对来说就好很多,相当于批量下载不费流量。所以其实目前看来还是没啥新意,咱更多需要的是输入一个PID获取图片下载链接就能直接下载或者下载图片不需要费流量或者下载已删除的图片。这需要插件和镜像站组合使用。
插件介绍:
强大的 Pixiv 批量下载器。Powerful Pixiv batch downloader. 強力な Pixiv ダウンローダー。
Languages: 简体中文、繁體中文、日本語、English、한국어。 ---------------------------- 【简体中文】使用这个工具,你可以: - 批量下载画师的所有作品、你的收藏、你的关注、排行榜、搜索结果等; - 一键下载你看到的任何作品; - 在页面上手动选择你要下载的作品; - 设置过滤条件,筛选你要下载的作品; - 下载插画、漫画、动图、小说; - 保存动图为 GIF、WebM、APNG、ZIP 格式; - 保存小说为 TXT、EPUB 格式; - 使用画师名字、日期、标题等多种数据建立文件夹; - 自定义文件名,并进行排序; - 在序号前面补 0,使排序不会混乱; - 保存用户头像和封面图片; - 显示更大的缩略图,查看起来更为轻松; - 在缩略图上预览作品大图,查看原图; - 保存下载记录,避免重复下载; - 保存下载进度,恢复未完成的下载; - 导出作品数据; - 批量收藏作品; - 为你收藏里的未分类作品添加标签; - 定时抓取;
安装过程比较正常
然后就能用了,但是注意这里这个管理下载内容,以后会造成一定的麻烦,所以其实咱并不是很建议各位有常用Chrome插件的情况下使用它,有问题。
然后开局会提示
鉴于咱都用所以之前确实给作者资助过,不过当时应该是给Pxer的作者打了10块钱,因为当时pixiv的UI更新所以原来的脚本确实用不了了,但是作者在咱经过群里反映之后很快就更新解决了这个问题,于是咱就觉得很实用给作者打了10块钱,并不够作者的劳动成本的但是表示一下感谢。至于这边我因为觉得内存占用太大不好用所以只加了群提供了PIXIV NGING的打包教程就没怎么联系了,也算是助人为乐了。
顺带说下,这个插件和PXER使用起来并不矛盾,可以同时正常使用
但是火狐无法使用,这个没办法了。
然后它的使用也比较简单,其实就和普通的Pxer插件大同小异,都是先抓取图片链接再下载。但是这个插件就可以提供比较更多的筛选选项
Pxer其实是可以筛选的,但是是事后筛选选项更多,事前筛选有两个选项。别小看这个细节,在实际上面临CD的时候就非常有用。至于全年龄的筛选完全可以靠修改网页选项实现(我一般习惯火狐挂所有年龄的账号Chrome挂仅全年龄的)
像事后筛选比如标签点赞数或者大小其实原理都一样。这种是比较常用的筛选,至于多P图片的筛选图片色彩与尺寸和收藏数这些都是些锦上添花的东西,实际上不常用。
然后这里和Pxer的区别就出现了,插件本身就可以直接把抓取的下载链接进行下载,还会给一些常用提示
pxer则没有集成下载功能,而是给了图片的下载链接可以直接拖到第三方下载工具下载,这个对于咱这种习惯保存图片下载链接然后直接用下载工具的来说更实用一些。
无论哪种脚本都可以并列运行,这次的插件网页标题会显示状态,相比pxer的图标显示更直观
扩展集成下载功能方便的结果就是扩展比较依赖网页运行状态,下载功能没有独立的做出去如果内存不足导致网页崩溃再续是非常麻烦的事,相比之下我更喜欢直接批量导出下载地址,反正NGINX现在也基本不能用了所以走IDM启用系统代理也是个不错的方法,就是IDM在有大量任务导入批量下载链接的时候确实也太容易卡了,面对大量图片的时候其实无论什么方法都不是很管用。少量几百一两千张图片的时候什么方法都是无压力的,但是几千上万就不行了。
还有一个挺严重的问题就是作为Chrome插件它本身居然和其他常用的插件冲突
如果不禁用其他有下载功能的一些常用插件会导致下载图片的命名异常,这非常麻烦,如果脱离或者说以后没有了saucenao以图搜图以后再想找原图就会非常麻烦
不过这个插件好在下载的图片都会自动归档到文件夹储存,这相对来说要友好得多。而且可以修改命名规则
这个就不用说了一眼就能看出来是什么意思,包括后面的选项各位应该都懂我就不多注释了,指针悬停在蓝色字符上会有提示
页面的GUI有些时候会卡BUG
所以还得对着GUI出问题的图片去下载文件夹找图片到底下载下没下完
要么就是对文件数量,发现也都是GUI在卡BUG并不是真的没下到。后来咱也干脆不找了,遇到这种情况直接认定就是单纯的GUI卡BUG了
最大下载线程才只有6,属实不是很快,考虑到Pxer导出的链接可以分流进行多终端多线程下载就更没法比了。
下载完成显示通知依赖Chrome的通知也是个麻烦事,对于咱这种不喜欢网页显示通知的用户来说非常矛盾,一方面想要通知另一方面又不想要通过Chrome显示。
这两个选项对于继续或者更新下载很有用,之前经常因为内存不足所以大量下图的时候标签页会白屏甚至直接卡崩溃这时候对着下载到的最后一张图就有用了,但是终究还是不如给下载功能直接导出下载链接托管给第三方来的直接。这个功能现在咱用来更新之前下载的图包,看图片的创建修改日期就可以确定该更新哪到哪的内容,这个比pxer需要找之前图包已经下载完的最后一张图片的ID再手动输入进去要稍微省点事,但是其实都是大同小异。这里需要注意这个筛选是比较呆的筛选,其实最后还是要把当前页面能找到的所有图片的链接都过一遍,考虑到PIXIV爬图抓链接是有CD的所以最好还是能直接利用已经抓过的下载链接而不是网页卡没了重爬。而pxer是有事前筛选的,可以少爬图,这就在有CD的环境下更有用,所以本质上还是设计理念的问题,pxer的门槛更高,也就让有更高技能水平的使用者以更简单的逻辑实现同等甚至更好的使用效果。
这次这个插件也能导出抓取结果,不过它导出的抓取结果是.JSON,除了插件自己别的下载软件不认,倒是.CSV可能有点用但是也不如直接TXT的下载链接方便。
CSV里面倒是含图片的原图下载链接不过显得非常乱啊,咱其实只需要获取图片的下载链接,剩下的用来筛选的条件不是很必要。考虑到咱从来都是全都要基本不做选择的习惯,所以这个筛选功能其实咱也不怎么用。
其实对于已经遇到的这种情况好像也没啥有效方法,pxer好像也是用了降速运行的方案避免被ban
一般好像快速抓了150张图之后就会被返回空数据,不过这个具体网络环境需要具体测试
插件会在被反爬虫之后自动暂停抓取然后过几分钟继续抓,这倒是比较智能,过了CD会自己想办法继续抓取然后再下载
如果想彻底的从根本解决问题总之整体思路是反正就低速运行就行,但是对于着急烧流量急着下图的场合并不适用。当然一直总被ban还是不如主动放慢速度更有效率,所以这就又回到了QWERTY键盘和打字机的故事了,有些时候速度太快并不一定总是最快的,不卡壳才是真的快。谁跑爬虫不会加速啊,正好能卡不触发反爬虫的速度才是最快的。这里个人认为还是pxer的速度控制更合理,真正做到了既不慢到需要等很长时间也不触发反爬虫,实测反正扒三位数到四位数的图片的速度并不是慢到不可接受(比这次的插件的慢速模式快很多而且不会触发反爬虫)而且确实对系统资源占用小,不会担心很长时间过去了之后一看抓的结果没出来网页先卡没了。
关于动图
理论上它可以实现自行转换PIXIV动图到各种格式
不过实际上实测咱就没成功过,就一直在转换根本不出结果
然后其实咱也不知道APNG是啥标了个无损就选了结果转不出来,WebM咱用的更少,倒是GIF比较常用
最后是只有设置为ZIP才能正常下载,实际功能体验和PXER一致,然而PXER提供了FFMPEG的转GIF和.MP4方案,咱现在还会用,这个插件没法成功转换的话相比PXER的ZIP还缺了FFMPEG的指令。
确实没有看见指令
所以最后想要转换动图还得靠Pxer提供的指令,这个配合小丸工具箱内置的FFMPEG.EXE真的非常实用
所以动图这点其实Pxer还是更实用一些。
然后关于更多选项咱就不多介绍了,图上都有
这些都是带提示的,需要了解详情指针悬停过去就能有提示
如果各位有兴趣可以看下演示视频,当然并没有演示这里眼花缭乱的所有功能,只是个基本使用展示:Powerful Pixiv Downloader使用演示
PS:作者还提供了Fanbox的下载工具,但是并不能破解
理论上是应该有办法破的,我知道的就有镜像站做分享和共享ID等方案而且有的是真的在实施。这个没啥可说的其实还是一个值不值的问题。
最后咱还是简单说下吧,上期为什么我从不参加会员制赞助付费订阅平台?写完后给这个咱要劝的老铁看完反正是没啥结果,人回了句不是为了钱就拉倒了。但是你看这你说你不是为了钱谁信呢 更新频率收费比公开更高了,这不就是下海圈钱吗,人家对于咱这种水平的人的提示不闻不问,完全活在自己的信息茧房里,只能接受赞同的声音,甚至不允许讨论其他画师乃至群里不能出现其他人的作品。一个粉丝群,不允许谈论群主以外的同行这很奇怪啊,这不是饭圈行为是什么,我们自己的粉丝群也好组群也好图吧群也好什么时候会拒绝探讨其他的UP主/垃圾佬/汉化组和字幕组了。
对于这种情况咱也没啥可说的,只能说耗子尾汁了,希望咱以后再更新什么内容的时候这位还在,别到时候咱像吃森之屋的瓜一样吃这位老铁那就很难受了,就好像自己没保护好什么东西眼看着它去世一样难受,比咱今天摔了陪咱好几年但是已经退役的移动硬盘一样甚至更难受。不过真要到那一步了咱也没啥办法,毕竟脸肿就算全员没啥大事也不能再买复活卡,以后肯定不能再存在的,到了那一天咱也没必要多说啥了。
就这样,谢谢朋友们!
4000520066 欢迎批评指正
All Rights Reserved 新浪公司 版权所有