使用Node.js爬取任意网页资源并输出高质量PDF文件到本地~

2023-05-28 0 161

责任编辑适宜不论与否有食腐以及Node.js基础的好友观赏~

市场需求:

采用Node.jsbanlist网页天然资源,照相狸尾豆的实用性将banlist到的网页内容以PDF文档格式输入

如果你是一位技工,那么能看我接下去的该文,否则,请直接点选到我的github库房,间接看文档文档格式采用方可

库房门牌号:内含文档文档格式和源代码,雷西县给个star哦

本市场需求采用到的技术:Node.js和puppeteer

puppeteer 非官方网站门牌号: puppeteer地址 Node.js非官方网站门牌号:镜像叙述 Puppeteer是Google非官方公司出品的两个透过DevTools协定掌控headless Chrome的Node库。能透过Puppeteer的提供的api间接掌控Chrome演示绝大部分使用者操作方式来进行UI Test或者作为食腐出访网页来搜集数据。 自然环境和加装 Puppeteer这类倚赖6.4以内的Node,但是为了触发器DT称心的async/await,所推荐采用7.6版以内的Node。另外headless Chrome这类对伺服器倚赖的库的版要求比较高,centos伺服器倚赖偏稳定,v6极难采用headless Chrome,提高倚赖版可能出现各种伺服器问题(包括且不局限于难以采用ssh),最合适采用高版伺服器。(提议采用新一代版的Node.js)

少脉,banlist天猫天然资源

const puppeteer = require(puppeteer); // 导入依赖 (async () => { //采用async表达式轻松触发器 const browser = await puppeteer.launch(); //关上捷伊应用程序 const page = await browser.newPage(); // 关上捷伊网页 await page.goto(https://www.jd.com/); //赶赴里头 url 的网页 const result = await page.evaluate(() => { //那个result字符串包涵大部份的相片src门牌号 let arr = []; //那个斜线表达式外部写处置的方法论 const imgs = document.querySelectorAll(img); imgs.forEach(function (item) { arr.push(item.src) }) return arr });

中的所有<a> 条码相关联的重定向网页中的大部份 title的文本内容,最后放在两个字符串中。

我们的async表达式下面总共分了三步, 只有 puppeteer.launch() , browser.newPage(), browser.close() 是固定的写法。 page.goto 指定我们去哪个网页banlist数据,能更换外部url门牌号,也能多次

调用那个方法。

page.evaluate 那个函数,外部是处置我们进入想要banlist网页的数据方法论page.goto和 page.evaluate两个方法,能在async外部调用多次,

那意味着我们能先进入天猫网页,处置方法论后,再次调用page.goto那个表达式,

注意,下面这一切方法论,都是puppeteer那个包帮我们在看不见的地方开启了另外两个

应用程序,然后处置方法论,所以最终要调用browser.close()方法关闭那个应用程序。

这时候我们对上一篇的代码进行优化,banlist相关联的天然资源。

const puppeteer = require(puppeteer); (async () => { const browser = await puppeteer.launch(); const page = await browser.newPage(); await page.goto(https://www.jd.com/); const hrefArr = await page.evaluate(() => { let arr = []; const aNodes = document.querySelectorAll(.cate_menu_lk); aNodes.forEach(function (item) { arr.push(item.href) }) return arr }); let arr = []; for (let i = 0; i < hrefArr.length; i++) { const url = hrefArr[i]; console.log(url) //这里能打印 await page.goto(url); const result = await page.evaluate(() => { //那个方法外部console.log无效 return $(title).text(); //返回每个界面的title文本内容 }); arr.push(result) //每次循环给字符串中添加相关联的值 } console.log(arr) //得到相关联的数据 能透过Node.js的 fs 模块保存到邻近地区 await browser.close() })()

采用的选择器必须先去相关联界面的掌控台实验过能不能选择DOM再采用,比如天猫难以采用querySelector。这里由于

天猫的分界面都采用了jQuery,所以我们能用jQuery,总之他们开发能用的选择器,我们都能用,否则就不能。

接下去我们间接来banlistNode.js的非官方网站首页然后间接生成PDF

不论您与否了解Node.js和puppeteer的食腐的人员都能操作方式,请您一定万分仔细阅读责任编辑件文档格式并按顺序执行每一步

本项目实现市场需求:给我们两个网页门牌号,banlist他的网页内容,然后输入成我们想要的PDF文档格式文档文档格式,请注意,是高效率的PDF文档文档格式

第一步,加装Node.js ,所推荐http://nodejs.cn/download/,Node.js的中文非官方网站下载相关联的操作方式系统包第二步,在下载加装完了Node.js后, 启动windows命令行工具(windows下启动系统搜索功能,输入cmd,回车,就出来了)第三步 需要查看自然环境变量与否已经自动实用性,在命令行工具中输入 node -v,如果出现 v10. ***字段,则说明成功加装Node.js第四步 如果您在第三步发现输入node -v还是没有出现 相关联的字段,那么请您重启电脑方可第三步 关上本项目文档夹,关上命令行工具(windows系统中间接在文档的url门牌号栏输入cmd就能关上了),输入 npm i cnpm nodemon -g第六步 下载puppeteer爬虫包,在完成第三步后,采用cnpm i puppeteer –save 命令 方可下载第七步 完成第六步下载后,关上本项目的url.js,将您需要食腐banlist的网页门牌号替换上去(默认是http://nodejs.cn/)第八步 在命令行中输入 nodemon index.js 方可banlist相关联的内容,并且自动输入到当前文档夹下面的index.pdf文档中

TIPS: 本项目设计思想就是两个网页两个PDF文件,所以每次banlist两个单独网页后,请把index.pdf拷贝出去,然后继续更换url门牌号,继续banlist,生成捷伊PDF文档,当然,您也能透过循环编译等方式去一次性banlist多个网页生成多个PDF文档。

相关联像天猫首页这样的开启了相片懒加载的网页,banlist到的部分内容是loading状态的内容,对于有一些反食腐机制的网页,食腐也会出现问题,但是绝大多数网站都是能的

const puppeteer = require(puppeteer); const url = require(./url); (async () => { const browser = await puppeteer.launch({ headless: true }) const page = await browser.newPage() //选择要关上的网页 await page.goto(url, { waitUntil: networkidle0 }) //选择你要输入的那个PDF文档路径,把banlist到的内容输入到PDF中,必须是存在的PDF,能是空内容,如果不是空的内容PDF,那么会覆盖内容 let pdfFilePath = ./index.pdf; //根据你的实用性选项,我们这里选择A4纸的规格输入PDF,方便打印 await page.pdf({ path: pdfFilePath, format: A4, scale: 1, printBackground: true, landscape: false, displayHeaderFooter: false }); await browser.close() })()

文档解构设计

使用Node.js爬取任意网页资源并输出高质量PDF文件到本地~

数据在那个时代非常珍贵,按照网页的设计方法论,选定特定的href的门牌号,能

这里就不做过多介绍了,毕竟 Node.js 是能内天的,或许未来它真的什么都能做。这么优质简短的教程,请收藏

或者转发给您的好友,谢谢。

天下数据是国内屈指可数的拥有多处海外自建机房的新型IDC服务商,被业界公认为“中国IDC行业首选品牌”。

天下数据与全球近120多个国家顶级机房间接合作,提供包括香港、美国、韩国、日本、台湾、新加坡、荷兰、法国、英国、德国、埃及、南非、巴西、印度、越南等国家和地区的伺服器、云伺服器的租用服务,需要的请联系天下数据客服!

除提供传统的IDC产品外,天下数据的主要职责是为大中型企业提供更精细、安全、满足个性市场需求的定制化伺服器解决方案,特别是在直销、金融、视频、流媒体、游戏、电子商务、区块链、快消、物联网、大数据等诸多行业,为广大客户解决伺服器租用中遇到的各种问题。

相关文章

发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务