聊聊phantomjs的优化措施

浅陌游离 2019-06-25

序

本文主要小结一下phantomjs的优化措施

phantomjs

phantomjs相当于一个后台浏览器，有点内嵌jetty的味道，通常在自动化测试或者爬虫领域用。

优化点

  • 池化技术,避免重复启动

对于其他语言进行进程间调用的话，频繁地调用进程进行上下文切换以及频繁创建对象及其消耗时间，因此可以进行连接池优化处理

  • 设置about:blank,避免状态没有清除的bug

在引入连接池之后，处理不好的话，难以避免的带来很多状态的错乱，类似java的threadlocal，在tomcat连接池中使用的话，如果上一个线程使用完没有清除掉，则下个复用该线程的请求则会读到脏数据。

phantomjs貌似没有reset的接口，这里可以使用一个黑魔法，在每次get的时候，先打开一个blank，然后再进行请求。

  • 开启disk-cache

如果对同一个页面访问比较频繁，则开启cache缓存一些静态资源，避免重复请求

  • 抛弃selenium,直接使用api

如果你是使用selenium的封装来调用的话，那么可以考虑直接使用原始api，更直接一些。

  • 构建分布式rest api服务

请求网络资源的处理，可能是非常耗时的，也及其不稳定，因此吞吐量肯定不高，高并发的时候很容易出现瓶颈，必要的时候进行分布式部署。

小结

除了phantomjs，chrome以及firefox也推出类似的headless版本，因此也多了几个选择，有待进行尝试。

doc

浅陌游离

浅陌游离

相关推荐

python爬虫使用requests请求无法获取网页元素时终极解决方案

　　　　爬取数据时，有时候会出现无法通过正常的requests请求获取网页内容，导致数据无法抓取到，遇到这种情况时，可以换种思路去爬取数据，使用PhantomJS，即爬虫终极解决方案去获取页面元素。

sunzhihaofuture / 0评论 2020-06-14

XSS BOT编写

而它支持chrome webdriver、firefox webdirver、PhantomJS等，但是呢前2个就需要有桌面，而我们的docker环境是没有桌面的，所以就只能选择PhantomJS了。$sql = "SELECT password

某先生 / 0评论 2020-06-13

PhantomJS介绍与使用

　　一款无界面浏览器。

starwmx0 / 0评论 2020-05-31

python之Phantomjs无界面浏览器引擎自动化测试

文字搬运工，本文主要介绍PhantomJS功能，其中有屏幕快照功能，为后面更新,其中新版本中新增自动发送邮件功能正文带图片，使用PhantomJS截取图片后发送邮件,已发版本可看往期。PhantomJS是一个无界面的，基于 WebKit 的服务器端 Jav

hongxiangping / 0评论 2020-05-07

selenium的用法

　　可以获取动态加载的数据。　　实例化某一款浏览器的驱动，获取一个对象。　　使用对象中的相关方法制定一系列的事件。六、自动百度搜索刘德华案例。# 1. 定位到输入框。# 2. 键入刘德华关键字。# 3. 定位到"百度一下"按钮。# 4.

tiankele0 / 0评论 2020-04-15

selenium + phantomjs/Chrome

1,定义：Web自动化测试工具，应用于web自动化测试。1,可以运行在浏览器上，根据指定的命令操作浏览器，让浏览器自动加载页面。2,只是工具，不支持浏览器功能，需要与第三方浏览器结合使用。1,将下载的可执行文件放到Python安装目录的Scripts目录下

songerxing / 0评论 2020-03-23

linux下载phantomjs记录

可以直接进网址下载到本地后，再传到linux路径，例如phantomjs-1.9.7-linux-x86_64.tar.bz2

wangrui0 / 0评论 2020-02-17

Selenium

Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器。Selenium 可以根据我们的指令，让浏览器自动

amei0 / 0评论 2020-01-23

前端自动化测试套件

作为前端开发人员，前端的自动化测试一直是个很棘手的问题，尤其是涉及UI交互层面的。传统的手工测试方式实在太落后以及重复劳动了，程序员就是懒人，总得想方设法释放自己的劳动力。最近项目没那么忙了，抽点时间了解了下现有的一些自动化测试框架套件，此文只是抛砖引玉，

Pinkr / 0评论 2013-05-13

selenium：指挥浏览器工作

selenium可以用几行代码，控制浏览器，做出自动打开、输入、点击等操作，就像是有一个真正的用户在操作一样。在遇到页面交互复杂或是URL加密逻辑复杂的情况时，selenium就派上了用场，它可以真实地打开一个浏览器，等待所有数据都加载到Elements中

编程我在行 / 0评论 2020-01-18

爬虫学习 08.Python网络爬虫之图片懒加载技术、selenium和PhantomJS

什么是图片懒加载？为了解决这种问题，通过前后端配合，使图片仅在浏览器当前视窗内出现时才加载该图片，达到减少首屏图片请求数的技术就被称为“图片懒加载”。当图片出现到页面的可视化区域中，会动态将伪属性替换成src属性，完成图片的加载。

sunzhihaofuture / 0评论 2020-01-09

PhantomJS使用Chrome或Firefox的无头版本来替代

CSDN上的孔天逸从Mozilla上提供了Selenium+Headless Firefox在Python上实现的方法：。driver = Firefox # 配了环境变量第一个参数就可以省了，不然传绝对路径。作者也说了，本地要有Firefox；本地要有g

zhaoyingm / 0评论 2019-12-12

16、web爬虫讲解2—PhantomJS虚拟浏览器+selenium模块操作PhantomJS

phantomjs 是一个基于js的webkit内核无头浏览器 也就是没有显示界面的浏览器，利用这个软件，可以获取到网址js加载的任何信息，也就是可以获取浏览器异步加载的信息

amei0 / 0评论 2019-11-08

html转换为pdf

为了解决linux下可以完美渲染，在网上查找了很多资料，最终发现phantomjs的pdf生成功能依赖于另一个项目wkhtmltopdf。需要注意的是，在linux下生成生成pdf很由可能会产生乱码的问题，主要是linux服务器上缺少字体。可以将windo

爱好HtmlCssJs / 0评论 2019-11-01

PhantomJS快速入门教程

PhantomJS是一个基于WebKit的服务器端JavaScriptAPI。它全面支持web而不需浏览器支持，其快速，原生支持各种Web标准： DOM 处理, CSS 选择器, JSON, Canvas, 和 SVG。PhantomJS可以用于页面自动化

ruler / 0评论 2015-04-13

CasperJS PhantomJS

因为要做一个模拟网页登录的一个测试代码，搜索了一下网页。Python写爬虫的介绍，发现下面一个js库，Python在学习，Node.js看来也得去学习学习。CasperJS简化了完整的导航场景的过程定义，提供了用于完成常见任务的实用的高级函数、方法和语法。

ncisoft / 0评论 2015-06-04

无头浏览器，从phantomjs到webkit4j

无头浏览器即headless browser，是一种没有界面的浏览器。既然是浏览器那么浏览器该有的东西它都应该有，只是看不到界面而已。基于Webkit的浏览器很多，比如Safari，Chrome，Opera. PhantomJS可以说是目前使用最为广泛，也

浅陌游离 / 0评论 2016-11-15

使用Phantomjs和Node完成网页的截屏快照的方法

由于甲方爸爸的需要,最近使用phantomjs和Node写了一个对网页内容截屏的功能，为了避免忘记,现在将代码内容及配置流程大概描述一下.配置完成之后,在cmd命令行中输入 phantomjs -v检验是否配置成功,配置成功之后，如下图所示:. app.u

凌云客 / 0评论 2019-07-16

利用PhantomJS 自动截图Kibana ，python发送网站运营日报

kibana配置视图，并做好条件过滤视图，这里就是做介绍，可以参考博文，# yum -y install gcc gcc-c++ make flex bison gperf ruby \. page.viewportSize = { width: 1600

lindiwo / 0评论 2016-10-19

ubuntu12.04安装jdk7,android studio，14.04安装chrome, phantomjs

It'll keep your java 7 installation up to date.To automatically set up the Java 7 environment variables JAVA_HOME and PATH:

ljqscdnljq / 0评论 2014-07-26

phantomjs安装(linux，附带环境变量设置) ，以及casperjs安装。

sudo yum install fontconfig freetype libfreetype.so.6 libfontconfig.so.1 libstdc++.so.6. 这里要执行source/etc/profile,以另刚才的改动生效。可以看到一

wwater / 0评论 2014-09-24

balabala: dom 转图片场景和技术方案

有一天张大胖接到了产品的一个需求，需求中涉及到了小程序 和 app 两端。主要是基于微信的一个活动，需要在 app 和小程序端生成带二维码的图片，生成图片是为了让用户可以发到朋友圈。大胖想着生成图片也是后端把多个小图进行拼接，根本不需要前端搞，前端也搞不了

DolphinThinker / 0评论 2019-07-01

HTML转图片

PhantomJS是一个无界面的WebKit浏览器引擎,还有配套的JavaScriptAPI.它原生支持各种web标准技术:DOM处理,CSS选择器,JSON,Canvas,以及SVG.SlimerJS能够利用Javascript脚本来操作一个网页。Sli

starwmx0 / 0评论 2013-09-22

Laravel 生成小程序图文海报最佳方案之一

微信小程序官方并未提供分享到朋友圈的方法，所以目前基本整个行业都是使用生成图文海报发到朋友圈，然后识别太阳码进入到小程序。通过PHP写入的字体效果并不理想。背景图片和微信头像合成后清晰度不够。最终我们找了一种认为非常合理的实现方式，就是基于 Phantom

intimater / 0评论 2019-06-28

爬虫示例-网易云歌单

爬取网易云音乐的歌单。结果表明，我们什么也没提取到。而动态网页则不然，页面代码虽然没有变，但是显示的内容却是可以随着时间、环境或者数据库操作的结果而发生改变的。值得强调的是，不要将动态网页和页面内容是否有动感混为一谈。安装方式与其他Python第三方库一样

cbyacq / 0评论 2019-06-28

(收藏）PhantomJS

有时，我们需要浏览器处理网页，但并不需要浏览，比如生成网页的截图、抓取网页数据等操作。PhantomJS的功能，就是提供一个浏览器环境的命令行接口，你可以把它看作一个“虚拟浏览器”，除了不能浏览，其他与正常浏览器一样。它的内核是WebKit引擎，不提供图形

浅陌游离 / 0评论 2017-04-21

无头浏览器，从phantomjs到webkit4j

既然是浏览器那么浏览器该有的东西它都应该有，只是看不到界面而已。浏览器内核Webkit：目前最主流的浏览器内核，webkit是苹果公司开源的浏览器内核，其前身是KHTML。基于Webkit的浏览器很多，比如Safari，Chrome，Opera. Webk

王大胖 / 0评论 2016-11-15

Shell脚本获取网页快照并生成缩略图

获取网页快照这里我们用phantomjs 来实现。关于phantomjs 的详细用法可参考官方网站。# cp phantomjs-1.9.8-linux-i686/bin/phantomjs /bin/phantomjs第二步中解压后bin目录下的 pha

broadCE / 0评论 2016-08-12

前端自动化测试工具

大名鼎鼎的PhantomJS当然要隆重介绍啦！前面界面对比测试基本都是基于PhantomJS开发的， Phantom JS是一个服务器端的 JavaScript API 的 WebKit。其支持各种Web标准： DOM 处理, CSS 选择器, JSON,

zhaoyingm / 0评论 2016-05-29

python爬虫解决网页重定向问题

笔者编写的搜索引擎爬虫在爬取页面时遇到了网页被重定向的情况，所谓重定向就是通过各种方法将各种网络请求重新转到其它位置。每个网站主页是网站资源的入口，当重定向发生在网站主页时，如果不能正确处理就很有可能会错失这整个网站的内容。当status_code为301

凌云客 / 0评论 2019-06-28

selenium Headless Chrome/Firefox--PhantomJS停止支持后，使用无界面模式

我们研究一下使用Firefox Chrome的headless模式吧。一：版本1.windows下chrome 对应chromedriver 具体浏览器版本对应driver版本号需要百度一一查看对应firefox 对应geckodriver 具体浏览器版本

凌云客 / 0评论 2019-06-28

php调用phantomjs给微信小程序分享

php. namespace weapp\library\phantomjs;use weapp\library\BizException;private $js_path;private $temp_dir;$dir = __DIR__;$this-&g

wjeymiantan / 0评论 2019-06-27

spm安装

由官网下载nodejs源码包，目前版本是0.12.7，在centos上编译并安装。在安装完nodejs之后默认已经将npm安装了。配置nodejs的环境变量，在/etc/profile.d创建nodejs.sh，并添加nodejs的安装路径到PATH中。e

zhaoyingm / 0评论 2015-08-04

CasperJS PhantomJS

因为要做一个模拟网页登录的一个测试代码，搜索了一下网页。Python写爬虫的介绍，发现下面一个js库，Python在学习，Node.js看来也得去学习学习。CasperJS简化了完整的导航场景的过程定义，提供了用于完成常见任务的实用的高级函数、方法和语法。

浅陌游离 / 0评论 2015-06-04

PhantomJS快速入门教程

PhantomJS是一个基于WebKit的服务器端JavaScriptAPI。它全面支持web而不需浏览器支持，其快速，原生支持各种Web标准： DOM 处理, CSS 选择器, JSON, Canvas, 和 SVG。PhantomJS可以用于页面自动化

itSeven / 0评论 2015-04-13

Node JS爬虫：爬取瀑布流网页高清图

静态为主的网页往往用get方法就能获取页面所有内容。动态网页即异步请求数据的网页则需要用浏览器加载完成后再进行抓取。本文介绍了如何连续爬取瀑布流网页。在知乎提到python就必有一大帮人提起爬虫，咱Node JS爬虫也是非常简单的，和python相比仅仅是

凌云客 / 0评论 2019-06-27

用phantomjs和shell写抓取网页图片的脚本

最近自己写程序的时候经常素材不够用，想去网上扒现成的图片，要扒很多的图片，这种重复劳动让我又想偷懒看能不能用程序自动化实现。找到了比较适合我用的两个工具—— phantomjs 和 shell 。phantomjs http://phantomjs.org

凌云客 / 0评论 2019-06-27

Linux下Selenium+PhantomJS的问题

今日Tbor登录linux大陆手拿Selenium+PhantomJS准备打怪升级，尼玛， 没有数据？Tbor怀疑自己昨晚太过劳累， 于是他。。。每攻击一次睡一觉。男人嘛， 休息还是挺重要的！print driver.page_source结果他发现， 这

鲵之风采 / 0评论 2019-06-27

网页异步ajax数据抓取几种解决方案

使用Casperjs加载页面，然后保存文件，再使用你熟练语言解析，你也可以少去保存，直接解析.网页上通过ajax异步加载的数据有什么办法抓取到吗？

ajaxhe / 0评论 2014-10-11

配置js测试环境

Karma是一个基于Node.js的JavaScript测试执行过程管理工具。由于karma是基于nodejs的，可能是因为之前安装nodejs的问题，如果之前是直接输入命令sudo apt-get install nodejs 安装的,就会导致安装kar

liuuil0 / 0评论 2014-08-17

coffee script + phantomjs 实现网页登录+打卡

# 用于处理page.evaluate中js脚本的console,使其输出在命令行可见.# 调用命令格式: phantomjs xxx.coffee 1 name pass. console.log "--> signType = #{ s

MiloTime / 0评论 2014-07-30

Java爬虫：Jsoup + Phantomjs

（一）JsoupJsoup是一个Java开源HTML解析器，可直接解析某个URL地址、HTML文本内容。通过Dom或Css选择器来查找、取出数据，实现爬虫。通过PhantomJs可以采集Ajax生成的内容。}假设文件名为 c:/baidu.js；在命令行

某先生 / 0评论 2019-06-26

npm install 之phantomjs-1.9.7-linux-x86_64.tar.bz2被墙 解决

总是超时,解决,下载phantomjs-1.9.7-linux-x86_64.tar.bz2放在/tmp/phantomjs/下,重新编译就过去

浅陌游离 / 0评论 2014-05-20

前端每周清单第 53 期：Go 与 WebAssembly, React Suspense 演练, CSS 技巧

前端每周清单专注前端领域内容，以对外文资料的搜集为主，帮助开发者了解一周前端热点；分为新闻热点、开发教程、工程实践、深度阅读、开源项目、巅峰人生等栏目。Flutter beta 1 发布: 作为 Mobile Word Congress 2018 的一部分

Phoebe的学习天地 / 0评论 2019-06-26

对casperjs的批处理脚本修改

casperjs.bat最后执行的命令生成为：引用phantomjs "D:\casperjs-1.0.3\batchbin\..\bin\bootstrap.js" --casper-path="D:\casperjs-1.

zhaoyingm / 0评论 2014-04-19

Vue单元测试实战教程(Mocha/Karma + Vue-Test-Utils + Chai)

在《前端进阶之路: 前端架构设计 - 测试核心》这边文章中, 通过分析了"传统手工测试的局限性" 去引出了测试驱动开发的理念, 并介绍了一些测试工具. 这篇文章我将通过一个Vue的项目, 去讲解如何使用mocha & karma

80520394 / 0评论 2019-06-26

casperjs爬虫

$ casperjs --version三、怎么用代码框架var casper = require.create(); //新建一个页面。casper.run(); //开始导航表单填充casper.start('url', function() { //

81304092 / 0评论 2019-06-25

php使用QueryList轻松采集JavaScript动态渲染页面

QueryList使用jQuery的方式来做采集，拥有丰富的插件。下面来演示QueryList使用PhantomJS插件抓取JS动态创建的页面内容。插件APIQueryList browser:使用浏览器打开连接使用以采集「今日头条」手机版为例，「今日头条

某先生 / 0评论 2019-06-25

SuperPlan(11)Winner Seller Web Client - PhantomJS

console.log('sillycat');phantom.exit();varpage=require('webpage').create();page.render('google.png');phantom.exit();});varpage=r

lindiwo / 0评论 2013-05-25