heritrix 下载不通过服务器缓存

阿赞 2010-08-08

最近爬虫下载论坛时出现了一些奇怪的问题。

1.下载一半就无法下载

2.下载了很多空页面，提示说页面不存在

问题一：原因分析，由于网站对一个IP在一个时间片内访问太频繁，导致封IP。

解决方案：减缓爬虫下载间隔，多个网站一起下载，而且网站越多越好，可以错开下载。

问题二：初步分析，下载的页面是html的，怎么可能有这个问题？因为下载的论坛是开源的discuz，我们都知道discuz有一个缓存机制，管理员可以删除帖子，可是被删除的帖子还存在服务器缓存中，由此可以证明那些html都是伪静态的页面，而且爬虫下载是通过服务器缓存的。通过日志可以发现：类似于百度,google这类的大网站，他们的爬虫都是不通过服务器缓存的。

爬虫也是通过URLConnection啊那什么HTTPURLConnection还是httpclient都继承这个建立连接服务器返回给你什么就是什么，做了缓存服务器就返回给你缓存

爬虫通过URL建立Socket，和服务器通信，获取资源即可。所以抓不抓后台，在于服务器给它什么资源.爬虫是不知道什么后台不后台的。都是服务器给它资源，也就是InputStream

: 阿赞

相关推荐

nginx proxy_cache 缓存配置详解

由于本人工作原因，涉及到网络直播领域，其中视频的回放下载，涉及到了一些视频下载方面的技术。针对于一个完整视频的下载，目前市面上的主流做法是，先将整个视频流切片，存储到文件服务器中，在用户需要观看回放视频时。通过一个视频回源服务器，去文件服务器中逐个请求切片

Freshairx 0喜欢 / 0评论 2020-11-10

前端api请求缓存方案

在开发 web 应用程序时，性能都是必不可少的话题。对于webpack打包的单页面应用程序而言，我们可以采用很多方式来对性能进行优化，比方说 tree-shaking、模块懒加载、利用 extrens 网络cdn 加速这些常规的优化。而事实上，缓存一定是提

学习web前端 0喜欢 / 0评论 2020-11-09

Linux上如何清除RAM内存高速缓存，缓存和交换空间

像任何其他的操作系统一样，GNU / Linux已经有效地实施了内存管理甚至更多。但是，如果有任何进程正在蚕食你的内存，你要清除它，Linux提供了一个方法来刷新或清除RAM缓存。每一个Linux系统有三个选项来清除缓存而不中断任何进程或服务。1，仅清除缓

liuyuchen 0喜欢 / 0评论 2020-10-27

原来缓存也会雪崩、击穿、穿透啊

仅靠着超高配置的服务器资源，还是很难支撑高并发的场景。因此我们需要缓存。比如双十一的时候，iPhone12在凌晨00:00-01:00可1分钱抢购，哇，这个可是真便宜呢，程序员们也预测到了商品的火爆，于是将iPhone12的商品信息缓存到redis中，设置

天空一样的蔚蓝 0喜欢 / 0评论 2020-10-23

PHP网页缓存技术优点及代码实例

简单的说就是将数据调用到内存中，然后从内存中读取，从而大大提高读取速度。　　Memcache是danga的一个项目，最早是LiveJournal 服务的，最初为了加速 LiveJournal 访问速度而开发的，后来被很多大型的网站采用。　　Memcache

chenhaimeimeng 0喜欢 / 0评论 2020-08-15

redis系列之数据库与缓存数据一致性解决方案

一般来说，只要你用到了缓存，不管是Redis还是memcache，就可能会涉及到数据库缓存与数据的一致性问题，这里我们以Redis为例。更新的时候，先更新数据库，然后再删除缓存。读的时候，先读缓存；如果没有的话，就读数据库，同时将数据放入缓存，并返回响应。

东哥笔记 0喜欢 / 0评论 2020-08-14

Spring Boot 2.x基础教程：使用集中式缓存Redis

之前我们介绍了两种进程内缓存的用法，包括Spring Boot默认使用的ConcurrentMap缓存以及缓存框架EhCache。虽然EhCache已经能够适用很多应用场景，但是由于EhCache是进程内的缓存框架，在集群模式下时，各应用服务器之间的缓存都

幸运小侯子 0喜欢 / 0评论 2020-08-14

ajax缓存机制

只要是POST请求，浏览器都不会缓存。Https的请求，浏览器不会缓存。在URL中拼入随机的查询字符串可以使浏览器认为这是一个新的请求，从而不使用缓存。

curiousL 0喜欢 / 0评论 2020-08-03

C#中的缓存技术(页面部分缓存)

1,页面部分缓存通常情况下,缓存整个页是不合理的。页面部分缓存是将页面部分内容保存内存中以便响应用户请求，而页面其他部内容则为动态内容。页面部分缓存的实现包括控件缓存和替换后缓存两种方式。前者也可称为片段缓存，这种方式允许将需要缓存的信息包含在一个用户控件

vanturman 0喜欢 / 0评论 2020-08-01

JavaScript中的缓存API

了解如何使用JavaScript中的Cache API缓存资源。Cache API允许服务工作者对要缓存的资源进行控制。检查 caches 对象在 window 中是否可用。caches 是 CacheStorage 的一个实例。如果缓存已经存在，则不会创

shawls 0喜欢 / 0评论 2020-07-29

深入浅出从根上理解 HTTP 缓存机制及原理！

HTTP 缓存，对于前端的性能优化方面来讲，是非常关键的，从缓存中读取数据和直接向服务器请求数据，完全就是一个在天上，一个在地下。我们最熟悉的是 HTTP 服务器响应返回状态码 304，304 代表表示告诉浏览器，本地有缓存数据，可直接从本地获取，无需从服

sochrome 0喜欢 / 0评论 2020-07-29

CDN简介

cdn是把原本需要集中获取的资源缓存到边缘节点，使用户就近访问。通过在网络中增加一层缓存层，通过全局负载技术将源站的资源分发到里用户最近的网络边缘节点上，使缓存服务器响应用户请求，从而达到快速访问的目的。广泛分布的CDN节点及只能冗余机制能有效地防止黑客入

buaichidoufu 0喜欢 / 0评论 2020-07-28

使用可视化工具redis-desktop-manager管理查询缓存。

使用可视化工具redis-desktop-manager管理查询缓存。Redis的可视化管理工具有很多，分享一篇文章大家都可以手动去试试，几款开源的图形化Redis客户端管理软件推荐。点击windows平台“redis-desktop-manager-0.

guoyun0 0喜欢 / 0评论 2020-07-19

DNS域名解析过程

当在浏览器中输入URL时，DNS解析是怎样的的过程呢？浏览器缓存有大小和时间限制，域名被缓存的时间限制可以通过TTL属性来设置。

leodengzx 0喜欢 / 0评论 2020-07-18

缓存策略

缓存穿透，查询无数据时2，导致缓存不生效，查询都落到数据库 **建议：强制返回一个默认值，缓存击穿，缓存失效瞬间，大量请求访问到数据库：比如同一个页面并发量比较大，建议：使用二级缓存策略，当一级缓存失效时，我们允许一个请求去落到数据库上面，更新缓存数据，其

SoarFly00 0喜欢 / 0评论 2020-06-28

Memcached 服务特点及工作原理是什么？

c、C/S 模式架构，C 语言编写，总共 2000 行代码。d、异步Ｉ/O 模型，使用 libevent 作为事件通知机制。e、被缓存的数据以 key/value 键值对形式存在的。会监控过期，而是在访问的时候查看 key 的时间戳,判断是否过期。j、me

LinuxJob 0喜欢 / 0评论 2020-06-26

MySQL优化之缓存优化

为了提高查询速度，我们可以通过不同的方式去缓存我们的结果从而提高响应效率。当我们的数据库打开了Query Cache功能后，数据库在执行SELECT语句时，会将其结果放到QC中，当下一次处理同样的SELECT请求时，数据库就会从QC取得结果，而不需要去数据

韩学敏 0喜欢 / 0评论 2020-06-17

php使用redis做缓存和使用redis保存session

echo "服务器测试:".$redis->ping();echo "获取redis值：".$redis->get;auth=password",端口也可以自己设置

YukiRain 0喜欢 / 0评论 2020-06-14

大型网络技术架构3

最常见的架构模式，将系统在横向维度上切分成几个部分，每个部分单一职责。网站一般分为三个层次：应用层、服务层和数据层，过分层，一个庞大系统切分成不同部分，便于分工合作和维护。　　①分布式应用和服务：应用和服务模块分布式部署，便于业务功能扩展；　　②反向代理：

架构技术交流 0喜欢 / 0评论 2020-06-13

web缓存测试

这个点比较好理解，包括位置，名字和内容。这个点应该也是可以理解的，包括由应用发起的主动清除以及从第三方发起的清除。清除之后应用是否还能正常工作。

服务器端攻城师 0喜欢 / 0评论 2020-06-12

07.Django-缓存

缓存是将一些常用的数据保存到内存或者memcache中。在一定的时间内有人来访问这些数据时，则不再去执行数据库及渲染等操作，而是直接从内存或memcache的缓存中去取得数据，然后返回给用户。‘TIMEOUT‘: 300, # 缓存超时时间。‘LO

windzoone 0喜欢 / 0评论 2020-06-09

Linux分布式缓存系统——Redis持久化+Sentinel哨兵模式+Redis集群

Redis是一个开源的使用C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。它通常被称为数据结构服务器，因为值可以是字符串、哈希、列表、集合和有序集合等类型。支持多种数据结构的存储，

loviezhang 0喜欢 / 0评论 2020-06-08

Java高并发教程：高并发IO的底层原理

　　程序进行IO读写依赖于操作系统底层的IO读写，主要为read、write两大系统调用。在不同的操作系统中，IO读写的系统调用的名称可能不完全一样，但是基本功能是一样的。上层应用无论时调用操作系统的read，还是write都会涉及缓存区。　　所以，程序的

huangzonggui 0喜欢 / 0评论 2020-06-04

http缓存

HTTP 缓存是我们日常开发中最为熟悉的一种缓存机制。优先级较高的是强缓存，在命中强缓存失败的情况下，才会走协商缓存。在浏览器发送请求时,会先去查看是否有expriss和cache-Control,以此来判断是否命中“强缓存”,协商缓存依赖于服务端与浏览器

LeoHan 0喜欢 / 0评论 2020-06-02

【大厂面试01期】高并发场景下，如何保证缓存与数据库一致性？

这种方案在不需要考虑高并发得去写缓存，高并发得读写缓存时，是不会有问题，但是如果是在高并发场景下，要保证缓存和数据库的一致性，至少需要解决以下问题：。高并发读写时，请求执行各步骤的顺序是不可控的。

Zhangdragonfly 0喜欢 / 0评论 2020-06-02

PHP 大型网站高并发大流量解决方案

网站性能优化对于大型网站来说非常重要，一个网站的访问打开速度影响着用户体验度，网站访问速度慢会造成高跳出率，小网站很好解决，那对于大型网站由于栏目多，图片和图像都比较庞大，那该怎么进行整体性能优化呢？e.Nginx缓存：利用expire参数，指定缓存的过期

wykpaopao 0喜欢 / 0评论 2020-05-25

kangle清除缓存接口

kangle作为前端反向代理服务器十分方便，但是缓存服务器就涉及到如何便捷清理缓存。whm_call=clean_cache&url=[模式]url1, [模式]url2 模式: 1=正则，区分大小写 2=正则，不区分大小写 3=匹配前面部分

windzoone 0喜欢 / 0评论 2020-05-19

网站部署使用CDN网络缓存

类似分布各地的物流仓储网络，CDN网络可以将源站的内容缓存到分布全球的CDN节点，根据用户的访问IP，就近连接CDN，提高网站响应速度。使用CDN加速后，CDN在全球的分布式节点将会拷贝一份源站的数据，称为缓存，用户在访问源站域名时会被DNS解析到最近的C

OpenCDN网站加速 0喜欢 / 0评论 2020-05-16

HTML5 应用程序缓存

使用 HTML5，通过创建 cache manifest 文件，可以轻松地创建 web 应用的离线版本。HTML5 引入了应用程序缓存，这意味着 web 应用可进行缓存，并可在没有因特网连接时进行访问。减少服务器负载 - 浏览器将只从服务器下载更新过或更改

GimmeS 0喜欢 / 0评论 2020-05-15

ANDROID缓存机制&一个缓存框架推荐

ACache类似于SharedPreferences，但是比SharedPreferences功能更加强大，SharedPreferences只能保存一些基本数据类型、Serializable、Bundle等数据，普通的字符串、JsonObject、Jso

pengjin 0喜欢 / 0评论 2020-05-14

ASP.NET Core中的Http缓存使用

Http响应缓存可减少客户端或代理对web服务器发出的请求数。响应缓存还减少了web服务器生成响应所需的工作量。响应缓存由Http请求中的header控制。而ASP.NET Core对其都有相应的实现，并不需要了解里面的工作细节，即可对其进行良好的控制。H

逸璞丷昊 0喜欢 / 0评论 2020-03-08

Redis的三大问题

如果我们的数据在缓存里边有，那么就直接取缓存的。如果缓存里没有我们想要的数据，我们会先去查询数据库，然后将数据库查出来的数据写到缓存中。缓存雪崩如果发生了,很有可能会把我们的数据库搞垮,导致整个服务器瘫痪.请求的数据在缓存大量不命中，导致请求走数据库。这种

afanti 0喜欢 / 0评论 2020-05-11

缓存雪崩

缓存雪崩，是指在某一个时间段，缓存集中过期失效。产生雪崩的原因之一，比如在写本文的时候，马上就要到双十二零点，很快就会迎来一波抢购，这波商品时间比较集中的放入了缓存，假设缓存一个小时。而对这批商品的访问查询，都落到了数据库上，对于数据库而言，就会产生周期性

diediexiaomi 0喜欢 / 0评论 2020-05-10

阿里P8架构师谈：数据库、JVM、缓存、SQL等性能调优方法和原则

性能优化基本是BAT等一线互联网公司程序员必备的技能，以下为大家完整揭晓性能完整的优化方案和方法：包含web网站调优、数据库、JVM调优、架构调优等方案。这一条要灵活运用，把js和css提取出来放在外部文件的优点是：减少html体积，提高了js和css的复

DAV数据库 0喜欢 / 0评论 2020-05-07

阿里P8架构师谈：分布式缓存的应用场景、选型比较、问题和挑战

从减轻数据库的压力和提高系统响应速度两个角度来考虑，都会在数据库之前加一层缓存，访问压力越大的，在缓存之前就开始CDN拦截图片等访问请求。而在100k以上的数据中，Memcached性能要高于Redis 。

Cheetahcubs 0喜欢 / 0评论 2020-05-06

redis-面试题(转)

Redis 是一个使用 C 语言开发的高速缓存数据库。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset和hash。这些数据类型都支持push/pop、add/remove及

枫叶上的雨露 0喜欢 / 0评论 2020-05-04

二、CDN概念和思路、基本原理、优势及应用领域和常见的缓存策略

　　CDN主要功能是将网站内容发布到最接近用户的边缘节点，使网民可就近取得所需内容，提供网民访问的响应速度和成功率，同时能够保护源站。解决由于地域、带宽、运营商接入等问题带来的访问延迟高问题，有效帮助站点提升访问速度。使用CDN服务器的优势就是缩短用户访问

buaichidoufu 0喜欢 / 0评论 2020-05-03

开源框架 - 分布式缓存系统Memcached

memcached是一套分布式的高速缓存系统，由LiveJournal的Brad Fitzpatrick开发，但被许多网站使用。这是一套开放源代码软件，以BSD license授权发布。memcached缺乏认证以及安全管制，这代表应该将memcached

ol0 0喜欢 / 0评论 2020-05-02

测试人员需要了解的缓存知识

减少服务器的访问压力。减少客户端的网络延时。最近最不经常使用。数据库中的热数据。主被动删除缓存后，相应的业务逻辑是否符合期望。首次访问后，再次访问速度是否快了。数据一致性问题的验证。对本地缓存文件无读写权限。手动主动触发缓存刷新机制

Vampor 0喜欢 / 0评论 2020-05-01

redis核心机制深入解析

redis的安装与使用介绍，参见redis安装与介绍。　　Red is 的灵活性允许各种不同的键构造和存储方案。　　AOF 日志记录的是内存数据修改的指令记录文本。Redis 在长期运行的过程中， AOF 的日志会越来越长。如果实例宕机重启，重放整个AOF

枫叶上的雨露 0喜欢 / 0评论 2020-04-27

http缓存

设置expires值表示缓存会在这个时间后失效，过期时间是绝对日期，如果修改本地日期，ETag和Last-Modified比较：ETag更准确，如果打开文件但没有修改，last-Modified也会改变；而且Last-Modified只能。精确到秒，不适合

ROES 0喜欢 / 0评论 2020-04-22

Linux服务器集群 - Squid缓存,代理服务

　　Squid是一个高性能的代理缓存服务器，Squid支持FTP、gopher、HTTPS和HTTP协议。　　它通过缓存和重用频繁请求的web页面来减少带宽和提高响应时间。　　Squid将数据元缓存在内存中，同时也缓存DNS查询的结果，除此之外，它还支持非

furongwei 0喜欢 / 0评论 2020-04-20

[分布式服务]海量互联网服务设计之降级设计

上周在 [分布式服务]海量互联网服务设计的有损价值观这篇文章中提到，与金融行业服务要求的强一致性不同，海量互联网服务要求的是能够扛住更高的qps,服务降级研究的问题是在服务器资源有限的情况下，如何提供更大的访问量，并保证系统稳定运行。数据的一致性，无需绝

loviezhang 0喜欢 / 0评论 2020-03-28

Oracle Database 19c 技术架构（二）

例如，共享池存储已解析的SQL，PL/SQL代码，系统参数和数据字典信息。乎涉及数据库中发?SQL语句，则Oracle数据库将访问共享池。该缓存包含共享的SQL和PL/SQL区域以及控制结构，例如锁和库缓存句柄。需单个连续区域。耗尽连续内存的可能性。个内存

Streamoutput 0喜欢 / 0评论 2020-03-27

Oracle Database 19c 技术架构（二）

例如，共享池存储已解析的SQL，PL/SQL代码，系统参数和数据字典信息。乎涉及数据库中发?SQL语句，则Oracle数据库将访问共享池。该缓存包含共享的SQL和PL/SQL区域以及控制结构，例如锁和库缓存句柄。需单个连续区域。耗尽连续内存的可能性。个内存

oraclemch 0喜欢 / 0评论 2020-03-27

手写一个静态资源中间件，加深了解服务器对文件请求的缓存策略

我们从理论上介绍了浏览器和服务器是如何对静态资源做缓存的，这篇文章我们把它做成一个node服务器的静态资源中间件。服务器接收到请求，先解析地址path;检查缓存头标志，如果内容没过期，仅修改头信息，304状态返回，如果内容过期了，就要正常返回内容。如果设置

lifeforbug 0喜欢 / 0评论 2020-03-18

memcache缓存服务器（安装-配置-测试篇）

[ ~]# yum -y install gcc* pcre-devel openssl-devel zlib-devel make vim. [ ~]# groupadd -r nginx && useradd -r -g nginx

carolAnn 0喜欢 / 0评论 2020-03-07

Celery框架接口缓存, Celery框架, Django项目实现轮播图缓存更新

iii）接口数据的时效性不是特别强。正常情况下，人可以完成所有健康情况的动作，不需要医院的参与；但当人生病时，就会被医院接收，解决人生病问题。Celery本身不提供消息服务，但是可以方便的和第三方提供的消息中间件集成。Worker是Celery提供的任务执

iflreey 0喜欢 / 0评论 2020-03-05

h5应用缓存

manifest文件主要分为三个部分。CACHE MANIFEST: 在此标题下列出的文件将在首次下载后进行缓存。FALLBACK：在此标题下列出的文件规定当页面无法显示时的回退页面。1 用户清空浏览器缓存。3 由程序来更新应用缓存。用户可在应用离线时使用

zhangwentaohh 0喜欢 / 0评论 2020-03-04

Varnish概念篇

Varnish是一款高性能且开源的反向代理服务器和web加速器，与传统的squid相比，varnish具有性能更高，速度更快，管理更加方便等诸多优点，很多大型的网站都开始尝试使用varnish来替换squid，以在相同的服务器成本下提供更好的缓存效果，va

丁丁爸爸的技术 0喜欢 / 0评论 2020-03-04