scrapy

Catastrophe 2020-06-11

使用 xpath 选择网页所使用的标签

request传递数据

html response

formrequest 使用登录界面

内容存储为json lines 文件

setting 文件设置实现保存在json 文件中

LOG_FORMAT 日志的格式

LOG_DATEDORMAT 日志日期的格式

class

scrapy.statscollectors.MemortStatsCollector

用来获取内存的使用情况

可以使用文本文件

csv文件 json 文件 jsonlines文件数据库文件云存储

创建 scrapy 文件命令是 scrapy startproject collectips

每一行都要进行 “#-*-coding： utf-8 -*- 进行注释

: Catastrophe

docker::c++程序添加corecump配置。

RUN sysctl -p //使设定生效

zwt00 0喜欢 / 0评论 2020-07-19

Nginx日志配置

在 nginx 配置文件的最外层，我们可以配置 error_log，这个 error_log 能够记录 nginx 启动过程中的异常，也能记录日常访问过程中遇到的错误。在 server 内部配置属于专门 server 的 error_log 和 acces

competeking 0喜欢 / 0评论 2020-07-04

MySQL慢查询开启、日志分析(转)

Mysql的查询讯日志是Mysql提供的一种日志记录，它用来记录在Mysql中响应时间超过阈值的语句。long_query_time的默认为10，意识是运行10秒以上的语句。由它来看那些SQL语句超出了我们的最大忍耐值，比如一条SQL执行超过了5秒，我们就

thunderstorm 0喜欢 / 0评论 2020-07-04

sql server2005中的段落还原/部分还原

就是可以每次从备份文件中还原不同的文件组出来。--这时如果数据库特别大，数据库恢复时间将会很长。但我们可以使用SQL Server提供的段落还原，来逐步恢复数据库。BACKUP LOG [AdventureWorks] TO DISK =N‘D:\BACK

云之飞踢 0喜欢 / 0评论 2020-05-20

PHP错误处理之将错误日志保存在系统文件中

<?php. ini_set(‘display_errors‘,0);ini_set(‘log_errors‘,1);ini_set(‘error_log‘,‘sys_log‘);echo ‘<hr/>‘;

JF0 0喜欢 / 0评论 2020-05-08

docker-compose运行nginx

创建的docker-compose.yml文件version: ‘3.1‘

夜雨倚琴 0喜欢 / 0评论 2020-04-20

selenium之截图

下面和大家分享一下，ui自动化中截图方法。ROOT_PATH=os.path.dirname #获取项目路径

Reiki 0喜欢 / 0评论 2020-02-02

Nginx日志分析脚本

运维工作是一个比较复杂的工作，有时候面对上万条的日志，如何作分析？难道一条条的分析？聪明的人会选择脚本，这就是为什么现在提倡自动化运维的原因吧，废话不多说，直接上脚本。start_time=`head -1 $log_file | awk ‘{print

houjinkai 0喜欢 / 0评论 2020-01-12

MySQL重新学之binlog

tanyhuan 0喜欢 / 0评论 2020-01-08

数据库的日志机制

将待未改数据备份到缓存，直接修改数据库文件；核心是解决数据安全和io性能问题。InnoDB 有两块非常重要的日志，一个是undo log，另外一个是redo log，前者用来保证事务的原子性以及InnoDB的MVCC，后者用来保证事务的持久性。和大多数关系

DonviYang 0喜欢 / 0评论 2020-01-07

Nginx日志格式与日志切割篇三

log_format compression ‘$remote_addr - $remote_user [$time_local] ‘。　　设置缓冲日志写入的路径，格式和配置。　　如果使用该gzip参数，则在写入文件之前，缓冲的数据将被压缩。　　保存在缓存

aolishuai 0喜欢 / 0评论 2020-01-05

MySQL日志及索引

日志文件记录了数据库操作的信息和一些错误信息，我们常用的日志文件有：错误日志、二进制日志、查询日志、慢查询日志、InnoDB引擎在线 redo日志和中继日志等。默认是开启状态的，如果是5.5.7版本以后的是无法关闭错误日志，错误日志它记录了运行过程中遇到的

muzirigel 0喜欢 / 0评论 2019-12-28

mysql日志

例如，执行update时，更新语句涉及到了数据的更改，所以必不可少的需要引入日志模块。redo log是InnoDB引擎特有的日志模块。具体来说，当有一条记录需要更新的时候， InnoDB 引擎就会先把记录写到 redo log 文件里面，并更新内存数据页

CharlesYooSky 0喜欢 / 0评论 2019-12-24

Mysql常用日志类型及场景。

我们在什么情况下使用这些日志？通过插件实现，mysql GPL版没有审计日志。relay_log = filename 指定relay log存放位置和名称。

kuwoyinlehe 0喜欢 / 0评论 2019-12-18

用php写爬虫去爬数据

采集结束后实时入库并展示。//把当前的最新一条文章的id.shtml的id 存入一个max.log的文件中,实时读取实时更改。$max = file_put_contents; // 爬完之后让maxid更新为最新的。\/>/',$article_

JF0 0喜欢 / 0评论 2019-11-29

linux命令详解（2）

hostname：显示或者设置当前系统的主机名。　　hostname 显示主机名。用户进程号(唯一) cpu使用率内存使用率状态启动时间运行时间启动命令。l – 关闭或开启第一部分第一行 top

xiaohouye 0喜欢 / 0评论 2019-11-11

Linux系统下Tomcat的Cosole的实时查看

在Linux操作系统下，我们常用sh stratrup.sh来启动Tomcat。你会发现，并没有出现Cosole，就是在Windows下启动时，那个CMD窗口，一些调试信息和Log通常会打印在这里。这个Cosole对于一个开发人员来说，可以说是至关重点，因

natejeams 0喜欢 / 0评论 2008-01-21

详解mysql数据库Innodb内存结构和其是如何使用内存的？

概述很多朋友可能会有许多关于Innodb如何使用内存的问题。我这里将简单介绍一下innodb内存结构，然后以innodb启动时的分配情况做一个解释。缓冲池用于存放各种数据的缓存。用于在实例故障恢复时，继续那些已经commit但数据尚未完全回写到磁盘的事务。

Rain 0喜欢 / 0评论 2019-11-03

MySQL主从复制虽好，能完美解决数据库单点问题吗？

一些MySQL版本并不会开启二进制日志，所以一定要检查是否开启；如果刚开始没有开启，后面再进行开启的话，需要重启数据库才能生效，而且数据库的重启往往会对业务造成很大的影响；尽管二进制日志对性能有稍许的影响，所以还是建议大家无论是否使用复制功能，都要开启My

yishouwangnian 0喜欢 / 0评论 2019-09-07

MySQL慢查询日志总结转

MySQL的慢查询日志是MySQL提供的一种日志记录，它用来记录在MySQL中响应时间超过阀值的语句，具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。long_query_time的默认值为10，意思是运行10S以上的

景泽元的编程 0喜欢 / 0评论 2019-10-27

CentOS下Nginx配置Web访问日志并结合Shell脚本定时切割

在一个成熟的WEB系统里，没有日志管理是不可以的，有了日志，可以帮助你得到用户地域来源、跳转来源、使用终端、某个URL访问量等相关信息；通过错误日志，你可以得到系统某个服务或server的性能瓶颈等。因此，将日志好好利用，你可以得到很多有价值的信息。$ss

AMimiDou 0喜欢 / 0评论 2019-03-31

Git 常用命令

git add -u # 添加所有被tracked文件中被修改或删除的文件信息到暂存区，不处理untracked的文件。git diff 分支名 #工作区与某分支的差异，远程分支这样写：remotes/origin/分支名。git diff --stage

vagabond 0喜欢 / 0评论 2018-11-06

Python使用logging模块输出信息到屏幕并打印log到指定文件

日志是跟踪软件运行时所发生的事件的一种方法。事件由描述性消息描述，该描述性消息可以可选地包含可变数据。事件还具有开发者归因于事件的重要性；重要性也可以称为级别或严重性。logging提供了一组便利的函数，用来做简单的日志。它们是 debug()、 info

heyiaiqing 0喜欢 / 0评论 2019-06-02

Linux下查看binlog文件创建时间的命令

MySQL在26日 16:23:49产生了大量的慢查询，在这段时间内，binlog文件刷新的很快，想知道写完一个binlog文件究竟花了几分钟时间？mysql-bin.016126文件的最后修改时间16：22不一定是mysql-bin.016127 文件创

shenghua 0喜欢 / 0评论 2019-05-14

Mysql开启慢SQL并分析原因

Windows：Windows 的配置文件为 my.ini，一般在 MySQL 的安装目录下或者 c:\Windows 下。但是MySQL目前版本，还有几大蹩足的地方。虽然MySQL普通日志记录了所有查询，但是它们是解析查询之前就记录下来了。不过，使用这个

vitasfly 0喜欢 / 0评论 2019-04-04

PHP中error_log()函数的使用方法

本文实例讲述了PHP中error_log()函数的使用方法。分享给大家供大家参考。error_log有四个参数，主要是前3个，第一个是log日志写入内容，第二个是日志存入方式3表示存入指定位置，第三个是存入位置。error_log会自动生成相应的log文

stefan0 0喜欢 / 0评论 2019-09-03

通过MySQL慢查询优化MySQL性能的方法讲解

随着访问量的上升，MySQL数据库的压力就越大，几乎大部分使用MySQL架构的web应用在数据库上都会出现性能问题，通过mysql慢查询日志跟踪有问题的查询非常有用,可以分析出当前程序里有很耗费资源的sql语句。存放slow query日志的文件。你必须保

乌蝇 0喜欢 / 0评论 2019-03-20

MySQL运维案例分析：Binlog中的时间戳

本文选自《MySQL运维内参》。　　众所周知，在Binlog文件中，经常会看到关于事件的时间属性，出现的方式都是如下这样的。假设事务83631679的开始时间是10:11:30，那么至少它的提交事件，即GTID事件的时间是10:11:35吧？

ldcwang 0喜欢 / 0评论 2017-06-14

shell自动下载nginx日志文件到本地

####最近遇到一个情况就是服务器不响应了，nginx也不写日志，经查发现是日志文件太大多，磁盘满了，以前都是用脚本自动上传到OSS的，现在需要将log下载到本地，于是用shell写了一段脚本，然后放到crontab里面，每天凌晨把log下载下来。加到cr

iOSbird 0喜欢 / 0评论 2016-12-28

linux dirname目录 basename文件命令

1、功能：从给定的包含绝对路径的文件名中去除左边目录部分或者同时去除某个后缀的内容，返回非目录的部分

wanggongzhen 0喜欢 / 0评论 2014-12-22

Linux远程文件拷贝

######文件拷贝成功后,把文件从10.0.64.224主机上删除,本地记录操作日志#############. echo "$log_date debug scp file [$file] is successfully" >

LUOPING0 0喜欢 / 0评论 2012-12-04

Linux 查看LOG文件

最近经常查看服务器上的log文件，有时log文件太大查起来很不方便，看了看网上说可以部分查询，就先记录一下吧。Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。grep全称是Global Regula

李湘华 0喜欢 / 0评论 2012-10-09

Shell拷贝远程主机文件

######把10.0.64.224主机上/data/sea/upload/底下文件拷贝到10.10.31.79#############. ######文件拷贝成功后,把文件从10.0.64.224主机上删除,本地记录操作日志#############

雪糕 0喜欢 / 0评论 2011-08-02

Apache 虚拟机简单配置

配置虚拟机主要是基于主机名的虚拟主机。1，修改httpd.conf文件，去掉#Include conf/extra/httpd-vhosts.conf

xiaoxin0 0喜欢 / 0评论 2011-03-24

linux安全日志查看

在Linux系统中启动进程统计使用accton命令，必须用root身份来运行。Accton命令的形式acctonfile，file必须先存在。先使用touch命令来创建pacct文件：touch/var/log/pacct，然后运行accton：accto

benico 0喜欢 / 0评论 2010-05-14

数据库/目录自动备份脚本

windows通过任务计划可以调用bat批处理文件。可以实现简单的备份功能与同步功能。导出成功后，将dmp文件压缩打包，删除dmp文件。if %errorlevel% ==0 "C:\Program Files\WinRAR\rar"

helloworlddm 0喜欢 / 0评论 2010-01-13

02. MySQL数据库的日志系统

要了解数据库的日志系统首先得知道其存在的必要性：数据库事务的ACID中的Durability-持久性就是依靠日志系统来实现的。值得注意的是 InnoDB 的 redo-log 记录的数据有限，当超过大小之后会先等日志写入到磁盘释放出一部分空间后才能继续写入

拼命工作好好玩 0喜欢 / 0评论 2019-07-01

【MySQL】主从异步复制配置

Mysql的主从同步是一个异步的复制过程，从一个 Master复制到另一个 Slave上。在 Master 与 Slave 之间的实现整个复制过程主要由三个线程来完成，其中两个线程在 Slave 端，另外一个线程在 Master 端。　要实现 MySQ

javashixisheng 0喜欢 / 0评论 2019-07-01

如何将ffmpeg封装golang/cgo库

CGO构建程序会自动构建当前目录下的C源文件，即是 go 会将当前目录下 .c 文件都编译成 .o目标文件，再链接汇编，这个特点衍生出几个注意事项:. go 代码以静态库或动态库方式引用 C 函数的话，需要将对应的C源文件移出 go源文件所在的目录如果想要

移动视频探索者 0喜欢 / 0评论 2019-06-30

一步步进行ffmpeg的C语言音视频编程

本文是音视频编程入门篇，先略过传输协议层，主要讲格式层与编解码层的编程例子。写在最前面的日志处理边编程边执行，查看日志输出，是最直接的反馈，以感受学习的进度。对于 ffmpeg 的日志，需要提前这样处理：。}ffmpeg 有不同等级的日志，本文只需使用 A

liwenlongonly 0喜欢 / 0评论 2019-06-30

教你MySQL Binlog实用攻略

本文由云+社区发表1.概述binlog是Mysql sever层维护的一种二进制日志，与innodb引擎中的redo/undo log是完全不同的日志；其主要是用来记录对mysql数据更新或潜在发生更新的SQL语句，并以”事务”的形式保存在磁盘中；

TMD咯MySQL 0喜欢 / 0评论 2019-06-30

Centos学习笔记14 - java程序启动脚本

服务器如果关机，应用比较多的话，需要重启把所有程序启动一遍。在网上找了一些脚本，综合改了一个新的出来。以后启动就可以少写一些命令了。假定项目名字是fileserver, 文件服务器，用来上传和下载。./start.sh jar包目录 jar包文件名称日志

86201746 0喜欢 / 0评论 2019-06-28

MySQL数据库运维之主从复制搭建

上篇文章详细介绍了MySQL数据库的单机多实例搭建，本篇文章将在上篇文章的基础上介绍MySQL主从复制过程，其中常见的复制架构有：异步复制，半同步复制及同步复制。b、互为主从，当一个示例出故障时，可以迅速切换到另外一个实例上，提供读写服务2、一主一从结构图

MySQLLelove 0喜欢 / 0评论 2019-06-27

ORA-00205: error in identifying controlfile, check alert log for more info

landdin0 0喜欢 / 0评论 2011-07-04

JBOSS的LOG4J配置

--此处定义在哪些包里面使用日志-->

农码经神 0喜欢 / 0评论 2011-01-25

WAS记录JVM垃圾回收的详细信息

2.在通用 JVM 参数里输入-XX:+PrintGCDetails -XX:+PrintGCTimeStamps记录log时间。

ystar 0喜欢 / 0评论 2010-11-06

MacOS 下 XAMPP配置基于域名的虚拟主机

注意的是该文件默认开启了两个作为例子的虚拟主机。这两个虚拟主机是不存在的,它们每行前面加上#，注释掉就好了，这样既能参考又避免导致其他问题。#Options Indexes FollowSymLinks ExecCGI Includes #don't pe

Martnn 0喜欢 / 0评论 2019-06-21

Tomcat中如何打开Sun JSF RI 1.2中的日志

jacky的部落 0喜欢 / 0评论 2009-12-22

系统自动退出

我们有个系统，每当声音上报频繁时，会自动退出，没有任何征兆，不过会生成一个log文件，大概内容如下：。似乎是jsound.dll对上报声音频繁会抛出异常到jvm，而jvm也不能处理这个异常。请问大家怎么解决这个问题哈？

zhanjia 0喜欢 / 0评论 2008-03-21

scrapy

相关推荐