helencoder 2020-06-26
互联网安全项目 架构设计。
这次是自己从零开始搭建一个后台项目,所有的架构设计都是自己设计的。这次从中学到了很多,我记录一下。
在开始设计之前,肯定是需要看需求文档的。必须是琢磨清楚之后,再做设计。
包括数据库设计,技术栈设计。
数据库设计: 如何建表,表之间的关联,建表的同时需要考虑后面开发方便性。
技术栈设计:后台开发需要的技术,要体现到有用,有必要。
对于架构思维本身仍然是类似系统思维,结构化思维,编程思维等诸多思维模式的一个合集。由于架构的核心作用是在业务现实世界和抽象的IT实现之间建立起一道桥梁,因此架构思维最核心的就是要理解到业务驱动技术,技术为最终的业务服务。要真正通过架构设计来完成业务和技术,
今天给大家上13个架构图,不说一些文字。我一直觉得,从架构图上可以学到很多东西,这相比于文字更能理解,而且很多人在做事的时候,是想不清楚具体要怎么做的,都是一开始直接上手,然后后面也不知道怎么改。这篇文章,是我在读了2本书之后,哪2本书呢?是《IT结构治理
微服务极大的改变了服务端引擎的架构方式。微服务不是一个单一的巨型的用来托管应用程序所有业务逻辑的代码库,而是反映了分布式系统模型,在该模型中,一组应用程序组件协同工作来满足业务需求。通过遵循十项基本的微服务最佳实践,你可以实现一个高效的微服务生态系统,从而
Kubernetes是谷歌开源的容器编排引擎,架构和设计思想来源于谷歌内部使用调度工具——Borg。Borg是谷歌一个久负盛名的的内部使用的大规模集群管理系统,它基于Linux Container技术,提供了面向应用的容器集群部署和管理系统。Kubern
架构设计师从主体问题出发、整体出发,进行整体的切分与沟通机制的建立,而建立的顶层结构即架构。架构中需要有主体、对象及对象交换机制等。做架构设计是为了降低人们对复杂系统的认识,方便沟通,其次做架构是为了分工合作。架构设计任务就是为了划分模块,设计模块交互方式
Redis Server 节点:每个节点有一主一从两个实例,多个节点组成一份完整的集群数据,其中每个节点只有主库对外提供服务,从库仅仅用于节点高可用、数据持久化及定时备份。Zookeeper 集群:由五个 zk 节点组成,Redis 集群配置变更后,通知客
扩展性-指对现有系统影响最小的情况下,系统功能可持续扩展或者提升的能力,表现在系统基础设施稳定不需要经常变更,应用之间较少依赖和耦合,对需求变更可以敏捷响应。它是系统架构设计层面的开闭原则,架构设计考虑未来功能扩展,当系统增加新功能时,不需要对现有系统的结
通过第一次阅读我对什么是架构,什么是概念架构和细化架构有了更加深入的了解。在课上又通过老师的实例讲解让我有了很大的启发。其中“3个阶段”是指预备架构阶段、概念架构阶段、细化架构阶段,“1个贯穿环节”是指对非功能目标的考虑。
Kafka 是一个高吞吐量的分布式的发布订阅消息系统,在全世界都很流行,在大数据项目里面使用尤其频繁。笔者看过多个大数据开源产品的源码,感觉 Kafka 的源码是其中质量比较上乘的一个,这得益于作者高超的编码水平和高超的架构设计能力。
区块链作为一种架构设计的实现,与基础语言或平台等差别较大。区块链是加密货币背后的技术,是当下与 VR 虚拟现实等比肩的热门技术之一,本身不是新技术,类似 Ajax,可以说它是一种技术架构,所以我们从架构设计的角度谈谈区块链的技术实现。无论你擅长什么编程语言
在业务系统中,查询时最容易出现性能问题的模块,查询面对的数据量大,筛选条件复杂,所以在系统架构中引入缓存层,则是非常必要的,用来缓存热点数据,达到快速响应的目的。所有缓存数据,必须设置过期时间;缓存层移除,不影响现有流程;归档数据不实时查询;基于消息消费服
我想这个问题,十个人回答得有十一个答案,因为另外的那一个是大家妥协的结果,哈哈,我理解,架构就是骨架。人类的身体的支撑是主要由骨架来承担的,然后是其上面的肌肉、神经、皮肤。架构对于软件的重要性不亚于骨架对人类身体的重要性。这样可以大大节省我们的设计时间,提
Dubbo 是一个分布式、高性能、透明化的 RPC 服务框架,提供服务自动注册、自动发现等高效服务治理方案, 可以和 Spring 框架无缝集成。RPC 指的是远程调用协议,也就是说两个服务器交互数据。互联网的快速发展,Web应用程序的规模不断扩大,一般会
比如淘宝中期开始的数据库端按照业务垂直拆分:按照业务交易数据库、用户数据库、商品数据库、店铺数据库等进行拆分。分库分表需要涉及到对应的SQL路由规则主库备库等,例如:淘宝设计了一套TDDL来解决这些问题,应用端只需配置对应的规则即可,对应用端的没有任何侵入
2008年进入CZ/XM,前后服务了近10年,非常感谢这家公司的包容和学习。最初一个产品,是属于SNS社交类型网站,典型的三层架构,就职时,服务于项目的DAL数据访问层的开发。Model,模型层,用于封装与应用程序的业务逻辑相关的数据以及对数据的处理方法。
疫情期间,随着返岗复工人员大幅流动,疫情扩散传播风险巨大,疫情防控也面临新的严峻挑战。为了更好地统计流动人口信息,云南省公安厅面向社会公共场所推出“云南抗疫情”小程序,对公共场所的流动人口进行信息登记。二维码里面有单位及相关负责人的关联信息,人员进出公共场
现如今不管是传统企业还是互联网公司都在谈论微服务,微服务架构已经成为了互联网的热门话题,同时,微服务的开发框架比如Dubbo、SpringCloud等也是在高频迭代中,以满足层出不穷的技术需求。当企业遇到系统性能瓶颈、项目进度推进乏力、系统运维瓶颈的时候,
Refined Architecture属于架构设计,不能与Detailed Design相混淆。架构领域最喜欢将建筑设计的多视图方法与软件架构设计的多视图方法做类比。实践要领5视图方法总图:每个视图,一个思维角度5视图方法包括下面几个视图:逻辑视图。5个
xjjdog以前写过很多关于消息队列的文章。今天介绍一下ActiveMQ。ActiveMQ是最常用、特性最丰富的消息中间件,通常用于消息异步通信、削峰解耦等多种场景,是JMS规范的实现者之一。支持大部分消息协议,而且支持XA。它也是比较古老的消息队列,虽然
在软件行业,对于什么是架构,都有很多的争论,每个人都有自己的理解。此君说的架构和彼君理解的架构未必是一回事。因此我们在讨论架构之前,我们先讨论架构的概念定义,概念是人认识这个世界的基础,并用来沟通的手段,如果对架构概念理解不一样,那沟通起来自然不顺畅。
我们做的产品结构构建,就是把原本无序的各个需求点以某种结构的方式,展现出来。人们了解产品的第一印象,结构是否清晰也代表着用户理解的难易度。产品结构的稳固与否,也代表着在增加和减少功能模块时的难易程度。音乐播放-跑步,新Tab。
由于scrapy框架需要更多的学习成本,还有分布式爬虫也需要redis来实现,调度方式也不是很符合业务要求,于是就自己设计了个分布式爬虫架构。建议先不进行数据清洗,避免偶尔数据清洗错误时,又要重新爬取。
第01:大型架构的演进之路第02(上):分布式缓存第02(下):分布式缓存第03:分布式消息队列第04:分布式数据存储第05:分布式服务框架第06:高性能系统架构第07:高可用系统架构第08:系统的安全架构第09:架构实战案例分析第10:如何成为技术专家
最开始接触jdbc的时候,我们系统如何完成一次sql操作呢?第一步,建立数据库连接;第二步,操作sql;第三步,释放连接。以前这对于我就是一个黑盒,只知道操作mysql给我的结果就好了,但是有问题时又无法分析出问题在哪一步。今天就开始深入研究一下mys
第2章 什么影响了MySQL性能。2-1 影响性能的几个方面。2-2 CPU资源和可用内存大小。2-03 磁盘的配置和选择。2-04 使用RAID增加传统机器硬盘的性能。2-05 使用固态存储SSD或PCIe卡。2-06 使用网络存储SAN和NAS
开闭原则是指一个软件实体应该对扩展开放,对修改关闭。所谓的开闭,也正是对扩展和修改两个行为的一个原则。它强调的是用抽象构建框架,用实现扩展细节,可以提高软件系统的可复用性及可维护性。开闭原则是面向对象设计中最基础的设计原则,它指导我们如何建立稳定、灵活的系
需求分析的前期工作是愿景描述及愿景分析, 即愿景分析就是需求的前期调研.从软件过程来看,需求分析是一个承上启下的阶段–“上承”愿景,“下接”设计。三者不是独立无关的阶段,而是相互伴随、交叉进行的。我这儿整理了比较全面的JAVA相关的面试资料,
软件领域没有“银弹”,架构没有捷径!由于“中台”概念的推动,关心业务架构的读者越来越多,很多企业也对实施“中台”、“中台”方法论趋之若鹜。然而,最终还是证明了软件领域没有“银弹”,很多时候,反倒是应了北欧的一句民谚:捷径是迷路的最快方法。架构没有捷径,无论
“大数据”的概念是在最早经历信息爆炸的学科--天文学和基因学中提出来的,而今已经渗透到了各行各业和生活中的方方面面。牛津大学教授维克托曾在《大数据时代》一书中指出,通过对海量数据进行分析,能够获得有巨大价值的产品和服务,或深刻的洞见。大数据引起了商业变革,
监控架构(实时监控、监控代理、系统监控、服务器监控
Producer:消息发布的角色,支持分布式集群方式部署。Producer通过MQ的负载均衡模块选择相应的Broker集群队列进行消息投递,投递的过程支持快速失败并且低延迟。支持以push推,pull拉两种模式对消息进行消费。NameServer:Name
本文首发于 vivo互联网技术 微信公众号?如果缺乏有效的数据整体架构设计或者部分能力缺失,会导致业务层难以直接利用大数据大数据,大数据和业务产生了巨大的鸿沟,这道鸿沟的出现导致企业在使用大数据的过程中出现数据不可知、需求难实现、数据难共享等一系列问题,本
Android确实不是当年盛况,已经不再像前几年前那么火爆。那么这一两年就已经是在一个饱和值之间浮动,因此在这样的形式下,可能对于个人开发者相应的要求就要高一些。在这样的大环境下,那么对我们的Android开发工程师也是同样的改变。据我了解,中、高级的工程
本文主要围绕微服务的技术选型、通讯协议、服务依赖模式、开始模式、运行模式等几方面来综合比较Dubbo和Spring Cloud 这2种开发框架。架构师可以根据公司的技术实力并结合项目的特点来选择某个合适的微服务架构平台,以此稳妥地实施项目的微服务化改造或开
就是如果你用redis缓存技术的话,肯定要考虑如何用redis来加多台机器,保证redis是高并发的,还有就是如何让Redis保证自己不是挂掉以后就直接死掉了,redis高可用。redis高并发:主从架构,一主多从,一般来说,很多项目其实就足够了,单主用来
部门的业务线越来越多,任何一个线上运行的应用,都可能因为各种各样的原因出现问题:比如业务层面,订单量比上周减少了,流量突然下降了;技术层面的问题,系统出现 ERROR ,接口响应变慢了。拿大交通业务来说,一个明显的特点是依赖很多供应商的服务,所以我们还需要
分解软件模块,定义模块描述,模块交互关系(尽量使用数据耦合,少使用控制耦合,限制使用公共环境耦合,完全不用内容耦合。)--调用深度,宽度---控制好
目前公司产品展示实现部分大部分基于VUE2.0版本,很多项目在开发之初由于周期原因未对产品代码逻辑架构进行高效设计评估。对于前端代码架构需要改进的地方有几点:
比如,当我们需要扩容Hadoop集群时,只需要在基础设施层添加一台新的Hadoop节点服务器即可,而对其他模块层无需做任何的变动,且对用户也是完全透明的。运行环境层为基础设施层提供运行时环境,它由2部分构成,即操作系统和运行时环境。此外为了提高磁盘的IO吞
在DDD的架构设计中最难以解决的就是一致性问题,所以我采纳是BASE的最终一致性的方式,至于最终一致性的概念,不在本博客中阐述,设计理念,不外乎就是弥补的方式。可用性,无论是传统架构还是CQRS架构,都可以做到高可用,只要我们做到让我们的系统中每个节点都无
所有应用或者服务要想对外提供服务,必须首先到注册中心进行注册。所有访问通过服务网关进行访问,然后由服务网关路由到对应服务中心进行交互访问。由上图可以看出,注册中心与路由很容易成为单点故障,软件老王以前使用springcloud eureka高可用架构方案:
目前服务器的安装部署已经基本完成,简单的画了一下整个架构图,redis没有设计进去,这块主要用于库存的管理,大概思路是要采用redis技术进行管理,但是如何实现还有待确认。整个架构里面,读写分离的实现还是相当强大的,降低数据库的压力非常有意义。下次单独写个
现有的架构设计实在受不了,业务的反反复复地变化,导致代码圈复杂度之深让人恐惧。之前的微服务架构经验让我更加彻底点,采用DDD领域驱动设计进行整个改变。随着经过几个月的努力,确实慢慢地体会到ddd的架构设计的优势,聚合根设计能够协助我们整个服务改造,开发起来
koa 发布已经快 6 年的时间,作为继 express 之后 node 服务框架最大的黑马,有很多的设计思想值得我们学习,本文从简到繁逐步介绍 koa,同时适合新老手阅读。Koa 是一个新的 web 框架,由 Express 幕后的原班人马打造, 致力于
当你的视野跳出这个程序集的概念后,你会发现,层不只是和程序集对应,也和解决方案文件夹,或者是整个解决方案对应,一个层甚至可以对应一个系统。任何一个.net都知道的微软的三层架构,三层架构就是把业务划分为界面层、业务逻辑层、数据访问层。主要对用户的请求接受,
本质上,状态复制模式是用来解决状态隔离模式产生的问题;具体来说,状态复制模式跟状态隔离模式一样,也需要数据的一致性。这也就意味着,架构中目录、价格和货币的任何一个出现故障或者更改,都会导致另一个功能的失败。通常情况下,状态复制与事件源的代码共存,基于事件驱
事件驱动并不是一个新的设计模式。当在微服务体系上实施事件驱动架构时,它能够提供一些强大的抽象。事件驱动系统通常使用某种类型的队列,但是围绕队列所传递内容的设计和行为,强制执行一个标准;具体来说,就是事件。事件允许接收它的服务通过按顺序重放事件来重建状态的物