Blogs

性能优化及自动内存管理

==这里主要讲的是Go语言==,太概念了,这知识根本不入脑

性能优化

提升软件系统处理能力,减少不必要的消耗,充分发掘计算机算力

性能优化的作用

  • 用户体验:带来用户体验的提升 - 让刷抖音更丝滑,让双十一购物不再卡顿
  • 资源高效利用:降低成本,提高效率 - 很小的优化乘以海量机器会是显著的性能提升和成本节约

性能优化的层面

  • 业务层优化
    • 针对特定场景,具体问题,具体分析
    • 容易获得较大性能收益
  • 语言运行时优化
    • 解决更通用的性能问题
    • 考虑更多场景
    • Tradeoffs
  • 数据驱动
    • 自动化性能分析工具 – pprof
    • 依靠数据而非猜测
    • 首先优化最大瓶颈

软件质量

  • 软件质量至关重要
  • 在保证接口稳定的前提下改进具体实现
  • 测试用例:覆盖尽可能多的场景,方便回归
  • 文档:做了什么,没做什么,能达到怎样的效果
  • 隔离:通过选项控制是否开启优化
  • 可观测:必要的日志输出

自动内存管理

  • 动态内存
    • 程序在运行时根据需求动态分配的内存:malloc()
  • 自动内存管理(垃圾回收):由程序语言的运行时系统管理动态内存
    • 避免手动内存管理,专注于实现业务逻辑
    • 保证内存使用的正确性和安全性: double-free problem, use-after-free problem

相关概念

  • Mutator:业务线程,分配新对象,修改对象指向关系
  • Collector: GC 线程,找到存活对象,回收死亡对象的内存空间
  • Serial Gc: 只有一个 collector
  • Parallel Gc: 支持多个 collectors 同时回收的 GC 算法
  • Concurrent GC: mutator(s)和 collector(s)可以同时执行
    • Collectors 必须感知对象指向关系的改变

追踪垃圾回收

  • 对象被回收的条件:指针指向关系不可达的对象
  • 标记根对象
    • 静态变量、全局变量、常量、线程栈等
  • 标记:找到可达对象
    • 求指针指向关系的传递闭包:从根对象出发,找到所有可达对象
  • 清理:所有不可达对象
    • 将存活对象复制到另外的内存空间(Copying GC)
    • 将死亡对象的内存标记为“可分配”(Mark-sweep GC)
    • 移动并整理存活对象(Mark-compact GC)
  • 根据对象的生命周期,使用不同的标记和清理策略

微服务架构

了解微服务架构

  • 优势:

    1. 开发效率高、2. 业务独立设计、3. 自下而上、4. 故障隔离
  • 劣势:

    1. 治理、运维难度高、2. 观测挑战、3. 安全性、4. 分布式系统的问题

核心要素

  • 服务治理

    1. 服务注册、2. 服务发现、3. 负载均衡、4. 扩缩容、5. 流量治理、6. 稳定性治理
  • 可观测性

    1. 日志采集、2. 日志分析、3. 监控打点、4. 监控大盘、5. 异常报警、6. 链路追踪
  • 安全

    1. 身份验证、2. 认证授权、3. 访问令牌、4. 审计、5. 传输加密、5. 黑产攻击

微服务架构原理及特征

基本概念

  • 服务(service)

定时计划

基本的定时任务

  • Windows运行批处理文件

  • Windows任务计划程序(右键我的电脑

  • Linux命令—CronJob

  • 应用程序编码层—单机定时任务(Timer—JavaTicker—GoScheduledExecutorService—线程池技术)

  • 任务调度—Quartz(单任务极致控制、没有负载均衡机制)

  • 分布式定时任务(平台化管理、分布式部署、支持海量数据)

分布式定时任务

  • 定时任务是指系统为了自动完成特定任务,实时、延时、周期性完成任务调度的过程。

  • 分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台,并实现集群管理调度和分布式部署的一种定时任务的管理方式。

按触发时机分类:

  • 定时任务:特定时间触发,比如今天15:06执行
  • 延时任务:延时触发,比如10s后执行
  • 周期任务:固定周期时间,或固定频率周期调度触发,比如每天12点或者每隔5s执行

特点

  • 自动化:全自动完成定时任务的认度和执行
  • 平台化:基于平台化的思维管控系列的分布式定时任务
  • 分布式:在分布式系统环境下运行任务调度,突破单机定时任务的性能瓶颈
  • 伸缩性:采用集群方式部署,可随时按需扩缩容
  • 高可用:单点故障不影响最终任结果,可以做到故障转移

执行方式

  • 单机任务:随机触发一台机器执行任务,适用于计算量小、并发度低的任务

后端框架的剖析

架构

架构,又称软件架构

  • 是有关软件整体结构与组件的抽象描述
  • 用于指导软件系统各个方面的设计

单机架构

软件系统需要具备对外提供服务,单机,就是把所有功能都实现在一个进程里,并部署在一台机器上

优点:

  • 简单

问题

    • C10K问题(Concurrent 10,000 Connection):服务器如何支持10K个并发连接,进行高性能网络编程。解决方式:采用IO复用模型epoll方法,在调用返回时,只给应用提供发生了状态变化的文件句柄,不需要轮询fd(文件描述符)
  • 运维需要停服

单体、垂直应用|垂直切分

单体架构:分布式部署 垂直应用架构:按应用垂直切分的单体 优点:

  • 水平扩容
  • 运维不需要停服 问题:
  • 职责太多,开发效率不高
  • 爆炸半径大

SOA、微服务|水平切分

S0A(Service-0riented Architecture)

后端开发与迭代

了解开发流程

复杂项目没有流程会有什么问题

  • 需求阶段:每个人都有自己的想法,团队决策需要有一个过程
  • 开发阶段:多人/多端协作开发,每个人有自己的安排,相互配合需要有一个流程
  • 测试阶段:产物怎样交付,测试如何开展,BUG怎么修都需要流程
  • 发布阶段:怎样确保发布过程平稳丝滑,版本和流量如何控制,需要有规范
  • 运维阶段:线上问题如何应急响应,处理用户反馈和线上问题需要有流程

瀑布模型

需求、开发、测试、发布、运维,一个阶段完全好了,再到下一个

  • 传统的线性开发模型,按顺序依次进行需求分析、系统设计、编码、测试和部署。
  • 每个阶段的结果作为下一个阶段的输入。
  • 瀑布模型的突出缺点是不适宜用户需求的变化
  • 需求一旦确认,较难进行修改。
  • 适用于需求较为稳定、项目较小的情况。

敏捷开发

更注重的是个体的互动、工作的软件、客户合作、响应变化

  • 以小团队快速迭代
  • 团队成员之间的合作更加紧密
  • 以人为本,和用户沟通

更现代的流程模型