CI工具选型分析
持续集成工具选型分析指出，选择合适的分析工具对团队效率至关重要。关键因素包括易用性、源码安装简易性、分析云服务支持、源码容器兼容性以及开源社区支持。分析源码下载视频拍摄以下是源码主要工具的优劣势对比：
Jenkins，虽然历史悠久，分析但需依赖附加组件和插件以适应现代架构；CircleCI成本较低，源码配置简单，分析但本地部署困难且Clojure社区相对较小；TeamCity基于Java，源码Kubernetes部署镜像大；GitLab CI支持Kubernetes，分析但非GitLab源码管理工具不适用；Buddy本地部署按用户付费，源码价格昂贵；TravisCI使用Ruby，分析部署选项有限；GoCD虽开源，源码支持Kubernetes但不适用Java应用；Drone轻量级，Go语言编写，适合Kubernetes，但文档不完善；Spinnaker功能强大，但本地部署复杂；Buildbot用Python编写，性能一般，社区支持较少。
对于大部分团队，CircleCI或TravisCI足够满足需求。然而，追求高效和敏捷的开发者可能更倾向于Drone.io，它易于安装、配置，支持云和本地部署，且性能优于Python/Ruby编写的选项，具有云原生应用的特性。Jenkins则因其灵活性和社区支持，尽管在Kubernetes支持上不如其他新工具，仍是普遍选择。
CI/CD 与 DevOps 的8个主要区别
CI/CD 是一种让程序员能迅速并可靠地更新代码的做法，而 DevOps 则包括一系列方法和思想，让开发和运维团队更好地协作，使产品从设计到使用都能更加高效。两者都追求软件开发的高效，但它们在具体操作上有所不同。
CI/CD 通过持续集成和持续交付自动化代码更新过程，确保代码更新快速、可靠。而 DevOps 则更侧重于开发和运维团队的合作，以及简化产品开发的整个流程。
DevOps 的目标是通过消除开发和运维团队之间的障碍，提高协作效率，实现快速、持续的软件交付。而 CI/CD 则通过自动化测试和构建流程，确保代码更新的效率和质量。
DevOps 包含 CI/CD，但还有更多的内容，如跨团队沟通、持续监控、故障恢复等。而 CI/CD 是机构博弈资金指标源码一个流程，强调自动化和持续的代码更新。
在范围上，CI/CD 关注代码集成、测试和部署，而 DevOps 则涉及整个软件开发生命周期的优化。
在阶段上，CI/CD 包括源码、构建、测试和部署四个阶段，而 DevOps 则包含从规划、编码到运营的全周期。
在实施上，CI/CD 可以通过工具如 Jenkins 实现，而 DevOps 则需要文化和流程的转变，通过自动化和持续优化实现高效开发。
在好处上，CI/CD 有助于快速可靠地更新代码，而 DevOps 则能提高开发效率，增强团队协作，实现持续改进和自动化。
使用案例显示，CI/CD 流水线在 ReactJS 等项目中有效提升开发流程，而 DevOps 则在 Meta 等大型企业中推动软件交付的无限潜力。
总结，CI/CD 和 DevOps 都追求快速和健壮的软件开发，但它们在范围、目的、流程、实现、阶段和优势方面有所不同。
一次NPM前端项目的CI-Build速度优化
基础设施部分，项目部署在中国的亚马逊云，使用了 AWS 的容器服务（ECS）、容器注册表（ECR）、对象存储（S3）与弹性计算（EC2）。源码管理采用 Atlassian 的 Bitbucket，一个基于 Git 的代码仓库。CI/CD 通过 Jenkins 实现，使用插件 pipline 进行维护。项目使用 Node.js 语言进行开发，代号为 salmon。项目打包与发布采用 NPM 和 Docker。
流程分为标准发布流程。在收到同事 A 和 B 的反馈后，对 CI/CD 过程进行了深入分析。主要分为三个关键步骤：编译代码（stage{ 'Build'}）、推送到仓库（stage{ 'Publish'}）和运行服务（stage{ 'Deploy'}）。在分析“编译”步骤时，发现 npm run build 占用了最多时间，约为 9 分钟。进一步分析发现，容器化 CI 流程的基础设施为纯净、无状态的环境，这与传统基础设施存在差异，可能是速度差异的关键。
为复现非容器化构建流程，淘宝api卡密 源码使用 EC2（2 核 8GB）进行测试。结果显示，已 build 过的项目目录进行后续 build 耗时显著减少，原因可能是生成了编译缓存文件。对比发现，删除 .next 目录后，项目容量减少 MB，定位到编译后的 node_modules/ 目录下存在 .cache 文件夹，经过多次调试验证，build 前后差异 MB 文件的确位于 .cache 目录中。将 .cache 内容应用到已执行 npm install 未 build 的目录，构建速度得到提升。
为优化缓存，考虑维护线上缓存池，使用 AWS S3 服务进行目录同步。在 EC2 测试机上运行结果良好。对 Dockerfile 进行改造，添加了 AWS CLI 工具以操作 S3。验证优化效果后，Jenkins blue-ocean 统计显示，提速效果明显。实施线上缓存池后，对其他项目进行了评估，发现无法广泛应用此优化策略。虽然工具相对简单，但在优化过程中取得的工程逻辑与解决问题的方法论，对项目和读者都具有启发意义。
一篇文章了解CI/CD管道全流程
从CI/CD过程开始，包含所有阶段并负责创建自动化和无缝的软件交付的一系列步骤称为CI/CD管道工作流。使用CI/CD管道，软件发布工件可以从代码提交阶段到测试、构建、部署和生产阶段在管道中移动和前进。这个概念非常强大，因为一旦指定了一个管道，它的一部分或全部就可以实现自动化，从而加快流程并减少错误。换句话说，CI/CD管道使企业更容易一天自动多次交付软件。
DevOps工程师经常会因为CI/CD中各个阶段的自动化而与CI/CD管道混淆。虽然不同的工具可以使CI/CD中的各个复杂阶段实现自动化，但由于人工干预，CI/CD的整个软件供应链仍然可能被打破。那么，就首先了解CI/CD过程中的各个阶段，以及CI/CD管道为什么对于组织快速、大规模地交付代码至关重要。
企业应用程序开发团队通常由开发人员、测试人员/QA工程师、运营工程师和SRE（站点可靠性工程师）或IT运营团队组成。他们紧密合作，将高质量的软件交付给客户。CI/CD是两个独立过程的组合:持续集成和持续部署。下面列出了其中的主要步骤。
CI持续集成
CI持续集成(CI)是构建软件并完成初始测试的过程。持续部署(CD)是比特币矿机源码将代码与基础设施结合起来的过程，确保完成所有测试并遵循策略，然后将代码部署到预期的环境中。当然，许多公司都有自己的流程，但主要步骤如下。
CI：代码提交
人员：开发人员和工程师、数据库管理员（DBA）、基础架构团队
技术：GitHub、Gitlab、BitBucket
过程：代码提交阶段也称为版本控制。提交是将开发人员编写的最新更改发送到存储库的操作。开发人员编写的代码的每个版本都被无限期地存储。在与合作者讨论和审查变更之后，开发人员将编写代码，并在软件需求、功能增强、bug修复或变更请求完成后提交。管理编辑和提交变更的存储库被称为源代码管理（SCM工具）。在开发人员提交代码（代码推送请求）后，代码更改被合并到存储在中央存储库（如GitHub）中的基本代码分支中。
CI：静态代码分析
人员：开发人员和工程师、数据库管理员（DBA）、基础设施团队、测试人员
技术：GitHub、Gitlab、BitBucket
过程：一旦开发人员编写了代码并将其推送到存储库，系统就会自动触发，开始下一个代码分析过程。想象一下这样一个步骤：提交的代码直接进行构建，但在构建或部署过程中失败了。就资源利用率而言，无论是机器还是人力，这都是一个缓慢而昂贵的过程。必须检查代码的静态策略。SAST（Static Application Security Test）：SAST是一种白盒测试方法，使用SonarQube、Veracode、Appscan等SAST工具从内部检查代码，以发现软件缺陷、漏洞和弱点（如SQL注入等）。这是一个快速检查过程，检查代码是否有语法错误。虽然此阶段缺少检查运行时错误的功能，但这将在稍后的阶段执行。
将附加的策略检查放到自动化管道中可以显著减少稍后在该过程中发现的错误数。
CI：build
人员：开发人员和工程师
技术：Jenkins、Bamboo CI、Circle CI、Travis CI、Maven、Azure DevOps
过程：持续集成流程的目标是接受常规的代码提交，并持续构建二进制工件。持续集成过程通过检查添加的新模块是否与现有模块配合良好，有助于更快地发现bug。这有助于减少验证新代码更改的时间。构建工具有助于编译和创建可执行文件或包（.exe、查看string的编码源码.dll，.jar等）取决于用于编写源代码的编程语言。在构建过程中，还会生成SQL脚本，然后与基础设施配置文件一起测试。简而言之，构建阶段是编译应用程序的阶段。构建过程的其他子活动包括工件存储、构建验证和单元测试。
CI：测试阶段
人员：测试人员和QA工程师
技术：Selenium、Appium、Jmeter、SOAP UI、Tarantula
过程：发布一个构建过程一系列自动化测试来验证代码的准确性。这一阶段有助于防止错误到达产品。根据构建的大小，此检查可以持续数秒到数小时。对于由多个团队提交和构建代码的大型组织，这些检查将在并行环境中运行，以节省宝贵的时间并尽早将Bug通知给开发人员。
这些自动化测试是由测试人员（或者称为QA工程师）建立的，他们已经根据用户故事建立了测试用例和场景。他们进行回归分析，压力测试，以检查与预期产出的偏差。测试中涉及的活动有健全性测试、集成测试和压力测试。这是一个非常先进的测试水平。在这里会发现开发代码的开发人员可能不知道的问题。
集成测试：
集成测试是使用Cucumber、Selenium等工具来执行的，其中各个应用程序模块作为一个组进行组合和测试，同时评估是否符合指定的功能需求。在集成测试之后，需要有人批准将该组中的更新集移动到下一阶段，这通常是性能测试。这个验证过程可能很麻烦，但它是整个过程的重要组成部分。核查过程中出现了一些新的解决办法。
负载和压力测试：
负载平衡和压力测试也使用自动化测试工具（如Selenium、JMeter等）来执行，以检查应用程序在高流量环境下是否稳定和性能良好。此测试通常不会在每个更新上运行，因为完整的压力测试是长期运行的。在发布主要的新功能时，将对多个更新进行分组，并完成完整的性能测试。在单个更新被转移到下一个阶段的情况下，管道可能包括金丝雀测试作为替代方案。
持续部署：bake和部署
人员：基础设施工程师、现场可靠性工程师（SRE）、运维工程师
技术：Spinnaker、Argo CD、Tekton CD
过程：测试阶段完成后，清除了标准的代码就可以部署到服务器中，在那里它们将与主应用程序集成。在部署到生产环境之前，它们将被部署到产品团队内部使用的测试/暂存或beta环境中。在将构建移动到这些环境之前，构建必须经过两个子阶段Bake和Deploy。这两个阶段都是Spinnaker固有的。
CD：Bake
Bake是指从源代码中创建一个不可变的映像实例，该实例在生产环境中具有当前配置。这些配置可能是数据库更改和其他基础设施更新之类的内容。Spinnaker可以触发Jenkins来执行这个任务，有些组织更喜欢使用Packer。
CD：部署
Spinnaker将自动将烘焙的映像传递到部署阶段。这是将服务器组设置为部署到集群的位置。与上述测试过程类似，在部署阶段执行功能相同的过程。部署首先转移到测试、阶段，最后转移到生产环境，然后进行批准和检查。整个过程由Spinnaker之类的工具处理。
CD：验证
这也是团队优化整个CI/CD流程的关键所在。因为现在已经进行了很多测试，所以失败应该很少。但此时的任何故障都需要尽快解决，以便将对最终客户的影响降到最低。团队也应该考虑自动化这部分流程。
部署到生产环境是使用部署策略（如蓝绿部署、金丝雀分析、滚动更新等）执行的。在部署阶段，将监视正在运行的应用程序，以验证当前部署是否正确或是否需要回滚。
CD：监控
人员：SRE，运维团队
技术：Zabbix、Nagios、Prometheus、Elastic Search、Splunk、Appdynamics、Tivoli
过程：要使一个软件发行版具有故障安全性和健壮性，在生产环境中跟踪发行版的运行状况是至关重要的。应用程序监控工具将跟踪CPU利用率和发布延迟等性能指标。日志分析器将扫描底层中间件和操作系统产生的日志流，以识别行为并跟踪问题的来源。在生产过程中出现任何问题时，都会通知相关人员，以确保生产环境的安全性和可靠性。此外，监视阶段帮助企业收集有关新软件更改如何为收入做出贡献的信息，并帮助基础架构团队跟踪系统行为趋势和进行容量规划。
持续部署：反馈和协作工具
人员：SRE、Ops和维护团队
技术：禅道、ServiceNow、Slack、Email、Hipchat
DevOps团队的目标是更迅速、持续地发布，然后不断减少错误和性能问题。这是通过slack或电子邮件频繁地向开发人员和项目经理反馈新版本的质量和性能，并在ITSM工具中及时提高票价来实现的。通常，反馈系统是整个软件交付过程的一部分；因此交付过程中的任何更改都会频繁地记录到系统中，以便交付团队可以对其采取行动。
企业必须评估一个整体的持续交付解决方案，它可以自动化或促进上述阶段的自动化。
cicd与devops区别是什么?
CI/CD与DevOps是软件开发和运营领域的两个关键概念，它们各自定义和作用有所不同。下面将详细阐述它们的主要区别。 定义 CI/CD（持续集成与持续交付）是一种确保软件更新既快速又可靠的方法。它关注代码集成、测试和最终产品交付的自动化过程，包括持续集成和持续交付两个阶段。其中，持续集成侧重于代码整合和测试，而持续交付则关注软件打包和部署。 DevOps则是一种综合理念，强调开发和运营团队的合作，旨在简化产品开发流程，提高效率和产品质量。DevOps通过促进团队间沟通、整合工作流程和采用自动化工具，推动软件开发和部署的持续改进。 范围 CI/CD聚焦于自动化软件开发过程中的关键环节，如代码集成、测试和部署。它侧重于实现快速、自动化的代码更新和发布流程。 DevOps则更加广泛，不仅涵盖自动化工具和流程，还涉及文化、策略、工具和实践的全面变革。DevOps关注于整个开发到运营的周期，强调团队协作、流程优化和持续交付。 目的 CI/CD的核心目标是快速、可靠地发布软件更新，确保产品质量，并通过自动化减少错误和延误。 DevOps的目标是打破开发和运营之间的壁垒，实现高效协作，通过持续集成、测试和部署加速软件交付，同时提升产品质量和用户满意度。 流程 CI/CD流程通常包括源码、构建、测试和部署四个阶段。每个阶段都需要成功完成才能进入下一个阶段，并通过自动化工具监控和优化流程。 DevOps流程涵盖持续开发、集成、测试、监控、反馈和部署等阶段，强调从规划到运营的全面自动化和协作。 实施 CI/CD的实施通常依赖于自动化工具，如Jenkins、Git等，来实现持续集成和交付的自动化。 DevOps的实施则需要一个全面的策略，包括文化变革、流程优化、工具集成和跨团队协作，以实现持续改进和高效运营。 阶段 CI/CD阶段包括源码、构建、测试和部署。每个阶段通过自动化工具确保流程高效、可靠。 DevOps阶段包括持续开发、集成、测试、监控、反馈和部署，强调从开发到运营的全面自动化和协作。 好处 CI/CD的好处包括提高开发效率、减少错误、加快发布速度以及提升软件质量。 DevOps的好处涉及提高团队协作、加速产品交付、提升产品质量和用户满意度，以及推动组织文化的转变。 综上所述，尽管CI/CD和DevOps都追求快速、高效和可靠的软件开发，但它们在范围、目的、流程、实现、阶段和优势上存在差异，各自强调的方面和实施策略也有所不同。正确理解并结合使用这两个概念，可以显著提升软件开发和运营效率。ci中能用isset吗
ci总结数据库设计
1.1.由简单到复杂
1.2.使用外键，方便理清表间关系
1.3.使用定长表提高性能，把不常用字段另存一个一对一关系表，如user的user_extra表保存如qq、msn等信息
2.CI框架
2.1.MVC
代码合理分层，提高程序可读性和维护性
C:响应和处理用户请求，体现执行逻辑
M:实际处理数据
V:只关心输出数据
2.2.程序单入口
所有请求均以参数形式传给入口文件（如：index.php），设置好合理的目录结构提高安全性
因为所有请求均以参数形式传入入口文件，从而容易制作路由功能（url转发），容易对内容过滤等
2.3.钩子机制
系统运行期间，插入自定义代码，以修改系统运行数据
2.4.扩展机制
自定义或扩展的class，存放在libraries文件夹
自定义或扩展的function，存放在helpers文件夹
2.5.缓存的机制
了解除file文件型保存机制以外，还有APC、memcached等缓存形式，对于session使用数据表保存的话，字段可以设置为memory类型
3.jquery基础
3.1.即便非必须，但建议jquery代码均写在$(document).ready();中
3.2.jquery拥有丰富的选择器，其中常用的选择器与css语法相同
3.3.jquery绝大部分的事件均提供回调函数
3.4.jquery提供容易使用的ajax函数(一般使用ajax的总函数($.ajax())即可)
3.5.jquery的live事件，在dom被修改后，仍能响应事件
4.程序总结
4.1.由简单到复杂，阶段性完成功能，接而逐步完善
4.2.注意每个阶段的debug调试
4.3.时刻注意代码安全，如:$_GET['id']最要补上(int)转型，$id
=
(int)$_GET['id'];若使用CI进行开发，则使用输入类内容过滤等
4.4.时刻做好错误判断。如：使用变量时，做好isset的检测，防止未定义错误
5.如何学习一个新框架
5.1.写一个hello
world
5.2.了解其mvc，V写一个简单form表单，C接受post内容，M并将其插入数据库，M接而取出并进行update数据
5.3.了解框架其他特性
5.4.深入其执行机制（可使用xdebug跟踪调试看源码）
源代码审计工具之：SonarQube
SonarQube是一个开源的代码分析平台，用于持续分析和评估项目源代码的质量。它能检测出项目中的重复代码、潜在bug、代码规范和安全性漏洞等问题，并通过web UI展示结果。
1. Sonar简介
1.1 SonarQube是什么？
1. 代码质量和安全扫描和分析平台。
2. 多维度分析代码：代码量、安全隐患、编写规范隐患、重复度、复杂度、代码增量、测试覆盖率等。
3. 支持+编程语言的代码扫描和分析，包括Java、Python、C#、JavaScript、Go、C++等。
4. 涵盖了编程语言的静态扫描规则：代码编写规范和安全规范。
5. 能够与代码编辑器、CI/CD平台完美集成。
6. 能够与SCM集成，可以直接在平台上看到代码问题是由哪位开发人员提交。
7. 帮助程序猿写出更干净、更安全的代码。
静态扫描主要针对开发人员编写的源代码。
通过定义好的代码质量和安全规则，对开发人员编写的代码进行扫描和分析。
将分析的结果多维护的呈现出来，以方便开发人员进行代码的优化和规范编写。
1.2 SonarQube的各个功能：
1.2.1 代码可靠性
1. BUG检测
2. 设置需要的代码标准
3. 代码异味
4. 代码安全性
5. 对于开发的各个路径进行检测
1.2.2 软件安全性
1. Security Hotspots: 代码存在安全问题的部分
2. Vulnerabilities: 代码是否存在漏洞
1.3 SonarQube如何工作？
Sonar静态代码扫描由两部分组成：SonarQube平台和sonar-scanner扫描器。
SonarQube: web界面管理平台。
1）展示所有的项目代码的质量数据。
2）配置质量规则、管理项目、配置通知、配置SCM等。
SonarScanner: 代码扫描工具。
专门用来扫描和分析项目代码。支持+语言。
代码扫描和分析完成之后，会将扫描结果存储到数据库当中，在SonarQube平台可以看到扫描数据。
SonarQube和sonarScanner之间的关系：
2 检测
Sonar是一个用于代码质量管理的开源平台，用于管理源代码的质量，可以从七个维度检测代码质量。通过插件形式，可以支持包括Java、C#、C/C++、PL/SQL、Cobol、JavaScript、Groovy等等二十几种编程语言的代码质量管理与检测。
2.1 Rules提示
2.1.1 Rule界面
2.1.2 Rule正确实例提示
2.2 糟糕的复杂度分布
文件、类、方法等，如果复杂度过高将难以改变，这会使得开发人员难以理解它们，且如果没有自动化的单元测试，对于程序中的任何组件的改变都将可能导致需要全面的回归测试。
2.3 重复
显然程序中包含大量复制粘贴的代码是质量低下的，Sonar可以展示源码中重复严重的地方。
2.4 缺乏单元测试
Sonar可以很方便地统计并展示单元测试覆盖率。
2.5 没有代码标准
Sonar可以通过PMD、CheckStyle、Findbugs等等代码规则检测工具规范代码编写。
2.6 没有足够的或者过多的注释
没有注释将使代码可读性变差，特别是当不可避免地出现人员变动时，程序的可读性将大幅下降，而过多的注释又会使得开发人员将精力过多地花费在阅读注释上，亦违背初衷。
2.7 潜在的bug
Sonar可以通过PMD、CheckStyle、Findbugs等等代码规则检测工具检测出潜在的bug。
2.8 糟糕的设计（原文Spaghetti Design，意大利面式设计）
通过Sonar可以找出循环，展示包与包、类与类之间的相互依赖关系，可以检测自定义的架构规则；通过Sonar可以管理第三方的jar包，可以利用LCOM4检测单个任务规则的应用情况，检测耦合。
3. Sonar组成
4. Sonar集成过程
开发人员在他们的IDE中使用SonarLint运行分析本地代码。
开发人员将他们的代码提交到代码管理平台中（SVN、GIT等），
持续集成工具自动触发构建，调用SonarScanner对项目代码进行扫描分析，
分析报告发送到SonarQube Server中进行加工，
SonarQube Server加工并且保存分析报告到SonarQube Database中，通过UI显示分析报告。
2024-12-02 04:01
2024-12-02 03:53
2024-12-02 03:47
2024-12-02 03:21
2024-12-02 03:10
