【python gbdt源码】【jdk必看源码】【盗取后端源码】loader机制源码

【python gbdt源码】【jdk必看源码】【盗取后端源码】loader机制源码_loader原理

2024-11-30 07:47:48 来源：{typename type="name"/} 分类：{typename type="name"/}

1.Loader源码分析-Vue Loader v15
2.Webpack进阶less-loader、机制css-loader、源码原理style-loader源码解析
3.vue-loader源码分析学习
4.webpack5loader和plugin原理解析
5.Loader学习，机制简析babel-loader

Loader源码分析-Vue Loader v15

vue-loader 是源码原理什么

简单来说，vue-loader 的机制作用是将 .Vue 文件编译成 .js 文件，这样就可以在浏览器中运行，源码原理python gbdt源码同时也可以在 node 环境中使用 vue-server-render 进行运行。机制

vue-loader 的源码原理改动

相较于之前的版本，vue-loader 进行了许多重要的机制改动，具体细节可以参考官方的源码原理迁移指南。

vue-loader 的机制编译过程

vue-loader 的处理流程可以大致分为以下几个部分：

vue-loader 入口函数

vue-loader 的入口代码并不多，我将入口函数的源码原理流程绘制了一个简单的 UML 图，通过这个图可以快速对流程有一个初步的机制了解。

vue-loader 入口函数主要做了以下几件事：

通过上面的源码原理 UML 图可以看出，.vue 文件初次编译时会走生成 code 的机制流程，那么生成的 code 究竟是什么呢？

通过调试 vue-loader，将 code 打印出来，仔细观察图中红色框中的部分。

可以发现在几句 import 中，都是从 source.vue 获取对象，并且路径上携带了参数，这些参数就是 resourceQuery，type 有三种不同类型，分别是 template | script | styles。

这些 import 会继续触发新一轮的 vue-loader 执行，于是接下来就到了途中 resourceQuery 有 type 的情况。

下面是进行了适当删减后的源码，保留了上述涉及到的代码，对代码本身感兴趣的可以浏览。

parse .vue 组件解析

parse 方法内部处理了 vue SFC 文件，前面提到过，编译的方法默认是通过 vue-template-compiler 处理。

主要是通过 compiler.parseComponent 函数对 .vue 文件进行编译。

那么 vue-template-compiler 究竟是什么呢？

在了解 vue-template-compiler 之前，我对 vue 的jdk必看源码编译过程有些了解，既然它们都是处理 vue SFC 文件，那么它们会不会是同一份代码呢？抱着疑问的态度，我们先看看 vue-template-compiler 的 readme.md。

This package is auto-generated. For pull requests please see src/platforms/web/entry-compiler.js.

在 readme.md 中可以看到官方对它的说明，实际上 vue-template-compiler 是一份自动生成的代码，它本质就是 vue 中的 sfc/parse。

但今天的主角并不是 vue-template-compiler，也不是 sfc/parse，我会在后面的篇章中对 vue build 的过程做一个详细的解读。

parse 流程 vue-loader 推导策略

在 vue-loader 入口函数分析中已经可以了解到，入口函数最终会生成一个 code，这个 code 包含了几个 import 语句，import 语句都含有 vue 标识并且标明了不同的分块类型。

这些 import 语句会被 VueLoaderPlugin 捕捉并做推导策略处理。

VueLoaderPlugin

老规矩，先来看 VueLoaderPlugin 的代码。

代码删减后及其简单，就一件事：注入 pitcher-loader，用于处理 vue 分块 loader 推导。

pitcher-loader

VueLoaderPlugin 的主要作用就是注入 pitcher-loader，由此可知，实际处理推导过程的是 pitcher-loader，VueLoaderPlugin 只不过是一个 loader 的注入器。

那么 pitcher-loader 是怎么做 loader 推导的呢？

前面提到入口函数生成的 code，code 中包含 import 语句。

这些 import 语句会触发 pitcher-loader，pitcher 根据 resourceQuery 来区分不同块，并生成不同的 loader request。

loader 推导流程总结

把上述过程汇聚成一张 UML 图，通过这张图可以对整个流程有一个清晰的认识。

vue-loader 的整体过程可以划分为以下几个部分：

Webpack进阶less-loader、css-loader、style-loader源码解析

深入解析 Webpack 样式 loader

本文将通过探讨 less-loader、css-loader、盗取后端源码style-loader 的作用和实现方式，加深对 loader 的理解。

对于一个样式文件（如 less 文件），最常用的 loader 配置为将 less 代码转译为浏览器可识别的 CSS 代码。

less-loader 的主要功能是利用 less 库将 less 语法转译为 CSS 语法，其原理在于调用 less 库提供的方法，完成转译后输出 CSS 代码。

接下来，css-loader 的作用是解析 CSS 文件中的 @import 和 url 语句，并处理 CSS-modules，最终以 js 模块形式输出结果。

css-loader 会将多个 CSS 文件的样式内容以字符串形式拼接，形成 js 模块，供其他 loader 使用。

而 style-loader 的任务是将 css-loader 处理后的结果以 style 标签的形式插入 DOM 树中。

理解 style-loader 的实现逻辑，可以深化对 loader 调用链、执行顺序和模块化输出的掌握。

总的来说，less-loader、css-loader、style-loader 的结合使用，构成了 Webpack 处理样式文件的关键步骤，对于理解 Webpack 的整体工作流程至关重要。

vue-loader源码分析学习

Vue-loader源码深入解析

Webpack配置中的loader调用和执行位置是在NormalModule的_doBuild方法中，当module需要转换为source时，会用到loader-runner包。本文将逐步分析loader的核心代码。

首先，loader的入口点涉及到source的处理，它包含了整个.vue文件的代码。VueLoaderPlugin的作用在于检查版本差异并加载相应的文件，以适应Webpack 5的更新。

接着，dbeaveree注册源码代码中的一大块内容是关于module.rules的处理，这些规则与配置文件中定义的类似，如test、include、exclude和resolve。RuleSetCompiler是一个处理rule集合的处理器，它负责收集和转换规则字段，生成带有condition和effects的集合。

loader会监听compiler的compilation和loader hooks，确保插件在vue-loader之前执行。之后，会遍历配置的规则，对不符合特定条件的规则进行报错处理，并处理vue-loader相关的规则，添加自定义字段。

在cloneRule方法中，关键步骤是调用ruleSetCompiler.compileRule，这个方法会执行hook并处理每个rule，将规则的特定字段转换成最终的条件和效果。整个过程确保了规则的正确匹配和处理。

总结来说，rulePlugin扩展配置文件中的rule，而ruleSetCompiler负责管理和执行这些规则，生成最终的处理逻辑。在处理过程中，巧妙地利用闭包缓存和query判断，确保了对vue资源的精确匹配和处理。

最后，VueLoaderPlugin还针对template、js和ts文件的处理进行了特殊规则设置，确保render function与其他用户代码得到相同的处理，同时通过pitcher处理vue块请求和资源顺序调整。

webpack5loader和plugin原理解析

大家好，今天为大家解析下loader和plugin

一、单机答题源码区别

loader是文件加载器，能够加载资源文件，并对这些文件进行一些处理，诸如编译、压缩等，最终一起打包到指定的文件中

plugin赋予了Webpack各种灵活的功能，例如打包优化、资源管理、环境变量注入等，目的是解决loader无法实现的其他事从整个运行时机上来看，如下图所示：

可以看到，两者在运行时机上的区别：

loader运行在打包文件之前plugins在整个编译周期都起作用在Webpack运行的生命周期中会广播出许多事件，Plugin可以监听这些事件，在合适的时机通过Webpack提供的API改变输出结果

对于loader，实质是一个转换器，将A文件进行编译形成B文件，操作的是文件，比如将A.scss或A.less转变为B.css，单纯的文件转换过程

下面我们来看看loader和plugin实现的原理

Loader原理loader概念

帮助webpack将不同类型的文件转换为webpack可识别的模块。

loader执行顺序

分类

pre：前置loader

normal：普通loader

inline：内联loader

post：后置loader

执行顺序

4类loader的执行优级为：pre>normal>inline>post。

相同优先级的loader执行顺序为：从右到左，从下到上。

例如：

//此时loader执行顺序：loader3-loader2-loader1module:{ rules:[{ test:/\.js$/,loader:"loader1",},{ test:/\.js$/,loader:"loader2",},{ test:/\.js$/,loader:"loader3",},],},//此时loader执行顺序：loader1-loader2-loader3module:{ rules:[{ enforce:"pre",test:/\.js$/,loader:"loader1",},{ //没有enforce就是normaltest:/\.js$/,loader:"loader2",},{ enforce:"post",test:/\.js$/,loader:"loader3",},],},

使用loader的方式

配置方式：在webpack.config.js文件中指定loader。（pre、normal、postloader）

内联方式：在每个import语句中显式指定loader。（inlineloader）

开发一个loader1.最简单的loader//loaders/loader1.jsmodule.exports=functionloader1(content){ console.log("hellofirstloader");returncontent;};

它接受要处理的源码作为参数，输出转换后的js代码。

2.loader接受的参数

content源文件的内容

mapSourceMap数据

meta数据，可以是任何内容

loader分类1.同步loadermodule.exports=function(content,map,meta){ returncontent;};

this.callback方法则更灵活，因为它允许传递多个参数，而不仅仅是content。

module.exports=function(content,map,meta){ //传递map，让source-map不中断//传递meta，让下一个loader接收到其他参数this.callback(null,content,map,meta);return;//当调用callback()函数时，总是返回undefined};2.异步loadermodule.exports=function(content,map,meta){ constcallback=this.async();//进行异步操作setTimeout(()=>{ callback(null,result,map,meta);},);};

由于同步计算过于耗时，在Node.js这样的单线程环境下进行此操作并不是好的方案，我们建议尽可能地使你的loader异步化。但如果计算量很小，同步loader也是可以的。

3.RawLoader

默认情况下，资源文件会被转化为UTF-8字符串，然后传给loader。通过设置raw为true，loader可以接收原始的Buffer。

module.exports=function(content){ //content是一个Buffer数据returncontent;};module.exports.raw=true;//开启RawLoader4.PitchingLoadermodule.exports=function(content){ returncontent;};module.exports.pitch=function(remainingRequest,precedingRequest,data){ console.log("dosomethings");};

webpack会先从左到右执行loader链中的每个loader上的pitch方法（如果有），然后再从右到左执行loader链中的每个loader上的普通loader方法。

在这个过程中如果任何pitch有返回值，则loader链被阻断。webpack会跳过后面所有的的pitch和loader，直接进入上一个loader。

loaderAPI方法名含义用法this.async异步回调loader。返回this.callbackconstcallback=this.async()this.callback可以同步或者异步调用的并返回多个结果的函数this.callback(err,content,sourceMap?,meta?)this.getOptions(schema)获取loader的optionsthis.getOptions(schema)this.emitFile产生一个文件this.emitFile(name,content,sourceMap)this.utils.contextify返回一个相对路径this.utils.contextify(context,request)this.utils.absolutify返回一个绝对路径this.utils.absolutify(context,request)

更多文档，请查阅webpack官方loaderapi文档

手写clean-log-loader

作用：用来清理js代码中的console.log

//loaders/clean-log-loader.jsmodule.exports=functioncleanLogLoader(content){ //将console.log替换为空returncontent.replace(/console\.log$.*$;?/g,"");};手写banner-loader

作用：给js代码添加文本注释

loaders/banner-loader/index.js

constschema=require("./schema.json");module.exports=function(content){ //获取loader的options，同时对options内容进行校验//schema是options的校验规则（符合JSONschema规则）constoptions=this.getOptions(schema);constprefix=`/**Author:${ options.author}*/`;return`${ prefix}\n${ content}`;};

loaders/banner-loader/schema.json

作用：编译js代码，将ES6+语法编译成ES5-语法。

下载依赖

loaders/babel-loader/index.js

loaders/banner-loader/schema.json

作用：将文件原封不动输出出去

下载包

loaders/file-loader.js

loader配置

作用：动态创建style标签，插入js中的样式代码，使样式生效。

loaders/style-loader.js

//此时loader执行顺序：loader1-loader2-loader3module:{ rules:[{ enforce:"pre",test:/\.js$/,loader:"loader1",},{ //没有enforce就是normaltest:/\.js$/,loader:"loader2",},{ enforce:"post",test:/\.js$/,loader:"loader3",},],},7Plugin原理Plugin的作用

通过插件我们可以扩展webpack，加入自定义的构建行为，使webpack可以执行更广泛的任务，拥有更强的构建能力。

Plugin工作原理

webpack就像一条生产线，要经过一系列处理流程后才能将源文件转换成输出结果。这条生产线上的每个处理流程的职责都是单一的，多个流程之间有存在依赖关系，只有完成当前处理后才能交给下一个流程去处理。插件就像是一个插入到生产线中的一个功能，在特定的时机对生产线上的资源做处理。webpack通过Tapable来组织这条复杂的生产线。webpack在运行过程中会广播事件，插件只需要监听它所关心的事件，就能加入到这条生产线中，去改变生产线的运作。webpack的事件流机制保证了插件的有序性，使得整个系统扩展性很好。——「深入浅出Webpack」

站在代码逻辑的角度就是：webpack在编译代码过程中，会触发一系列Tapable钩子事件，插件所做的，就是找到相应的钩子，往上面挂上自己的任务，也就是注册事件，这样，当webpack构建的时候，插件注册的事件就会随着钩子的触发而执行了。

Webpack内部的钩子什么是钩子

钩子的本质就是：事件。为了方便我们直接介入和控制编译过程，webpack把编译过程中触发的各类关键事件封装成事件接口暴露了出来。这些接口被很形象地称做：hooks（钩子）。开发插件，离不开这些钩子。

Tapable

Tapable为webpack提供了统一的插件接口（钩子）类型定义，它是webpack的核心功能库。webpack中目前有十种hooks，在Tapable源码中可以看到，他们是：

Tapable还统一暴露了三个方法给插件，用于注入不同类型的自定义构建行为：

tap：可以注册同步钩子和异步钩子。

tapAsync：回调方式注册异步钩子。

tapPromise：Promise方式注册异步钩子。

Plugin构建对象Compiler

compiler对象中保存着完整的Webpack环境配置，每次启动webpack构建时它都是一个独一无二，仅仅会创建一次的对象。

这个对象会在首次启动Webpack时创建，我们可以通过compiler对象上访问到Webapck的主环境配置，比如loader、plugin等等配置信息。

它有以下主要属性：

compiler.options可以访问本次启动webpack时候所有的配置文件，包括但不限于loaders、entry、output、plugin等等完整配置信息。

compiler.inputFileSystem和compiler.outputFileSystem可以进行文件操作，相当于Nodejs中fs。

compiler.hooks可以注册tapable的不同种类Hook，从而可以在compiler生命周期中植入不同的逻辑。

compilerhooks文档

Compilation

compilation对象代表一次资源的构建，compilation实例能够访问所有的模块和它们的依赖。

一个compilation对象会对构建依赖图中所有模块，进行编译。在编译阶段，模块会被加载(load)、封存(seal)、优化(optimize)、分块(chunk)、哈希(hash)和重新创建(restore)。

它有以下主要属性：

compilation.modules可以访问所有模块，打包的每一个文件都是一个模块。

compilation.chunkschunk即是多个modules组成而来的一个代码块。入口文件引入的资源组成一个chunk，通过代码分割的模块又是另外的chunk。

compilation.assets可以访问本次打包生成所有文件的结果。

compilation.hooks可以注册tapable的不同种类Hook，用于在compilation编译模块阶段进行逻辑添加以及修改。

compilationhooks文档

生命周期简图开发一个插件最简单的插件

plugins/test-plugin.js

通过调试查看compiler和compilation对象数据情况。

package.json配置指令

//loaders/loader1.jsmodule.exports=functionloader1(content){ console.log("hellofirstloader");returncontent;};1

运行指令

//loaders/loader1.jsmodule.exports=functionloader1(content){ console.log("hellofirstloader");returncontent;};2

此时控制台输出以下内容：

PSC:\Users\\Desktop\source>//loaders/loader1.jsmodule.exports=functionloader1(content){ console.log("hellofirstloader");returncontent;};2>source@1.0.0debug>node--inspect-brk./node_modules/webpack-cli/bin/cli.jsDebuggerlisteningonws://.0.0.1:/ea-7b--a7-fccForhelp,see:/post/

开发思路:

我们需要借助html-webpack-plugin来实现

在html-webpack-plugin输出index.html前将内联runtime注入进去

删除多余的runtime文件

如何操作html-webpack-plugin？官方文档

实现：

//loaders/loader1.jsmodule.exports=functionloader1(content){ console.log("hellofirstloader");returncontent;};7

Loader学习，简析babel-loader

Loader是什么？

在阅读了webpack工作原理的两篇文章后，我们了解到Loader是模块转换器，它将模块内容转换成新的形式。每个Loader只负责单一的任务，因此多个Loader会按照链式顺序执行，以达到最终的转换效果。

Loader本质上是一个Node.js模块，它导出一个函数，这意味着我们可以使用所有Node.js的API。下面将介绍webpack提供的供Loader调用的API，帮助大家对Loader有更深入的理解，并分析babel-loader的源码，看看我们常用的Loader是如何编写的。

除了返回转换后的内容，有些情况下还需要返回sourceMap或AST语法树等额外内容。这时，我们可以使用webpack提供的API this.callback。使用this.callback时，Loader函数必须返回undefined，以便webpack知道返回的结果在this.callback中。

异步Loader在this.async() API下如何实现，以及像file-loader这样的Loader如何处理二进制数据，这些都是Loader开发中需要了解的内容。

缓存是优化Loader性能的关键。使用this.cacheable(Boolean)可以缓存Loader转换后的内容，当文件或依赖文件没有发生变化时，使用缓存的转换内容，从而提高效率。

除了常用的API，还有其他一些常用的API，例如：module.exports.raw = true，告知webpack需要二进制数据。

babel-loader源码简析：babel-loader依赖@babel/core，因此需要同时安装@babel/core、babel-preset-env、babel-plugin-transform-runtime、babel-runtime。源码的第一行是module.exports = makeLoader()，这是一个高阶函数，返回了一个函数。loader函数中最重要的实现部分是异步Loader，它通过const callback = this.async()实现。

loader函数入参有三个：source（待转换的code），inputSourceMap（上一个loader处理后的sourceMap），overrides（自定义加载器）。loader函数会获取options，并获取当前处理转换的文件的路径this.resourcePath。如果存在自定义加载器，则执行let override = require(loaderOptions.customize)。然后将函数传入参数和LoaderOptions归并，得到programmaticOptions。调用babel.loadPartialConfig可以拿到babel配置并赋值给config变量，解决插件和预设生成cacheIdentifier等问题。

最后，将处理后的结果返回。每个Loader返回值都是一个Function，将带转换内容传入，得到转换后的内容。本文介绍了Loader的基本概念，了解了webpack为Loader提供的常用API，并通过简析babel-loader的源码，让大家对Loader的编写有了更深入的了解。

【python gbdt源码】【jdk必看源码】【盗取后端源码】loader机制源码_loader原理

相关文章