1.如何编译SQLite-How To Compile SQLite
2.为Qt中的码分SQLite添加密码并加密
3.Node.js如何对SQLite的async/await封装详解
4.sqlite怎样利用查询结果来创建新表?
5.linux中sqlite数据库的简单使用
6.实战 向量数据库选型参考

如何编译SQLite-How To Compile SQLite

       SQLite是ANSI-C的源代码。在使用之前必须要编译成机器码。这篇文章是用于各种编译SQLite方法的指南。

       è¿™ç¯‡æ–‡ç« ä¸åŒ…含编译SQLite的每个步骤的反馈，那样可能会困难因为每种开发场景都不同。所以这篇文章描述和阐述了编译Sqlite的原则。典型的编译命令已经作为例子提供了，以期望应用开发者能够使用这些例子作为完成他们自己定制的编译过程的的一个指南。换句话说，这篇文章提供了想法和见解，而不是交钥匙的解决方法。

       èžåˆVS单独源文件

       Sqlite是由超过一百个c源码文件以及众多的目录下的脚本构建的。Sqlite的实现是纯粹的ANSI-C，但是许多C语言源代码文件是由辅助的C程序生成或者转换来的，并且AWK，SED和TCL脚本会融合到完成的sqlite库中。对Sqlite构建需要的C程序和转换和创建C语言源码是一个复杂的过程。

       ä¸ºäº†ç®€åŒ–这些，sqlite也通过一个预打包的合并后的源码文件：sqlite3.c。这个合并文件是一个ANSI-C源码实现整个SQLite库的唯一文件。合并后的文件更容易处理。所有的东西都包含在这一个文件里，所以很容易进入一个更大的C或者C++程序的源码树。所有的代码生成和转换步骤都已经实现了，因此没有辅助的C程序需要去配置和变异，也没有脚本需要去运行。并且，因此所有哭都包含在一个翻译单元，编译器可以做更多高级的优化从而提升5%到%的性能。因为这些原因，融合后的源码文件sqlite3.c对所有程序来讲都是值得推荐的。

       æŽ¨èæ‰€æœ‰çš„应用程序使用融合文件。

       ç›´æŽ¥ä»Žå•ç‹¬çš„源码文件中构建sqlite当然可以，但是并不推荐。对一些特殊的应用程序，可能需要修改构建程序去处理使用那些从网站上下载的预构建的源码文件不能完成的情况。对于这些情况，推荐构建和使用一个定制过的合并文件。换句话说，即使一个工程需要以单独的源码文件构建sqlite，仍然推荐使用一个融合后的源码文件作为一个中间步骤。

       ç¼–译命令行接口（CLI）

       æž„建命令行接口需要三个源码文件：

       sqlite3.c:Sqlite融合的源码文件

       sqlite3.h:匹配sqlite3.c以及定义sqlite的c语言接口的头文件

       shell.c:命令行接口程序本身。这个c源码文件包含一个main()的例程和每轮循环的用户输入的提示符并将输入传给sqlite数据库引擎用于处理。

       æ‰€æœ‰çš„上述源码的三个文件都被包含在下载页面的amalgamation tarball中。

       ä¸ºäº†æž„建CLI，简单的将这三个文件放置在相同的目录下然后一起编译他们。用MSVC：

       cl shell.c sqlite3.c -Fesqlite3.exe

       åœ¨unix系统上（或者在windows上用cygwin或者mingw+msys）典型的命令会有些像这样：

       gcc shell.c sqlite3.c -lpthread -ldl

       ä¸ºäº†SQLite线程安全，需要pthreads库。但是因为CLI是一个单线程的，我们可以指示SQLite构建一个非线程安全的库并因此护绿pthreads库：

       gcc -DSQLITE_THREADSAFE=0 shell.c sqlite3.c -ldl

       -ldl库是在支持动态装载时需要，例如sqlite3_load_extension() 接口和load_extension()

        SQL function。如果这些特性都不要求，那么我们也可以使用SQLITE_OMIT_LOAD_EXTENSION编译时间选项忽略他们。

       gcc -DSQLITE_THREADSAFE=0 -DSQLITE_OMIT_LOAD_EXTENSION shell.c sqlite3.c

       æœ‰äººå¯èƒ½æƒ³è¦æä¾›å…¶ä»–的编译时间选项(compile-time options)，例如SQLITE_ENABLE_FTS3去全文本搜索或者SQLITE_ENABLE_RTREE用于R*树搜索引擎扩展。而有人将正常指定一些编译优化开关。（预编译的CLI可以从选择sqlite网站上使用“-Os”下载下来）有无数种可能的变数在这里。

       å…³é”®ç‚¹åœ¨è¿™é‡Œï¼šæž„建CLI需要编译一起两个C语言文件。shell.c文件包含入口的定义和用户输入的loop，而sqlite融合文件sqlite3.c包含完整的sqlite库的实现。

       ç¼–译TCL接口

        sqlite的tcl接口是一个小的模块被添加到一般的融合文件中。结果是一个新的融合后的源码文件，称之为“tclsqlite3.c”。这个源码文件是生成一个可以使用TCL

       load命令去加载到一个标准的tclsh或者wish中，或者随着sqlite构建成功生成一个单独唯一的tclsh的共享库所需要的。一个tcl的融合的副本被包含在下载页的TEA

        tarball中作为一个文件。

       ä¸ºäº†ç”Ÿæˆä¸€ä¸ªlinux上的sqlite的TCL-loadable库,下面的命令需要满足：

       gcc -o libtclsqlite3.so -shared tclsqlite3.c -lpthread -ldl -ltcl

       ä¸å¹¸çš„是构建Mac OS X 和 Windows的共享库并不是如此简单。对于这些平台最好使用包含在TEA tarball中的configure脚本和makefile.

       ä¸ºäº†ç”Ÿæˆä¸€ä¸ªå•ç‹¬çš„tclsh，可以用于sqlite静态链接，使用如下的编译器调用：

       gcc -DTCLSH=1 tclsqlite3.c -ltcl -lpthread -ldl -lz -lm

       è¿™é‡Œçš„技巧是-DTCLSH=1选项。sqlite的TCL接口模块包含一个main的过程，用于初始化一个TCL解释器并在以-DTCLSH=1编译后进入到一个命令行loop。上述命令可以工作在Linux和Mac

        OS X,虽然有时可能需要依赖于平台调整库选项以及编译的TCL的哪一个版本。

       æž„建融合文件

       ä¸‹è½½é¡µæä¾›çš„sqlite融合文件的版本对大多数用户来说是足够的。然而，一些工程可能想要或者需要构建他们自己的融合文件。一个常见的构建一个定制的融合文件的理由是为了使用特定的compile-time options来定制sqlite库。回想sqlite融合文件中包含了许多C代码由辅助程序和脚本生成。许多的编译时间选项影响这一成圣代码而且必须在融合文件组装前提供给代码生成器。这一系列必须传给代码生成器的编译时间相关的选项会使得sqlite的发布版本各不相同，但是在写这边文章的时候，代码生成器需要知道的这组选项包括：

       SQLITE_ENABLE_UPDATE_DELETE_LIMIT

       SQLITE_OMIT_ALTERTABLE

       SQLITE_OMIT_ANALYZE

       SQLITE_OMIT_ATTACH

       SQLITE_OMIT_AUTOINCREMENT

       SQLITE_OMIT_CAST

       SQLITE_OMIT_COMPOUND_SELECT

       SQLITE_OMIT_EXPLAIN

       SQLITE_OMIT_FOREIGN_KEY

       SQLITE_OMIT_PRAGMA

       SQLITE_OMIT_REINDEX

       SQLITE_OMIT_SUBQUERY

       SQLITE_OMIT_TEMPDB

       SQLITE_OMIT_TRIGGER

       SQLITE_OMIT_VACUUM

       SQLITE_OMIT_VIEW

       SQLITE_OMIT_VIRTUALTABLE

       ä¸ºäº†æž„建一个定制的融合文件，先下载原始的独立源码文件到一个unix或者类unix开发平台。确定获取的原始源码文件不是“预编译过的源文件”。任何人都可以通过到下载页或者直接从configuration management system.获取完整的一套原始源码文件。

       å‡è®¾sqlite源码树被存在一个名为“sqlite”的目录下。计划构建一个平行目录下的名为“bld”的融合文件。首先通过运行sqlite源码树种的configure脚本运行或者通过制作一份源码树顶层的的makfile模板的一份，来构建一个合适的makefile.然后手动编辑这个Makfile去包含需要的编译时间相关的选项。最终运行：

       make sqlite3.c

       åœ¨windows上使用MSVC:

       nmake /f Makefile.msc sqlite3.c

       sqlite3.c的make

       target会自动构造一般的“sqlite3.c”合并的源码文件，以及它的头文件“sqlite3.h”，和包含TCL接口的融合源码文件“tclsqlite3.c”。之后，需要的文件可以被拷贝到文件目录下然后根据上述勾勒的过程编译。

       æž„建一个windows的动态链接库DLL

       ä¸ºäº†åœ¨windows构建一个sqlite的dll使用，首先获取对应的融合过的源码文件，sqlit3.c和sqlite.h。这些可以从SQLite website上下载或者和上述告知的一样去定制生成。

       ä½¿ç”¨å·¥ä½œç›®å½•ä¸‹çš„源码文件，一个dll可以在msvc中使用如下命令生成：

       cl sqlite3.c -link -dll -out:sqlite3.dll

       ä¸Šè¿°å‘½ä»¤éœ€è¦è¿è¡Œåœ¨msvc的MSVC Native Tools Command

       Prompt.如何你已经在机器上安装了msvc，你可能有多个版本的这种命令提示符，针对于x和x的自带构建的，或者交叉编译到ARM的。依赖要求的DLL去使用对应合适的命令提示符工具。

       å¦‚果使用MinGW编译器，命令是这样的：

       gcc -shared sqlite3.c -o sqlite3.dll

       æ³¨æ„MinGW只生成位的dll。另有一个分开的MinGW工程可以用来生成位的dll。可以推断其命令行语法是类似的。需要注意的是最近的MSVC的版本生成的DLLs可能不能工作到WinXP或者更早版本的windows上。因此为了最大限度的兼容你的生成的dll，推荐MinGW。一个好的经验法则是使用MinGW去生成位的dlls，使用msvc去生成位的dlls。

为Qt中的SQLite添加密码并加密

       在Qt中，SQLite的码分默认实现并未内置密码功能，因为其源代码中缺少Sqlite3_key()接口。码分为了解决这个问题，码分我整理了一些资料和实现思路。码分以下提供一种解决方案。码分平凡源码网

       SQLite版本获取与下载

       SQLite的码分官方仓库提供ReleaseTag，可以通过sqlite.org/cgi/src/tagl...查询。码分由于没有明确的码分下载地址，开发者需要根据最新版本和所需版本自行推算下载链接，码分例如：

       请自行根据版本需求进行下载。码分

       解决方法与步骤

       一种解决途径是码分编写自定义的QSQLDriver Plugins，实现Sqlite3_key()功能。码分其中，码分推荐的码分插件是QtCipherSqlitePlugin，该插件在Qt 5..2 MSVC x环境下经过测试可用。使用起来非常方便，只需导入sqlitecipher工程，编译成release模式即可。

       然而，作者建议将编译后的lib和dll文件放入源代码中，但我个人更倾向于在项目中直接加载Plugin，以方便项目迁移和后期维护。亚马逊php源码这里提供一个基本的加载代码示例，但需注意debug和release版本的dll不通用，需要分别编译并针对加载环境进行判断。

       参考与使用

       请参考上述步骤和推荐的插件，根据项目需求进行适当调整。

Node.js如何对SQLite的async/await封装详解

        前言

       本文主要给大家介绍的是关于Node.js对SQLite的async/await封装的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍吧

       用于将每个SQLite函数同步化，并可以用await的接口。

       注意：需要SQLite for Node模块和Node.js 8.0+，并支持async / await。

       SQLite最常用作本地或移动应用程序的存储单元，当需要从程序的各个部分访问数据时，回调不是最佳解决方案。

       为了在程序程序中更自然地访问数据，我编写了一个将回调转换为promises的接口，因此我们可以将每个函数与await关键字一起使用。 它不是异步函数的替代品，它是一个补充，可以将原始函数和同步函数一起使用。

       aa-sqlite模块

       SQLite的源码接水行业接口是一个名为aa-sqlite的模块，您必须将其存储在应用程序的node_modules部分中。这是完整的源代码

       const sqlite3 = require('sqlite3').verbose()

       var db

       exports.db = db

       exports.open=function(path) {

        return new Promise(function(resolve) {

        this.db = new sqlite3.Database(path,

        function(err) {

        if(err) reject("Open error: "+ err.message)

        else resolve(path + " opened")

        }

        )

        })

       }

       // any query: insert/delete/update

       exports.run=function(query) {

        return new Promise(function(resolve, reject) {

        this.db.run(query,

        function(err) {

        if(err) reject(err.message)

        else resolve(true)

        })

        })

       }

       // first row read

       exports.get=function(query, params) {

        return new Promise(function(resolve, reject) {

        this.db.get(query, params, function(err, row) {

        if(err) reject("Read error: " + err.message)

        else {

        resolve(row)

        }

        })

        })

       }

       // set of rows read

       exports.all=function(query, params) {

        return new Promise(function(resolve, reject) {

        if(params == undefined) params=[]

        this.db.all(query, params, function(err, rows) {

        if(err) reject("Read error: " + err.message)

        else {

        resolve(rows)

        }

        })

        })

       }

       // each row returned one by one

       exports.each=function(query, params, action) {

        return new Promise(function(resolve, reject) {

        var db = this.db

        db.serialize(function() {

        db.each(query, params, function(err, row) {

        if(err) reject("Read error: " + err.message)

        else {

        if(row) {

        action(row)

        }

        }

        })

        db.get("", function(err, row) {

        resolve(true)

        })

        })

        })

       }

       exports.close=function() {

        return new Promise(function(resolve, reject) {

        this.db.close()

        resolve(true)

        })

       }

       使用示例

       下面的示例展示了aa-sqlite的每个功能的示例。在第一部分中，我们打开一个数据库，添加一个表并用一些行填充该表。然后关闭数据库，我们再次打开它并执行一些同步查询。

       const fs = require("fs")

       const sqlite = require("aa-sqlite")

       async function mainApp() {

        console.log(await sqlite.open('./users.db'))

        // Adds a table

        var r = await sqlite.run('CREATE TABLE users(ID integer NOT NULL PRIMARY KEY, name text, city text)')

        if(r) console.log("Table created")

        // Fills the table

        let users = {

        "Naomi": "chicago",

        "Julia": "Frisco",

        "Amy": "New York",

        "Scarlett": "Austin",

        "Amy": "Seattle"

        }

        var id = 1

        for(var x in users) {

        var entry = `'${ id}','${ x}','${ users[x]}'`

        var sql = "INSERT INTO users(ID, name, city) VALUES (" + entry + ")"

        r = await sqlite.run(sql)

        if(r) console.log("Inserted.")

        id++

        }

        // Starting a new cycle to access the data

        await sqlite.close();

        await sqlite.open('./users.db')

        console.log("Select one user:")

        var sql = "SELECT ID, name, city FROM users WHERE name='Naomi'"

        r = await sqlite.get(sql)

        console.log("Read:", r.ID, r.name, r.city)

        console.log("Get all users:")

        sql = "SELECT * FROM users"

        r = await sqlite.all(sql, [])

        r.forEach(function(row) {

        console.log("Read:", row.ID, row.name, row.city)

        })

        console.log("Get some users:")

        sql = "SELECT * FROM users WHERE name=?"

        r = await sqlite.all(sql, ['Amy'])

        r.forEach(function(row) {

        console.log("Read:", row.ID, row.name, row.city)

        })

        console.log("One by one:")

        sql = "SELECT * FROM users"

        r = await sqlite.each(sql, [], function(row) {

        console.log("Read:", row.ID, row.name, row.city)

        })

        if(r) console.log("Done.")

        sqlite.close();

       }

       try {

        fs.unlinkSync("./users.db")

       }

       catch(e) {

       }

       mainApp()

       由于all方法返回一个row数组，我们使用forEach来处理每一行的内容。

       你可以在每个方法的情况下进行验证，即在程序显示“完成”之前处理返回的每一行。原始异步方法不会出现这种情况。

       参考并翻译自：/sql/sqlite-async-await.php

       总结

sqlite怎样利用查询结果来创建新表?

       当我们讨论sqlite时，如何利用查询结果创建新表是一个关键点。若要解答这一问题，我们需对sqlite的内部运作有深入理解。以《教父》中的名言作为引子，表明了慷慨与个人情感的联系，这里我们则将慷慨理解为对知识的热爱与分享。在忙碌的生活中，徒步成为了一种放松方式，尽管心中仍有未解之症结，掘金app 源码但户外的风景与人情带来了一丝慰藉。工作与生活并重，自我成长与进步是追求的目标。

       在没有担任团队领导（TL）后，内心可能有失落感，但这也促使了对sqlite源码的探索。学习规划与安排工作，使思路更加条理化，这是一种自我提升的过程。同时，享受生活与做好工作并行不悖。

       近期的更新较为缓慢，原因在于深入研究sqlite源码，理解其核心部分，例如VBE与树结构的组织。我们采用情景分析的方法，从创建表开始，梳理创建表的流程，进而理解VBE的运行流程和数据存储方式。sqlite在解析SQL语句时使用了名为lemon的解析器与生成器，这一细节在知乎上有详细介绍。

       无需深入解析词法分析的linux eigen源码细节，重要的是理解如何从输入的SQL语句跳转到功能实现，通过查看解析器的工作方式。让我们一起探索，从创建表的实现开始。

       创建表的关键SQL语句是：

       sql

       CREATE TABLE PERSON(ID INT PRIMARY KEY NOT NULL, NAME TEXT NOT NULL);

       选择这一语句是因为它能展示不同数据类型的处理，并保持简单。在处理输入时，函数process_input负责逐行处理，直至完成语句。在函数执行过程中，我们关注到runOneSqlLine，这是将SQL语句翻译为sqlite3_stmt并执行的关键步骤。这一过程涉及sqlite3_prepare_v2、sqlite3LockAndPrepare、sqlite3Prepare、sqlite3RunParser、sqlite3Parser等函数。

       解析SQL语句的核心在于一个名为yyParser的结构，它构建了一个符号表，用于标识SQL语句。搜索关键词“create table”导向了关键代码片段，揭示了创建表函数的调用过程。关注sqlite3StartTable与sqlite3EndTable，理解它们在创建新表记录中的作用。这些函数负责在内存中构建新的表表示，尤其在“CREATE”和“TABLE”出现时被调用。在创建表结束时，sqlite3EndTable()完成构建过程。

       创建表的实现涉及函数调用和信息填充，确保新表记录正确初始化。理解这一过程是解答如何利用查询结果创建新表的关键。关注细节，如参数传递与函数逻辑，对于深入学习sqlite源码至关重要。

linux中sqlite数据库的简单使用

       一、数据库的安装

       1. 网络安装：配置好网络源后，使用命令 sudo apt-get install sqlite3 安装。

       2. 使用deb包安装：使用命令 sudo dpkg -i *.deb 安装三个deb包。

       3. 使用源码包安装：首先解压文件 tar xzf sqlite-autoconf-.tar.gz，然后执行 ./configure，接着执行 make && make install。

       二、SQLite命令

       1. 创建数据库：执行命令 sqlite3 company.db。

       2. 帮助：使用命令 .help。

       3. 退出：使用命令 .quit。

       4. 显示当前数据库文件：使用命令 .database。

       5. 显示所有表名：使用命令 .tables。

       6. 查看表结构：使用命令 .schema。

       7. 控制显示格式：使用命令 .mode column 和 .header on。

       三、SQLite数据类型

       数据类型包括：null、integer、real、text、blob。

       表结构包括：行（记录）、列（字段）、值（字段值）。

       四、SQL命令

       1. 创建表（主键）：使用命令 create table table_name( column1 datatype primary key, column2 datatype, ... columnn datatype, );。

       2. 删除表：使用命令 drop table table_name;。

       3. 插入数据：指定列插入使用命令 insert into table_name (column1, column2, ...columnn) values (value1, value2, ...valuen);，所有列插入使用命令 insert into table_name values (value1,value2,value3,...valuen);。

       4. 查询语句：查询所有使用命令 select * from table_name;，查询指定列使用命令 select column1, column2, ...columnn from table_name;，条件查找使用命令 select * from table_name where ...;。

       5. 删除记录：使用命令 delete from table_name where condition;。

       6. 修改记录：使用命令 update table_name set column1 = value1, column2 = value2,..., columnn = valuen where condition;。

       五、Linux编程接口

       1. 打开数据库：使用函数 sqlite3_open(char *path, sqlite3 **db);。

       2. 关闭数据库：使用函数 sqlite3_close(sqlite3 *db);。

       3. 执行SQL语句：使用函数 sqlite3_exec( sqlite3 *db, const char *sql, int (*callback)(void*,int,char**,char**), void *arg, char **errmsg );。

       4. 不使用回调函数执行SQL语句：使用函数 sqlite3_get_table(sqlite3 *db, const char *sql, char ***resultp, int*nrow, int *ncolumn, char **errmsg);。

       学习嵌入式物联网需要全面的知识，选择正确的学习路径至关重要。获取最新、全面的学习资料，可点击链接找小助理免费领取。

实战 向量数据库选型参考

       在实施大型模型的过程中，特别是在应用RAG增强检索生成时，向量数据库的选择至关重要。本文通过实验对比了四个常见的向量数据库：Chroma、Faiss、Weaviate和Pinecore。未来计划在时间和精力允许的情况下，追加Milvus和Qdrant的实验。

       实验中选用的模型要求较小，以减少空间占用，便于本地调试。从Huggingface上选择了名为all-MiniLM-L6-v2的模型，其维度为。

       HuggingFace上的模型all-MiniLM-L6-v2无法直接下载。可以通过以下两种方式之一下载模型：从摩搭(ModelScope)平台下载，或从HF-Mirror下载。

       Chroma向量数据库采用SQLite作为基础，通过乘积量化技术和k-means聚类优化查询和压缩数据，以节约空间和提高查询效率。实验中，使用Python语言将文本块以Embedding向量的形式存入Chroma数据库，并基于查询文本进行相似度搜索，找到top K个相似结果。

       通过实验发现，SentenceTransformer的Model基于BertModel，分词器使用BertTokenizer。检索器(Retriever)通过invoke()方法进行相关性搜索，默认使用欧拉距离计算相似度。

       FAISS是Facebook AI Research的开源数据库。实验场景与Chroma相同，源码也类似。结果显示符合预期，Langchain框架的检索器Retriever对向量数据库的相似度检索默认使用欧拉距离。

       Pinecone是云向量数据库，通过apiKey接入。实验中，通过两种方式使用Pinecone向量库：通过Database->Indexes提前创建向量库，或直接在源代码中创建向量库。

       Weaviate的文档相对完善，主要用于AI应用开发平台Dify。实验中，注意Weaviate版本需高于v1.，否则无法使用grpc服务。实验场景与之前类似，通过Weaviate的GraphQL实现相关度查询。

       调研并深度使用了四种常见的向量数据库：Chroma、Faiss、Pinecone、Weaviate，并对它们进行了多维度对比。