基于 oracle 的 flask 项目（四）——搜索查询

       搜索功能是项目个性化需求的核心，用户可通过搜索不同字段获取多样报表。下载

       实现搜索页面采用flask基本功能，源码代码详情请查阅文档。下载

       在views.py中实现搜索功能，源码通过判断用户权限（管理员或普通用户）进行页面展示。下载锁机源码教程

       展示两个页面的源码搜索功能实现，分别对应管理员和普通用户权限。下载

       结果展示动图未提供，源码建议直接访问链接查看。下载

       展示的源码是管理员权限的用户界面，操作流程清晰可见。下载

       实现方法虽然较为繁琐，源码但通过掌握SQL语句与SQLAlchemy的下载结合使用，可提高效率。源码如果有SQLAlchemy化处理CASE语句的技能，欢迎分享。

       如需源码，请自行下载。

Python爬虫如何写？

       å…ˆæ£€æŸ¥æ˜¯å¦æœ‰API

       API是网站官方提供的数据接口，如果通过调用API采集数据，则相当于在网站允许的范围内采集，这样既不会有道德法律风险，也没有网站故意设置的障碍；不过调用API接口的访问则处于网站的控制中，网站可以用来收费，可以用来限制访问上限等。整体来看，如果数据采集的需求并不是很独特，那么有API则应优先采用调用API的方式。

       æ•°æ®ç»“构分析和数据存储

       çˆ¬è™«éœ€æ±‚要十分清晰，具体表现为需要哪些字段，这些字段可以是网页上现有的，也可以是根据网页上现有的字段进一步计算的，这些字段如何构建表，多张表如何连接等。值得一提的是，确定字段环节，不要只看少量的网页，因为单个网页可以缺少别的同类网页的字段，这既有可能是由于网站的问题，也可能是用户行为的差异，只有多观察一些网页才能综合抽象出具有普适性的关键字段——这并不是几分钟看几个网页就可以决定的简单事情，如果遇上了那种臃肿、混乱的网站，可能坑非常多。

       å¯¹äºŽå¤§è§„模爬虫，除了本身要采集的数据外，其他重要的中间数据（比如页面Id或者url）也建议存储下来，这样可以不必每次重新爬取id。

       æ•°æ®åº“并没有固定的选择，本质仍是将Python里的数据写到库里，可以选择关系型数据库MySQL等，也可以选择非关系型数据库MongoDB等；对于普通的结构化数据一般存在关系型数据库即可。sqlalchemy是一个成熟好用的数据库连接框架，其引擎可与Pandas配套使用，把数据处理和数据存储连接起来，一气呵成。

       æ•°æ®æµåˆ†æž

       å¯¹äºŽè¦æ‰¹é‡çˆ¬å–的网页，往上一层，看它的入口在哪里；这个是根据采集范围来确定入口，比如若只想爬一个地区的数据，那从该地区的主页切入即可；但若想爬全国数据，则应更往上一层，从全国的入口切入。一般的网站网页都以树状结构为主，找到切入点作为根节点一层层往里进入即可。

       å€¼å¾—注意的一点是，一般网站都不会直接把全量的数据做成列表给你一页页往下翻直到遍历完数据，比如链家上面很清楚地写着有套二手房，但是它只给页，每页个，如果直接这么切入只能访问个，远远低于真实数据量；因此先切片，再整合的数据思维可以获得更大的数据量。显然页是系统设定，只要超过个就只显示页，因此可以通过其他的筛选条件不断细分，只到筛选结果小于等于页就表示该条件下没有缺漏；最后把各种条件下的筛选结果集合在一起，就能够尽可能地还原真实数据量。

       æ˜Žç¡®äº†å¤§è§„模爬虫的数据流动机制，下一步就是针对单个网页进行解析，然后把这个模式复制到整体。对于单个网页，采用抓包工具可以查看它的请求方式，是get还是post，有没有提交表单，欲采集的数据是写入源代码里还是通过AJAX调用JSON数据。

       åŒæ ·çš„道理，不能只看一个页面，要观察多个页面，因为批量爬虫要弄清这些大量页面url以及参数的规律，以便可以自动构造；有的网站的url以及关键参数是加密的，这样就悲剧了，不能靠着明显的逻辑直接构造，这种情况下要批量爬虫，要么找到它加密的js代码，在爬虫代码上加入从明文到密码的加密过程；要么采用下文所述的模拟浏览器的方式。

       æ•°æ®é‡‡é›†

       ä¹‹å‰ç”¨R做爬虫，不要笑，R的确可以做爬虫工作；但在爬虫方面，Python显然优势更明显，受众更广，这得益于其成熟的爬虫框架，以及其他的在计算机系统上更好的性能。scrapy是一个成熟的爬虫框架，直接往里套用就好，比较适合新手学习；requests是一个比原生的urllib包更简洁强大的包，适合作定制化的爬虫功能。requests主要提供一个基本访问功能，把网页的源代码给download下来。一般而言，只要加上跟浏览器同样的Requests Headers参数，就可以正常访问，status_code为，并成功得到网页源代码；但是也有某些反爬虫较为严格的网站，这么直接访问会被禁止；或者说status为也不会返回正常的网页源码，而是要求写验证码的js脚本等。

       ä¸‹è½½åˆ°äº†æºç ä¹‹åŽï¼Œå¦‚果数据就在源码中，这种情况是最简单的，这就表示已经成功获取到了数据，剩下的无非就是数据提取、清洗、入库。但若网页上有，然而源代码里没有的，就表示数据写在其他地方，一般而言是通过AJAX异步加载JSON数据，从XHR中找即可找到；如果这样还找不到，那就需要去解析js脚本了。

       è§£æžå·¥å…·

       æºç ä¸‹è½½åŽï¼Œå°±æ˜¯è§£æžæ•°æ®äº†ï¼Œå¸¸ç”¨çš„有两种方法，一种是用BeautifulSoup对树状HTML进行解析，另一种是通过正则表达式从文本中抽取数据。

       BeautifulSoup比较简单，支持Xpath和CSSSelector两种途径，而且像Chrome这类浏览器一般都已经把各个结点的Xpath或者CSSSelector标记好了，直接复制即可。以CSSSelector为例，可以选择tag、id、class等多种方式进行定位选择，如果有id建议选id，因为根据HTML语法，一个id只能绑定一个标签。

       æ­£åˆ™è¡¨è¾¾å¼å¾ˆå¼ºå¤§ï¼Œä½†æž„造起来有点复杂，需要专门去学习。因为下载下来的源码格式就是字符串，所以正则表达式可以大显身手，而且处理速度很快。

       å¯¹äºŽHTML结构固定，即同样的字段处tag、id和class名称都相同，采用BeautifulSoup解析是一种简单高效的方案，但有的网站混乱，同样的数据在不同页面间HTML结构不同，这种情况下BeautifulSoup就不太好使；如果数据本身格式固定，则用正则表达式更方便。比如以下的例子，这两个都是深圳地区某个地方的经度，但一个页面的class是long，一个页面的class是longitude，根据class来选择就没办法同时满足2个，但只要注意到深圳地区的经度都是介于到之间的浮点数，就可以通过正则表达式"[3-4].\d+"来使两个都满足。

       æ•°æ®æ•´ç†

       ä¸€èˆ¬è€Œè¨€ï¼Œçˆ¬ä¸‹æ¥çš„原始数据都不是清洁的，所以在入库前要先整理；由于大部分都是字符串，所以主要也就是字符串的处理方式了。

       å­—符串自带的方法可以满足大部分简单的处理需求，比如strip可以去掉首尾不需要的字符或者换行符等，replace可以将指定部分替换成需要的部分，split可以在指定部分分割然后截取一部分。

       å¦‚果字符串处理的需求太复杂以致常规的字符串处理方法不好解决，那就要请出正则表达式这个大杀器。

       Pandas是Python中常用的数据处理模块，虽然作为一个从R转过来的人一直觉得这个模仿R的包实在是太难用了。Pandas不仅可以进行向量化处理、筛选、分组、计算，还能够整合成DataFrame，将采集的数据整合成一张表，呈现最终的存储效果。

       å†™å…¥æ•°æ®åº“

       å¦‚果只是中小规模的爬虫，可以把最后的爬虫结果汇合成一张表，最后导出成一张表格以便后续使用；但对于表数量多、单张表容量大的大规模爬虫，再导出成一堆零散的表就不合适了，肯定还是要放在数据库中，既方便存储，也方便进一步整理。

       å†™å…¥æ•°æ®åº“有两种方法，一种是通过Pandas的DataFrame自带的to_sql方法，好处是自动建表，对于对表结构没有严格要求的情况下可以采用这种方式，不过值得一提的是，如果是多行的DataFrame可以直接插入不加索引，但若只有一行就要加索引否则报错，虽然这个认为不太合理；另一种是利用数据库引擎来执行SQL语句，这种情况下要先自己建表，虽然多了一步，但是表结构完全是自己控制之下。Pandas与SQL都可以用来建表、整理数据，结合起来使用效率更高。

手把手教你搭建自己的量化分析数据库

       量化交易的分析根基在于数据，包括股票历史交易数据、上市公司基本面数据、宏观和行业数据等。面对信息流量的持续增长，掌握如何获取、查询和处理数据信息变得不可或缺。对于涉足量化交易的个体而言，对数据库操作的ArrayManager源码详解掌握更是基本技能。目前，MySQL、Postgresql、Mongodb、SQLite等开源数据库因其高使用量和受欢迎程度，位列-年DB-Engines排行榜前十。这几个数据库各有特点和适用场景。本文以Python操作Postgresql数据库为例，借助psycopg2和sqlalchemy实现与pandas dataframe的交互，一步步构建个人量化分析数据库。

       首先，安装PostgreSQL。通过其官网下载适合操作系统的版本，按照默认设置完成安装。安装完成后，可以在安装目录中找到pgAdmin4，这是一个图形化工具，用于查看和管理PostgreSQL数据库，其最新版为Web应用程序。

       接着，利用Python安装psycopg2和sqlalchemy库。psycopg2是连接PostgreSQL数据库的接口，sqlalchemy则适用于多种数据库，特别是与pandas dataframe的交互更为便捷。通过pip安装这两个库即可。

       实践操作中，使用tushare获取股票行情数据并保存至本地PostgreSQL数据库。上门取源码通过psycopg2和sqlalchemy接口，实现数据的存储和管理。由于数据量庞大，通常分阶段下载，比如先下载特定时间段的数据，后续不断更新。

       构建数据查询和可视化函数，用于分析和展示股价变化。比如查询股价日涨幅超过9.5%或跌幅超过-9.5%的个股数据分布，结合选股策略进行数据查询和提取。此外，使用日均线策略，开发数据查询和可视化函数，对选出的股票进行日K线、日均线、成交量、买入和卖出信号的可视化分析。

       数据库操作涉及众多内容，本文着重介绍使用Python与PostgreSQL数据库的交互方式，逐步搭建个人量化分析数据库。虽然文中使用的数据量仅为百万条左右，使用Excel的csv文件读写速度较快且直观，但随着数据量的增长，建立完善的量化分析系统时，数据库学习变得尤为重要。重要的是，文中所展示的金牌源码公司选股方式和股票代码仅作为示例应用，不构成任何投资建议。

       对于Python金融量化感兴趣的读者，可以关注Python金融量化领域，通过知识星球获取更多资源，包括量化投资视频资料、公众号文章源码、量化投资分析框架，与博主直接交流，结识圈内朋友。

tushare的接口怎么样使用？

       Tushare简介

       Tushare金融大数据开放社区，免费提供各类金融数据和区块链数据,助力智能投资与创新型投资。网址：https://tushare.pro/register?reg=

       注：推广一下分享链接，帮我攒点积分，你好我也好 ^_^ 。

       python环境安装

       强烈建议使用Anaconda，Anaconda的安装见：https://tushare.pro/document/1?doc_id=

       python的IDE我使用vscode，在Anaconda主界面中直接打开vscode，它会帮你设置好环境，简单方便。

       tushare库安装

       打开vscode的[查看]->[终端]，输入 pip install tushare 即可安装tushare。输入 pip install tushare --upgrade 即可更新tushare。缺少或者更新其他python库，参照这个方法即可。

       环境安装好后，就可以开工了。直接上代码，mgisk 源码分析这份代码从Tushare下载股票列表数据，保存为csv文件，同时保存在mssql数据库中。

       注意：在to_sql中的schema参数为数据库名，需要带上该数据库的角色，我使用sa登录，数据库隶属于dbo。使用to_sql不需要创建表，pandas会自动帮你创建好，也不需要自己写插入数据的代码，还是很方便的。如果你在表中增加了主键或者唯一索引，有重复数据时批量入库会失败。tushare本身是有少量重复数据的。采用逐行入库的方式速度会比较慢，需要根据业务自己衡量选择。

       #!/usr/bin/python3

       # coding:utf-8

       # -*- coding: utf-8 -*-

       import time

       import datetime

       import random

       import tushare

       import pandas

       import pymssql

       import sqlalchemy

       #需修改的参数

       stock_list_file = 'stock_list.csv' #股票列表文件csv

       #tushare token

       tushare_token='你自己的token'

       #数据库参数

       db_host = '.0.0.1'

       db_user = 'sa'

       db_password = 'pwd'

       db_db = 'quantum'

       db_charset = 'utf8'

       db_url = 'mssql+pymssql://sa:pwd@.0.0.1:/quantum'

       #股票列表

       def get_stock_basic() :

        print('开始下载股票列表数据')

        #获取tushare

        pro = tushare.pro_api()

        #下载

        data = pro.stock_basic(fields='ts_code,symbol,name,fullname,list_status,list_date,delist_date')

        #保存到csv文件

        data.to_csv(stock_list_file)

        #入库

        engine = sqlalchemy.create_engine(db_url)

        try:

        #先一次性入库，异常后逐条入库

        pandas.io.sql.to_sql(data, 'stock_basic', engine, schema='quantum.dbo', if_exists='append', index=False)

        except :

        #逐行入库

        print('批量入库异常，开始逐条入库.')

        for indexs in data.index :

        line = data.iloc[indexs:indexs+1, :]

        try:

        pandas.io.sql.to_sql(line, 'stock_basic', engine, schema='quantum.dbo', if_exists='append', index=False, chunksize=1)

        except:

        print('股票列表数据入库异常：')

        print(line)

        finally:

        pass

        finally:

        pass

        print('完成下载股票列表数据')

        return 1

       #全量下载所有股票列表数据

       if __name__ == '__main__':

        print('开始...')

        #初始化tushare

        tushare.set_token(tushare_token)

        print('获取股票列表')

        get_stock_basic()

        print('结束')

FastAPI工具集-SQLAlchemy会话

       源码：fastapi_utils.sessions

       SQLAlchemy在FastAPI中作为数据库的ORM框架，其使用方法随着社区活跃见解及FastAPI新特性而变化。

       fastapi_utils.session模块提供了FastAPI中SQLAlchemy会话管理的合适工具。

       FastAPISessionMaker类封装了FastAPI中会话创建功能，用于实例化时读取环境变量中的数据库设置。若环境变量未设置DATABASE_URI，则引发ValidationError。可将database_uri拆分为scheme、username、password、host和db单独字段，通过一个名为database_uri的@property属性构建uri。get_db函数使用上下文管理器依赖项，确保仅在使用会话的端点中创建和关闭会话，避免了基于中间件方法中每个请求处理导致的会话创建和关闭开销。注意get_db依赖项不会在将响应返回给用户之前终结掉ORM会话，可能会导致轻微响应延迟或数据库写入未提交引发错误。在预期数据库写入可能失败的请求中，需手动执行提交并处理错误。基于中间件方法虽然能自动确保数据库错误对用户可见，但可能导致通用的内部服务器错误，需适当地在get_db函数中使用try-except语句块记录清理过程中引发的数据库错误。在FastAPISessionMaker上使用@lru_cache确保相同的FastAPISessionMaker实例在请求中复用，减少开销同时确保实例惰性创建，适用于测试框架以编程方式覆盖环境变量，尤其是测试期间。

ORM如何自己手写一个ORM框架

       本文将讨论如何构建一个ORM框架，并以cushy-storage磁盘缓存框架为例进行实现。ORM框架，即对象关系映射框架，允许程序员使用面向对象的方式操作数据库，简化了SQL语言的复杂性和繁琐性。

       在Python中，如SQLAlchemy这样的流行ORM框架可以帮助轻松实现数据库的CRUD操作。使用ORM框架，开发者可以像操作本地对象一样操作数据库，从而提高了代码的可读性和维护性。

       下面以安装SQLAlchemy为例，展示如何创建数据库表和进行基本操作。首先，通过命令安装SQLAlchemy。接着，定义表结构并执行CRUD操作。示例代码展示了使用ORM框架进行数据库操作的简易性。

       编写一个完整的ORM框架需要深入理解数据库、Python编程以及设计模式。若希望深入了解，可参考如Django、SQLAlchemy、Peewee等优秀的开源ORM框架的源代码及文档。

       本文将结合cushy-storage的功能，快速构建一个ORM框架，实现对本地文件数据的增删改查。cushy-storage是一个基于磁盘缓存的Python库，简化了数据存储和读取的过程。

       实现的主要功能包括：存储、检索、更新和删除自定义对象。通过继承BaseORMModel类，自定义类可以轻松实现ORM功能。CushyOrmCache类继承CushyDict，并结合ORM功能，实现对象级数据的高效管理。

       构建QuerySet类，提供更丰富的查询功能，如条件筛选、返回所有数据、返回第一个数据等。最后，通过ORMMixin实现增删改查功能，CushyORMCache类提供完整的ORM框架接口。

       使用CushyORMCache，开发者可以方便地进行对象级数据的增删改查操作。下面的示例展示了如何构建用户系统并使用CushyORMCache进行操作。

       完整实现代码展示了如何继承BaseORMModel、初始化CushyOrmCache，以及进行基本的增删改查操作。通过传入User对象或表名（如"User"）进行数据查询，实现复杂条件查询和批量返回。

       本文总结了ORM框架的概念和构建方法，以cushy-storage为依托，构建了一个实用的ORM框架。该框架支持复杂条件查询、批量数据返回等功能，简化了对象级数据的操作。

Python - 一文入门Flask(Blueprint、SQLAlchemy部分）

       本文将简要介绍如何入门Flask，包括安装准备、路由实现、Blueprint和SQLAlchemy的实践。首先，从安装Flask和pipenv开始，然后逐步构建项目结构，实现Web路由功能和数据库操作。

       在PyCharm的环境配置部分，这里主要关注代码实现，而不是环境设置。在项目实践中，Flask的核心是通过App初始化时绑定Blueprint实现路由。首先，创建一个入口文件，负责实例化App并初始化配置、控制器和数据库。

       启动文件中，需要进行判断逻辑的引入，这是为了优化程序运行。Flask路由功能是通过蓝图实现的，需要在入口文件中注册蓝图。每个路由器可以使用装载器优化，如在api文件中的示例所示。

       完成路由后，我们转向数据库操作，Flask推荐使用SQLAlchemy处理。安装Flask-SQLAlchemy和PyMySQL，便于与MySQL数据库的交互。定义数据库操作的基类和公共方法，减少代码重复。

       在入口文件中，通过SQLALCHEMY_DATABASE_URI配置数据库连接，使用with关键字确保资源的正确管理和释放。在model模块中，定义模型、常量和数据库操作方法，这些在路由中会被使用。

       关于SQLAlchemy的Mysql编码和列类型，可能需要进行一些优化，包括默认值、索引设置和兼容不同列类型。Python源码提供了详细的设置指导，例如TinyINT类型和VARCHAR的使用。

       最后，自定义数据库名和字符集编码时，可以使用__tablename__和字符集设置。编程中，阅读源码注释和示例可以帮助更好地理解和学习。