皮皮网

1.如何用Python做爬虫？
2.如何读取本地保存的网页文件网页文件网页指定内容并保存
3.零基础搭建个人在线网站，html文件上传到互联网生成在线链接

如何用Python做爬虫？

       åœ¨æˆ‘们日常上网浏览网页的时候，经常会看到一些好看的图片，我们就希望把这些图片保存下载，或者用户用来做桌面壁纸，或者用来做设计的素材。

       æˆ‘们最常规的做法就是通过鼠标右键，选择另存为。但有些图片鼠标右键的时候并没有另存为选项，还有办法就通过就是通过截图工具截取下来，但这样就降低图片的清晰度。好吧其实你很厉害的，右键查看页面源代码。

       æˆ‘们可以通过python æ¥å®žçŽ°è¿™æ ·ä¸€ä¸ªç®€å•çš„爬虫功能，把我们想要的代码爬取到本地。下面就看看如何使用python来实现这样一个功能。

       å…·ä½“步骤

       èŽ·å–整个页面数据首先我们可以先获取要下载图片的整个页面信息。

       getjpg.py

       #coding=utf-8import urllibdef getHtml(url):

       page = urllib.urlopen(url)

       html = page.read()    return html

       html = getHtml("blogs.com/fnng/archive////.html

       å‡å¦‚我们百度贴吧找到了几张漂亮的壁纸，通过到前段查看工具。找到了图片的地址，如：src=”/forum......jpg”pic_ext=”jpeg”

       ä¿®æ”¹ä»£ç å¦‚下：

       import reimport urllibdef getHtml(url):

       page = urllib.urlopen(url)

       html = page.read()    return htmldef getImg(html):

       reg = r'src="(.+?读取读\.jpg)" pic_ext'

       imgre = re.compile(reg)

       imglist = re.findall(imgre,html)    return imglist      

       html = getHtml("/p/")print getImg(html)

       æˆ‘们又创建了getImg()函数，用于在获取的整个页面中筛选需要的图片连接。re模块主要包含了正则表达式：

       re.compile() å¯ä»¥æŠŠæ­£åˆ™è¡¨è¾¾å¼ç¼–译成一个正则表达式对象.

       re.findall() æ–¹æ³•è¯»å–html ä¸­åŒ…含 imgre（正则表达式）的数据。

       è¿è¡Œè„šæœ¬å°†å¾—到整个页面中包含图片的URL地址。

       3.将页面筛选的数据保存到本地

       æŠŠç­›é€‰çš„图片地址通过for循环遍历并保存到本地，代码如下：

       #coding=utf-8import urllibimport redef getHtml(url):

       page = urllib.urlopen(url)

       html = page.read()    return htmldef getImg(html):

       reg = r'src="(.+?\.jpg)" pic_ext'

       imgre = re.compile(reg)

       imglist = re.findall(imgre,html)

       x = 0    for imgurl in imglist:

       urllib.urlretrieve(imgurl,'%s.jpg' % x)

       x+=1html = getHtml("/p/")print getImg(html)

       è¿™é‡Œçš„核心是用到了urllib.urlretrieve()方法，直接将远程数据下载到本地。

       é€šè¿‡ä¸€ä¸ªfor循环对获取的图片连接进行遍历，为了使图片的文件名看上去更规范，对其进行重命名，命名规则通过x变量加1。保存的位置默认为程序的存放目录。

       ç¨‹åºè¿è¡Œå®Œæˆï¼Œå°†åœ¨ç›®å½•ä¸‹çœ‹åˆ°ä¸‹è½½åˆ°æœ¬åœ°çš„文件。

如何读取本地保存的网页指定内容并保存

       在这个互联网时代，几乎每个网民每天都会接触到网页

       如果想要保存网页内容，本地本地大家用得最多的源码源码是“截图”，PC端访问还可以用鼠标手动复制内容进行粘贴保存。下载下载这样效果不太好，网页文件网页文件批量直播解析源码php而且较为繁琐。读取读

       那我们要保存整个网页内容呢？

       这时候，本地本地下面这份经验或许能帮到你。源码源码

       我们可以使用另存为方式保存，下载下载或者借助第三方工具（如永中DCS-网页转PDF工具）来实现。网页文件网页文件

       工具/原料

       浏览器（主流浏览器均可，读取读如IE、本地本地Chrome、源码源码Firefox、下载下载浏览器等）

       永中DCS文档在线预览-示例工具（网页转PDF）

       方法1：本地浏览器保存

       1

       现今的PC端浏览器都自带将网页保存到本地的功能，将网页的rhino官方源码静态网页HTML文件保存，附带着一个存放和样式的文件夹。

       下面以常见的主流浏览器为例演示，如何将网页保存到本地。

       先以Chrome和IE为例

       在已打开网页的情况下，

       Chrome浏览器右边网址框后的下拉菜单，选择“更多工具”“网页另存为”进行保存。

       在IE浏览器右上角设置齿轮图标“文件”-“”另存为“将HTML文件保存到本地。

       2

       保存到本地后，可以看到一个HTML文件，这就是静态页面，还有一个和网页同名的文件夹，里面有许多样式和。这样多个文件并不便于存档。

       3

       对比一下，可以发现存在一些细节丢失和样式改变，这是html源码修改应为资源保存到本地时丢失样式和素材引起的。（第一张为原网页，第二张为保存后打开的结果）

       END

       方法2：使用永中DCS示例工具

       准备工作：找到工具网站

       使用搜索引擎，如百度搜索关键字“文档转换”、“文档预览”，或者直接搜索“永中DCS”，进入域名为yozodcs的网站。

       通过顶部导航栏进入示例页面。选择上方最右边的“网页转PDF”按钮，

       我们就可以使用永中DCS文档转换小工具，简单3步把静态网页转换为PDF版式文档了。

       第一步：添加文档

       在输入框中添加网页的url链接，以用于文档转换

       注意：仅支持可直接访问的HTML静态网页文件，即url结尾有.html，html格式包含.html、.htm、.xhtml、app论坛源码.shtm、.shtml

       第二步：选择类型

       这一步默认就是转换为PDF，只需点击右侧的文档转换按钮。

       永中DCS文档在线预览还支持将常见Office文档（如Word、PPT、Excel文件）、PDF和压缩文件等转换为其他格式，同时也支持在线转换为HTML5网页，方便预览，快速在线预览（在线阅读）文档

       第三步：转换结果

       等待转换后的结果，输出框会显示转换后的PDF下载链接，我们可以单击右侧的文档“下载”按钮，右击目标另存为下载到本地。

       我们可以在线文档预览，在线阅读转换后的PDF文档，基本保留了原网页的仿1688源码内容布局。

零基础搭建个人在线网站，html文件上传到互联网生成在线链接

       简单介绍一下，标题太短了说不清楚。接下来我会分享给你一个html文件包（即自己的本地网页，别人不能通过网络访问，只存在于自己电脑存储中），这篇文章将讲解如何把这个html文件上传到网络中，使别人也能在线访问你的个人网站，手机和电脑都可以访在线访问。

       html文件就是一个网站的源代码框架，通过这一堆代码可以在浏览器中显示出网页。

       给个腾讯微云链接，下载一个我分享的html模板： share.weiyun.com/zzp3Q4...

       （应该已经过期了，不过没关系，网上直接搜一下html模板，随便下载一个文件夹就可以。）

       下载完后是一个叫“html.rar”的压缩文件包，解压完后打开文件夹，看到一个叫index.html的文件，用浏览器打开。

       打开后，在浏览器的输入网址的地方可以看到，文件并不是我们常见的www开头或者)

       然后点击上方“云产品”，在其中找到对象存储（我下图中标出了五角星的那个）

       进入后如下图，点击创建存储桶。

       随后三步很重要，名称，访问权限（这个一定选第二个，不然别人在互联网上没有权限读取你的网站），最后是阅读同意，随后点击下一步。

       高级可选配置不管他。留着默认选项不动，下一步。

       这里确认一下自己的基本信息，无误后直接点击创建。

       来到这个界面，直接点击下图中的左上方的上传文件。

       这里其实不用点选择文件，直接把桌面上刚才解压过的文件夹，名字是html的文件夹，直接鼠标把文件夹拉进来就可以自动上传了。上传完如下图。

       关闭上传文件的窗口，返回储存桶界面，看到已经上传的html文件夹，直接点击打开。

       打开后看到两个文件，一个是文件夹，另一个是index.html，直接看到第二个index.html后方的详情，点击“详情”，如下图。

       看下图，index.html的在线网址，腾讯云就帮你自动生成好了，直接复制一下那个对应的网址。

       打开浏览器新建一个空白窗口，在顶部输入网址的地方黏贴刚才复制的网址，随后回车，打开。

       打开的网页最上方网址栏中已经和之前的本地网页中网址为C盘不一样了，现在的网址是在线网址，为了验证一下，我们用手机也打开一下这个网址试试看。

       上方两张是pc电脑端打开的网站，下方是用的手机浏览器打开的网站，可见，任何互联网中的设备都可以打开这个在线网站了，并且网站一般来说都是在手机端自适应。

       这个方法很方便，适合用于非商业性的个人或者团队的小网站。我今年参加的计算机设计大赛中用的网页也是通过腾讯云上传在线的。（虽然竞赛最后寄了）像我们个人或者小团队用户，想要通过正经方式去实现一个网页的在线模式是比较繁琐的，其中还包括向有关部门报备和申请，并且还要花钱购买域名。这个方法完全几乎可以忽略费用，因为我当时竞赛用这个网站大概4个月，最后只花费了0.元。到时候系统会自动告诉你的，不用担心自己是不是没交影响之类的。这个方法挺简单的，我之后也会出一期教学如何制作自己的网站，即使用html代码编写自己的网站。从前端纯肉代码html，css，javascript到后端pyflask到数据库mysql以及竞赛中使用的supabase数据库。这样就能全套的搭建个人网站运行了。但是也很繁琐。