皮皮网

1.如何用React-Native Post Form 表单
2.大文件处理（上传，源码下载）思考
3.gin框架原理详解(gin框架是下载什么)
4.爬虫工具--fiddler

如何用React-Native Post Form 表单

       ä»Šå¤©ä½¿ç”¨react native 发送请求的时候，发现使用

       fetch('/post/

       requestIdleCallback有不明白的可以看这里：/post/

       接下来咋们来计算文件的hash,计算文件的hash需要使用spark-md5这个库，

全量计算文件hashexportasyncfunctioncalcHashSync(file:File){ //对文件进行分片，源码每一块文件都是下载分为2MB，这里可以自己来控制constsize=2**;letchunks:any[]=[];letcur=0;while(cur<file.size){ chunks.push({ file:file.slice(cur,源码cur+size)});cur+=size;}//可以拿到当前计算到第几块文件的进度lethashProgress=0returnnewPromise(resolve=>{ constspark=newSparkMD5.ArrayBuffer();letcount=0;constloadNext=(index:number)=>{ constreader=newFileReader();reader.readAsArrayBuffer(chunks[index].file);reader.onload=e=>{ //累加器不能依赖index，count++;//增量计算md5spark.append(e.target?下载金蝶源码.resultasArrayBuffer);if(count===chunks.length){ //通知主线程，计算结束hashProgress=;resolve({ hashValue:spark.end(),源码progress:hashProgress});}else{ //每个区块计算结束，通知进度即可hashProgress+=/chunks.length//计算下一个loadNext(count);}};};//启动loadNext(0);});}

       全量计算文件hash，下载在文件小的源码时候计算是很快的，但是下载在文件大的情况下，计算文件的源码hash就会非常慢，并且影响主进程哦

抽样计算文件hash

       抽样就是下载取文件的一部分来继续，原理如下：

/***抽样计算hash值大概是源码1G文件花费1S的时间**采用抽样hash的方式来计算hash*我们在计算hash的时候，将超大文件以2M进行分割获得到另一个chunks数组，下载*第一个元素(chunks[0])和最后一个元素(chunks[-1])我们全要了*其他的源码元素(chunks[1,2,3,4....])我们再次进行一个分割，这个时候的分割是一个超小的大小比如2kb，我们取*每一个元素的头部，尾部，android 源码移植中间的2kb。*最终将它们组成一个新的文件，我们全量计算这个新的文件的hash值。*@paramfile{ File}*@returns*/exportasyncfunctioncalcHashSample(file:File){ returnnewPromise(resolve=>{ constspark=newSparkMD5.ArrayBuffer();constreader=newFileReader();//文件大小constsize=file.size;letoffset=2**;letchunks=[file.slice(0,offset)];//前面2mb的数据letcur=offset;while(cur<size){ //最后一块全部加进来if(cur+offset>=size){ chunks.push(file.slice(cur,cur+offset));}else{ //中间的前中后去两个字节constmid=cur+offset/2;constend=cur+offset;chunks.push(file.slice(cur,cur+2));chunks.push(file.slice(mid,mid+2));chunks.push(file.slice(end-2,end));}//前取两个字节cur+=offset;}//拼接reader.readAsArrayBuffer(newBlob(chunks));//最后Kreader.onload=e=>{ spark.append(e.target?.resultasArrayBuffer);resolve({ hashValue:spark.end(),progress:});};});}

       这个设计是不是发现挺灵活的，真是个人才哇

       在这两个的基础上，咋们还可以分别使用web-worker和requestIdleCallback来实现，源代码在hereヾ(≧▽≦*)o

       这里把我电脑配置说一下，公司给我分的电脑配置比较lower,8g内存的老机器。计算(3.3g文件的)hash的结果如下:

       结果很显然，全量无论怎么弄，都是比抽样的更慢。

文件分片的方式

       这里可能大家会说，文件分片方式不就是等分吗，其实还可以根据网速上传的速度来实时调整分片的大小哦！

consthandleUpload1=async(file:File)=>{ if(!file)return;constfileSize=file.sizeletoffset=2**letcur=0letcount=0//每一刻的大小需要保存起来，方便后台合并constchunksSize=[0,2**]constobj=awaitcalcHashSample(file)as{ hashValue:string};fileHash.value=obj.hashValue;//todo判断文件是否存在存在则不需要上传，也就是hive源码解析秒传while(cur<fileSize){ constchunk=file.slice(cur,cur+offset)cur+=offsetconstchunkName=fileHash.value+"-"+count;constform=newFormData();form.append("chunk",chunk);form.append("hash",chunkName);form.append("filename",file.name);form.append("fileHash",fileHash.value);form.append("size",chunk.size.toString());letstart=newDate().getTime()//todo上传单个碎片constnow=newDate().getTime()consttime=((now-start)/).toFixed(4)letrate=Number(time)///速率有最大和最小可以考虑更平滑的过滤比如1/tanif(rate<0.5)rate=0.5if(rate>2)rate=2offset=parseInt((offset/rate).toString())chunksSize.push(offset)count++}//todo可以发送合并操作了}

       ATTENTION!!!?如果是这样上传的文件碎片，如果中途断开是无法续传的（每一刻的网速都是不一样的），除非每一次上传都把chunksSize(分片的数组)保存起来哦

控制/post/

gin框架原理详解(gin框架是什么)

       Gin的启动过程、路由及上下文源码解读

       Engine是gin框架的一个实例，它包含了多路复用器、中间件和配置中心。

       gin通过Engine.Run(addr...string)来启动服务，最终调用的是/手败gin-gonic/gin

       一个简单的例子：

       packagemain

       import"github.com/gin-gonic/gin"

       funcmain(){

       //Default返回一个默认的路由引擎

       r:=gin.Default()

       r.GET("/ping",func(c*gin.Context){

       //输出json结果给调用方

       c.JSON(,gin.H{

       "message":"pong",

       })

       })

       r.Run()//listenandserveon0.0.0.0:

       }

       编译运行程序，打开浏览器，访问页面显示：

       { "message":"pong"}

       gin的功能不只是简单输出Json数据。它是一个轻量级的WEB框架，支持RestFull风格API，支持GET，POST，PUT，PATCH，DELETE，OPTIONS等/gin-gonic/gin"

       )

       funcmain(){

       router:=gin.Default()

       //静态资源加载，骑士cms源码本例为css,js以及资源

       router.StaticFS("/public",/ffhelicopter/tmm/website/static"))

       router.StaticFile("/favicon.ico","./resources/favicon.ico")

       //Listenandserveon0.0.0.0:

       router.Run(":")

       }

       首先需要是生成一个Engine，这是gin的核心，默认带有Logger和Recovery两个中间件。

       router:=gin.Default()

       StaticFile是加载单个文件，而StaticFS是加载一个完整的目录资源：

       func(group*RouterGroup)StaticFile(relativePath,filepathstring)IRoutes

       func(group*RouterGroup)StaticFS(relativePathstring,fs/gin-gonic/gin

       如果安装失败，直接去Githubclone下来，放置到对应的目录即可。

       （2）代码中使用：

       下面是一个使用Gin的简单例子：

       packagemain

       import(

       "github.com/gin-gonic/gin"

       )

       funcmain(){

       router:=gin.Default()

       router.GET("/ping",func(c*gin.Context){

       c.JSON(,gin.H{

       "message":"pong",

       })

       })

       router.Run(":")//listenandserveon0.0.0.0:

       }

       简单几行代码，就能实现一个web服务。使用gin的Default方法创建一个路由handler。然后通过HTTP方法绑定路由规则和路由函数。不同于net/e"}。

       注：Gin还包含更多的返回方法如c.String,c.HTML,c.XML等，请自行了解。可以方便的返回HTML数据

       我们在之前的组v1路由下新定义一个路由：

       下面我们访问

       可以看到，通过c.Param(“key”)方法，Gin成功捕获了url请求路径中的tomcat源码解读参数。同理，gin也可以捕获常规参数，如下代码所示：

       在浏览器输入以下代码：

       通过c.Query(“key”)可以成功接收到url参数，c.DefaultQuery在参数不存在的情况下，会由其默认值代替。

       我们还可以为Gin定义一些默认路由：

       这时候，我们访问一个不存在的页面：

       返回如下所示：

       下面我们测试在Gin里面使用Post

       在测试端输入：

       附带发送的数据，测试即可。记住需要使用POST方法.

       继续修改，将PostHandler的函数修改如下

       测试工具输入：

       发送的内容输入：

       返回结果如下：

       备注：此处需要指定Content-Type为application/x-www-form-urlencoded，否则识别不出来。

       一定要选择对应的PUT或者DELETE方法。

       Gin框架快速的创建路由

       能够方便的创建分组

       支持url正则表达式

       支持参数查找（c.Paramc.Queryc.PostForm）

       请求方法精准匹配

       支持处理

       快速的返回给客户端数据，常用的c.Stringc.JSONc.Data

爬虫工具--fiddler

       一、抓包工具

       1.1 浏览器自带抓包功能，通过右键审查元素，点击network，点击请求，右边栏展示请求详细信息：request、headers、response。以搜狗浏览器为例，任意点击加载选项，查看get参数。

       1.2 Fiddler，一个HTTP协议调试代理工具。它能记录并检查电脑和互联网之间的所有HTTP通信，收集所有传输的数据，如cookie、html、js、css文件，作为中介连接电脑与网络。

       二、Fiddler的使用

       2.1 下载并安装Fiddler，访问官网下载页面，填写信息后下载安装包，按照常规步骤进行安装。

       2.2 配置Fiddler，打开工具选项，选择HTTPS捕获、解密HTTPS流量等功能，完成配置后重启Fiddler。

       三、Fiddler的使用

       3.1 在Fiddler中查看JSON、CSS、JS格式的数据。停止抓取：文件菜单中选择捕获，取消勾选。点击请求，右边选择inspectors。

       3.2 HTTP请求信息：Raw显示请求头部详细信息，Webforms显示参数，如query_string、formdata。

       3.3 HTTP响应信息：首先点击**条解码，Raw显示响应所有信息，Headers显示响应头，Json显示接口返回内容。

       3.4 左下黑色框输入指令，用于过滤特定请求，如清除所有请求、选择特定格式请求等。

       四、Urllib库初识

       4.1 Urllib库用于模拟浏览器发送请求，是Python内置库。

       4.2 字符串与字节之间的转化：字符串转字节使用Encode（），字节转字符串使用Decode（），默认编码为utf-8。

       4.3 urllib.request属性：urlopen（url）返回响应对象位置，urlretrieve（url, filename）下载文件。

       4.4 urllib.parse构建url：quote编码中文为%xxxx形式，unquote解码%xxxx为中文，urlencode将字典拼接为query_string并编码。

       五、响应处理

       5.1 read（）读取响应内容，返回字节类型源码，geturl（）获取请求的url，getheaders（）获取头部信息列表，getcode（）获取状态码，readlines（）按行读取返回列表。

       六、GET方式请求

       6.1 无错误代码，但打开Fiddler时可能会报错，因为Fiddler表明Python访问被拒绝，需要添加头部信息，如伪装User-Agent为浏览器。

       七、构建请求头部

       7.1 认识请求头部信息，如Accept-encoding、User-agent。了解不同浏览器的User-agent信息，伪装自己的User-agent以通过反爬机制。

       8.1 构建请求对象，使用urllib.request.Request(url=url, headers=headers)。完成以上步骤，实现基于Fiddler和Urllib库的网络数据抓取与请求操作。