BoltDB源码解析(六)Get操作
在我们深入了解BoltDB的DB文件结构后,接下来我们将分析其CRUD操作中的码定Get方法。首先来看Bucket的源码Get API,这个操作相对简单,位源位无论是码定读事务还是写事务,都可以通过它获取Bucket中指定key的源码libnl devel 源码包value。以下是位源位关键代码:
代码的核心是Cursor对象,其seek方法在B-tree上定位key,码定返回存储在B-tree页面中的源码key和value指针。
特别需要注意的位源位是,如果查到的码定value是另一个Bucket,函数会返回nil,源码因为Get方法主要针对普通key,位源位而非Bucket。码定如果需要操作Bucket,源码应使用Bucket方法,如rootBucket.Bucket("user"),就像在MySQL中操作表一样。
Get方法和Bucket查找过程相似,mapreduce实战项目源码都通过Cursor.seek定位,但Bucket方法多了openBucket步骤。相似的原因在于BoltDB将Bucket视为value类型存储在B-tree中,这样可以共用一个数据结构来存储Bucket和普通value,Cursor.seek则负责在不分类型的B-tree中查找。
seek方法会在key不存在时返回大于该key的下一个key,这有利于通用性,包括insert、update和delete操作。Cursor的search方法递归查找,根据isLeaf属性决定是在node还是page上进行。
BoltDB的写事务会先copy页面到node进行修改,因此读写操作在node和page的处理有所区别。Cursor的search方法根据当前事务类型,选择在node(写事务)或page(读事务)上搜索。
searchNode和searchPage分别针对node和page执行递归搜索,使用一个stack记录递归路径,确保Cursor能够支持遍历B-tree的html源码安装教程操作。BoltDB的高效体现在读操作中,全程基于mmap的page指针操作,实现了真正的零拷贝。
单片机c源码中uchar temp,key其中的key是什么意思
根据电路的排布,temp和key分别代表行和列,行、列都确定后,就可以定位是那个按键响应了~
按键按下后,都会进入key4x4()的函数,先用temp来区分出是哪一行(列),再用key来区分具体为那一列(行),从而确定动作按键的具体位置;
uni-app实现定位功能
uni-app实现定位功能的步骤如下:
首先,获取用户地理位置权限。使用uni-app内置的authorize方法,请求用户授权。在manifest.json文件中,点击"源码视图",在mp-weixin配置部分添加相关配置代码。图片编辑控件源码
接下来,确保在app.json文件中也配置好权限请求。运行项目到微信开发者工具,再次配置相关代码。在authorize方法中,设置scope参数为userLocation,以请求获取位置信息。若用户拒绝授权,提示他们访问小程序设置页面。
在实际使用前,要检查是否已获取到定位权限。如果未授权,应适时提示用户并请求授权。
若需实现精准定位,可以借助腾讯地图。首先,注册腾讯地图开发者,获取key并下载qqmap-wx-jssdk.min.js。微信fz源码然后,在该文件末尾替换相关代码,并将SDK文件放入libs文件夹。创建腾讯地图对象后,调用逆地址解析方法获取位置信息。
对于常见问题,解决方案包括:
- 如果微信小程序定位出错,检查manifest.json的配置,确保已添加正确的权限代码,并在app.json中同步配置。然后,重新编译项目并启动,uni.getLocation方法应该能正常返回经纬度。此外,务必确认AppID已正确配置,可在manifest.json的"微信小程序配置"部分查看。
vueä¸keyçåç
ä¸ãKeyæ¯ä»ä¹
å¼å§ä¹åï¼æ们å è¿å两个å®é å·¥ä½åºæ¯
å½æ们å¨ä½¿ç¨v-foræ¶ï¼éè¦ç»åå å ä¸key
<ul><liv-for="iteminitems":key="item.id">...</li></ul>ç¨+newDate()çæçæ¶é´æ³ä½ä¸ºkeyï¼æå¨å¼ºå¶è§¦åéæ°æ¸²æ
<Comp:key="+newDate()"/>é£ä¹è¿èåçé»è¾æ¯ä»ä¹ï¼keyçä½ç¨åæ¯ä»ä¹ï¼ä¸å¥è¯æ¥è®²keyæ¯ç»æ¯ä¸ä¸ªvnodeçå¯ä¸idï¼ä¹æ¯diffçä¸ç§ä¼åçç¥ï¼å¯ä»¥æ ¹æ®keyï¼æ´åç¡®ï¼æ´å¿«çæ¾å°å¯¹åºçvnodeèç¹
åºæ¯èåçé»è¾å½æ们å¨ä½¿ç¨v-foræ¶ï¼éè¦ç»åå å ä¸key
å¦æä¸ç¨keyï¼Vueä¼éç¨å°±å°å¤å°ååï¼æå°åelementç移å¨ï¼å¹¶ä¸ä¼å°è¯å°½æ大ç¨åº¦å¨åéå½çå°æ¹å¯¹ç¸åç±»åçelementï¼åpatchæè reuseã
å¦æ使ç¨äºkeyï¼Vueä¼æ ¹æ®keysç顺åºè®°å½elementï¼æ¾ç»æ¥æäºkeyçelementå¦æä¸ååºç°çè¯ï¼ä¼è¢«ç´æ¥removeæè destoryedç¨+newDate()çæçæ¶é´æ³ä½ä¸ºkeyï¼æå¨å¼ºå¶è§¦åéæ°æ¸²æ
å½æ¥ææ°å¼çrerenderä½ä¸ºkeyæ¶ï¼æ¥æäºæ°keyçCompåºç°äºï¼é£ä¹æ§keyCompä¼è¢«ç§»é¤ï¼æ°keyComp触å渲æ
äºã设置keyä¸ä¸è®¾ç½®keyåºå«ä¸¾ä¸ªä¾åï¼å建ä¸ä¸ªå®ä¾ï¼2ç§åå¾itemsæ°ç»æå ¥æ°æ®
<body><divid="demo"><pv-for="iteminitems":key="item">{ { item}}</p></div><scriptsrc="../../dist/vue.js"></script><script>//å建å®ä¾constapp=newVue({ el:'#demo',data:{ items:['a','b','c','d','e']},mounted(){ setTimeout(()=>{ this.items.splice(2,0,'f')//},);},});</script></body>å¨ä¸ä½¿ç¨keyçæ åµï¼vueä¼è¿è¡è¿æ ·çæä½ï¼
åæä¸æ´ä½æµç¨ï¼
æ¯è¾Aï¼Aï¼ç¸åç±»åçèç¹ï¼è¿è¡patchï¼ä½æ°æ®ç¸åï¼ä¸åçdomæä½
æ¯è¾Bï¼Bï¼ç¸åç±»åçèç¹ï¼è¿è¡patchï¼ä½æ°æ®ç¸åï¼ä¸åçdomæä½
æ¯è¾Cï¼Fï¼ç¸åç±»åçèç¹ï¼è¿è¡patchï¼æ°æ®ä¸åï¼åçdomæä½
æ¯è¾Dï¼Cï¼ç¸åç±»åçèç¹ï¼è¿è¡patchï¼æ°æ®ä¸åï¼åçdomæä½
æ¯è¾Eï¼Dï¼ç¸åç±»åçèç¹ï¼è¿è¡patchï¼æ°æ®ä¸åï¼åçdomæä½
循ç¯ç»æï¼å°Eæå ¥å°DOMä¸ä¸å ±åçäº3次æ´æ°ï¼1次æå ¥æä½
å¨ä½¿ç¨keyçæ åµï¼vueä¼è¿è¡è¿æ ·çæä½ï¼
æ¯è¾Aï¼Aï¼ç¸åç±»åçèç¹ï¼è¿è¡patchï¼ä½æ°æ®ç¸åï¼ä¸åçdomæä½
æ¯è¾Bï¼Bï¼ç¸åç±»åçèç¹ï¼è¿è¡patchï¼ä½æ°æ®ç¸åï¼ä¸åçdomæä½
æ¯è¾Cï¼Fï¼ä¸ç¸åç±»åçèç¹
æ¯è¾EãEï¼ç¸åç±»åçèç¹ï¼è¿è¡patchï¼ä½æ°æ®ç¸åï¼ä¸åçdomæä½
æ¯è¾DãDï¼ç¸åç±»åçèç¹ï¼è¿è¡patchï¼ä½æ°æ®ç¸åï¼ä¸åçdomæä½
æ¯è¾CãCï¼ç¸åç±»åçèç¹ï¼è¿è¡patchï¼ä½æ°æ®ç¸åï¼ä¸åçdomæä½
循ç¯ç»æï¼å°Fæå ¥å°Cä¹åä¸å ±åçäº0次æ´æ°ï¼1次æå ¥æä½éè¿ä¸é¢ä¸¤ä¸ªå°ä¾åï¼å¯è§è®¾ç½®keyè½å¤å¤§å¤§åå°å¯¹é¡µé¢çDOMæä½ï¼æé«äºdiffæç
设置keyå¼ä¸å®è½æé«diffæçåï¼å ¶å®ä¸ç¶ï¼ææ¡£ä¸ä¹æ确表示å½Vue.jsç¨v-foræ£å¨æ´æ°å·²æ¸²æè¿çå ç´ å表æ¶ï¼å®é»è®¤ç¨âå°±å°å¤ç¨âçç¥ãå¦ææ°æ®é¡¹ç顺åºè¢«æ¹åï¼Vueå°ä¸ä¼ç§»å¨DOMå ç´ æ¥å¹é æ°æ®é¡¹ç顺åºï¼èæ¯ç®åå¤ç¨æ¤å¤æ¯ä¸ªå ç´ ï¼å¹¶ä¸ç¡®ä¿å®å¨ç¹å®ç´¢å¼ä¸æ¾ç¤ºå·²è¢«æ¸²æè¿çæ¯ä¸ªå ç´ è¿ä¸ªé»è®¤ç模å¼æ¯é«æçï¼ä½æ¯åªéç¨äºä¸ä¾èµåç»ä»¶ç¶ææ临æ¶DOMç¶æ(ä¾å¦ï¼è¡¨åè¾å ¥å¼)çå表渲æè¾åºå»ºè®®å°½å¯è½å¨ä½¿ç¨?v-for?æ¶æä¾?keyï¼é¤ééåè¾åºçDOMå 容é常ç®åï¼æè æ¯å»æä¾èµé»è®¤è¡ä¸ºä»¥è·åæ§è½ä¸çæå
ä¸ãåçåææºç ä½ç½®ï¼core/vdom/patch.jséå¤ææ¯å¦ä¸ºåä¸ä¸ªkeyï¼é¦å å¤æçæ¯keyå¼æ¯å¦ç¸çå¦æ没æ设置keyï¼é£ä¹key为undefinedï¼è¿æ¶åundefinedæ¯æçäºundefined
functionsameVnode(a,b){ return(a.key===b.key&&((a.tag===b.tag&&a.isComment===b.isComment&&isDef(a.data)===isDef(b.data)&&sameInputType(a,b))||(isTrue(a.isAsyncPlaceholder)&&a.asyncFactory===b.asyncFactory&&isUndef(b.asyncFactory.error))))}updateChildrenæ¹æ³ä¸ä¼å¯¹æ°æ§vnodeè¿è¡diffï¼ç¶åå°æ¯å¯¹åºçç»æç¨æ¥æ´æ°çå®çDOM
functionupdateChildren(parentElm,oldCh,newCh,insertedVnodeQueue,removeOnly){ ...while(oldStartIdx<=oldEndIdx&&newStartIdx<=newEndIdx){ if(isUndef(oldStartVnode)){ ...}elseif(isUndef(oldEndVnode)){ ...}elseif(sameVnode(oldStartVnode,newStartVnode)){ ...}elseif(sameVnode(oldEndVnode,newEndVnode)){ ...}elseif(sameVnode(oldStartVnode,newEndVnode)){ //Vnodemovedright...}elseif(sameVnode(oldEndVnode,newStartVnode)){ //Vnodemovedleft...}else{ if(isUndef(oldKeyToIdx))oldKeyToIdx=createKeyToOldIdx(oldCh,oldStartIdx,oldEndIdx)idxInOld=isDef(newStartVnode.key)?oldKeyToIdx[newStartVnode.key]:findIdxInOld(newStartVnode,oldCh,oldStartIdx,oldEndIdx)if(isUndef(idxInOld)){ //NewelementcreateElm(newStartVnode,insertedVnodeQueue,parentElm,oldStartVnode.elm,false,newCh,newStartIdx)}else{ vnodeToMove=oldCh[idxInOld]if(sameVnode(vnodeToMove,newStartVnode)){ patchVnode(vnodeToMove,newStartVnode,insertedVnodeQueue,newCh,newStartIdx)oldCh[idxInOld]=undefinedcanMove&&nodeOps.insertBefore(parentElm,vnodeToMove.elm,oldStartVnode.elm)}else{ //samekeybutdifferentelement.treatasnewelementcreateElm(newStartVnode,insertedVnodeQueue,parentElm,oldStartVnode.elm,false,newCh,newStartIdx)}}newStartVnode=newCh[++newStartIdx]}}...}åæï¼/post/ç®å说说ConcurrentSkipListMap
åºæ¬ä»ç»
è·³è·è¡¨çæ§è´¨å¦ä¸ï¼
æåºå±çæ°æ®èç¹æç §å ³é®åkeyååºæåï¼
å å«å¤çº§ç´¢å¼ï¼æ¯ä¸ªçº§å«çç´¢å¼èç¹æç §å ¶å ³èçæ°æ®èç¹çå ³é®åkeyååºæåï¼
é«çº§å«ç´¢å¼æ¯å ¶ä½çº§å«ç´¢å¼çåéï¼
å¦æå ³é®åkeyå¨çº§å«level=içç´¢å¼ä¸åºç°ï¼å级å«level<=içææç´¢å¼é½å å«è¯¥keyã
è·³è·è¡¨ConcurrentSkipListMapçæ°æ®ç»æå¦ä¸å¾æ示ï¼ä¸å¾ä¸å ±æä¸å±ç´¢å¼ï¼æåºä¸ä¸ºæ°æ®èç¹ï¼åä¸å±ç´¢å¼ä¸ï¼ç´¢å¼èç¹ä¹é´ä½¿ç¨rightæéç¸è¿ï¼ä¸å±ç´¢å¼èç¹çdownæéæåä¸å±çç´¢å¼èç¹ã
æºç åææ ¸å¿å段åæhead æå node(BASE_HEADER) ç顶å±ç´¢å¼ã
/***Thetopmostheadindexoftheskiplist.*/privatetransientvolatileHeadIndex<K,V>head;BASE_HEADER 头ç»ç¹ï¼å³æ顶å±ç´¢å¼ç头èç¹çvalueå¼
/***Specialvalueusedtoidentifybase-levelheader*/privatestaticfinalObjectBASE_HEADER=newObject()Node éæå é¨ç±»ï¼å³æ°æ®èç¹
/***æ°æ®èç¹*/staticfinalclassNode<K,V>{ finalKkey;//æ°æ®èç¹çkeyvolatileObjectvalue;//æ°æ®èç¹çvaluevolatileNode<K,V>next;//æåä¸ä¸ä¸ªæ°æ®èç¹/***Createsanewregularnode.*/Node(Kkey,Objectvalue,Node<K,V>next){ this.key=key;this.value=value;this.next=next;}}Index éæå é¨ç±»ï¼å³æ®éç´¢å¼èç¹
/***æ®éç´¢å¼èç¹*/staticclassIndex<K,V>{ finalNode<K,V>node;//ç´¢å¼èç¹æåçæ°æ®èç¹finalIndex<K,V>down;//å½åç´¢å¼èç¹çæ£ä¸æ¹ç´¢å¼èç¹volatileIndex<K,V>right;//å½åç´¢å¼èç¹çå³ç´¢å¼èç¹/***Createsindexnodewithgivenvalues.*/Index(Node<K,V>node,Index<K,V>down,Index<K,V>right){ this.node=node;this.down=down;this.right=right;}}HeadIndex éæå é¨ç±»ï¼å³å½å级å«ç´¢å¼ç头èç¹
/***å½å级å«ç´¢å¼ç头èç¹*/staticfinalclassHeadIndex<K,V>extendsIndex<K,V>{ finalintlevel;//æå¤ç´¢å¼çº§å«/***nodeï¼å½åç´¢å¼æåçæ°æ®èç¹*downï¼å½åç´¢å¼èç¹çæ£ä¸æ¹ç´¢å¼èç¹*rightï¼å½åç´¢å¼èç¹çå³ç´¢å¼èç¹*levelï¼å½åç´¢å¼å¤´èç¹æå¤çç´¢å¼çº§å«*/HeadIndex(Node<K,V>node,Index<K,V>down,Index<K,V>right,intlevel){ super(node,down,right);this.level=level;}}æ¥è¯¢æ ¹æ®æå®çkeyæ¥è¯¢èç¹ï¼æºç å¦ä¸ï¼
publicVget(Objectkey){ //è°ç¨doGetæ¹æ³returndoGet(key);}/***çæ£å®ç°æ¥è¯¢æ¹æ³*/privateVdoGet(Objectkey){ if(key==null)thrownewNullPointerException();Comparator<?superK>cmp=comparator;outer:for(;;){ for(Node<K,V>b=findPredecessor(key,cmp),n=b.next;;){ Objectv;intc;if(n==null)breakouter;Node<K,V>f=n.next;if(n!=b.next)//inconsistentreadbreak;if((v=n.value)==null){ //nisdeletedn.helpDelete(b,f);break;}if(b.value==null||v==n)//bisdeletedbreak;if((c=cpr(cmp,key,n.key))==0){ @SuppressWarnings("unchecked")Vvv=(V)v;returnvv;}if(c<0)breakouter;b=n;n=f;}}returnnull;}å¨ä¸è¿°ä»£ç ä¸ï¼outerå¤çforèªæä¸ï¼é¦å æ¥çfindPredecessorï¼æ¥è¯¢æå®keyèç¹çå驱èç¹ã该æ¹æ³å¨ä¸é¢ç好å¤å°æ¹ä¼è°ç¨ï¼ä¾å¦æå ¥å ç´ ï¼å é¤å ç´ ä»¥åå é¤å ç´ å¯¹åºçç´¢å¼æ¶é½ä¼è°ç¨ã
findPredecessoræ¹æ³æºç å¦ä¸ï¼
/***ä½ç¨1ï¼æ¾å°key对åºèç¹çå驱èç¹ï¼ä¸ä¸å®çççå驱èç¹ï¼ä¹å¯è½æ¯å驱ç»ç¹çå驱èç¹*ä½ç¨2ï¼å é¤æ æçç´¢å¼ï¼å³è¦å é¤èç¹æ¶ï¼å°èç¹çç´¢å¼ä¹å é¤æ*/privateNode<K,V>findPredecessor(Objectkey,Comparator<?superK>cmp){ if(key==null)thrownewNullPointerException();//don'tpostponeerrorsfor(;;){ //r为qèç¹çå³æéæåçèç¹ï¼r为å½åæ¯è¾èç¹,æ¯æ¬¡é½æ¯è¾rèç¹çkeyè·æ¥æ¾çkeyç大å°å ³ç³»for(Index<K,V>q=head,r=q.right,d;;){ if(r!=null){ Node<K,V>n=r.node;Kk=n.key;//该èç¹å·²ç»å é¤ï¼éè¦å é¤å ¶å¯¹åºçç´¢å¼if(n.value==null){ //该èç¹å·²ç»å é¤ï¼éè¦å é¤å ¶å¯¹åºçç´¢å¼if(!q.unlink(r))break;//restartr=q.right;//rereadrcontinue;}//å½åæ¥æ¾çkeyæ¯rèç¹çkey大ï¼æ以rãqèç¹é½åå³ç§»å¨if(cpr(cmp,key,k)>0){ q=r;r=r.right;continue;}}//å½qçä¸æ¹ç´¢å¼èç¹ä¸ºç©ºï¼å说æå·²ç»å°æ°æ®èç¹å±äºï¼éè¦éåºè¿è¡åç»æ¥æ¾å¤çif((d=q.down)==null)returnq.node;/***æ¤æ¶å½åæ¥æ¾çkeyå°äºrèç¹çkeyï¼éè¦å¾ä¸ä¸çº§ç´¢å¼æ¥æ¾*dèç¹èµå¼ä¸ºä¸ºqèç¹ä¸ºæ£ä¸æ¹èç¹ï¼å³ä¸ä¸çº§ç´¢å¼çæ£ä¸æ¹èç¹*/q=d;r=d.right;}}}findPredecessoræ¹æ³çæ¥æ¾è¿ç¨å¾ç¤ºå¦ä¸ï¼å设è¦æ¥æ¾èç¹6
ç±äºå½årèç¹çkeyæ¯æ¥è¯¢çkeyå°ï¼æ以ï¼rãqèç¹é½åå³ç§»å¨ï¼å³æ§è¡å¦ä¸ä»£ç ï¼
//å½åæ¥æ¾çkeyæ¯rèç¹çkey大ï¼æ以rãqèç¹é½åå³ç§»å¨if(cpr(cmp,key,k)>0){ q=r;r=r.right;continue;}æ¤æ¶rèç¹æåçæ°æ®èç¹ä¸ºï¼èç¹çkeyæ¯6èç¹çkey大ï¼æ¤æ¶éè¦æ§è¡å¦ä¸ä»£ç ï¼
/***æ¤æ¶å½åæ¥æ¾çkeyå°äºrèç¹çkeyï¼éè¦å¾ä¸ä¸çº§ç´¢å¼æ¥æ¾*dèç¹èµå¼ä¸ºä¸ºqèç¹ä¸ºæ£ä¸æ¹èç¹ï¼å³ä¸ä¸çº§ç´¢å¼çæ£ä¸æ¹èç¹*/q=d;r=d.right;æ¤æ¶rèç¹æåçæ°æ®èç¹ä¸º5ï¼5èç¹çkeyæ¯6èç¹çkeyå°ï¼qãrèç¹åå³ç§»å¨ï¼å¦ä¸å¾æ示
æ¤æ¶rèç¹æåçæ°æ®èç¹ä¸ºï¼èç¹çkeyæ¯6èç¹çkey大ï¼åçéè¦å¾ä¸çº§ç´¢å¼èµ°ï¼å¦ä¸å¾æ示ï¼
æ¤æ¶rèç¹æåçæ°æ®èç¹ä¸ºï¼èç¹çkeyæ¯6èç¹çkey大ï¼åçéè¦å¾ä¸çº§ç´¢å¼èµ°ï¼ä½æ¯æ¤æ¶ä¸ä¸çº§ç´¢å¼ä¸ºç©ºäºï¼å³(d = q.down) == nulläºï¼æ¤æ¶æ§è¡ç代ç å¦ä¸ï¼ è¿åqç´¢å¼æåçèç¹ï¼å³è¿åèç¹5.
//å½qçä¸æ¹ç´¢å¼èç¹ä¸ºç©ºï¼å说æå·²ç»å°æ°æ®èç¹å±äºï¼éè¦éåºè¿è¡åç»æ¥æ¾å¤çif((d=q.down)==null)returnq.node;以ä¸å°±æ¯æ¹æ³findPredecessorçæ¥æ¾æµç¨ï¼å±ä»¬æ¥ç继ç»çä¸é¢çdoGetæ¹æ³
/***Specialvalueusedtoidentifybase-levelheader*/privatestaticfinalObjectBASE_HEADER=newObject()0é¦å åå§åbãnãfä¸ä¸ªèç¹ï¼å¦ä¸å¾æ示
åç°æ¤æ¶nèç¹æåçèç¹å°±æ¯è¦æ¥è¯¢çèç¹ï¼äºæ¯æ§è¡å¦ä¸ä»£ç ï¼
/***Specialvalueusedtoidentifybase-levelheader*/privatestaticfinalObjectBASE_HEADER=newObject()1ç´æ¥è¿ånèç¹çvalueå¼ãæ¥è¯¢æä½å®æã
æå ¥è·³è·è¡¨çæå ¥æä½å以ä¸åç§æ åµï¼
æ åµ1ï¼è·³è·è¡¨å åå¨keyä¸è´å ç´ ï¼åæ¿æ¢
æ åµ2ï¼æå ¥æ°å ç´ ï¼æ é¡»ç»æ°å ç´ çæç´¢å¼èç¹
æ åµ3ï¼æå ¥æ°å ç´ ï¼éè¦ç»æ°å ç´ çæç´¢å¼èç¹ï¼ä¸ç´¢å¼é«åº¦ < maxLevel
æ åµ4ï¼æå ¥æ°å ç´ ï¼éè¦ç»æ°å ç´ çæç´¢å¼èç¹ï¼ä¸ç´¢å¼é«åº¦ > maxLevel
æºç å¦ä¸ï¼
/***Specialvalueusedtoidentifybase-levelheader*/privatestaticfinalObjectBASE_HEADER=newObject()2é¦å è¿æ¯è·æ¥è¯¢æä½ç±»ä¼¼ï¼è°ç¨findPredecessoræ¹æ³å æ¥æ¾å°å¾ æå ¥keyçå驱èç¹ï¼ä¸¾ä¸ªä¾åï¼ä¾å¦æ们æ³è¦æå ¥èç¹7ï¼å¦ä¸å¾æ示ï¼
æ¥çè·æ¥è¯¢æä½ä¸æ ·çæ¥éª¤å¦ä¸ï¼ç´æ¥çå¾ï¼
æ¤æ¶rèç¹æåæ°æ®èç¹1ï¼èç¹1çkeyå°äºå¾ æå ¥çèç¹7çkeyï¼äºæ¯èç¹qãråæ¶åå³ç§»å¨ã
æ¤æ¶rèç¹æåæ°æ®èç¹ï¼èç¹çkey大äºå¾ æå ¥èç¹7çkeyï¼äºæ¯å¾ä¸ä¸å±ç´¢å¼ç»§ç»æ¥æ¾ï¼æ§è¡ç代ç å¦ä¸ï¼
/***Specialvalueusedtoidentifybase-levelheader*/privatestaticfinalObjectBASE_HEADER=newObject()3åé¢çæä½ç±»ä¼¼
æ¤æ¶rèç¹çkey大äºå¾ æå ¥çèç¹6çkeyï¼ä½æ¯qèç¹çdownæé已为空ï¼æ¤æ¶ç´æ¥è¿åqèç¹æåçèç¹5ã
æ¥çåå°doPutæ¹æ³ï¼å æ¥æ¥çouter循ç¯ï¼å¦ä¸ï¼
/***Specialvalueusedtoidentifybase-levelheader*/privatestaticfinalObjectBASE_HEADER=newObject()4é¦å åå§åä¸ä¸ªèç¹bãnãfï¼nèç¹ä¸ºbèç¹çä¸ä¸ä¸ªèç¹ï¼èfèç¹ä¸ºnèç¹çä¸ä¸ä¸ªèç¹ï¼å¦ä¸å¾æ示
æ¥çæ¯è¾èç¹nä¸å¾ æå ¥çkeyç大å°ï¼æ¤æ¶nèç¹çkeyå°äºå¾ æå ¥èç¹çkeyï¼äºæ¯bãnãfä¸ä¸ªèç¹ååä¸ç§»å¨å¦ä¸å¾æ示
æ¤æ¶nèç¹çkey大äºå¾ æå ¥çkeyï¼æ¤æ¶æ§è¡å¦ä¸ä»£ç ï¼éè¿casæ¹å¼ä¿®æ¹bèç¹çä¸ä¸ä¸ªèç¹ä¸ºzèç¹ï¼æ¥çè·³åºouter循ç¯ã
/***Specialvalueusedtoidentifybase-levelheader*/privatestaticfinalObjectBASE_HEADER=newObject()5ç¶åæ们ç¥édoPutå©ä¸ç代ç æ éå°±æ¯å¤ææ¯å¦ç»æ°æå ¥çèç¹zå建索å¼ï¼å¦æéè¦å建对åºçç´¢å¼ã
é¦å éè¿int rnd = ThreadLocalRandom.nextSecondarySeed();计ç®åºä¸ä¸ªéæºæ°ï¼æ¥çè¿è¡å¦ä¸å¤æï¼
/***Specialvalueusedtoidentifybase-levelheader*/privatestaticfinalObjectBASE_HEADER=newObject()6å¦ærnd & 0x) == 0å°±ç»æ°æå ¥çzèç¹å建索å¼ï¼æ们ç¥é0x = å³æé«ä½åæåä¸ä½ä¸º1ï¼å ¶ä½å ¨é¨æ¯0ï¼
æ¡ä»¶ï¼(rnd & 0x) == 0ä»ä¹æ¶åæç«ï¼
rndè¿ä¸ªéæºæ°æä½ä½åæé«ä½åæ¶æ¯0çæ¶åï¼æ¡ä»¶æç«ï¼æ¦çæ¯1/4
举个ä¾åï¼ä¾å¦rnd = = 3æ¡ä»¶å°±æç«ã
å¦ææ¡ä»¶æç«çè¯ï¼æ¥ç计ç®å°åºç»zèç¹å建å 级索å¼ï¼ä»£ç å¦ä¸ï¼
/***Specialvalueusedtoidentifybase-levelheader*/privatestaticfinalObjectBASE_HEADER=newObject()7éè¿whileæ¡ä»¶((rnd >>>= 1) & 1) != 0满足å 次就å建å 级索å¼ãä¾å¦ï¼
rnd = 计ç®åºæ¥çlevel => 3
rnd = 计ç®åºæ¥çlevel => 8
ç¶åæ¥çæ¯è¾è®¡ç®åºæ¥çzèç¹çç´¢å¼è·ç°æçè·³è·è¡¨çç´¢å¼çº§å«å¤§å°ã
æ åµä¸ï¼zèç¹è®¡ç®åºæ¥çç´¢å¼levelæ¯è·³è·è¡¨çlevelå°
æ åµäºï¼zèç¹è®¡ç®å¤ççç´¢å¼levelæ¯è·³è·è¡¨çlevel大ãæ¤æ¶ä¼éæ©æç»çlevel为åæ¥çè°è¡¨çlevel + 1
æ åµä¸
ç»zèç¹å建索å¼çæ¥éª¤å¦ä¸å¾æ示ï¼æ¤æ¶zèç¹çç´¢å¼è¿æ²¡æå å ¥è·³è·è¡¨ç°æçç´¢å¼éåä¸
æ¥ç继ç»æ§è¡splice循ç¯ï¼ä»£ç å¦ä¸ï¼
/***Specialvalueusedtoidentifybase-levelheader*/privatestaticfinalObjectBASE_HEADER=newObject()8åå§åqãrèç¹å¦ä¸å¾æ示
æ¤æ¶rèç¹çkeyæ¯æ°æå ¥zèç¹ï¼å³7èç¹å°ï¼äºæ¯ä¸¤ä¸ªèç¹qãté½åå³ç§»å¨å¦ä¸å¾æ示
æ¤æ¶rèç¹çkeyæ¯æ°æå ¥zèç¹ï¼å³7èç¹å¤§ï¼æ§è¡å¦ä¸ä»£ç ï¼
/***Specialvalueusedtoidentifybase-levelheader*/privatestaticfinalObjectBASE_HEADER=newObject()9æ¤æ¶rèç¹çkeyæ¯æ°æå ¥zèç¹ï¼å³7èç¹å°ï¼äºæ¯ä¸¤ä¸ªèç¹qãté½åå³ç§»å¨å¦ä¸å¾æ示
æ¤æ¶rèç¹çkeyæ¯æ°æå ¥zèç¹ï¼å³7èç¹å¤§,åçï¼ç´æ¥çå¾
æ åµäº
è·æ åµä¸ç±»ä¼¼ï¼è¿éå°±ä¸ä¸ä¸ç»å¾äº
å é¤å é¤æ¹æ³å®æçä»»å¡å¦ä¸ï¼
设置æå®å ç´ value为null
å°æå®nodeä»nodeé¾è¡¨ç§»é¤
å°æå®nodeçindexèç¹ ä» å¯¹åºç index é¾è¡¨ç§»é¤
/***æ°æ®èç¹*/staticfinalclassNode<K,V>{ finalKkey;//æ°æ®èç¹çkeyvolatileObjectvalue;//æ°æ®èç¹çvaluevolatileNode<K,V>next;//æåä¸ä¸ä¸ªæ°æ®èç¹/***Createsanewregularnode.*/Node(Kkey,Objectvalue,Node<K,V>next){ this.key=key;this.value=value;this.next=next;}}0åæ ·ï¼é¦å éè¿findPredecessoræ¹æ³æ¥æ¾å°è¦å é¤keyçå驱èç¹ï¼å°±ä¸ä¸ä¸ç»å¾äºï¼ç´æ¥çæ¾å°çå驱èç¹çå¾ï¼å¦ä¸ï¼
æ¥æ¯è¾nèç¹çkeyä¸å¾ å é¤çkeyç大å°ï¼æ¤æ¶nèç¹çkeyå°äºå¾ å é¤çkeyï¼å³7èç¹çkeyï¼äºæ¯å°bãnãfä¸ä¸ªèç¹é½åå³ç§»å¨ï¼å¦ä¸å¾ï¼
æ¤æ¶nèç¹çkeyè·å¾ å é¤çkeyä¸æ ·ï¼äºæ¯æ§è¡å¦ä¸ä»£ç ï¼
/***æ°æ®èç¹*/staticfinalclassNode<K,V>{ finalKkey;//æ°æ®èç¹çkeyvolatileObjectvalue;//æ°æ®èç¹çvaluevolatileNode<K,V>next;//æåä¸ä¸ä¸ªæ°æ®èç¹/***Createsanewregularnode.*/Node(Kkey,Objectvalue,Node<K,V>next){ this.key=key;this.value=value;this.next=next;}}1æååè°ç¨findPredecessoræ¸ æ¥æ æçç´¢å¼ï¼å³ä¸é¢å é¤çèç¹çç´¢å¼ã
/***æ°æ®èç¹*/staticfinalclassNode<K,V>{ finalKkey;//æ°æ®èç¹çkeyvolatileObjectvalue;//æ°æ®èç¹çvaluevolatileNode<K,V>next;//æåä¸ä¸ä¸ªæ°æ®èç¹/***Createsanewregularnode.*/Node(Kkey,Objectvalue,Node<K,V>next){ this.key=key;this.value=value;this.next=next;}}2éç¹é å¦ä¸ä»£ç åå é¤ç´¢å¼çï¼
/***æ°æ®èç¹*/staticfinalclassNode<K,V>{ finalKkey;//æ°æ®èç¹çkeyvolatileObjectvalue;//æ°æ®èç¹çvaluevolatileNode<K,V>next;//æåä¸ä¸ä¸ªæ°æ®èç¹/***Createsanewregularnode.*/Node(Kkey,Objectvalue,Node<K,V>next){ this.key=key;this.value=value;this.next=next;}}3æ们ç¥éå¨ä¸é¢å·²ç»å°å¾ å é¤ç7èç¹çvalue置为nulläºï¼ç´æ¥çå¾ï¼
æ¤æ¶rèç¹çkeyå°äºå¾ å é¤èç¹çkeyï¼äºæ¯rãqèç¹é½åå³ç§»å¨ã
æ¤æ¶r,nèç¹æåçæ°æ®èç¹çvalueå¼ä¸ºnulläºæ¯æ§è¡ä¸é¢çq.unlink(r)代ç ï¼å°qçå³æéæårçå³æéæåçèç¹ï¼å³å°±æ¯å é¤äºè¯¥levelä¸ç7èç¹çç´¢å¼èç¹ï¼å¦ä¸å¾æ示
æ¤æ¶rèç¹çkey大äºå¾ å é¤èç¹çkeyï¼äºæ¯å¾ä¸ä¸ç´¢å¼èµ°ï¼å¦ä¸å¾æ示
æ¤æ¶rèç¹çkeyå°äºå¾ å é¤èç¹çkeyï¼äºæ¯rãqèç¹é½åå³ç§»å¨ã
æ¤æ¶r,nèç¹æåçæ°æ®èç¹çvalueå¼ä¸ºnulläºæ¯æ§è¡ä¸é¢çq.unlink(r)代ç ï¼å°qçå³æéæårçå³æéæåçèç¹ï¼å³å°±æ¯å é¤äºè¯¥levelä¸ç7èç¹çç´¢å¼èç¹ï¼å¦ä¸å¾æ示
åç»æä½åçï¼æç»å°7èç¹çç´¢å¼ä¸ä¸å é¤å®ï¼æç»çå¾ä¸æ示
一次由 RocketMQ 顺序消费延迟的问题定位
昨晚,我们接收到线上业务消费消息的报警,发现消息延迟了秒。查看RocketMQ监控,发现消息积压较多。从RocketMQ控制台查看Topic的消费者,发现业务要求有序消费,因此在发送和消费时均使用了顺序模式,并指定了业务Key。
RocketMQ集群中有三个Broker,每个Broker有8个ReadQueue和WriteQueue。发送消息时使用WriteQueue返回路由信息,消费时使用ReadQueue返回路由信息。物理文件层面只有WriteQueue创建文件,设置WriteQueueNum为8,ReadQueueNum为4,将创建8个文件夹,代表0到7这8个队列。但消费时,路由信息返回4个,实际只会消费0到3的队列消息,4到7队列未被消费。反之,设置WriteQueueNum为4,ReadQueueNum为8,生产时只会往0到3队列中生产,消费时则会从所有队列0到7中消费,但4到7队列实际上没有消息。我们通常设置这两个值相同,只有在需要调整Topic队列数量时才会不同。
首先,我们猜测是消费线程卡住了。通过JFR采集,我们未发现应用异常。接下来,我们关注RocketMQ的日志信息。由于消息发送时指定了hashKey,通过hashKey可以定位到是哪个Broker。我们找到了消息的hashKey,并通过代码定位到是Broker-2上的队列5。我们查看Broker-2的日志,发现lock.log中有异常记录,持续了秒左右,与线程park时间和消息延迟相符合。
异常日志表明,一个实例尝试锁住queueId=5失败,因为另一个实例正在持有这个锁。接下来,我们深入分析RocketMQ多队列顺序消费的原理。为了实现多队列顺序消费,首先需要指定hashKey,消息会被放入特定队列,消费者在单线程消费时保证同一队列内有序。
为了确保每个队列单线程消费,Broker维护一个ConcurrentMap,锁对象LockEntry包含多个字段。RebalanceLockManager类处理客户端发送的LOCK_BATCH_MQ请求,封装为LockEntry并尝试更新Map。如果更新成功,表示获取到锁;失败则未获取锁。Broker的更新逻辑较为复杂,详情可查看源码或跳过,不影响理解。每个MQ客户端定时发送LOCK_BATCH_MQ请求,并在本地维护获取到锁的队列列表。
在问题中,客户端发送LOCK_BATCH_MQ的间隔默认为秒,Broker端锁过期时间为秒。我们的集群使用k8s进行容器编排,并具有实例迁移功能。在高压力场景下,集群自动扩容Node,创建新的服务实例。当压力较小,Node回收时,未等待ConsumeMessageOrderlyService关闭,导致锁未主动释放。锁过期后,新实例才开始消费队列,引发问题。
为解决此问题,需调整客户端发送LOCK_BATCH_MQ的间隔和Broker锁过期时间。同时,优化k8s集群管理策略,避免实例迁移导致的锁未释放问题。通过优化配置和管理,可以有效解决RocketMQ多队列顺序消费延迟的问题。
linkedmultivaluemapè·åkeyçå¼
éè¿keyæ¾å°çå¼æ¯éå
å¨LinkedMultiValueMapæºç ä¸å¹¶æ²¡æ对并åè¿è¡å¤çæ以è¿ä¸ªéååå¨ç线ç¨å®å ¨é®é¢ï¼å¹¶åæ¡ä»¶ä¸éè¦å¯¹å ¶å¤çï¼æå°è£ ï¼ä¹å¯ä»¥å ¶ä»çéå代æ¿æ¥è¾¾å°éæ±éè¦
2024-12-24 00:59
2024-12-24 00:25
2024-12-24 00:10
2024-12-23 23:36
2024-12-23 23:06