1.EMQX-简介、安装部署、基础功能、python代码测试
2.culery是什么意思?
3.CentOS7下RabbitMQ安装配置
EMQX-简介、安装部署、基础功能、源码如何转换为lua文件python代码测试
MQTT属于是物联网的通信协议,在MQTT协议中有两大角色:客户端(发布者/订阅者),服务端(Mqtt broker);针对客户端和服务端需要有遵循该协议的的具体实现,EMQ/EMQX就是MQTT Broker的一种实现。
EMQX是基于 Erlang/OTP 平台开发的 MQTT 消息服务器,是开源社区中最流行的 MQTT 消息服务器。EMQ X 是开源百万级分布式 MQTT 消息服务器(MQTT Messaging Broker),用于支持各种接入标准 MQTT协议的设备,实现从设备端到服务器端的消息传递,以及从服务器端到设备端的设备控制消息转发。从而实现物联网设备的数据采集,和对设备的操作和控制。
到目前为止,比较流行的 MQTT Broker 有几个:使用 C 语言实现的 MQTT Broker,使用 Erlang 语言开发的 MQTT Broker,使用 Node.JS 开发的 MQTT Broker,同样使用 Erlang 开发的 MQTT Broker。从支持 MQTT5.0、稳定性、扩展性、集群能力等方面考虑,EMQX 的表现应该是最好的。
与别的MQTT服务器相比EMQ X 主要有以下的特点:经过+版本的迭代,EMQ X 目前为开源社区中最流行的 MQTT 消息中间件,在各种客户严格的sinvoice源码生产环境上经受了严苛的考验;支持丰富的物联网协议,包括 MQTT、MQTT-SN、CoAP、 LwM2M、LoRaWAN 和 WebSocket等;优化的架构设计,支持超大规模的设备连接。企业版单机能支持百万的 MQTT 连接;集群能支持千万级别的 MQTT 连接;易于安装和使用;灵活的扩展性,支持企业的一些定制场景;中国本地的技术支持服务,通过微信、QQ等线上渠道快速响应客户需求;基于 Apache 2.0 协议许可,完全开源。EMQ X 的代码都放在 Github 中,用户可以查看所有源代码;EMQ X 3.0 支持 MQTT 5.0 协议,是开源社区中第一个支持 5.0协议规范的消息服务器,并且完全兼容 MQTT V3.1 和 V3.1.1 协议。除了 MQTT 协议之外,EMQ X 还支持别的一些物联网协议;单机支持百万连接,集群支持千万级连接;毫秒级消息转发。EMQ X 中应用了多种技术以实现上述功能;利用 Erlang/OTP 平台的软实时、高并发和容错(电信领域久经考验的语言);全异步架构;连接、会话、路由、集群的分层设计;消息平面和控制平面的分离等;扩展模块和插件,EMQ X 提供了灵活的扩展机制,可以实现私有协议、认证鉴权、数据持久化、桥接发和管理控制台等的扩展;桥接:EMQ X 可以跟别的消息系统进行对接,比如 EMQ X Enterprise 版本中可以支持将消息转发到 Kafka、RabbitMQ 或者别的本田源码 EMQ 节点等;共享订阅:共享订阅支持通过负载均衡的方式在多个订阅者之间来分发 MQTT 消息。比如针对物联网等 数据采集场景,会有比较多的设备在发送数据,通过共享订阅的方式可以在订阅端设置多个订阅者来实现这几个订阅者之间的工作负载均衡。
典型的物联网平台包括设备硬件、数据采集、数据存储、分析、Web / 移动应用等。EMQX 位于数据采集这一层,分别与硬件和数据存储、分析进行交互,是物联网平台的核心:前端的硬件通过 MQTT 协议与位于数据采集层的 EMQX 交互,通过 EMQX 将数据采集后,通过 EMQX 提供的数据接口,将数据保存到后台的持久化平台中(各种关系型数据库和 NOSQL 数据库),或者流式数据处理框架等,上层应用通过这些数据分析后得到的结果呈现给最终用户。
EMQX 公司主要提供三个产品,可在官网首页产品导航查看每一种产品;主要体现在支持的连接数量、产品功能和商业服务等方面的区别。
完整的 MQTT V3.1/V3.1.1 及 V5.0 协议规范支持;QoS0, QoS1, QoS2 消息支持;持久会话与离线消息支持;Retained 消息支持;Last Will 消息支持;TCP/SSL 连接支持;MQTT/WebSocket/SSL 支持;HTTP 消息发布接口支持;$SYS/# 系统主题支持;客户端在线状态查询与订阅支持;客户端 ID 或 IP 地址认证支持;用户名密码认证支持;LDAP 认证;Redis、MySQL、PostgreSQL、MongoDB、HTTP 认证集成;浏览器 Cookie 认证;基于客户端 ID、IP 地址、用户名的访问控制 (ACL);多服务器节点集群 (Cluster);支持 manual、mcast、dns、etcd、源码投掷k8s 等多种集群发现方式;网络分区自动愈合;消息速率限制;连接速率限制;按分区配置节点;多服务器节点桥接 (Bridge);MQTT Broker 桥接支持;Stomp 协议支持;MQTT-SN 协议支持;CoAP 协议支持;Stomp/SockJS 支持;延时 Publish ($delay/topic);Flapping 检测;黑名单支持;共享订阅 ($share/:group/topic);TLS/PSK 支持;规则引擎;空动作 (调试);消息重新发布;桥接数据到 MQTT Broker;检查 (调试);发送数据到 Web 服务。
EMQ X 目前支持的操作系统:Centos6、Centos7、OpenSUSE tumbleweed、Debian 8、Debian 9、Debian 、Ubuntu .、Ubuntu .、Ubuntu .、macOS .、macOS .、macOS .、Windows Server 。产品部署建议 Linux 服务器,不推荐 Windows 服务器。安装的方式有很多种,可供自由选择:Shell脚本安装、包管理器安装、二进制包安装、ZIP压缩包安装、Homebrew安装、Docker运行安装、Helm安装、源码编译安装。
Dashboard界面查看基本信息。
身份认证是大多数应用的重要组成部分,MQTT 协议支持用户名密码认证,启用身份认证能有效阻止非法客户端的连接。EMQ X 中的judgeonline 源码认证指的是当一个客户端连接到 EMQ X 的时候,通过服务器端的配置来控制客户端连接服务器的权限。EMQ X 的认证支持包括两个层面:MQTT 协议本身在 CONNECT 报文中指定用户名和密码,EMQ X 以插件形式支持基于 Username、ClientID、HTTP、JWT、LDAP 及各类数据库如 MongoDB、MySQL、PostgreSQL、Redis 等多种形式的认证;在传输层上,TLS 可以保证使用客户端证书的客户端到服务器的身份验证,并确保服务器向客户端验证服务器证书。也支持基于 PSK 的 TLS/DTLS 认证。
EMQ X 支持使用内置数据源(文件、内置数据库)、JWT、外部主流数据库和自定义 HTTP API 作为身份认证数据源。连接数据源、进行认证逻辑通过插件实现的,每个插件对应一种认证方式,使用前需要启用相应的插件。客户端连接时插件通过检查其 username/clientid 和 password 是否与指定数据源的信息一致来实现对客户端的身份认证。(v5.0以上默认集成)EMQ X 支持的认证方式:内置数据源、外部数据库、其他。认证结果:认证成功、认证失败、忽略认证(ignore)。
EMQ X 默认配置中启用了匿名认证,任何客户端都能接入 EMQ X。没有启用认证插件或认证插件没有显式允许/拒绝(ignore)连接请求时,EMQ X 将根据匿名认证启用情况决定是否允许客户端连接。
可以订阅多个主题。
安装 paho-mqtt:导入 Paho MQTT 客户端。
通过TCP连接:设置 broker、port、topic、client_id,连接 MQTT Broker。
通过SSL/TLS连接:设置 broker、port、topic、client_id,连接 MQTT Broker,使用 CA certificate,设置用户名密码。
订阅主题:设置 on_message 回调函数,当收到消息时执行。
取消订阅:通过以下代码取消订阅,此时应指定取消订阅的主题。
发布消息:通过以下代码发布消息,设置消息内容、主题,调用 publish 方法。
接收消息:通过以下代码指定客户端对消息事件进行监听,并在收到消息后执行回调函数,将接收到的消息及其主题打印到控制台。
断开连接:如客户端希望主动断开连接,可以通过如下代码实现。
完整代码:导入 random、time、paho.mqtt.client as mqtt_client,设置 broker、port、topic、client_id,连接 MQTT Broker,设置 on_connect 回调函数,设置 publish 回调函数,运行客户端。
culery是什么意思?
Culery是一个流行的Python任务队列工具,专为异步处理设计,旨在简化并发任务并提高效率。它支持周期性任务调度,消除阻塞,并允许并行处理多个任务。 Culery可以与各种消息代理集成,如RabbitMQ和Redis,以协调工作进程。它特别适用于大规模应用程序、Web应用和分布式系统。
Culery适用于多种异步处理需求,包括发送电子邮件、生成在线报告、处理图像和音频文件等。它也适用于编写网络爬虫、处理大型数据集或分布式系统中的任务。长远来看,Culery有助于降低成本、提高效率,并使应用程序更加灵活和可扩展。
要学习Culery,您需要具备Python基础和基本的编程知识。您可以从Python官网下载和安装Culery,并查阅官方文档以获取更多信息和示例。您还可以在GitHub上查看源代码,并通过在线教程掌握Culery的使用。参加相关的Python会议和学术会议也有助于深入了解Culery。掌握Culery技能将为您打开众多职业机会。
CentOS7下RabbitMQ安装配置
在 CentOS 7 下安装并配置 RabbitMQ 的过程涉及多个步骤,从安装依赖到配置环境直至启动和管理服务。以下为详细步骤,以确保顺利搭建 RabbitMQ 环境。 首先,确保系统环境符合 RabbitMQ 运行需求。建议使用 root 用户进行操作,以确保软件在系统中正确安装。1. 下载安装包
安装过程分为 Erlang 和 RabbitMQ 两个部分。Erlang 是 RabbitMQ 的运行基础。1.1 安装 Erlang
访问 Erlang 官方仓库,下载最新版安装包。
运行以下命令安装依赖库:
yum -y install gcc glibc-devel make ncurses-devel openssl-devel xmlto perl wget gtk2-devel binutils-devel
下载并解压 Erlang 安装包到指定目录,例如 /home/erlang。
配置安装路径和目录结构,执行相应命令。
执行安装命令并添加环境变量,使 Erlang 可以在系统中使用。
验证 Erlang 安装是否成功,运行 erl 和 crypto:start() 命令。
1.2 解决 Erlang 安装问题
如果遇到 Erlang 安装失败,特别是与 openssl 兼容性问题,需重新编译 openssl。下载 openssl-1.0.2k 源码包,解压并进入目录。
配置新安装的 openssl 路径,执行相应命令。
在 Makefile 中修改 CFLAG 参数,包含 -fPIC 选项。
重新编译并安装 openssl。
确保 Erlang 源码目录已清洁,然后重新配置并编译 Erlang。
2. 安装 RabbitMQ
完成 Erlang 安装后,下载 RabbitMQ 安装包,解压并配置环境变量。2.1 解压并配置 RabbitMQ
解压 RabbitMQ 安装包,解压命令通常为:
/bin/xz -d rabbitmq-server-generic-unix-3.7..tar.xz
解压并移动至指定目录。
修改环境变量以使 RabbitMQ 可在系统中执行。
3. 启动与配置服务
设置 RabbitMQ 服务,启动并配置开机启动。3.1 启动服务
使用 `rabbitmq-server -detached` 命令启动 RabbitMQ。
检查服务状态,使用 `rabbitmqctl status` 命令。
停止服务,使用 `rabbitmqctl stop` 命令。
3.2 开启访问端口
使用防火墙命令开启端口 和 。
重启防火墙以使配置生效。
3.3 开启管理控制台
激活 RabbitMQ 管理插件。
通过 IP 地址 .0.0.1: 访问控制台,默认用户为 guest。
3.4 配置用户权限
添加用户,设置密码,分配权限,包括访问、操作和发布消息等。通过命令列表查看所有用户。
使用 `rabbitmqctl add_user` 命令添加新用户。
设置用户权限,包括访问范围和操作权限。
使用 `rabbitmqctl set_permissions` 命令配置权限。
3.5 测试远程访问
在配置用户权限后,重启 RabbitMQ 服务,使用新用户名密码登录控制台。通过 IP 地址访问 RabbitMQ 控制台。
验证权限和功能是否按预期工作。
总结
遵循以上步骤,在 CentOS 7 环境下成功安装并配置 RabbitMQ。确保所有服务正常运行,并根据实际需求调整权限设置,以优化系统安全性和性能。