总结： 单机互斥锁 1. SET KEY Value PX milliseconds NX SET 商品ID 线程ID PX 30000 NX 1.PX 防止锁过期，NX互斥 2.线程ID 记录下来，作为唯一值 3.释放锁验证value，不能让别人的线程，解了别人的锁。 2. 集群锁 RedLock 假设集群5个节点 P1.获取当前Unix时间，毫秒为单位 P2.依次从5台机器，相同的KEY 和 唯一性的Value请求锁，为每 More
CDN 可以有效解决大规模网络流量问题，比如一天上亿PV了，本地集群也做了一主多从，但是主机器也给你搞崩溃了。如果一个IP只对了一个机器，那么这个机器一天上亿，一定崩 还好啊，客户访问的不是IP，是域名，一个域名可不是只能对应一个主机，一个域名可以对应很多主机 CDN简单的比方： CDN就是相当于遍布各个地方的仓储一样，打一个比方，如果你想以最快的速度 More
月小升正在开发一套电商监测系统，发现市面上很难找到类似的开源系统，可能需求太小众。下面的开源系统，大家可以试试，以方便研究其机制。不过抱着怀疑的态度看这些系统比较好。月小升在使用pwiki的过程，就发现丢量比较严重。大约25%的丢量。也许是我配置错了什么，不过总要怀疑态度。没有绝对的精确监测，只能相对准确一些。GA是个良好的参考线，GA丢量很少 More
开发工具：Eclipse， 三步 1.新建一个项目 2.把hbase安装下的lib的文件都拷贝进来 3.把lib目录下jar文件都引入 4.lib下的client-facing-thirdparty 目录下的jar也都引入 看图 package com.yue; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import java.io More
Hbase特点 1. 高速写入：高速写入，对读取需求比较小。 2. 大数据：分布式存储，海量数据搞得定。不用担心无限增长的数据。 3. 可靠：写入的不是内存，是硬盘，高性能 4. 查询简单：不需要复杂查询条件来查询数据的应用，HBase只支持基于rowkey的查询，对于HBase来说，单条记录或者小范围的查询是可以接受的。 Hbase使用场景1：对象存储 我们知道不少的头 More
本文测试Hbase写入和系统文件写入性能比较 测试背景： 月小升曾经用文件系统做了个简单的数据监测系统，简单监测商品的曝光和点击。就是把客户浏览的商品ID，cookie之类数据一次一条的写在文件里。后期用java去读那个文件。想着Hbase会不会好一些。 大规模写入测试： 1. 如果写入100000次，少了行数，说明并发报错了。 2. 写入hbase没少，说明没错误 More
做个例子来理解下HBase的数据组织模式 学生成绩单，用name作为一个行键，sex作为一个列族，成绩作为一个列族 说明:列族必须在建立表的时候就固定，后面无法扩展新增，子列可以新增 1. 建立一个表stu, 包含列族为sex,score create 'stu','sex','score' 2. 按设计的表，增加值 put 'stu','lucy','sex:','1' put 'stu','lucy','score:chinese', More
第一部分：Hbase基础查看 1. Hbase版本查看 hbase(main):008:0> version 2.2.3, r6a830d87542b766bd3dc4cfdee28655f62de3974, 2020年 01月 10日 星期五 18:27:51 CST Took 0.0002 seconds 2. Hbase状态查看命令shell hbase(main):009:0> status 1 active master, 0 backup masters, 1 se More
下载stable版本 http://www.apache.org/dyn/closer.cgi/hbase/ 我下载的时候hbase-2.2.3-bin.tar.gz tar -zvxf hbase-2.2.3-bin.tar.gz cd hbase-2.2.3 决定将HBase写入到哪里目录 vi conf/hbase-site.xml hbase.rootdir /Users/ge/mysoft/hbase-2.2.3/data 设置JAVA_HOME export JAVA_HOME=$(/usr/libexec/java_home) export PATH=$JA More
月小升的博客用了redis加速，防止被攻击，直接把外部端口封死了，本地玩自己的。不过如果redis集群，那么必须开放端口了。好一点的做法是内网集群，只开放局域网IP端口，公网，太危险了。 今年早些时候，安全研究人员警告说，Apache Solr、Redis和Windows服务器可能受到加密器的攻击。 Imperva现在说，现在有太多面向互联网的Redis服务器，其中75%的服 More