成果：2020.06.11 两步改完，程序扫描1000万的Hbase从4秒，变成58ms 2020.06.11 第一步：为Scan 设置Family Scan s = new Scan(); s.setFilter(filter1); s.addFamily(Bytes.toBytes("cookie")); 设置Family 速度从1400ms 变成772 ms 依然不够快 第二步：设置扫描范围 一旦可以设置了范围，就快速多了。意味着key要重新设计，带上可以定位 More
困惑的日志实时扫描问题 最近开发了一个监测电商产品点击的监测系统，用最常规的写入日志的方式来记录商品的点击记录(不用Hbase因为文件速度写入更快)。然后今天读取昨天的数据进入Hbase进行统计。计算汇总完毕，Java处理Hbase返回汇总数据给MYSQL。 需求的增加 当我需要加载当天某个产品的1小时内点击情况，我扫描当日文件筛选最后一小时的数据即可。但 More
数据的设计及更多Hbase查询命令看前一篇Hbase scan扫描大全 数据结构如下 scan 'stu' ROW COLUMN+CELL c1_s1 column=base:name, timestamp=1588153968060, value=jack c1_s2 column=base:name, timestamp=1588153968114, value=jack2 c1_s3 More
Hbase scan 查询例子数据 stu 学生 列族 base 存储学生姓名，身高基本信息 列族 score 存储成绩 c1_s1 c1 班级 s1 学生编号 create 'stu','base','score' put 'stu','c1_s1','base:name','jack' put 'stu','c1_s2','base:name','jack2' put 'stu','c1_s3','base:name','jack3' put 'stu','c1_s4','base:name','jack4' put 'stu','c2_s1','base More
开发工具：Eclipse， 三步 1.新建一个项目 2.把hbase安装下的lib的文件都拷贝进来 3.把lib目录下jar文件都引入 4.lib下的client-facing-thirdparty 目录下的jar也都引入 看图 package com.yue; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import java.io More
Hbase特点 1. 高速写入：高速写入，对读取需求比较小。 2. 大数据：分布式存储，海量数据搞得定。不用担心无限增长的数据。 3. 可靠：写入的不是内存，是硬盘，高性能 4. 查询简单：不需要复杂查询条件来查询数据的应用，HBase只支持基于rowkey的查询，对于HBase来说，单条记录或者小范围的查询是可以接受的。 Hbase使用场景1：对象存储 我们知道不少的头 More
$tablename='test'; $atrribute = array(); 1.写入数据 $row = 'stu1'; //行名字 $mutations = array( new Mutation(array( 'column' => 'cf:math', 'value' => '90' )), ); try { $client->mutateRow($tablename, $row, $mutations, $atrribute); } catch (Exception $e) { var_dump($e);//这里自己打log } More
本文测试Hbase写入和系统文件写入性能比较 测试背景： 月小升曾经用文件系统做了个简单的数据监测系统，简单监测商品的曝光和点击。就是把客户浏览的商品ID，cookie之类数据一次一条的写在文件里。后期用java去读那个文件。想着Hbase会不会好一些。 大规模写入测试： 1. 如果写入100000次，少了行数，说明并发报错了。 2. 写入hbase没少，说明没错误 More
做个例子来理解下HBase的数据组织模式 学生成绩单，用name作为一个行键，sex作为一个列族，成绩作为一个列族 说明:列族必须在建立表的时候就固定，后面无法扩展新增，子列可以新增 1. 建立一个表stu, 包含列族为sex,score create 'stu','sex','score' 2. 按设计的表，增加值 put 'stu','lucy','sex:','1' put 'stu','lucy','score:chinese', More
第一部分：Hbase基础查看 1. Hbase版本查看 hbase(main):008:0> version 2.2.3, r6a830d87542b766bd3dc4cfdee28655f62de3974, 2020年 01月 10日 星期五 18:27:51 CST Took 0.0002 seconds 2. Hbase状态查看命令shell hbase(main):009:0> status 1 active master, 0 backup masters, 1 se More