Hbase 查询Scan速度优化

成果:2020.06.11 两步改完,程序扫描1000万的Hbase从4秒,变成58ms 2020.06.11 第一步:为Scan 设置Family Scan s = new Scan(); s.setFilter(filter1); s.addFamily(Bytes.toBytes("cookie")); 设置Family 速度从1400ms 变成772 ms 依然不够快 第二步:设置扫描范围 一旦可以设置了范围,就快速多了。意味着key要重新设计,带上可以定位 More


大数据日志实时扫描解决方案

困惑的日志实时扫描问题 最近开发了一个监测电商产品点击的监测系统,用最常规的写入日志的方式来记录商品的点击记录(不用Hbase因为文件速度写入更快)。然后今天读取昨天的数据进入Hbase进行统计。计算汇总完毕,Java处理Hbase返回汇总数据给MYSQL。 需求的增加 当我需要加载当天某个产品的1小时内点击情况,我扫描当日文件筛选最后一小时的数据即可。但 More


IntelliJ 打包 第三方包 独立处理

一、本文1到6 讲述了如何简单的不把第三方包打包在一起 二、7到12 讲述了如何设置一个libs把第三方包都丢在一个目录里 三、12以后 讲述了面对多层目录的第三方jar包,如何打包的问题 1. 开发的时候如何引入第三方包 2. 开始打包,先点击项目右键,然后按图选择Open Module Settings 3. 按图中的顺序点击 4. 选择copy那个,res的文件任意 More


Linux 绿色安装java 1.8

此办法适用于任意linux版本 下载对应的版本 https://github.com/frekele/oracle-java/releases 我的是 jdk-8u212-linux-x64.tar.gz tar -zxvf jdk-8u212-linux-x64.tar.gz 出来一个文件夹jdk1.8.0_212 mkdir /opt/jvm 编辑/etc/profile vi /etc/profile 增加以下内容 export JAVA_HOME=/opt/jvm/jdk1.8.0_212 export JRE_HOME=${JA More


Java post Json 格式数据

Java的HashMap 可以方便的转换成json,如果将json传给php,php可以方便的转换成array,json就这样充当了数据传输的角色,当的不错。 package com.javaer.test; import org.apache.http.HttpResponse; import org.apache.http.HttpStatus; import org.apache.http.ParseException; import org.apache.http.client.methods.HttpPost; import org.apache.ht More


Java 解析JSON

package com.javaer.test; import org.json.JSONException; import org.json.JSONObject; import java.io.IOException; import java.util.HashMap; public class JSONTtest { public static void main(String[] args) throws JSONException { //给我一个json串串,我来解析 String jsonStr="{\"request\":\"success\",\"a More


Java 实现 Hbase Scan 按行键范围扫描

数据的设计及更多Hbase查询命令看前一篇Hbase scan扫描大全 数据结构如下 scan 'stu' ROW COLUMN+CELL c1_s1 column=base:name, timestamp=1588153968060, value=jack c1_s2 column=base:name, timestamp=1588153968114, value=jack2 c1_s3 More


Hbase scan 查询命令大全,前缀,模糊,正则

Hbase scan 查询例子数据 stu 学生 列族 base 存储学生姓名,身高基本信息 列族 score 存储成绩 c1_s1 c1 班级 s1 学生编号 create 'stu','base','score' put 'stu','c1_s1','base:name','jack' put 'stu','c1_s2','base:name','jack2' put 'stu','c1_s3','base:name','jack3' put 'stu','c1_s4','base:name','jack4' put 'stu','c2_s1','base More


MAC 上 IntelliJ IDEA 2020 快捷键大全

Mac键盘符号和修饰键说明 ⌘ Command ⇧ Shift ⌥ Option ⌃ Control ↩︎ Return/Enter ⌫ Delete ⌦ 向前删除键(Fn+Delete) ↑ 上箭头 ↓ 下箭头 ← 左箭头 → 右箭头 ⇞ Page Up(Fn+↑) ⇟ Page Down(Fn+↓) Home Fn + ← End Fn + → ⇥ 右制表符(Tab键) ⇤ 左制表符(Shift+Tab) ⎋ Escape (Esc) 一、Editing(编辑) ⌃Space 基本的 More


如何用Intellij idea 2020打包jar

这篇博客,由图片构成,方便我自己记住如何打包,最后一张图带上,如何引入第三方文件 1. 自己鼓捣一个工程,一路新建哈 2.在工程上右键,然后点击Open Moudle Setting 3. 选择 Artifacts 翻译成中文“史前古器物” 看来这个词来自考古学。意思是打包就变成古董了。 4. 顶部的条理,选择 build Artifacts 5. 成功的用Intellij More