网站流量监测开源 Web 分析软件收集

月小升正在开发一套电商监测系统,发现市面上很难找到类似的开源系统,可能需求太小众。下面的开源系统,大家可以试试,以方便研究其机制。不过抱着怀疑的态度看这些系统比较好。月小升在使用pwiki的过程,就发现丢量比较严重。大约25%的丢量。也许是我配置错了什么,不过总要怀疑态度。没有绝对的精确监测,只能相对准确一些。GA是个良好的参考线,GA丢量很少 More


Java 连接Hbase代码 读取,写入,建库

开发工具:Eclipse, 三步 1.新建一个项目 2.把hbase安装下的lib的文件都拷贝进来 3.把lib目录下jar文件都引入 4.lib下的client-facing-thirdparty 目录下的jar也都引入 看图 package com.yue; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import java.io More


Hbase 使用场景及案例

Hbase特点 1. 高速写入:高速写入,对读取需求比较小。 2. 大数据:分布式存储,海量数据搞得定。不用担心无限增长的数据。 3. 可靠:写入的不是内存,是硬盘,高性能 4. 查询简单:不需要复杂查询条件来查询数据的应用,HBase只支持基于rowkey的查询,对于HBase来说,单条记录或者小范围的查询是可以接受的。 Hbase使用场景1:对象存储 我们知道不少的头 More


HBase写入性能测试VS单机文件

本文测试Hbase写入和系统文件写入性能比较 测试背景: 月小升曾经用文件系统做了个简单的数据监测系统,简单监测商品的曝光和点击。就是把客户浏览的商品ID,cookie之类数据一次一条的写在文件里。后期用java去读那个文件。想着Hbase会不会好一些。 大规模写入测试: 1. 如果写入100000次,少了行数,说明并发报错了。 2. 写入hbase没少,说明没错误 More


Hbase数据例子,及shell操作例子

做个例子来理解下HBase的数据组织模式 学生成绩单,用name作为一个行键,sex作为一个列族,成绩作为一个列族 说明:列族必须在建立表的时候就固定,后面无法扩展新增,子列可以新增 1. 建立一个表stu, 包含列族为sex,score create 'stu','sex','score' 2. 按设计的表,增加值 put 'stu','lucy','sex:','1' put 'stu','lucy','score:chinese', More


Hbase 命令行 shell基础

第一部分:Hbase基础查看 1. Hbase版本查看 hbase(main):008:0> version 2.2.3, r6a830d87542b766bd3dc4cfdee28655f62de3974, 2020年 01月 10日 星期五 18:27:51 CST Took 0.0002 seconds 2. Hbase状态查看命令shell hbase(main):009:0> status 1 active master, 0 backup masters, 1 se More


单机Hbase安装及基本命令

下载stable版本 http://www.apache.org/dyn/closer.cgi/hbase/ 我下载的时候hbase-2.2.3-bin.tar.gz tar -zvxf hbase-2.2.3-bin.tar.gz cd hbase-2.2.3 决定将HBase写入到哪里目录 vi conf/hbase-site.xml hbase.rootdir /Users/ge/mysoft/hbase-2.2.3/data 设置JAVA_HOME export JAVA_HOME=$(/usr/li More


攻击者正在利用你的Redis服务器吗?

月小升的博客用了redis加速,防止被攻击,直接把外部端口封死了,本地玩自己的。不过如果redis集群,那么必须开放端口了。好一点的做法是内网集群,只开放局域网IP端口,公网,太危险了。 今年早些时候,安全研究人员警告说,Apache Solr、Redis和Windows服务器可能受到加密器的攻击。 Imperva现在说,现在有太多面向互联网的Redis服务器,其中75%的服 More


大数据的4个V 大数据特点

这篇是月小升的翻译文章 人们一致的认识是大数据需要被定义特别的属性,大多数大数据圈子里,人们说4V volume 数量,variety 种类,velocity 速度,veracity 精确度 (你会考虑第一个V value 价格) VOLUME 使数据“大”的主要特征是巨大的信息量。关注最小存储单元是没有意义的,因为信息总量每年都呈指数增长。2010年,汤森路透(Thomson Reuters)在其年度 More


什么是大数据举例说明

目录 1.大数据的定义 2.大数据特点 3.大数据关联技术 4.大数据误区 5.经典的大数据案例 大数据的定义 什么是“大数据”,目前并没有统一的定义。 大数据,指的是所涉及的数据量规模巨大到无法通过主流的工具,在合理的时间内撷取、管理、处理、并整理成为人们所能解读的信息 “。 大,多大算大,月小升觉得所谓得大都是相对的,如果mysql还 More