条件： 3亿数据服务不能停，就是不能影响业务进行 常规操作增加一列，ALTER TABLE 你的表 ADD COLUMN 新列 varchar(128);常规的办法会导致锁表，服务暂停 所以大致思路为 简易过程如下： 新建一个和 Table1 完全同构的 Table2在表 Table2 上执行 ALTER TABLE 你的表 ADD COLUMN 新列 char(128)将 Table1 中的数据拷贝到 Table2，最好用 More
困惑的日志实时扫描问题 最近开发了一个监测电商产品点击的监测系统，用最常规的写入日志的方式来记录商品的点击记录(不用Hbase因为文件速度写入更快)。然后今天读取昨天的数据进入Hbase进行统计。计算汇总完毕，Java处理Hbase返回汇总数据给MYSQL。 需求的增加 当我需要加载当天某个产品的1小时内点击情况，我扫描当日文件筛选最后一小时的数据即可。但 More
Hbase特点 1. 高速写入：高速写入，对读取需求比较小。 2. 大数据：分布式存储，海量数据搞得定。不用担心无限增长的数据。 3. 可靠：写入的不是内存，是硬盘，高性能 4. 查询简单：不需要复杂查询条件来查询数据的应用，HBase只支持基于rowkey的查询，对于HBase来说，单条记录或者小范围的查询是可以接受的。 Hbase使用场景1：对象存储 我们知道不少的头 More
这篇是月小升的翻译文章 人们一致的认识是大数据需要被定义特别的属性，大多数大数据圈子里，人们说4V volume 数量，variety 种类，velocity 速度，veracity 精确度 （你会考虑第一个V value 价格） VOLUME 使数据“大”的主要特征是巨大的信息量。关注最小存储单元是没有意义的，因为信息总量每年都呈指数增长。2010年，汤森路透(Thomson Reuters)在其年度 More
目录 1.大数据的定义 2.大数据特点 3.大数据关联技术 4.大数据误区 5.经典的大数据案例 大数据的定义 什么是“大数据”，目前并没有统一的定义。 大数据，指的是所涉及的数据量规模巨大到无法通过主流的工具，在合理的时间内撷取、管理、处理、并整理成为人们所能解读的信息 “。 大，多大算大，月小升觉得所谓得大都是相对的，如果mysql还 More