思路练习:mysql 三亿条大表如何不影响业务下增加一新列

条件: 3亿数据服务不能停,就是不能影响业务进行 常规操作增加一列,ALTER TABLE 你的表 ADD COLUMN 新列 varchar(128);常规的办法会导致锁表,服务暂停 所以大致思路为 简易过程如下: 新建一个和 Table1 完全同构的 Table2在表 Table2 上执行 ALTER TABLE 你的表 ADD COLUMN 新列 char(128)将 Table1 中的数据拷贝到 Table2,最好用 More


大数据日志实时扫描解决方案

困惑的日志实时扫描问题 最近开发了一个监测电商产品点击的监测系统,用最常规的写入日志的方式来记录商品的点击记录(不用Hbase因为文件速度写入更快)。然后今天读取昨天的数据进入Hbase进行统计。计算汇总完毕,Java处理Hbase返回汇总数据给MYSQL。 需求的增加 当我需要加载当天某个产品的1小时内点击情况,我扫描当日文件筛选最后一小时的数据即可。但 More


Hbase 使用场景及案例

Hbase特点 1. 高速写入:高速写入,对读取需求比较小。 2. 大数据:分布式存储,海量数据搞得定。不用担心无限增长的数据。 3. 可靠:写入的不是内存,是硬盘,高性能 4. 查询简单:不需要复杂查询条件来查询数据的应用,HBase只支持基于rowkey的查询,对于HBase来说,单条记录或者小范围的查询是可以接受的。 Hbase使用场景1:对象存储 我们知道不少的头 More


大数据的4个V 大数据特点

这篇是月小升的翻译文章 人们一致的认识是大数据需要被定义特别的属性,大多数大数据圈子里,人们说4V volume 数量,variety 种类,velocity 速度,veracity 精确度 (你会考虑第一个V value 价格) VOLUME 使数据“大”的主要特征是巨大的信息量。关注最小存储单元是没有意义的,因为信息总量每年都呈指数增长。2010年,汤森路透(Thomson Reuters)在其年度 More


什么是大数据举例说明

目录 1.大数据的定义 2.大数据特点 3.大数据关联技术 4.大数据误区 5.经典的大数据案例 大数据的定义 什么是“大数据”,目前并没有统一的定义。 大数据,指的是所涉及的数据量规模巨大到无法通过主流的工具,在合理的时间内撷取、管理、处理、并整理成为人们所能解读的信息 “。 大,多大算大,月小升觉得所谓得大都是相对的,如果mysql还 More