机器磁盘不够了，所以给机器添加一块硬盘，就来学习一下。 一、查看磁盘信息 方法一：lsblk lsblk 可以看到磁盘的分区信息。可以容易的看到机器共有3块硬盘，sda盘有很多个分区。 方法二：fdisk fdisk -l 可以看到磁盘的详细信息。 方法三：df df -h -T 可以看见已经挂载的磁盘的信息及分区格式等。 二、分区 分区使用fdisk工具，但是本人由于太懒，所以就不分区了。 三、创建文件系统 创建文件系统主要使用mkfs工具 mkfs.xfs #创建xfs文件系统 mkfs.ext4…
一、环境 Hadoop集群：使用Ambari搭建 Debug:Windows10 + jdk 1.8.0 +maven 二、步骤 2.1 创建Maven项目 2.2 配置文件 从Ambari中下载Hbase配置文件hbase-site.xml，并放在项目： /src/main/resources/hbase 2.3 将配置路径加入到classpath 2.3 给pom.xml添加依赖 我的pom.xml最终如下： <project xmlns="http://maven.apache.org/POM/4.0.…
1、安装环境说明 安装前请先安装好centos7/jdk/mysql57 #安装常用工具 yum install -y vim wget curl #安装epel yum install -y epel-release #安装java yum install -y java-1.8.0-openjdk.x86_64 yum install -y java-1.8.0-openjdk-devel.x86_64 #安装Mysql57 wget http://dev.mysql.com/get/mysql57-commu…
如题WordCount！ 一、普通版本 1、TokenizerMapper.java package hadooptest2; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache…
Hadoop由Java编写的，所有通过JavaAPI可以调用所有的HDFS的交互操作接口，最常用的是FileSystem类，它是有Hadoop fs 实现。 一、读取文件内容 1、Java.net.URL读取HDFS文件内容 import java.io.InputStream; import java.net.MalformedURLException; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; impo…
由于之前的机器安装了mysql5.6，现在想升级到mysql5.7。 一、卸载mysql-5.6 初级思路： 1、卸载mysql5.6 2、升级到mysql5.7 初级思路遇到的问题： 1、卸载mysql 5.7后，使用Google的方式，安装mysql57-community-release-el7-7.noarch.rpm时遇到了问题，原因是： Error: mysql57-community-release conflicts with mysql-community-release-el7-5.noarch…
需求：由于一张表按照日期水平分表，所以需要定时做一些事情，比如说分表。 表名格式：historydata_XXXX（如history_20170218） 具体需求：每日定时创建后续15天空表。 一、打开mysql 定时任务 方法1：修改my.ini 添加一行： event_scheduler=ON 方法2：命令行状态输入 mysql> set global event_scheduler =1; 二、添加存储过程 1、右键函数，选择新建函数 2、选择‘过程’ 3、该存储过程不用参数 4、输入创建…
有张表，每天会增加很多条数据，但是保存过长的数据不再有意义，所以需要将过期数据删除掉。 非过期数据定义：最新的500条数据 过去数据定义：除了非过期数据的所有数据 表名：historydata_20160901 主键：historydataid SQL语句： delete from historydata_20160902 where historydataid <( select historydataid from ( select historydataid from historydata_20160…
刚用Ambari搭建好Hadoop，就开始写Hello World! 一、背景 1、Hadoop版本 经查看为2.7.1 [root@TJ1-000 ~]# hadoop version Hadoop 2.7.1.2.4.0.0-169 Subversion git@github.com:hortonworks/hadoop.git -r 26104d8ac833884c8776473823007f176854f2eb Compiled by jenkins on 2016-02-10T06:18Z Compile…
首次安装Gitlab时SMTP发送邮件不能使用，当时没太在意，今日发现需要这个功能随探究一下。 一、环境 OS:Centos7 Version:GitLab 8.11.5 二、配置 1、打开/etc/gitlab/gitlab.rb 添加： gitlab_rails['smtp_enable'] = true gitlab_rails['smtp_address'] = "smtp.ym.163.com" gitlab_rails['smtp_port'] = 25 gitlab_rails['smtp_user_…