YoungLiang

一、Flume介绍1.Flume特点 Flume是一个分布式的、可靠的、高可用的海量日志采集、聚合和传输的系统 数据流模型：Source-Channel-Sink 事务机制保证消息传递的可靠性 内置丰富插件，轻松与其他系统集成 Java实现，优秀的系统框架设计，模块分明，易于开发 Continue reading...

1.登录1cd usr/local/mysql/bin --->./myql -uroot 2.创建数据库1CREATE DATABASE IF NOT EXISTS jxytest DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 3.为用户授权操作数据库1grant all on jxytest.* to 'yxy_jx&ap... Continue reading...

Hadoop Shuffle过程 1.Hadoop MapReduce Shuffle过程 ... Continue reading...

1.查看磁盘具体占用情况12345678910[root@localhost gsidc]# df -hTFilesystem Type Size Used Avail Use% Mounted on/dev/sda3 xfs 92G 21G 72G 23% /devtmpfs devtmpfs 7.8G 0 7.... Continue reading...

集群规划图片 一、Nginx的安装过程1.下载Nginx安装包，安装依赖环境包(1)安装 C++编译环境1yum -y install gcc #C++ (2)安装pcre1y... Continue reading...

Hive由Facebook开源，是一个构建在Hadoop之上的数据仓库将结构化的数据映射成表支持类SQL查询，Hive中称为HQL无法实时更新，只支持向现有表中追加数据。 Hive原理图.png ... Continue reading...

1.检查是否已经具有MariaDB相关安装，并删除已有安装12[root@hadoop01 home]# rpm -qa|grep mariadb #查询已安装包mariadb-libs-5.5.52-1.el7.x86_64 12[root@hadoop01 home]# rpm -e --nodeps mariadb-* # 移除已安装包错误：未安装软件包 mariadb-* 12... Continue reading...

java 实现FastDFS 文件操作1.下载FastClient并实现依赖Jar安装访问余大github项目 地址为fastdfs-client-java下载后导入Idea，修改项目Java编译版本，如图所示： ... Continue reading...

Kafka介绍Kafka是一种高吞吐量的分布式发布订阅消息系统，有如下特性： 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。 支持通过Kafka服务器和消费机集群来分区消息。 支持Hadoop并行数据加载。消息队列的作用 应用程序解耦并行处理 顺序保证 高吞吐率... Continue reading...

此例为在CentOS7.2 单机上搭建一个FastDFS 文件管理系统 FastDFS架构图 安装所需文件均上传到百度云盘，位置：FastDFS百度云盘安装清单如下：|软件名称|版本|... Continue reading...