Hadoop集群间文件拷贝
本文介绍distcp的使用、注意事项，最后从源码上简要分析其工作原理和模式。
distcp使用
DistCp Version 2(分布式copy)是用于集群间/集群内的文件copy工具，
使用MapReduce实现分布式、错误处理、恢复和报告。distCp会根据目录文件生成map任务，
每一个任务会
...
基于Redis的消息队列
发表于
|
阅读次数:
字数统计:
2.3k 字
|
阅读时长 ≈
11 分钟
本文以redis为数据结构基础，配合Spring管理机制，使用java实现了一个轻量级、可配置的消息队列。适合的项目特点：
Spring框架管理对象
有消息需求，但不想维护mq中间件
有使用redis
对消息持久化并没有很苛刻的要求
需要使用rabbitmq实现延迟消息请参考这里
设计方案设计
...
基于docker搭建ELK系统
发表于
|
阅读次数:
字数统计:
1.3k 字
|
阅读时长 ≈
7 分钟
基础镜像 elkbase:v1.0
准备jdk 放在tools文件夹下
准备Dockerfile
FROM centos:latest
MAINTAINER Yampery<yampery@163.com>
VOLUME [ "/opt/product/data/"
...
使用拦截器进行数据加解密
发表于
|
阅读次数:
字数统计:
2.7k 字
|
阅读时长 ≈
13 分钟
本文并非详细探讨AES加解密内容，而是在Spring+Mybatis的项目基础上，以sql拦截器的形式，实现了对数据存取加解密的方案。文章项目示例采用springboot框架，对需要加解密的字段添加注解，sql执行过程中，拦截器进行拦截。可通过配置加解密开关决定是否对字段进行加解密。加密方式AES
...
ambari搭建大数据平台
发表于
|
阅读次数:
字数统计:
2.2k 字
|
阅读时长 ≈
11 分钟
环境准备准备节点
node1: yum源，httpd，mariadb和java8环境
node2: java8环境
node3: java8环境
node4: java8环境
将主机名-ip映射配置到每个节点
/etc/hosts
127.0.0.1 localhost localhost.
...