皮皮网

1.Alluxio 客户端源码分析
2.java培训主要学什么？
3.要成为一名专业的源码程序员，从零开始需要怎么一步步来比较好，源码要把最底层的源码先学精通吗？(个人认为)求学长
4.大数据技术之Datax
5.如何分布式运行mapreduce程序
6.如何更改 datax 以支持hive 的 DECIMAL 数据类型?

Alluxio 客户端源码分析

       Alluxio是一个用于云分析和人工智能的开源数据编排技术，作为分布式文件系统，源码采用与HDFS相似的源码主从架构。系统中包含一个或多个Master节点存储集群元数据信息，源码投机指标公式源码以及Worker节点管理缓存的源码数据块。本文将深入分析Alluxio客户端的源码实现。

       创建客户端逻辑在类alluxio.client.file.FileSystem中，源码简单示例代码如下。源码

       客户端初始化包括调用FileSystem.Context.create创建客户端对象的源码上下文，在此过程中需要初始化客户端以创建与Master和Worker连接的源码连接池。若启用了配置alluxio.user.metrics.collection.enabled，源码将启动后台守护线程定时与Master节点进行心跳传输监控指标信息。源码同时，源码客户端初始化时还会创建负责重新初始化的后台线程，定期从Master拉取配置文件的哈希值，若Master节点配置发生变化，则重新初始化客户端，期间阻塞所有请求直到重新初始化完成。

       创建具有缓存功能的客户端在客户端初始化后，调用FileSystem.Factory.create进行客户端创建。客户端实现分为BaseFileSystem、MetadataCachingBaseFileSystem和LocalCacheFileSystem三种，其中MetadataCachingBaseFileSystem和LocalCacheFileSystem对BaseFileSystem进行封装，提供元数据和数据缓存功能。BaseFileSystem的装修cms源码破解调用主要分为三大类：纯元数据操作、读取文件操作和写入文件操作。针对元数据操作，直接调用对应GRPC接口（例如listStatus）。接下来，将介绍客户端如何与Master节点进行通信以及读取和写入的流程。

       客户端需要先通过MasterInquireClient接口获取主节点地址，当前有三种实现：PollingMasterInquireClient、SingleMasterInquireClient和ZkMasterInquireClient。其中，PollingMasterInquireClient是针对嵌入式日志模式下选择主节点的实现类，SingleMasterInquireClient用于选择单节点Master节点，ZkMasterInquireClient用于Zookeeper模式下的主节点选择。因为Alluxio中只有主节点启动GRPC服务，其他节点连接客户端会断开，PollingMasterInquireClient会依次轮询所有主节点，直到找到可以连接的节点。之后，客户端记录该主节点，如果无法连接主节点，则重新调用PollingMasterInquireClient过程以连接新的主节点。

       数据读取流程始于BaseFileSystem.openFile函数，首先通过getStatus向Master节点获取文件元数据，然后检查文件是否为目录或未写入完成等条件，若出现异常则抛出异常。寻找合适的Worker节点根据getStatus获取的文件信息中包含所有块的信息，通过偏移量计算当前所需读取的频差估计源码块编号，并寻找最接近客户端并持有该块的Worker节点，从该节点读取数据。判断最接近客户端的Worker逻辑位于BlockLocationUtils.nearest，考虑使用domain socket进行短路读取时的Worker节点地址一致性。根据配置项alluxio.worker.data.server.domain.socket.address，判断每个Worker使用的domain socket路径是否一致。如果没有使用域名socket信息寻找到最近的Worker节点，则根据配置项alluxio.user.ufs.block.read.location.policy选择一个Worker节点进行读取。若客户端和数据块在同一节点上，则通过短路读取直接从本地文件系统读取数据，否则通过与Worker节点建立GRPC通信读取文件。

       如果无法通过短路读取数据，客户端会回退到使用GRPC连接与选中的Worker节点通信。首先判断是否可以通过domain socket连接Worker节点，优先选择使用domain socket方式。创建基于GRPC的块输入流代码位于BlockInStream.createGrpcBlockInStream。通过GRPC进行连接时，每次读取一个chunk大小并缓存chunk，减少RPC调用次数提高性能，chunk大小由配置alluxio.user.network.reader.chunk.size.bytes决定。

       读取数据块完成后或出现异常终止，Worker节点会自动释放针对该块的写入锁。读取异常处理策略是记录失败的Worker节点，尝试从其他Worker节点读取，直到达到重试次数上限或没有可用的Worker节点。

       若无法通过本地Worker节点读取数据，第一源码家则客户端尝试发起异步缓存请求。若启用了配置alluxio.user.file.passive.cache.enabled且存在本地Worker节点，则向本地Worker节点发起异步缓存请求，否则向负责读取该块数据的Worker节点发起请求。

       数据写入流程首先向Master节点发送CreateFile请求，Master验证请求合法性并返回新文件的基本信息。根据不同的写入类型，进行不同操作。如果是THROUGH或CACHE_THROUGH等需要直接写入底层文件系统的写入类型，则选择一个Worker节点处理写入到UFS的数据。对于MUST_CACHE、CACHE_THROUGH、ASYNC_THROUGH等需要缓存数据到Worker节点上的写入类型，则打开另一个流负责将每个写入的块缓存到不同的Worker上。写入worker缓存块流程类似于读取流程，若写入的Worker与客户端在同一个主机上，则使用短路写直接将块数据写入Worker本地，无需通过网络发送到Worker上。数据完成写入后，客户端向Master节点发送completeFile请求，表示文件已写入完成。

       写入失败时，取消当前流以及所有使用过的输出流，删除所有缓存的块和底层存储中的数据，与读取流程不同，写入失败后不进行重试。显示html的源码

       零拷贝实现用于优化写入和读取流程中WriteRequest和ReadResponse消息体积大的问题，通过配置alluxio.user.streaming.zerocopy.enabled开启零拷贝特性。Alluxio通过实现了GRPC的MethodDescriptor.Marshaller和Drainable接口来实现GRPC零拷贝特性。MethodDescriptor.Marshaller负责对消息序列化和反序列化的抽象，用于自定义消息序列化和反序列化行为。Drainable扩展java.io.InputStream，提供将所有内容转移到OutputStream的方法，避免数据拷贝，优化内容直接写入OutputStream的过程。

       总结，阅读客户端代码有助于了解Alluxio体系结构，明白读取和写入数据时的数据流向。深入理解Alluxio客户端实现对于后续阅读其他Alluxio代码非常有帮助。

java培训主要学什么？

       åƒè¿™æ ·çš„问题，我已经回答了很多次，现在很多新手，特别是刚刚入行想学java的同学，不知道该从哪里入手，我是在成都课工场学java入的行，现在已变成老司机，我整理了一些java的知识点，一共分为六个阶段，个技能点，第一阶段、第二阶段、第三阶段、第四阶段是必须要掌握的，很多机构忽悠人，就只学到第四阶段，第五阶段和第六阶段就是高薪、高职的保障，就说说想高薪必须得把后面两个阶段的给掌握了，老铁，觉得合适采纳下啊。

       ç¬¬ä¸€é˜¶æ®µï¼šjava基本功修炼

       1. è®¤è¯†è®¡ç®—机硬件

       2. è®¡ç®—机组成原理

       3. è®¡ç®—机软件知识

       4. è®¡ç®—机网络知识

       5. å¸¸ç”¨ç½‘络应用操作

       6. è®¤è¯†è®¡ç®—机病毒

       7. é€»è¾‘训练

       8. åˆè¯†Java

       9. å˜é‡å’Œæ•°æ®ç±»åž‹

       . é€‰æ‹©ç»“æž„

       . å¾ªçŽ¯ç»“æž„for

       . å¾ªçŽ¯ç»“æž„do-while

       . å¾ªçŽ¯ç»“æž„while

       . å¤šé‡å¾ªçŽ¯åŠç¨‹åºè°ƒè¯•

       . å¾ªçŽ¯è¿›é˜¶

       . ä¸€ç»´æ•°ç»„及经典应用

       . äºŒç»´æ•°ç»„

       . è®¤è¯†ç±»ä¸Žå¯¹è±¡

       . æ–¹æ³•åŠæ–¹æ³•é‡è½½

       . å°è£…与继承

       . æ–¹æ³•é‡å†™ä¸Žå¤šæ€

       . é¡¹ç›®å®žæˆ˜-汽车租赁系统

       . æŠ½è±¡ç±»å’ŒæŽ¥å£

       . å¼‚常

       . é¡¹ç›®å®žæˆ˜-QuickHit

       . Java ä¸­çš„集合类型

       . List é›†åˆ

       . Set é›†åˆ

       . HashMap é›†åˆ

       . Iterator

       . Collections ç®—法类及常用方法

       . enum

       . åŒ…装类及装箱拆箱

       . String、StringBuffer ç±»å¸¸ç”¨æ–¹æ³•æ“ä½œå­—符串

       . Date、Calendar

       . Math ç±»å¸¸ç”¨æ–¹æ³•

       . IO/NIO

       . å­—节输入流(InputStream、FileInputStream、BufferedInputStream)

       . å­—节输出流(OutputStream、FileOutputStream、BufferedOutputStream)

       . å­—符输入流(Reader、InputStreamReader、FileReader BufferedReader)

       . å­—节输出流(Writer、OutputStreamWriter、FileWriter、BufferedWriter)

       . æ–‡ä»¶å¤åˆ¶

       . Serialize、Deserialize

       . èŒåœºæ™‹å‡åŠ›ï¼šå››è±¡é™æ—¶é—´ç®¡ç†ä¸Žç²¾åŠ›ç®¡ç†

       . å¤šçº¿ç¨‹(Thread、Runnable)

       . Thread LifeCycle

       . çº¿ç¨‹çš„调度

       . çº¿ç¨‹çš„同步和死锁

       . Thread Pool

       . èŒåœºæ™‹å‡åŠ›ï¼šå›¢é˜Ÿåˆä½œ

       . Socket(TCP、UDP)

       . XML æ¦‚念、优势、规范

       . XML ä¸­ç‰¹æ®Šå­—符的处理

       . ä½¿ç”¨DOM è¯»å–、添加、删除、解析 XML æ•°æ®

       ç¬¬äºŒé˜¶æ®µï¼šjavaweb开发

       . æ­å»ºå’Œé…ç½®MySQL æ•°æ®åº“

       . æ•°æ®åº“增、删、查、改语句

       . äº‹åŠ¡

       . è§†å›¾

       . æ•°æ®åº“备份与恢复

       . æ•°æ®åº“用户管理

       . æ•°æ®åº“设计

       . é¡¹ç›®å®žæˆ˜-银行ATM å­˜å–款机系统

       . èµ°è¿› HTML å’ŒCSS

       . åˆ—表表格及表单美化

       . CSS 高级操作

       . Bootstrap

       . CSS 组件

       . JavaScript é¢å‘对象

       . JavaScript åˆ¤æ–­ã€å¾ªçŽ¯

       . JavaScript é—­åŒ…

       . JavaScript è¯­æ³•

       . Bootstrap ç»¼åˆæ¡ˆä¾‹

       . HTML5、CSS3

       . jQuery åŸºç¡€

       . jQuery åŸºæœ¬æ“ä½œ

       . jQuery äº‹ä»¶ä¸Žç‰¹æ•ˆ

       . jQuery Ajax

       . jQuery æ’件

       . æ­å»ºWeb 环境初识JSP

       . JSP ä¹å¤§å†…置对象

       . JSP å®žçŽ°æ•°æ®ä¼ é€’和保存

       . JDBC

       . å•ä¾‹æ¨¡å¼ã€å·¥åŽ‚模式

       . MVC、三层模式

       . Commons-fileupload、CKEditor

       . åˆ†é¡µæŸ¥è¯¢

       . EL 与 JSTL

       . Servlet ä¸ŽFilter

       . Listener ä¸ŽMVC

       . Ajax 与 jQuery

       . jQuery çš„Ajax äº¤äº’扩展

       . é¡¹ç›®å®žæˆ˜â€”使用Ajax æŠ€æœ¯æ”¹è¿›æ–°é—»å‘布系统

       . åå°„

       . Linux ç³»ç»Ÿçš„安装

       . åœ¨Linux ä¸­ç®¡ç†ç›®å½•å’Œæ–‡ä»¶

       . åœ¨Linux ä¸­ç®¡ç†ç”¨æˆ·å’Œæƒé™

       . åœ¨Linux æœåŠ¡å™¨çŽ¯å¢ƒä¸‹å®‰è£…软件和部署项目

       . èŒåœºæ™‹å‡åŠ›ï¼šèŒåœºæ²Ÿé€š

       ç¬¬ä¸‰é˜¶æ®µï¼š 企业级框架开发

       . MyBatis 环境搭建

       . SQL 映射文件

       . 动态SQL

       . MyBatis 框架原理

       . Spring IOC

       . æž„造注入、依赖注入、注解

       . Spring 整合MyBatis(SqlSessionTemplate、MapperFactoryBean、事务  

       å¤„理)

       . Spring 数据源(属性文件、JNDI)、Bean 作用域

       . Spring 框架的运行原理

       . SpringMVC 体系概念

       . SpringMVC 之数据绑定、数据效验、

       . SpringMVC 之视图及视图解析

       . SpringMVC 之文件上传、本地化解析

       . SpringMVC 之静态资源处理、请求拦截器、异常处理

       . Oracle æ•°æ®åº“环境搭建、安装

       . Oracle æ•°æ®åº“ SQL、分页、备份、还原

       . Hibernate 概念、依赖

       . HQL æŸ¥è¯¢è¯­è¨€

       . Hibernate 中配置关联映射

       . HQL è¿žæŽ¥æŸ¥è¯¢ä¸Ž Hibernate æ³¨è§£

       . Struts 2 æ¦‚念、依赖

       . Struts 2 é…ç½®

       . OGNL è¡¨è¾¾å¼

       . Struts 2 æ‹¦æˆªå™¨

       . SSH æ¡†æž¶æ•´åˆ

       . ä½¿ç”¨Maven æž„建项目

       . ä½¿ç”¨Struts 2 å®žçŽ°Ajax

       . Jsoup ç½‘络爬虫

       . å¤šçº¿ç¨‹ç½‘络爬虫

       . åçˆ¬åŠååçˆ¬ç­–ç•¥

       . é€šç”¨çˆ¬è™«è®¾è®¡

       . Echart å›¾è¡¨åˆ†æž

       . IKAnalyzer åˆ†è¯

       . ä¼ä¸šæ¡†æž¶é¡¹ç›®å®žæˆ˜-代理商管理系统

       . ä¼ä¸šæ¡†æž¶é¡¹ç›®å®žæˆ˜-SL 会员商城

       . ä¼ä¸šæ¡†æž¶é¡¹ç›®å®žæˆ˜-会员管理系统

       .企业框架项目实战-互联网招聘信息采集分析平台

       ç¬¬å››é˜¶æ®µï¼š 前后端分离开发

       . GitHub

       . Git åŸºç¡€(checkout、pull、commit、push、merge ç­‰)

       . Git è¿›é˜¶(多分支协作)

       . GitLab

       . IDEA çš„使用

       . Maven ä»‹ç»(概念、仓库、构建、命令)

       . ä½¿ç”¨Maven æž„建WEB é¡¹ç›®

       . ä½¿ç”¨Maven æž„建多模块项目

       . ä½¿ç”¨Maven æ­å»ºç§æœä»“库

       . Scrum æ¡†æž¶ä»‹ç»(三个角色、三个工件、四个会议)

       . Scrum Team ç»„建团队

       . äº§å“éœ€æ±‚和用户故事

       . æ¯æ—¥ç«‹ä¼š

       . ä½¿ç”¨æ•æ·-Scrum æ–¹å¼å¼€å‘管理实战

       . å‰åŽç«¯åˆ†ç¦»ã€åˆ†å¸ƒå¼é›†ç¾¤æž¶æž„、垂直架构

       . SSM（SpringMVC+Spring+MyBatis）整合实战

       . Git、Maven ç§æœNexus

       . ç¬¬ä¸‰æ–¹æŽ¥å…¥æŠ€æœ¯ï¼ˆå¾®ä¿¡ã€é˜¿é‡Œï¼‰

       . MySQL ç”µå•†å®žæˆ˜

       . Redis（缓存服务）

       . æœç´¢å¼•æ“Ž-Solr

       . é›†æˆAPI Doc å·¥å…·-Swagger

       . å›¾ç‰‡è‡ªåŠ¨åŒ–处理：Tengine+LUA+GraphicsMagic

       . æ‰‹æœºã€é‚®ç®±æ³¨å†Œ

       . å•ç‚¹ç™»å½• Token

       . OAuth2.0 è®¤è¯

       . Jsoup ç½‘络爬虫(多线程爬虫/代理 IP çˆ¬è™«)

       . ExecutorService çº¿ç¨‹æ± 

       . IK ä¸­æ–‡åˆ†è¯

       . Postman

       . ReactJS

       . webpack

       . èŒåœºæ™‹å‡åŠ›ï¼šç®€åŽ†æ’°å†™

       . ç¨‹åºçŒ¿é¢è¯•å®å…¸ä¹‹é¡¹ç›®é¢è¯•

       .大型互联网旅游电商项目实战-爱旅行

       ç¬¬äº”阶段： 分布式微服架构开发

       . Spring Boot çŽ¯å¢ƒæ­å»º

       . Spring Boot å¸¸ç”¨æŠ€èƒ½

       . Spring Boot æ•´åˆRedis

       . Spring Boot æ•´åˆMybatis

       . å¾®æœåŠ¡æž¶æž„及架构设计

       . æ¶ˆæ¯é˜Ÿåˆ—

       ActiveMQ\RabbitMQ

       . åˆ†å¸ƒå¼äº‹åŠ¡

       . åˆ†å¸ƒå¼é” Redis-setnx

       . Zookeeper æ³¨å†Œä¸­å¿ƒ

       . åŸºäºŽ ActiveMQ å®žçŽ°é«˜å¹¶å‘

       . Docker çŽ¯å¢ƒæ­å»º

       . Docker é•œåƒåŠ é€Ÿ

       . Docker å®¹å™¨ç®¡ç†

       . Docker é•œåƒç®¡ç†

       . Docker å®¹å™¨æ–‡ä»¶å¤‡ä»½

       . Dockerfile

       . Docker ç§æœä»“库

       . çœŸå®žäº’联网高并发电商项目实战-双十一抢购

       . å¯è§†åŒ–监控 Portainer

       . Docker Compose 容器编排

       . Docker Compose æ‰©å®¹ã€ç¼©å®¹

       . Docker Swarm é›†ç¾¤ç¼–排

       . Jenkins å®‰è£…、插件配置

       . Jenkins é…ç½®æ™®é€šä»»åŠ¡

       . Jenkins é…ç½®ç®¡é“任务

       . Jenkins è‡ªåŠ¨å‘布服务

       . Spring Cloud Eureka

       . Spring Cloud Feign

       . Spring Cloud Ribbon

       . Spring Cloud Zuul

       . Spring Cloud Config

       . Spring Cloud Hystrix

       . Spring Cloud Sleuth

       . Spring Boot Admin

       .Eureka æ³¨å†ŒåŽŸç†æŽ¢ç§˜

       . Spring Cloud 大坑解读

       . Zipkin

       . Zipkin æ•´åˆRabbitMQ

       . Zipkin æ•´åˆMySQL

       . ELK æ—¥å¿—收集

       .Kafka

       . Elasticsearch æ˜ å°„管理

       . Elasticsearch æŸ¥è¯¢/复合查询

       . Elasticsearch é›†ç¾¤/集群规划

       . Elasticsearch èšåˆ

       . Elasticsearch é›†ç¾¤ç›‘控

       . Elasticsearch æ’件

       (Head/BigDesk)

       . Mycat è¯»å†™åˆ†ç¦»

       . Mycat ä¸€ä¸»å¤šä»Ž

       . Mycat å¤šä¸»å¤šä»Ž

       . Mycat æ•°æ®åˆ†ç‰‡

       . Redis

       . Redis-Redlock

       . Elasticsearch çŽ¯å¢ƒæ­å»º

       . Elasticsearch å®¢æˆ·ç«¯

       . Elasticsearch ç´¢å¼•ç®¡ç†

       . Elasticsearch æ–‡æ¡£ç®¡ç†

       . Mycat é›†ç¾¤

       . Jmeter 并发测试

       . Jmeter 生成测试报告

       . å¾®ä¿¡ç™»å½•

       . å¾®ä¿¡æ”¯ä»˜

       . æ”¯ä»˜å®æ”¯ä»˜

       . ç™¾åº¦åœ°å›¾

       . Sonar æœ¬åœ°æ£€æµ‹

       . Sonar +Jenkins çº¿ä¸Šæ£€æµ‹

       . CI/CD

       . Spring Boot æ”¹é€ çˆ±æ—…行项目实战

       . å¤§åž‹äº’联网票务类电商项目实战-大觅网

       . ES6 æ¦‚念(les、const)

       . ES6 å¯¹è±¡å’Œæ•°ç»„

       . ES6 å‡½æ•°æ‰©å±•

       . VUE çŽ¯å¢ƒæ­å»º

       . VUE.JS æŒ‡ä»¤

       .VUE 交互

       . VUE 实例生命周期

       . VUE 组件

       . VUE é¡¹ç›®çŽ¯å¢ƒé…ç½®åŠå•æ–‡ä»¶ç»„件

       .VUE 路由

       ç¬¬å…­é˜¶æ®µï¼šcc服务

       . Spring Cloud Gateway

       . Consul

       . Nacos

       . Eureka、Consu、lNacos、Zookeeper 对比分析

       . Prometheus + Grafana

       . ES 分布式存储原理

       . NoSQL 数据库解决方案(Redis、MongoDB)

       . OAuth2.0 认证( authorization code 模式)

       . OAuth2.0 认证( implicit 模式)

       . OAuth2.0 认证( resource owner password credentials 模式)

       . OAuth2.0 è®¤è¯( client credentials æ¨¡å¼)

       . NAS/FastDFS åˆ†å¸ƒå¼æ–‡ä»¶å­˜å‚¨

       . Python åŸºç¡€

       . Python çˆ¬è™«

       . 大数据及 Hadoop 概述

       . 分布式文件系统 HDFS 

       . 分布式计算框架MapReduce

       . 分布式列式数据库 HBase

       . Hadoop 综合应用

       . 面试大局观

       . 职业规划  

       . 项目面试

       . 具体业务场景化解决方案

       . 更多技术专题持续增加中

       æˆ‘估计能把你看晕，有不清楚的可以私信我

要成为一名专业的程序员，从零开始需要怎么一步步来比较好，要把最底层的先学精通吗？(个人认为)求学长

       前言

       你是否觉得自己从学校毕业的时候只做过小玩具一样的程序？走入职场后哪怕没有什么经验也可以把以下这些课外练习走一遍（朋友的抱怨：学校课程总是从理论出发，作业项目都看不出有什么实际作用，不如从工作中的需求出发）

       建议：

       不要乱买书，不要乱追新技术新名词，基础的东西经过很长时间积累而且还会在未来至少年通用。

       回顾一下历史，看看历史上时间线上技术的发展，你才能明白明天会是什么样。

       一定要动手，例子不管多么简单，建议至少自己手敲一遍看看是否理解了里头的细枝末节。

       一定要学会思考，思考为什么要这样，而不是那样。还要举一反三地思考。

       注：你也许会很奇怪为什么下面的东西很偏Unix/Linux，这是因为我觉得Windows下的编程可能会在未来很没有前途，原因如下：

       现在的用户界面几乎被两个东西主宰了，1）Web，2）移动设备iOS或Android。Windows的图形界面不吃香了。

       越来越多的企业在用成本低性能高的Linux和各种开源技术来构架其系统，Windows的成本太高了。

       微软的东西变得太快了，很不持久，他们完全是在玩弄程序员。详情参见《Windows编程革命史》

       所以，我个人认为以后的趋势是前端是Web+移动，后端是Linux+开源。开发这边基本上没Windows什么事。

       启蒙入门

       1、 学习一门脚本语言，例如Python/Ruby

       可以让你摆脱对底层语言的恐惧感，脚本语言可以让你很快开发出能用得上的小程序。实践项目:

       处理文本文件，或者csv (关键词 python csv, python open, python sys) 读一个本地文件，逐行处理（例如 word count，或者处理log）

       遍历本地文件系统 (sys, os, path)，例如写一个程序统计一个目录下所有文件大小并按各种条件排序并保存结果

       跟数据库打交道 (python sqlite)，写一个小脚本统计数据库里条目数量

       学会用各种print之类简单粗暴的方式进行调试

       学会用Google (phrase, domain, use reader to follow tech blogs)

       为什么要学脚本语言，因为他们实在是太方便了，很多时候我们需要写点小工具或是脚本来帮我们解决问题，你就会发现正规的编程语言太难用了。

       2、 用熟一种程序员的编辑器(不是IDE) 和一些基本工具

       Vim / Emacs / Notepad++，学会如何配置代码补全，外观，外部命令等。

       Source Insight (或 ctag)

       使用这些东西不是为了Cool，而是这些编辑器在查看、修改代码/配置文章/日志会更快更有效率。

       3、 熟悉Unix/Linux Shell和常见的命令行

       如果你用windows，至少学会用虚拟机里的linux， vmware player是免费的，装个Ubuntu吧

       一定要少用少用图形界面。

       学会使用man来查看帮助

       文件系统结构和基本操作 ls/chmod/chown/rm/find/ln/cat/mount/mkdir/tar/gzip …

       学会使用一些文本操作命令 sed/awk/grep/tail/less/more …

       学会使用一些管理命令 ps/top/lsof/netstat/kill/tcpdump/iptables/dd…

       了解/etc目录下的各种配置文章，学会查看/var/log下的系统日志，以及/proc下的系统运行信息

       了解正则表达式，使用正则表达式来查找文件。

       对于程序员来说Unix/Linux比Windows简单多了。（参看我四年前CSDN的博文《其实Unix很简单》）学会使用Unix/Linux你会发现图形界面在某些时候实在是太难用了，相当地相当地降低工作效率。

       4、 学习Web基础（HTML/CSS/JS) + 服务器端技术 (LAMP)

       未来必然是Web的世界，学习WEB基础的最佳网站是W3School。

       学习HTML基本语法

       学习CSS如何选中HTML元素并应用一些基本样式（关键词：box model）

       学会用 Firefox + Firebug 或 chrome 查看你觉得很炫的网页结构，并动态修改。

       学习使用Javascript操纵HTML元件。理解DOM和动态网页（Dynamic HTML: The Definitive Reference, 3rd Edition - O'Reilly Media) 网上有免费的章节，足够用了。或参看 DOM 。

       学会用 Firefox + Firebug 或 chrome 调试Javascript代码（设置断点，查看变量，性能，控制台等）

       在一台机器上配置Apache 或 Nginx

       学习PHP，让后台PHP和前台HTML进行数据交互，对服务器相应浏览器请求形成初步认识。实现一个表单提交和反显的功能。

       把PHP连接本地或者远程数据库 MySQL（MySQL 和 SQL现学现用够了）

       跟完一个名校的网络编程课程（例如：.etrans.anaSpeed.AnaActionMr.run(AnaActionMr.java:)

       ã€€ã€€at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:)

       ã€€ã€€at com.etrans.anaSpeed.AnaActionMr.main(AnaActionMr.java:)

       ã€€ã€€at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

       ã€€ã€€at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:)

       ã€€ã€€at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:)

       ã€€ã€€at java.lang.reflect.Method.invoke(Method.java:)

       ã€€ã€€at org.apache.hadoop.util.RunJar.main(RunJar.java:)

       ã€€ã€€ç¬¬äºŒç‚¹ç»“论就是： Linux上，只需拷贝jar文件到集群master上,执行命令hadoop jarPackage.jar MainClassName即可分布式运行mapreduce程序。

如何更改 datax 以支持hive 的 DECIMAL 数据类型?

       在处理数据时，我们经常需要将数据从一种数据类型转换为另一种数据类型。在数据迁移任务中，如果涉及到使用datax进行数据迁移，且源数据或目标数据中出现了Hive的DECIMAL数据类型，那么如何确保数据迁移的准确性和完整性就成为了一个关键问题。本文将详细介绍如何更改datax以支持Hive的DECIMAL数据类型。

       在JAVA中，主要使用float/double和BigDecimal来存储小数。其中，float和double在不需要完全精确的计算结果的场景下，可以提供较高的运算效率，但当涉及到金融等场景需要精确计算时，必须使用BigDecimal。

       Hive支持多种数字类型数据，如FLOAT、DOUBLE、DECIMAL和NUMERIC。DECIMAL数据类型是后加入的，允许设置精度和标度，适用于需要高度精确计算的场景。

       若要使datax支持Hive的DECIMAL数据类型，关键在于修改datax源码，增强其对DECIMAL数据的读取和写入能力。主要通过以下几个步骤：

       1. **修改HDFS Reader**：在处理Hive ORC文件时，需要修改HDFS Reader插件中的相关类和方法，如DFSUtil#transportOneRecord。通过该步骤，确保能正确读取到ORC文件中的DECIMAL字段。datax的Double类型可以通过其内部的rawData字段存储数据的原始内容，支持Java.math.BigDecimal和Java.lang.Double，因此可以实现不修改HDFS Reader代码，直接读取并处理DECIMAL数据的目标。配置作业时，将Hive的DECIMAL字段指定为datax的Double类型，HDFS Reader在底层调用Hive相关API读取ORC文件中的DECIMAL字段，将其隐式转换为Double类型。datax的Double类型支持Java.math.BigDecimal和Java.lang.Double，确保后续写入操作的精度。

       2. **修改HDFS Writer**：为了支持写入数据到Hive ORC文件中的DECIMAL字段，同样需要在HDFS Writer插件中进行相应的代码修改。修改后的代码确保能够将datax的Double字段正确写入到Hive ORC文件中的DECIMAL字段。使用方法com.alibaba.datax.common.element.DoubleColumn#asBigDecimal，基于DoubleColumn底层rawData存储的原始数据内容，将字段值转换为合适的外部数据类型。这一过程不会损失数据精度。

       综上所述，通过修改datax的HDFS Reader和Writer插件，实现对Hive DECIMAL数据类型的读取和写入支持，确保数据迁移过程的准确性和完整性，从而满足复杂数据迁移场景的需求。