数据倾斜通常指hive根据key值hash分发到各个节点，相同的key值会分发到一个执行节点中，由于某些key值对应的数据量比其它key值的数据量大很多，导致某些执行节点的运行时间远大于其它节点，从而导致整个job执行时间较长。
在hive中执行的sql会有map和reduce两个阶段，map阶段的数据倾斜主要为数据从磁盘读入内存时、join，reduce阶段数据倾斜主要有join、group by、count distinct，针对于这些操作有不同的处理方式来避免数据倾斜。
一、map阶段
1.由于map读入数据的文件大小分布不均匀，并且小文件特别多，导致某些map读取并处理的数据特别多
这种情况可通过参数调整防止由于小文件过多导致每个map读取的数据量不均匀，mapred.max.split.size=256000000（每个map可以处理的最大文件大小，可调大该值来减少map数）
二、reduce阶段
1.join
数据表在进行join时有两种情况会出现倾斜：
（1）小表和大表join的倾斜
这种情况，可以直接使用hint（如/ + mapjoin(a) /）将小表全部加载到内存中后顺序扫描大表完成join（mapjoin有使用限制，必须是join中的从表较小时才可用，从表主要指left join中的右表，right join中的左表，小表最大为2GB）
（2）大表和大表join的倾斜
这种情况，需要具体原因具体分析：
荥经网站建设公司成都创新互联公司,荥经网站设计制作，有大型网站制作公司丰富经验。已为荥经近1000家提供企业网站建设服务。企业网站搭建\成都外贸网站建设要多少钱，请找那个售后服务好的荥经做网站的公司定做！
