Linux /ˈlɪnəks/ 中文谐音：立呢可斯 没有中文名称，就好像windows一样，大家就称之为windows :)
创新互联公司专注于锡林浩特网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供锡林浩特营销型网站建设，锡林浩特网站制作、锡林浩特网页设计、锡林浩特网站官网定制、重庆小程序开发公司服务，打造锡林浩特网络公司原创品牌,更为您提供锡林浩特网站排名全网营销落地服务。
「Li」中「i」的发音类似於「Minix」中「i」的发音，而「nux」中「u」的发音类似於英文单词「profess」中「o」的发音。依照国际音标应该是['linэks][ˈlɪnəks]。
Linux作业系统（Linux），是一种计算机作业系统。Linux作业系统的核心的名字也是「Linux」。Linux作业系统也是自由软体和开放原始码发展中最著名的例子。
严格来讲，Linux这个词本身只表示Linux核心，但在实际上人们已经习惯了用Linux来形容整个基於Linux核心，并且使用GNU 工程各种工具和资料库的作业系统（也被称为GNU/Linux）。基於这些组件的Linux软体被称为Linux发行版。一般来讲，一个Linux发行套件包含大量的软体，比如软体开发工具（例如DEV C++）、资料库（例如PostgreSQL、MySQL）、Web伺服器（例如Apache）、X Window、桌面环境（例如GNOME和KDE）、办公套件（例如OpenOffice.org）、脚本语言（例如Perl、PHP和Python）等等。
Linux核心最初是为英特尔386微处理器设计的。现在Linux核心支持从个人电脑到大型主机甚至包括嵌入式系统在内的各种硬体设备。
在开始的时候，Linux只是个人狂热爱好的一种产物。但是现在，Linux已经成为了一种受到广泛关注和支援的一种作业系统。包括IBM和惠普、戴尔在内的一些计算机业巨头也开始支援Linux。很多人认为，和其他的商用Unix系统以及微软 Windows相比，作为自由软体的Linux具有低成本，安全性高，更加可信赖的优势。
一个典型的Linux发行版包括：Linux核心，一些GNU程式库和工具，命令行shell，图形界面的X Window系统和相应的桌面环境，如KDE或GNOME，并包含数千种从办公套件，编译器，文本编辑器到科学工具的应用软体。
一、离线数据同步
DataX
阿里的Datax是比较优秀的产品，基于python，提供各种数据村塾的读写插件，多线程执行，使用起来也很简单，操作简单通常只需要两步；
创建作业的配置文件（json格式配置reader,writer）；
启动执行配置作业。
非常适合离线数据，增量数据可以使用一些编码的方式实现，
缺点：仅仅针对insert数据比较有效，update数据就不适合。缺乏对增量更新的内置支持，因为DataX的灵活架构，可以通过shell脚本等方式方便实现增量同步。
参考资料：
github地址：
dataX3.0介绍：
datax初体验：
文档：
Sqoop
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
地址：
Sqoop导入：导入工具从RDBMS到HDFS导入单个表。表中的每一行被视为HDFS的记录。所有记录被存储在文本文件的文本数据或者在Avro和序列文件的二进制数据。
Sqoop导出：导出工具从HDFS导出一组文件到一个RDBMS。作为输入到Sqoop文件包含记录，这被称为在表中的行。那些被读取并解析成一组记录和分隔使用用户指定的分隔符。
Sqoop支持全量数据导入和增量数据导入（增量数据导入分两种，一是基于递增列的增量数据导入（Append方式）。二是基于时间列的增量数据导入（LastModified方式）），同时可以指定数据是否以并发形式导入。
Kettle
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。
Kettle的Spoon有丰富的Steps可以组装开发出满足多种复杂应用场景的数据集成作业，方便实现全量、增量数据同步。缺点是通过定时运行，实时性相对较差。
NiFi
Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统，用于自动化管理系统间的数据流。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑，支持从多种数据源动态拉取数据。
NiFi基于Web方式工作，后台在服务器上进行调度。 用户可以为数据处理定义为一个流程，然后进行处理，后台具有数据处理引擎、任务调度等组件。
几个核心概念：
Nifi 的设计理念接近于基于流的编程 Flow Based Programming。
FlowFile：表示通过系统移动的每个对象，包含数据流的基本属性
FlowFile Processor（处理器）：负责实际对数据流执行工作
Connection（连接线）：负责不同处理器之间的连接，是数据的有界缓冲区
Flow Controller（流量控制器）：管理进程使用的线程及其分配
Process Group（过程组）：进程组是一组特定的进程及其连接，允许组合其他组件创建新组件
参考资料
Nifi简介及核心概念整理
官方网站：
二、实时数据同步
实时同步最灵活的还是用kafka做中间转发，当数据发生变化时，记录变化到kafka，需要同步数据的程序订阅消息即可，需要研发编码支持。这里说个mysql数据库的同步组件，阿里的canal和otter
canal
数据抽取简单的来说，就是将一个表的数据提取到另一个表中。有很多的ETL工具可以帮助我们来进行数据的抽取和转换，ETL工具能进行一次性或者定时作业抽取数据，不过canal作为阿里巴巴提供的开源的数据抽取项目，能够做到实时抽取，原理就是伪装成mysql从节点，读取mysql的binlog，生成消息，客户端订阅这些数据变更消息，处理并存储。下面我们来一起搭建一下canal服务
早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅消费的业务，从此开启了一段新纪元。
ps. 目前内部版本已经支持mysql和oracle部分版本的日志解析，当前的canal开源版本支持5.7及以下的版本(阿里内部mysql 5.7.13, 5.6.10, mysql 5.5.18和5.1.40/48)
基于日志增量订阅消费支持的业务：
数据库镜像
数据库实时备份
多级索引 (卖家和买家各自分库索引)
search build
业务cache刷新
价格变化等重要业务消息
otter
otter是在canal基础上又重新实现了可配置的消费者，使用otter的话，刚才说过的消费者就不需要写了，而otter提供了一个web界面，可以自定义同步任务及map表。非常适合mysql库之间的同步。
另外：otter已在阿里云推出商业化版本 数据传输服务DTS， 开通即用，免去部署维护的昂贵使用成本。DTS针对阿里云RDS、DRDS等产品进行了适配，解决了Binlog日志回收，主备切换、VPC网络切换等场景下的同步高可用问题。同时，针对RDS进行了针对性的性能优化。出于稳定性、性能及成本的考虑，强烈推荐阿里云用户使用DTS产品。
“p偶四t g瑞e 噻噎k野u”
唉，，，，用文字表示声音，真难。
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库。
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，
sqlite读[sk'laɪt]
SQLite嵌入式关系数据库 ，是一款轻型的数据库，是遵守ACID的关系型数据库管理系统，它包含在一个相对小的C库中。它是D.RichardHipp建立的公有领域项目。它的设计目标是嵌入式的，而且目前已经在很多嵌入式产品中使用了它，它占用资源非常的低，在嵌入式设备中，可能只需要几百K的内存就够了。它能够支持Windows/Linux/Unix等等主流的操作系统，同时能够跟很多程序语言相结合，比如 Tcl、C#、PHP、Java等，还有ODBC接口，同样比起Mysql、PostgreSQL这两款开源的世界著名数据库管理系统来讲，它的处理速度比他们都快。SQLite第一个Alpha版本诞生于2000年5月。
