1、数据收集：（1）Scrapy:协助使用者自动提取网页所需信息，并将其整理为表格或JSON格式的数据结构；（2）Selenium:使用者在感兴趣的网站上已经进行了交互行为之后，Seleniumn一般能派上用场；（3）BeautifulSoup：用来收集网站内容的Python库，更适合应用于规模相对较小的问题或一次性任务。
泸水网站制作公司哪家好，找成都创新互联！从网页设计、网站建设、微信开发、APP开发、响应式网站建设等网站项目制作，到程序开发，运营维护。成都创新互联成立与2013年到现在10年的时间，我们拥有了丰富的建站经验和运维经验，来保证我们的工作的顺利进行。专注于网站建设就选成都创新互联。
2、数据清理和转化：（4）Pandas:必须学习的，使用者可以运用Pandas操控处于Pandas数据框架内的数据，而且其内置巨量的函数，帮助使用者进行数据转换；（5）Numpy:必须学习的，Numpy将Python的对象列表拓展成了全面的多维度序列，而且其内置海量的数学函数；（6）Spacy:帮助使用者将自由文本转化为结构型数据，支持多种语言版本。
3、数据可视化：（7）Matplotlib:最全面的Python数据可视化库；（8）Plotly:只需要写最少的代码就能得出最多彩缤纷的图像。
4、数据模块化：（9）Scikit Learn:高级分析师，开启机器学习之旅，有六大主要模块:数据预处理，维度缩减，数据回归，数据分类，数据聚类分析，模型选择；（10）Tensorflow：由谷歌推出的来源机器学习库，是一个基于网页自动生成的仪表盘，它将数据学习流和结果进行了可视化处理，这一功能对于排错和展示都十分有用；（11）PyTorch:由Facebook发布的一个开源库，用作Python的公共机器学习框架。
5、音频和图像识别：（12）OpenCV：是最常用的图像和视频识别库，能让Python在图像和视频识别领域完全替代Matlab，不仅支持Python，还支持JAVA和Matlab；（13）Librosa：是一个非常强大的音频和声音处理Python库，可以从音频段中提取各个部分，例如节奏以及节拍。
6、网页：（14）Django：开发网页服务后端，设计理念是能用几行代码就建立一个网站的高级框架；（15）Flask：是一个用于Python的轻量级网页开发框架。
大一就把目标定的这么高！！！任道而重远，加油吧。
下面的是我的一些建议：
想成为系统架构师，数学的功底是必须，高数、线性代数、概率论。。。都是基础，很重要，别说没用，那是你没有发现。一句话：没有数学功底的人，谈算法，只能是闭门造车。
你才大一，不管那方面，你都是新手，先把大学里面的教科书看懂吧，有了一定的概念基础之后，再看相应领域的经典著作。
大一，低年级学生，容易自负，沉住气，慢慢成长，胖子不是一天吃成的。
一、索引的类型：
PostgreSQL提供了多种索引类型：B-Tree、Hash、GiST和GIN，由于它们使用了不同的算法，因此每种索引类型都有其适合的查询类型，缺省时，CREATE INDEX命令将创建B-Tree索引。
1. B-Tree:
CREATE TABLE test1 (
id integer,
content varchar
);
CREATE INDEX test1_id_index ON test1 (id);
B-Tree索引主要用于等于和范围查询，特别是当索引列包含操作符" 、=和"作为查询条件时，PostgreSQL的查询规划器都会考虑使用B-Tree索引。在使用BETWEEN、IN、IS NULL和IS NOT NULL的查询中，PostgreSQL也可以使用B-Tree索引。然而对于基于模式匹配操作符的查询，如LIKE、ILIKE、~和 ~*，仅当模式存在一个常量，且该常量位于模式字符串的开头时，如col LIKE 'foo%'或col ~ '^foo'，索引才会生效，否则将会执行全表扫描，如：col LIKE '%bar'。
2. Hash：
CREATE INDEX name ON table USING hash (column);
散列(Hash)索引只能处理简单的等于比较。当索引列使用等于操作符进行比较时，查询规划器会考虑使用散列索引。
这里需要额外说明的是，PostgreSQL散列索引的性能不比B-Tree索引强，但是散列索引的尺寸和构造时间则更差。另外，由于散列索引操作目前没有记录WAL日志，因此一旦发生了数据库崩溃，我们将不得不用REINDEX重建散列索引。
3. GiST：
GiST索引不是一种单独的索引类型，而是一种架构，可以在该架构上实现很多不同的索引策略。从而可以使GiST索引根据不同的索引策略，而使用特定的操作符类型。
4. GIN：
GIN索引是反转索引，它可以处理包含多个键的值(比如数组)。与GiST类似，GIN同样支持用户定义的索引策略，从而可以使GIN索引根据不同的索引策略，而使用特定的操作符类型。作为示例，PostgreSQL的标准发布中包含了用于一维数组的GIN操作符类型，如：、=、等。
二、复合索引：
PostgreSQL中的索引可以定义在数据表的多个字段上，如：
CREATE TABLE test2 (
major int,
minor int,
name varchar
}
CREATE INDEX test2_mm_idx ON test2 (major, minor);
1. B-Tree类型的复合索引：
在B-Tree类型的复合索引中，该索引字段的任意子集均可用于查询条件，不过，只有当复合索引中的第一个索引字段(最左边)被包含其中时，才可以获得最高效率。
2. GiST类型的复合索引：
在GiST类型的复合索引中，只有当第一个索引字段被包含在查询条件中时，才能决定该查询会扫描多少索引数据，而其他索引字段上的条件只是会限制索引返回的条目。假如第一个索引字段上的大多数数据都有相同的键值，那么此时应用GiST索引就会比较低效。
3. GIN类型的复合索引：
与B-Tree和GiST索引不同的是，GIN复合索引不会受到查询条件中使用了哪些索引字段子集的影响，无论是哪种组合，都会得到相同的效率。
使用复合索引应该谨慎。在大多数情况下，单一字段上的索引就已经足够了，并且还节约时间和空间。除非表的使用模式非常固定，否则超过三个字段的索引几乎没什么用处。
三、组合多个索引：
PostgreSQL可以在查询时组合多个索引(包括同一索引的多次使用)，来处理单个索引扫描不能实现的场合。与此同时，系统还可以在多个索引扫描之间组成AND和OR的条件。比如，一个类似WHERE x = 42 OR x = 47 OR x = 53 OR x = 99的查询，可以被分解成四个独立的基于x字段索引的扫描，每个扫描使用一个查询子句，之后再将这些扫描结果OR在一起并生成最终的结果。另外一个例子是，如果我们在x和y上分别存在独立的索引，那么一个类似WHERE x = 5 AND y = 6的查询，就会分别基于这两个字段的索引进行扫描，之后再将各自扫描的结果进行AND操作并生成最终的结果行。
为了组合多个索引，系统扫描每个需要的索引，然后在内存里组织一个BITMAP，它将给出索引扫描出的数据在数据表中的物理位置。然后，再根据查询的需要，把这些位图进行AND或者OR的操作并得出最终的BITMAP。最后，检索数据表并返回数据行。表的数据行是按照物理顺序进行访问的，因为这是位图的布局，这就意味着任何原来的索引的排序都将消失。如果查询中有ORDER BY子句，那么还将会有一个额外的排序步骤。因为这个原因，以及每个额外的索引扫描都会增加额外的时间，这样规划器有时候就会选择使用简单的索引扫描，即使有多个索引可用也会如此。
四、唯一索引：
CREATE UNIQUE INDEX name ON table (column [, ...]);
五、表达式索引：
表达式索引主要用于在查询条件中存在基于某个字段的函数或表达式的结果与其他值进行比较的情况，如：
SELECT * FROM test1 WHERE lower(col1) = 'value';
此时，如果我们仅仅是在col1字段上建立索引，那么该查询在执行时一定不会使用该索引，而是直接进行全表扫描。如果该表的数据量较大，那么执行该查询也将会需要很长时间。解决该问题的办法非常简单，在test1表上建立基于col1字段的表达式索引，如：
CREATE INDEX test1_lower_col1_idx ON test1 (lower(col1));
SELECT * FROM people WHERE (first_name || ' ' || last_name) = 'John Smith';
和上面的例子一样，尽管我们可能会为first_name和last_name分别创建独立索引，或者是基于这两个字段的复合索引，在执行该查询语句时，这些索引均不会被使用，该查询能够使用的索引只有我们下面创建的表达式索引。
CREATE INDEX people_names ON people ((first_name || ' ' || last_name));
CREATE INDEX命令的语法通常要求在索引表达式周围书写圆括弧，就像我们在第二个例子里显示的那样。如果表达式只是一个函数调用，那么可以省略，就像我们在第一个例子里显示的那样。
从索引维护的角度来看，索引表达式要相对低效一些，因为在插入数据或者更新数据的时候，都必须为该行计算表达式的结果，并将该结果直接存储到索引里。然而在查询时，PostgreSQL就会把它们看做WHERE idxcol = 'constant'，因此搜索的速度等效于基于简单索引的查询。通常而言，我们只是应该在检索速度比插入和更新速度更重要的场景下使用表达式索引。
六、部分索引：
部分索引(partial index)是建立在一个表的子集上的索引，而该子集是由一个条件表达式定义的(叫做部分索引的谓词)。该索引只包含表中那些满足这个谓词的行。
由于不是在所有的情况下都需要更新索引，因此部分索引会提高数据插入和数据更新的效率。然而又因为部分索引比普通索引要小，因此可以更好的提高确实需要索引部分的查询效率。见以下三个示例：
1. 索引字段和谓词条件字段一致：
CREATE INDEX access_log_client_ip_ix ON access_log(client_ip)
WHERE NOT (client_ip inet '192.168.100.0' AND client_ip inet '192.168.100.255');
下面的查询将会用到该部分索引：
SELECT * FROM access_log WHERE url = '/index.html' AND client_ip = inet '212.78.10.32';
下面的查询将不会用该部分索引：
一个不能使用这个索引的查询可以是
SELECT * FROM access_log WHERE client_ip = inet '192.168.100.23';
2. 索引字段和谓词条件字段不一致：
PostgreSQL支持带任意谓词的部分索引，唯一的约束是谓词的字段也要来自于同样的数据表。注意，如果你希望你的查询语句能够用到部分索引，那么就要求该查询语句的条件部分必须和部分索引的谓词完全匹配。 准确说，只有在PostgreSQL能够识别出该查询的WHERE条件在数学上涵盖了该索引的谓词时，这个部分索引才能被用于该查询。
CREATE INDEX orders_unbilled_index ON orders(order_nr) WHERE billed is not true;
下面的查询一定会用到该部分索引：
SELECT * FROM orders WHERE billed is not true AND order_nr 10000;
那么对于如下查询呢？
SELECT * FROM orders WHERE billed is not true AND amount 5000.00;
这个查询将不像上面那个查询这么高效，毕竟查询的条件语句中没有用到索引字段，然而查询条件"billed is not true"却和部分索引的谓词完全匹配，因此PostgreSQL将扫描整个索引。这样只有在索引数据相对较少的情况下，该查询才能更有效一些。
下面的查询将不会用到部分索引。
SELECT * FROM orders WHERE order_nr = 3501;
3. 数据表子集的唯一性约束：
CREATE TABLE tests (
subject text,
target text,
success boolean,
...
);
CREATE UNIQUE INDEX tests_success_constraint ON tests(subject, target) WHERE success;
该部分索引将只会对success字段值为true的数据进行唯一性约束。在实际的应用中，如果成功的数据较少，而不成功的数据较多时，该实现方法将会非常高效。
七、检查索引的使用：
见以下四条建议：
1. 总是先运行ANALYZE。
该命令将会收集表中数值分布状况的统计。在估算一个查询返回的行数时需要这个信息，而规划器则需要这个行数以便给每个可能的查询规划赋予真实的开销值。如果缺乏任何真实的统计信息，那么就会使用一些缺省数值，这样肯定是不准确的。因此，如果还没有运行ANALYZE就检查一个索引的使用状况，那将会是一次失败的检查。
2. 使用真实的数据做实验。
用测试数据填充数据表，那么该表的索引将只会基于测试数据来评估该如何使用索引，而不是对所有的数据都如此使用。比如从100000行中选1000行，规划器可能会考虑使用索引，那么如果从100行中选1行就很难说也会使用索引了。因为100行的数据很可能是存储在一个磁盘页面中，然而没有任何查询规划能比通过顺序访问一个磁盘页面更加高效了。与此同时，在模拟测试数据时也要注意，如果这些数据是非常相似的数据、完全随机的数据，或按照排序顺序插入的数据，都会令统计信息偏离实际数据应该具有的特征。
3. 如果索引没有得到使用，那么在测试中强制它的使用也许会有些价值。有一些运行时参数可以关闭各种各样的查询规划。
4. 强制使用索引用法将会导致两种可能：一是系统选择是正确的，使用索引实际上并不合适，二是查询计划的开销计算并不能反映现实情况。这样你就应该对使用和不使用索引的查询进行计时，这个时候EXPLAIN ANALYZE命令就很有用了。
希望这篇文章会对你有用，不过我当初就是按照它这个思路来学习的。
感觉还可以。不过我感觉最快的学习方法就是找一份跟linux相关的工作，
边实验边学习，那样会进步更快的
一.为什么要学linux?
当然最重要是爱好和兴趣！如果你这种必要学，或者根本不喜欢，请不要浪费时间，你学也学不好！
二.起步
你应该为自己创造一个学习linux的环境--在电脑上装一个linux或unix
问题1：版本的选择
北美用redhat,欧洲用SuSE,桌面mandrake较多，而debian是技术最先进的linux
开发人员中用debian的最多，其次是redhat,从全球linux各应用领域市场份额来看
无疑redhat是最多的，此外还有很多出名的发行版本，不再列举。
对于初学linux的人来说，我建议是使用redhat,原因如下：
1）现在很多书都是以redhat为例讲的，为了与书本协调一致
2）周围的人都用redhat,交流比较方便
3）redhat应用范围广，有典型性和代表性
4）它易于使用和安装，我们没有必要把时间浪费在“装系统”上
而应集中精力学习最有用的东西。
//注：现在觉得RH很死板，AS,ES等用在服务器上或许不错，
Personal desktop用mandrake,debian,suse都不错，笔者现在用Mandrake,因为她长得漂亮
如果你并不打算深入学习linux，而是有诸如适应北京市政府办公平台迁移到
linux上这种需要，那么中软，红旗等中文linux是不错的选择
我强烈建议：自己亲自动手把linux装到你的硬盘上，
你必须学会独立安装linux系统的技能，对于现在的版本来说，其实跟装WinXP一样简单
从此现在开始，请不要以windows的工作方式来考虑问题，
应该尝试挖掘linux身上的“天才unix”的气质。
三.进阶
掌握至少50个以上的常用命令
理解shell管道"|",文件流重定向""及追加""等
熟悉Gnome/KDE等X-windows桌面环境操作
掌握.tgz.rpm.biz等软件包的常用安装方法
学习添加外设，安装设备驱动程序（比如modem)
熟悉Grub/Lilo引导器及简单的修复操作
熟悉系统固有目录的名称及公用
学会用mount命令访问其他文件系统
了解vi,gcc,gdb等常用编辑器，编译器，调试器
学习linux环境下的简单组网
建议：买一本不需要太厚的linux教材，大致可以满足要求
//现在的书越来越多了，还带很多图，我当时可没这么多书：）
四.高级应用
澄清一些概念：
linux的普通操作与真正的系统管理不能相提并论，后者需要很多知识
我个人认为比较重要几种linux语言
1.英语
即使你不学linux，我也强烈建议你学好英文[U.S.english]
因为实质上计算机语言就是英文和字符,所谓的多国语言只是外部包装
你必须能无障碍的阅读大量的英文技术文档
在搜索引擎找到的英文网站和网页中熟练的检索
最好能有用英文直接交流的能力，
摆脱了这个障碍，你的学习和理解速度就能快很多，你就有机会拉开和别人的差距
2.shell[sed/awk]
shell是命令解释器，是内核与用户界面交流通道，shell写的小脚本有点类似于win下的.bat
但shell比.bat强大的多，shell不只是解释命令，更是一种编程语言，有时候几百行的c用shell
几十行就能代替完成工作，因为shell的工作方式建立在系统已有的众多应用程序之上
这也是CS中的一个重要思想。
此外，shell可以实现工作自动化，这个概念也比较重要
sed,awk用来处理文本，历来很常用
3.Perl/PHP
漂亮的脚本， CGI的首选，比ASP好，应用面很广
4.C\C++
C、C++是linux/unix的核心语言，系统代码都是C写的
5.ASM
系统底层及内核，硬件，设备驱动程序，嵌入式开发都需要
//走核心路线的话，才c\c++,asm最重要
6.Java,Python,Tcl,XML
*系统管理篇
在熟悉linux的基础上还需要掌握至少一种unix
我首推Solaris，其次是FreeBSD
比如运营级系统一般是Solaris+Oracle/DB2之类的
学习apache,ssh,sendmail/Qmail,proftp/vsftp,Samba,Squid,MySQL/PostgreSQL/Oracle,Bind
等各种应用服务器的构架及电子商务的应用
熟悉TCP/IP协议族，学习诸如apache+php+proftp+mysql+quota的实现以及大型局域网，分布式集群
等各种企业级应用解决方案
熟悉多用户管理，数据库管理，文件系统，逻辑存储管理，日志分析，备份与灾难数据修复
系统补丁，内核升级，以及在此基础上的防火墙构架等以保障系统安全在内的各种系统管理技能
我觉得，如果在此基础上再掌握路由/交换设备便是一个不错的系统管理员
各种基于linux的解决方案可参考相关书籍和文献，必要时用google或各大linux站点站内
搜索引擎寻找最新文档，以避免错误和漏洞
有几本技术大全和技术内幕我认为都是这方面不错的书
*深入学习linux
我个人理解的读linux内核需要的基础：
在此之前,希望先把应用层的东西学一下,那样会比较好理解
1.C
如果学过潭浩强的大学教科书(除了编几个数学模型好像什么也做不了的那种)，
建议再看一下
《The C Programming Language》Second Edition这本圣经
/*如果想学缓冲区溢出，这点C的功力可能是不够的*/
还有,C陷阱与缺陷,C专家编程,C\C++深层探索
反正经典书看多了是没有坏处的
2.asm (ATT语法，保护模式)
保护模式下的比较复杂，基本上每本讲内核的书都会有介绍
有80x86 Intel语法的基础就行，
有兴趣可以看看Intel的官方****
3.数据结构（离散数学）
计算机专业的核心课程，重要性我就不说了
4.操作系统原理
看懂这个再去读linux吧
5.微机原理/组成原理（数字电路）
底层直接和硬件打交道，所以这个也要
6.了解linux/unix
我想至少你要会操作吧，了解unix的API
7.软件工程/编译原理
这方面的经典书去可以搜到很多
我觉得APUE这种书不适合初学者，还是先看看UPE之类的吧
APUE:
《advanced programming in the unix environment》
《unix环境高级编程》
作者：W.Richard.Stevens共有6本经典书，尊为“圣经”
他的书为全世界黑客所拜读！
UPE:《unix programming environment》
《unix编程环境》比较适合初学者的，深入浅出，
其中有一些比较重要的思想
另外,介绍linux下应用层编程的书也有很多,比如
GNU\Linux编程指南,redhat,redflag出的书...........
经典书还有很多很多......
操作系统：设计与实现 //交大的考研参考书目，讲Minix的
unix操作系统设计
4.4BSD操作系统设计与实现
昂莱氏unix源代码分析
ulk:understanding the linux kernel (2nd)深入理解linux内核
linux设备驱动程序 (2nd)
linux内核源代码情景分析
php 是一种服务器端的，嵌入html的脚本语言。php区别其他像客户端java的地方是它的代码在服务器端执行.php能做什么?
最低水平,php可以做任何其他cgi程序所能做的事,例如收集表格数据,生成动态页面内容,或者收发cookies.可能最强大,最有意义的特性是php支持大范围的数据库.书写一个支持数据库的web 页面是难以置信的简单.
下面是当前支持的数据库:
adabas d interbase solid
dbase msql sybase
empress mysql velocis
filepro oracle unix dbm
informix postgresql
可以先学 Pascal. Pascal 是一门很好的教学语言。然后对过程式编程有些了解以后可以学习数据结构，C 和 C++。 然后可以学一下 Java 或 C#. 当然我的建议只是帮助你能够了解过程式和面向对象的编程。至于要进入IT业，方向和门类很多，所以学什么更好不能一概而论。
如果希望能够进入计算机系，拿一个“科班出身”的学位，从Pascal学起不错，可以把Structured programming的基础打好。但是大部分人，从Visusal Basic学起更能够速成，并增加自信。
大计算机科学的底子：c ，c++，离散数学，数据结构，数据库，软件工程，（可参考MIT Open Courseware)。业余者自修：Visual Basic, Scripting，Frontpage, Flash.
C++是C的延伸，所以两者有很大的重叠部分，分不清很正常。我觉得C是基础。用C能够熟练地写程序以后，再逐渐接触C++的程序设计理念可能更好一些。
“学习一门语言的最好方法是用它来编程序”。
最后，不能只学语言。许多大学生认为学最新的计算机语言、技术、标准是最好的铺路方法，因为许多公司招聘时要求这些方面的经验。这些新技术虽然该学，但是学习计算机基础课程更重要，因为计算机语言和开发平台日新月异，但是万变不离其宗的就是那些基础课程：数据结构、算法、编译原理、计算机组成、关系型数据库原理等。有位同学生动地在“开复学生网”上把这些基础课程比拟为内功，把新的语言、技术、标准比拟为外功。只追寻时髦的学生最后只懂招式，没有功力，是不可能成为高手的。
请参考
