今天写了一个程序，扫描指定目录，遍历这个目录及子目录下全部文件，生成每一个文件的md5值，记录到一个字典变量，然后在这堆记录里面找出重复的文件。
之前看廖雪峰老师博客中摘要算法简介这篇文章，他把md5值讲得很透彻，但我理解起来一直有一些朦朦胧胧的疑惑没有解开，把这个程序测试通过后，我感觉才真正搞懂了md5值，于是有了这篇文章。
记得“李笑来”曾经说过一句话，互联网时代，大多数公司的服务都是部署在Linux上面，如果一个大学生，努力学习熟练掌握Linux命令操作，在IT行业肯定能找到一份好工作。
这两天看阮一峰老师的博客，他推荐这本“UNIX Tutorial for Beginners”给不熟悉UNIX或Linux操作的朋友。我读了一下，刷新了很多对UNIX和Liunx命令操作的认知。下面是我为读过的章节写的笔记，都是一些我以前不曾了解或认知有误的地方。欢迎大家指正。
Ubuntu系统稳定性有点差，今天清理空间后，重新启动无法进入图形界面。考虑到稳定性还有我的MBP磁盘空间不够大，决定在本机搭建Hadoop3.1.0环境。
由于网上，同类型的安装教程很多，我就不去东施效颦，我只把我安装过程中参考的帖子和遇到的异常问题记录下来，以下是全部内容。
Hadoop官方在3.0.0及以后的版本里将一些默认的端口号进行了修改。Issue见这里。
Namenode ports: 50470 –> 9871, 50070 –> 9870, 8020 –> 9820
Secondary NN ports: 50091 –> 9869, 50090 –> 9868
Datanode ports: 50020 –> 9867, 50010 –> 9866, 50475 –> 9865, 50075 –> 9864
参考资料：
这两天因工作需要，需要搭建一套Hadoop集群环境。
参照各种帖子，折腾2天，算把Hadoop环境配置起来。中间踩了无数坑，单机模式和伪分布模式（不开启Yarn服务）下WordCount测试都能够成功；集群环境暂时还没配好，随后开始布置。
在这个学习过程中，看到几篇写得不错的技术帖，统一收集整理在此。
PS：Ubuntu16.04下面发现阿里云的源有好几个网址存在问题，换用中科大的源，明显感觉稳定很多。
参考资料：
Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub.
|
|
More info: Writing
|
|
More info: Server
|
|
More info: Generating
|
|
More info: Deployment
