该脚本主要是在Centos系统上使用源码安装Python3.7，安装后可以调用python3和pip3来进行使用，同时不与系统Python2.7冲突，还额外加入了腾讯的pip源来加速pip3下载包。 脚本使用方法如下： 创建文件 install_py37.sh，写入以下 shell 脚本 赋予执行权限，chmox +x install_py37.sh 执行脚本，./install_py37.sh

引言实现了MIT6.824中的lab2A，即leader选举的部分。 Raft结构及初始化为一个Raft中的节点增加的变量主要有： currentTerm: 当前任期 votedFor: 为谁投票, -1表示没有投票，注意一个任期只能投一次票 state: 当前节点的状态 heartbeatTimeout: 心跳超时计数器 electionTimeout: 选举超时计数器 1234567891

引言共识一致性算法常用在分布式系统中，一个系统会有一个领导者，如GFS，我们需要有多个领导者副本来提高系统的容错性。但是之前的共识性算法经常采用Paxos，但是该算法很难理解。所以本文的作者重点面向可理解性提出了一个新的共识性算法Raft。主要做法是将大步骤分解成小步骤，然后尽量降低复杂度。 在具体关注其实现之前强烈建议去raft可视化中去学习一下基本的流程，以对其有个大概的印象，然后还可以参考这

为了更有效的做论文阅读笔记，之后都打算将每篇论文笔记的内容控制在较少的字数范围内，毕竟原论文摆在那里，将其翻译照抄过来也没什么意思，将论文读薄才是最重要的。( •̀ ω •́ )✧ “The Design of a Practical System for Fault-Tolerant Virtual Machines”是MIT6.824推荐阅读的论文之一，它介绍了一种通过主备机制来进行单核虚拟机

The Google file System论文是MIT6.824中推荐阅读的论文，他是Google早期的三大论文之一，由于课程并不需要实现这个系统，所以就对整部论文中的关键点进行介绍总结。 相关背景为了满足Google快速增长的数据处理需求，Google需要自己构建一套文件系统——The Google file System(GFS)。而这套文件系统也必须是分布式的文件系统才足以满足要求，但是我

今天打开IDEA发现远程开发选项没有了： 发现全网也没有什么提到过这个错误的，所有捣鼓了好久还进行了IDEA的重装也一直都没有解决，最后查看IDEA官方的介绍文档才发现了问题所在：Remote Development Gateway插件被关闭了 故而解决方法就是点击IDEA的设置选项卡，在插件(plugs)选项中重新勾选Remote Development Gateway来启用该插件即可 点击

MIT6.824是一门经典的分布式课程，课程链接：https://pdos.csail.mit.edu/6.824/labs/lab-mr.html，对于lab 1我们需要在提供的代码框架的基础上补充coordinator和worker的代码，以实现分布式的MapReduce程序。 本人在借鉴了部分其他人的设计思想的基础上，独立完成了所有的代码，最后设计的实现能够通过所有的测试脚本。 实现的代码厂

最近在学MIT6.824的lab1——MapReduce，发现其中使用到了RPC来让work和coordinator之间通信，故而乘机学习一下。 介绍RPC（Remote Procedure Call，远程过程调用）是一种在分布式系统中进行进程间通信的协议。它允许一个程序（客户端）调用另一个程序（服务器）上的函数或过程，就像调用本地函数一样，而不必关心底层网络细节。 在 RPC 中，客户端和服务

引言最近在写模拟器的代码，现在需要对整体的架构都进行一个大更改，而当我回过头去看时发现好多代码都写得很丑，越写越像屎山代码，需要对整体进行一轮迭代，故而正好趁此机会来学习一下如何写一个优雅的代码。写之前看了很多博客，这里记录一下对自己比较有启发的点。 什么是优雅的代码这一个衡量标准很直接：WTF min 代码最后还是需要给人读的，需要认识到： 任何一个傻瓜都能写出计算机可以理解的代码。唯有写出

原博客链接：https://tanxinyu.work/mapreduce-thesis/ 相关背景在 20 世纪初，包括本文作者在内的 Google 的很多程序员，为了处理海量的原始数据，已经实现了数以百计的、专用的计算方法。这些计算方法用来处理大量的原始数据，比如，文档抓取（类似网络爬虫的程序）、Web 请求日志等等；也为了计算处理各种类型的衍生数据，比如倒排索引、Web 文档的图结构的各种表