选择新的图床

在七牛不提供服务之后的一段时间我都是用新浪微博作为图床，配置谷歌浏览器的扩展工具非常好用，但是前段时间新浪开启了防盗链，所以我后面写的文章里的图片也看不了了。可供选择的免费图床有SM.MS、路过图床，但免费的终究是不稳定。其次付费的对象存储有阿里云和腾讯云可选，但是目前我的需求只是博客使用，去购买图床有点浪费了。本想干脆建一个 GitHub 仓库作为图床吧，并且可以配合图床工具 PicGo 使用，很方便。但是图床的目的本就是为了加快上传和访问速度，所以最后决定使用码云仓库作为图床。

具体做法是：

1. 在 gitee 中新建仓库命名为 images
2. 本地准备好文件后推送到仓库中
3. 获取仓库中的图片链接，替换本地编写的博客中的图片引用

前言

一直以来我的 Hexo 博客 的图片都放在七牛云的对象存储中，通过其提供的链接来访问。由于七牛取消了测试域名的免费使用，导致博客中的图片都无法正常显示，继续使用七牛的话需要一个已经备案的域名，无奈只能放弃。这篇文章记录从七牛空间中批量下载图片文件的过程。

下载七牛云中保存的文件

1. 使用七牛提供的工具(qrsctl)

注：window 下载后文件名为 qrsctl-v3.2.20170501

1. 使用如下命令登录

   1	qrsctl-v3.2.20170501 login <User> <Passwd>

2. 进入对象存储空间：

   1	qrsctl-v3.2.20170501 buckets

3. 查看空间中的图片

   1	qrsctl-v3.2.20170501 listprefix <空间名> ""

   可以看到文件列表

   1 2 3 4 5 6 7 8 9

   marker: 17-1-14/10038807-file_1484368678860_b99e.png 17-1-14/12057450-file_1484368445392_1304.png 17-1-14/16481236-file_1484368665443_9e5a.png 17-1-14/20779378-file_1484369378883_2419.png 17-1-14/2119039-file_1484368662478_10338.png 17-1-14/30903876-file_1484368712279_a685.png 17-1-14/32657150-file_1484368828842_d411.pn .....

4. 下载某个文件

   1	qrsctl-v3.2.20170501 get <空间名> <文件名> ./文件名

本文将介绍Google 三架马车中的第二架——MapReduce 计算框架

MapReduce 是什么

MapReduce 是一种编程模型，用于大规模数据集（大于1TB）的并行运算。它极大地方便了编程人员将自己的程序运行在分布式系统上。这种编程模型在很长时间以前就出现了，但在以前这个编程模型不是非常火热。当 Google 关于 MapReduce 计算框架的论文发布，紧接着 Hadoop 的开源使这个编程模型变得异常火爆，从而使得大数据计算通用编程成为可能。

MapReduce 即是编程模型，又是计算框架。开发人员需要基于 MapReduce 编程模型去开发分布式程序，然后将程序通过 MapReduce 计算框架分发到 Hadoop 集群中来运行。

转载自：https://blog.csdn.net/hudiefenmu/article/details/37655491
英文原版作者：Maneesh Varshney, mvarshney@gmail.com

HDFS 写数据

Google 三架马车中，第一架即是 GFS（Googel File system ）

文件系统从垂直伸缩到水平伸缩

早期，为了提升计算机的运算以及存储能力，主要靠的是垂直伸缩的方式。摩尔定律提出集成电路上晶体管的数目每两年会增加一倍。当时，半导体行业大致按照摩尔定律发展了半个多世纪。

独立硬盘冗余阵列（RAID, Redundant Array of Independent Disks）可以认为是一种垂直伸缩。其基本思想是把多个磁盘组装起来称为一个磁盘阵列，使之性能达到甚至超过一个价格昂贵、容量巨大的硬盘。根据 RAID 实现方式的不同，可以有不同的效果，包括提升容量、磁盘容错、处理性能。

互联网时代，计算机硬件的性能提升早已放缓，公司购买大型计算机的成本是很大的，所以开始出现水平伸缩的方式，通过分布式技术，在集群中不断增加计算机来提升计算能力。将 RAID 的思想应用到分布式集群，就产生了分布式文件系统，分布式存储技术的典型代表就是 HDFS。

2014 年，马云提出，“人类正在从 IT 时代走向 DT 时代”。如果说在 IT 时代是以自我控制、自我管理为主，那么到了 DT（Data Technology） 时代，则是以服务大众、激发生产力为主。

在 DT 时代，人们比以往任何时候更能收集到更丰富的数据。数据正在变革我们的生活，催生了大数据行业的发展。

百度百科中这样定义大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

这个新处理模式，就是大数据技术了。下图是我整理的主要大数据技术发展历程。

最近在学习 JVM，刚好论文的实验代码出现运行过慢的情况，所以想通过 Jconsle 查看代码运行中 JVM 的情况。

Jconsole中对内存为如下结构：

其中 Metaspace 是 Java 1.8 之后取消方法区（永久代）后引入的。

Jconsle 连接后，可以看到内存、线程、CPU 等概览。

稀疏矩阵

在矩阵中，若数值为0的元素数目远远多于非0元素的数目时，则称该矩阵为稀疏矩阵。与之相反，若非0元素数目占大多数时，则称该矩阵为稠密矩阵。

注：压缩存储的矩阵可以分为特殊矩阵和稀疏矩阵。对于那些具有相同元素或零元素在矩阵中分布具有一定规律的矩阵，被称之为特殊矩阵。对于那些零元素数据远远多于非零元素数目，并且非零元素的分布没有规律的矩阵称之为稀疏矩阵。

由于租户对ECS实例(虚拟机,VM)请求的行为具有一定规律,可以通过对历史ECS实例请求的分析,预测到未来一段时间的ECS实例请求,然后对预测的请求分配资源,这样可以找到一个接近最优的分配策略,实现资源最大化利用,同时也能参考预测的结果制定云数据中心的建设计划。

赛题分为预测与分配两个部分。我们队伍初赛拿到杭夏赛区第十，复赛尽力了没能进决赛。

这两天冲顶大会之类的直播答题 APP 突然火了起来，不得不佩服互联网公司的想象力，那么程序员怎么用不同的方式玩转答题游戏呢。之前微信的跳一跳小游戏刷爆朋友圈，已经有很多朋友写出了自动化的脚本辅助，一看到答题游戏就马上想到可以用类似的方式来写一个简单的脚本。代码思路简单，可以用在各类答题游戏中。因为时间、搜索结果等原因，使用文字识别搜索，能提供的辅助作用有限。

具体代码和环境及使用请戳：https://github.com/Skyexu/TopSup
随手 Star ^ ^