大数据

  从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。明白这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜力。大数据的4个“V”,或者说特点有四个层面:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。

3
推荐
1427
阅读

光努力是没有用的

3个月前,我还不知道数据分析是什么。不知道的原因是一直以来我从事的都是医学相关专业。甚至一点想知道的想法都没有。但是随着时代的发展,我才知道我们每天...
2
推荐
1968
阅读

《Python分布式计算》 第8章 继续学习 (Distributed Computing with Python)

作者:SeanCheney链接:https://www.jianshu.com/p/de89c55f8e8a來源:简书这本书是一个简短但有趣的用Python编写并行和分布式应用的旅程。这本书真正要做的...
2
推荐
1871
阅读

《Python分布式计算》 第7章 测试和调试分布式应用 (Distributed Computing with Python)

作者:SeanCheney链接:https://www.jianshu.com/p/c92721ff5f3c來源:简书无论大小的分布式应用,测试和调试的难度都非常大。因为是分布在网络中的,各台机...
1
推荐
2204
阅读

《Python分布式计算》 第6章 超级计算机群使用Python (Distributed Computing with Python)

作者:SeanCheney链接:https://www.jianshu.com/p/59471509d3d9來源:简书本章,我们学习另一种部署分布式Python应用的的方法。即使用高性能计算机(HPC)群...
0
推荐
2037
阅读

《Python分布式计算》 第5章 云平台部署Python (Distributed Computing with Python)

作者:SeanCheney链接:https://www.jianshu.com/p/84dde3009782來源:简书上一章介绍了创建Python分布式应用的Celery和其它工具。我们学习了不同的分布式计...
0
推荐
2505
阅读

《Python分布式计算》 第4章 Celery分布式应用 (Distributed Computing with Python)

作者:SeanCheney链接:https://www.jianshu.com/p/ee14ed9e4989來源:简书本章是前面某些知识点的延续。特别的,本章以实例详细的探讨了异步编程和分布式计...
0
推荐
3689
阅读

《Python分布式计算》 第3章 Python的并行计算 (Distributed Computing with Python)

作者:SeanCheney链接:https://www.jianshu.com/p/66f47049cc5a來源:简书我们在前两章提到了线程、进程,还有并发编程。我们在很高的层次,用抽象的名词,...
0
推荐
1826
阅读

《Python分布式计算》第2章 异步编程 (Distributed Computing with Python)

作者:SeanCheney链接:https://www.jianshu.com/p/02893376bfe8來源:简书从本章开始,终于开始写代码了!本书中所有的代码都适用于Python 3.5及以上版本。...
0
推荐
2087
阅读

《Python分布式计算》第1章 并行和分布式计算介绍 (Distributed Computing with Python)

作者:SeanCheney链接:https://www.jianshu.com/p/a8ec42f6cb4e來源:简书本书示例代码适用于Python 3.5及以上。当代第一台数字计算机诞生于上世纪30年代末4...
2
推荐
2271
阅读

《Python分布式计算》 0 序言 (Distributed Computing with Python)

作者:SeanCheney链接:https://www.jianshu.com/p/ad10480c89d9來源:简书Python分布式计算书籍作者简介Francesco Pierfederici是一名喜爱Python的软件工程...
0
推荐
2000
阅读

《Learning Scrapy》(中文版)第11章 Scrapyd分布式抓取和实时分析

作者:SeanCheney链接:https://www.jianshu.com/p/cfca4b7e62f4來源:简书我们已经学了很多东西。我们先学习了两种基础的网络技术,HTML和XPath,然后我们学...
0
推荐
2452
阅读

《Learning Scrapy》(中文版)第10章 理解Scrapy的性能

作者:SeanCheney链接:https://www.jianshu.com/p/e9710002cb4e來源:简书通常,很容易将性能理解错。对于Scrapy,几乎一定会把它的性能理解错,因为这里有...
0
推荐
2029
阅读

《Learning Scrapy》(中文版)第9章 使用Pipelines

作者:SeanCheney链接:https://www.jianshu.com/p/e0287e773d28來源:简书在上一章,我们学习了如何辨析Scrapy中间件。在本章中,我们通过实例学习编写pipel...
0
推荐
1903
阅读

《Learning Scrapy》(中文版)第8章 Scrapy编程

作者:SeanCheney链接:https://www.jianshu.com/p/545d07702e7f來源:简书到目前为止,我们创建爬虫的目的是抓取数据,并提取信息。除了爬虫,scrapy可以让...
0
推荐
1771
阅读

《Learning Scrapy》(中文版)第7章 配置和管理

作者:SeanCheney链接:https://www.jianshu.com/p/674de4eacf15來源:简书我们已经学过了用Scrapy写一个抓取网络信息的简单爬虫是多么容易。通过进行设置,S...

1966 人关注

最佳回复者

改版

反馈