没有集群环境，怎么学好大数据处理框架（Hadoop，Spark）的相关知识？

没有集群环境，怎么学好大数据处理框架（Hadoop，Spark）的相关知识？
在已经有Java，scala等丰富经验的前提下。

程门立雪 · 2018-9-28 00:21:03

没有集群环境，不可能学好大数据处理框架（Hadoop，Spark）的相关知识。

Louis · 2018-9-28 00:21:04

可以单机跑，推荐intellij。
其实自学更应该关心的问题是做什么练手项目

KevinMatrix · 2018-9-28 00:21:05

ucloud和百度云都能买弹性计算集群，按分钟计费

li li · 2018-9-28 00:21:06

最好还是单个环境动手玩玩，伪分布式的就可以了。这里有个大数据技术博客：https://www.iteblog.com/

虞峭峭 · 2018-9-28 00:21:07

你是想学习搭建环境吧，我自己有个学习网址，我就是按照这个学习的，成功搭建了，你可以试试。Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS_厦大数据库实验室博客

dust dream · 2018-9-28 00:21:08

Sequence IQ, DataStax, Cloudera有很多已经build 好的Docker images. Dockerhub上可以搜一下

徐洋在云端 · 2018-9-28 00:21:09

用AWS的EMR吧，好处是你可以快速的跨过技术搭建环节开始关注商业价值。

邓毅 · 2018-9-28 00:21:10

集群环境更多的是为了生产环境。如果要学习相关知识的话，单机伪分布式完全是可以的。hadoop的话，建议读hadoop权威指南，了解hadoop处理数据的各个流程，做一些基本的练习。

Patrick Leung · 2018-9-28 00:21:11

用VMware实现伪分布式。

薛飞 · 2018-9-28 00:21:12

下载CDH镜像文件，在虚拟机里面伪分布式执行hadoop。需要注意，增加本机内存至少到8G，hadoop尤其spark是吃内存大户。

10 个回复