interllj IDEA配置spark

[复制链接]

1275

主题

1275

帖子

1013

积分

金牌会员

Rank: 6Rank: 6

积分
1013
分享到:
发表于 2022-6-23 10:39:29 | 显示全部楼层 |阅读模式
interllj IDEA是一个编译环境IDE,有免费的社区版。百度可以下载,这里不赘述,有了编译器需要安装scala语言支持,见前面的博客。
spark是一种类似多线程的结构,他的作用是将任务分发给多个节点一起计算提高速度,因此是有使用场景的,有的情况下不适用,比如迭代计算。
配置spark步骤如下:
第一步建立maven

第二步填写group id 类似于项目说明
点击下一步下一步直到finish,得到如下图:
第三步,导入jars包,将包的位置填写在file->project structure->librartes下。
jars包包含了spark,获取的方式在
网卡的一笔,下次再补充

使用高级回帖 (可批量传图、插入视频等)快速回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则   Ctrl + Enter 快速发布  

发帖时请遵守我国法律,网站会将有关你发帖内容、时间以及发帖IP地址等记录保留,只要接到合法请求,即会将信息提供给有关政府机构。
快速回复 返回顶部 返回列表