T*****u
发帖数: 7103 | 1 在emr上跑了一个spark的cluster, 想用它处理我们在rds上postgres里的数据
ssh到master, run
/usr/lib/spark/bin/pyspark --driver-class-path ./postgresql-9.4.1211.jar --
conf spark.executor.extraClassPath=./postgresql-9.4.1211.jar --jars ./
postgresql-9.4.1211.jar
进去之后然后运行
>>> df = spark.read.format('jdbc').options(url=dbstring).options(dbtable='
users').options(driver='org.postgresql.Driver').load()
在本地的docker里面都没问题。但在这里出现问题
py4j.protocol.Py4JJavaError: An error occurred while calling o53.load.
在security group里面加了inbound
PostgreSQL
TCP
5432
0.0.0.0/0
还是连不上。
不知道是什么问题，也可能是一开始就做错了。还请大侠教我怎么做。太感谢了。 |
S*******w
发帖数: 24236 | |
d****n
发帖数: 12461 | 3 确保worker上也装了jdbc？
【在 T*****u 的大作中提到】
: 在emr上跑了一个spark的cluster, 想用它处理我们在rds上postgres里的数据
: ssh到master, run
: /usr/lib/spark/bin/pyspark --driver-class-path ./postgresql-9.4.1211.jar --
: conf spark.executor.extraClassPath=./postgresql-9.4.1211.jar --jars ./
: postgresql-9.4.1211.jar
: 进去之后然后运行
: >>> df = spark.read.format('jdbc').options(url=dbstring).options(dbtable='
: users').options(driver='org.postgresql.Driver').load()
: 在本地的docker里面都没问题。但在这里出现问题
: py4j.protocol.Py4JJavaError: An error occurred while calling o53.load.
|
T*****u
发帖数: 7103 | 4 好的
【在 S*******w 的大作中提到】
: 再看看网络 端口设置
|
T*****u
发帖数: 7103 | 5 谢谢，我去试试看
【在 d****n 的大作中提到】
: 确保worker上也装了jdbc？
|
T*****u
发帖数: 7103 | 6 问题解决了。两个instance不在一个environment里。弄了个snapshot在新的
environment，就行了。 |
