本文介绍了在 Apache Spark 2.0.0 中，是否可以从外部数据库获取查询(而不是获取整个表)?的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着跟版网的小编来一起学习吧！
问题描述
使用pyspark:
from pyspark.sql import SparkSession火花 = SparkSession\.builder\.appName("spark play")\.getOrCreate()df = spark.read\.format("jdbc")\.option("url", "jdbc:mysql://localhost:port")\.option("dbtable", "schema.tablename")\.option("用户", "用户名")\.option("密码", "密码")\.加载()我宁愿获取查询的结果集，而不是获取schema.tablename".
解决方案
同 1.x 可以传递有效的子查询作为 dbtable 参数例如:
Using pyspark:
from pyspark.sql import SparkSession
spark = SparkSession\
.builder\
.appName("spark play")\
.getOrCreate()
df = spark.read\
.format("jdbc")\
.option("url", "jdbc:mysql://localhost:port")\
.option("dbtable", "schema.tablename")\
.option("user", "username")\
.option("password", "password")\
.load()
Rather than fetch "schema.tablename", I would prefer to grab the result set of a query.
解决方案
Same as in 1.x you can pass valid subquery as dbtable argument for example:
...
.option("dbtable", "(SELECT foo, bar FROM schema.tablename) AS tmp")
...
这篇关于在 Apache Spark 2.0.0 中，是否可以从外部数据库获取查询(而不是获取整个表)?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持跟版网！
本站部分内容来源互联网,如果有图片或者内容侵犯了您的权益，请联系我们，我们会在确认后第一时间进行删除！