本文介绍了使用 pySpark 将 DataFrame 写入 mysql 表的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着跟版网的小编来一起学习吧！
问题描述
我正在尝试将记录插入到 MySql 表中.该表包含 id 和 name 作为列.
I am attempting to insert records into a MySql table. The table contains id and name as columns.
我在 pyspark shell 中执行如下操作.
I am doing like below in a pyspark shell.
name = 'tester_1'
id = '103'
import pandas as pd
l = [id,name]
df = pd.DataFrame([l])
df.write.format('jdbc').options(
url='jdbc:mysql://localhost/database_name',
driver='com.mysql.jdbc.Driver',
dbtable='DestinationTableName',
user='your_user_name',
password='your_password').mode('append').save()
我收到以下属性错误
AttributeError: 'DataFrame' 对象没有属性 'write'
我做错了什么?从 pySpark
推荐答案
使用 Spark DataFrame 而不是 pandas'，因为
.write仅适用于 Spark Dataframe
Use Spark DataFrame instead of pandas', as
.writeis available on Spark Dataframe only
所以最终的代码可能是
data =['103', 'tester_1']
df = sc.parallelize(data).toDF(['id', 'name'])
df.write.format('jdbc').options(
url='jdbc:mysql://localhost/database_name',
driver='com.mysql.jdbc.Driver',
dbtable='DestinationTableName',
user='your_user_name',
password='your_password').mode('append').save()
这篇关于使用 pySpark 将 DataFrame 写入 mysql 表的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持跟版网！
本站部分内容来源互联网,如果有图片或者内容侵犯了您的权益，请联系我们，我们会在确认后第一时间进行删除！