如何使用

[liuxingping138]

这个怎么直接在项目组使用啊

[niutaofan]

根据你需求，改完后编译一下，测试没问题后，替换你的线上版本

[liuxingping138]

我的需求就是直接spark sql 插入数据，数据存在update，不存在的话 插入数据，对于您修改的这个 可以写个saprk sql的测试demo吗

[liuxingping138]

def register(className: String): Unit = {
val cls = Utils.getContextOrSparkClassLoader.loadClass(className)

这个地方Utils 报错 好像是版本的问题

Symbol Utils is inaccessible from this place
Maven: org.apache.spark:spark-core_2.11:2.3.0

[liuxingping138]

刚刚放到本地spark工程看了下，版本冲突很大，这个是2.11的 我用的是saprk-core 2.3.0的 还是很有很冲突 不知道怎么解决

[liuxingping138]

能改一版新版本的吗

[niutaofan]

我的需求就是直接spark sql 插入数据，数据存在update，不存在的话 插入数据，对于您修改的这个 可以写个saprk sql的测试demo吗

封装好了之后，直接调用：
resultDF
.write
.format("org.apache.spark.sql.execution.customDatasource.jdbc")
.option("jdbc.driver", "com.mysql.jdbc.Driver")
.option("url", "地址")
.option("dbtable", "表名")
.option("saveMode" , "update")
.save()

[niutaofan]

向下兼容就可以了，这种版本迭代，内部改动其实不大

[niutaofan]

def register(className: String): Unit = { val cls = Utils.getContextOrSparkClassLoader.loadClass(className)

这个地方Utils 报错 好像是版本的问题

Symbol Utils is inaccessible from this place Maven: org.apache.spark:spark-core_2.11:2.3.0

这个错误不是版本引起的，是私有包路径的问题

[liuxingping138]

好的我在本地试试吧 我觉得这个很适用的