Spark SQL metaData配置到Mysql

gtxyzz Mysql 2023-02-27 1025浏览 0

构造以spark为核心的数据仓库:

0.说明

在大数据领域，hive作为老牌的数据仓库比较流行，spark可以考虑兼容hive。但是如果不想用hive做数据仓库也无妨，大不了我们用spark建立最新的数据仓库。

sparkSQL的发展历程表明了，spark本身就可以做数据仓库，而不需要hive。sparkSQL作为数据仓库其元数据放到了Derby中，一般生产环境不会用Derby，而是使用

MySQL或者postgreSQL.本文就是要告诉读者，如何将sparkSQL的元数据存放到mysql.

1.集群规划情况

mysql chinac244<–>chinac242,这两节点做了主主备份。

spark master chinac88<–>chinac82，这两节点做了HA

spark slave chinac88,chinac82,chinac27

2.配置文件(chinac27上修改，然后分发到集群)

解压后将$HIVE_HOME/conf/hive-site.xml 复制到$SPARK_HOME/conf/hive-site.xml

编辑此文件

 vim  $SPARK_HOME/conf/hive-site.xml

修改如下内容

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://chinac244:3306/sparkmetadata?createDatabaseIfNotExist=true</value>
    <description>JDBC connect string for a JDBC metastore</description>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>Username to use against metastore database</description>
  </property>

   <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>chinac</value>
    <description>password to use against metastore database</description>
  </property>

3.修改时间属性（没做）

然后修改Hive-site.xml中所有的时间属性，所有属性的单位为s(秒),删除s然后添加3个0,所有属性的单位为ms的删除ms,spark无法识别这些单位，而是把他们全当数字处理。

4.分发配置文件

    scp $SPARK_HOME/conf/hive-site.xml chinac82:$SPARK_HOME/conf/hive-site.xml
    scp $SPARK_HOME/conf/hive-site.xml chinac88:$SPARK_HOME/conf/hive-site.xml

5.重启spark集群

 [root@chinac88 ~]#  ${SPARK_HOME}/sbin/stop-all.sh
 [root@chinac88 ~]#  nohup ${SPARK_HOME}/sbin/start-all.sh &

启动效果如下

6.测试配置

A,查看MySQL中数据库信息

B,执行sparkSQL命令

  [root@chinac27 conf]# spark-sql --master spark://chinac88:7077,chinac82:7077
  //1.创建数据表
  CREATE TABLE testspark(id INT,name STRING)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n';

此语句将在mysql中生成sparkmetadata数据库,数据表

此语句将在HDFS中生成相应的目录

7.进一步测试

准备数据，效果如下

加载数据，语句如下

  LOAD DATA LOCAL INPATH '/root/software/test' OVERWRITE INTO TABLE testspark;

此语句将上传文件到HDFS,查看数据，效果如下

查询数据，能够看到加载后的数据。

     SELECT * FROM testspark;

删除表，同时会删除MySQL中的表信息和HDFS中的数据

   DROP TABLE testspark;

8.至此，sparkSQL元数据被存放到了mysql中，我们再也不需要hive数据仓库了。直接用spark做数据仓库就可以了

转载请注明：IT运维空间 » Mysql » Spark SQL metaData配置到Mysql

继续浏览有关数据库技术文章/教程的文章

Spark SQL metaData配置到Mysql

发表评论

最新文章

热门文章

热评文章

Spark SQL metaData配置到Mysql

你可能喜欢:

发表评论

最新文章

热门文章

热评文章