使用Python构造hive insert语句说明

mysql可以使用nevicat导出insert语句用于数据构造，但是hive无法直接导出insert语句。我们可以先打印在hive命令行，然后使用脚本拼装成insert语句，进行数据构造。

手动copy到python脚本进行sql语句构造：

def transformString(s):  list_s = s.split('\t')  print(len(list_s))  s_new = ''  for item in list_s:    s_new += '\"' + item.strip(' ') + '\"' + ','  return str(s_new.rstrip(','))# 为手动copy hive命令行打印输出的记录s = "555 helloworld"s_new = transformString(s)sql = 'insert into dw.test PARTITION (ymd = \'2019-03-18\') values({});'.format(s_new)print(sql)

结果：

insert into dw.test PARTITION (ymd = '2019-03-18') values("555","helloworld");

补充知识：python向hive插入数据遇到的坑

因项目需求，应用python建模需要通过hive取数，并将结果写入hive表。

尝试了以下几条坑爹路，仅做记录如下：

通过impyla库搭建hive与python桥梁

1.1 环境配置的坑（回头放连接）

注: 远程访问hive一定要记得配置账号密码！！！报错：。。。-4.。。

1.2 一定不要用impyla中的executemany去批量插入数据，也不要用其他的方式向hive插入数据，都是坑！奇慢无比！找资料也都是说不建议这么做。

长途跋涉hdfs法

2.1 先用python的pyhdfs库将结果写成hdfs文件，然后。。。尼玛！！根本没成功连上服务器的hdfs，本地hdfs到是可以的

2.2 那既然写hdfs，我就直接将模型结果通过hadoop/hdfs命令上传至hdfs。然后， 通过hive命令load data将hdfs中的结果再导入hive。虽然有点绕，但是成功了！！！BUT！！！小兄弟，这个直接操作HDFS风险太高了，要不你还是另寻他法吧，不可以拒绝哦！！！

2.3 好吧，根据建议，使用kafka，抱歉这个坑后面再来踩。

2.4 临时处理方案：先将结果写入mysql，再转入hive，这个没有坑，具体我也只是写到mysql，无坑。。就是有点绕。。。

以上这篇使用Python构造hive insert语句说明就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • Python使用pyodbc访问数据库操作方法详解

    本文实例讲述了Python使用pyodbc访问数据库操作方法. 数据库连接 数据库连接网上大致有两种方法,一种是使用pyodbc,另一种是使用win32com.client,测试了很多遍,最终只有pyodbc成功,而且比较好用,所以这里只介绍这种方法 工具库安装 在此基础上安装pyodbc工具库,在cmd窗口执行如下语句安装 pip install pyodbc 如果安装了anaconda也可以使用conda install pyodbc 分享给大家供大家参考,具体如下: 检验是否可以正常连接数

  • Python pandas 列转行操作详解(类似hive中explode方法)

    最近在工作上用到Python的pandas库来处理excel文件,遇到列转行的问题.找了一番资料后成功了,记录一下. 1. 如果需要爆炸的只有一列: df=pd.DataFrame({'A':[1,2],'B':[[1,2],[1,2]]}) df Out[1]: A B 0 1 [1, 2] 1 2 [1, 2] 如果要爆炸B这一列,可以直接用explode方法(前提是你的pandas的版本要高于或等于0.25) df.explode('B') A B 0 1 1 1 1 2 2 2 1 3

  • python3.6.5基于kerberos认证的hive和hdfs连接调用方式

    1. Kerberos是一种计算机网络授权协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证.具体请查阅官网 2. 需要安装的包(基于centos) yum install libsasl2-dev yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64 yum install python-devel yum install krb5-devel yum install python-krbV pip insta

  • python 实现 hive中类似 lateral view explode的功能示例

    背景:加入现在有这样的数据,可能一条ocr代表两个label,并且label通过","分隔.我们想把数据转换成下面的. 原始数据: label ocr 日常行车服务,汽车资讯 去加油站,加完油后直接离开?最开心的可能是加油站的工作人员 社会民生 已致2死20伤 !景区突遭尘卷风袭击,孩子被卷上天!现场画面曝光 目标数据: label ocr 日常行车服务 去加油站,加完油后直接离开?最开心的可能是加油站的工作人员 汽车资讯 去加油站,加完油后直接离开?最开心的可能是加油站的工作人员 社

  • 使用Python构造hive insert语句说明

    mysql可以使用nevicat导出insert语句用于数据构造,但是hive无法直接导出insert语句.我们可以先打印在hive命令行,然后使用脚本拼装成insert语句,进行数据构造. 手动copy到python脚本进行sql语句构造: def transformString(s): list_s = s.split('\t') print(len(list_s)) s_new = '' for item in list_s: s_new += '\"' + item.strip(' ')

  • 使用python批量生成insert语句的方法

    使用python批量生成insert语句的方法

    1.建表语句 2.目标insert语句 INSERT INTO `bidprcu_dic_a`( `DIC_ID`, `DIC_TYPE_CODE`, `DIC_TYPE_NAME`, `DATA_DIC_CODE`, `DATA_DIC_NAME`, `PRNT_CODE`, `SRT`, `MEMO`, `DATA_SOUC`, `RID`, `CRTER_ID`, `CRTER_NAME`, `CRTE_OPTINS_NO`, `CRTE_TIME`, `OPT_TIME`, `OPTER

  • 解决python mysql insert语句的问题

    1.python 数据插入问题 par=[] for a in params: if type(a) == list: par.append('"str(a)"') else: par.append(a) for b in par: print() cursor.execute(sql,tuple(par)) 解决 注意python中的 extend,append 的区别,在数据添加数据库中的时候,如果列表中列表一定将列表转为 str 类型, params 中的 append 添加记录

  • python中list循环语句用法实例

    本文实例讲述了python中list循环语句用法.分享给大家供大家参考.具体用法分析如下: Python 的强大特性之一就是其对 list 的解析,它提供一种紧凑的方法,可以通过对 list 中的每个元素应用一个函数,从而将一个 list 映射为另一个 list. 实例 复制代码 代码如下: a = ['cat', 'window', 'defenestrate'] for x in a:      print x, len(x) for x in [1, 2, 3]: print x,    

  • Python中的With语句的使用及原理

    总览 在Python中,您需要通过打开文件来访问文件.您可以使用 open()函数来实现.Open 返回一个文件对象,该文件对象具有用于获取有关已打开文件的信息和对其进行操作的方法和属性. with 语句 使用 "with" 语句,使代码简洁,处理异常也更优雅. "with语句通过封装常用的准备工作和清除任务来简化异常处理." 此外,它将自动关闭文件.with 语句提供了一种确保始终使用清理的方法. 如果没有 with 语句,我们将编写如下内容: file = op

  • python自动生成sql语句的脚本

    描述: 工作中在数据库中创建表时,当字段很多时,比较麻烦,开发一个工具,可在excel中写好字段英文名和中文名,然后通过py生成脚本或直接在库中生成表 脚本: import tkinter from tkinter import * import tkinter.messagebox from tkinter import scrolledtext import xlrd import pymysql import os #从excel中获取字段项,组合建表语句 def get_create_s

  • 理解Python中的With语句

    有一些任务,可能事先需要设置,事后做清理工作.对于这种场景,Python的with语句提供了一种非常方便的处理方式.一个很好的例子是文件处理,你需要获取一个文件句柄,从文件中读取数据,然后关闭文件句柄. Without the with statement, one would write something along the lines of: 如果不用with语句,代码如下: file = open("/tmp/foo.txt") data = file.read() file.

  • 全面解析Python的While循环语句的使用方法

    全面解析Python的While循环语句的使用方法

    Python 编程中 while 语句用于循环执行程序,即在某条件下,循环执行某段程序,以处理需要重复处理的相同任务.其基本形式为: while 判断条件: 执行语句-- 执行语句可以是单个语句或语句块.判断条件可以是任何表达式,任何非零.或非空(null)的值均为true. 当判断条件假false时,循环结束. 执行流程图如下: 实例: #!/usr/bin/python count = 0 while (count < 9): print 'The count is:', count cou

  • 详解Python中的循环语句的用法

    一.简介 Python的条件和循环语句,决定了程序的控制流程,体现结构的多样性.须重要理解,if.while.for以及与它们相搭配的 else. elif.break.continue和pass语句. 二.详解 1.if语句 Python中的if子句由三部分组成:关键字本身.用于判断结果真假的条件表达式以及当表达式为真或者非零时执行的代码块.if 语句的语法如下: if expression: expr_true_suite if 语句的expr_true_suite代码块只有在条件表达式的结

随机推荐