使用 Apache Hive 和 Hadoop 创建自定义插件

在命令提示符下，导航到要创建插件的目录。例如：

cd plugins

从镜像中下载 Hadoop，例如：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

从镜像中下载 Hive，例如：

wget https://downloads.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

创建目录。例如：

mkdir hive_plugin

Hadoop 提取。

tar -xvzf hadoop-3.3.0.tar.gz -C hive_plugin

Hive 提取。

tar -xvzf apache-hive-3.1.2-bin.tar.gz -C hive_plugin

在命令行提示符中，导航到 hive_plugin 目录。例如：

cd hive_plugin

复制以下代码示例的内容，并在 hive_plugin 目录中将其本地另存为 hive_plugin.py。

from airflow.plugins_manager import AirflowPlugin
import os
os.environ["JAVA_HOME"]="/usr/lib/jvm/jre"
os.environ["HADOOP_HOME"]='/usr/local/airflow/plugins/hadoop-3.3.0'
os.environ["HADOOP_CONF_DIR"]='/usr/local/airflow/plugins/hadoop-3.3.0/etc/hadoop'
os.environ["HIVE_HOME"]='/usr/local/airflow/plugins/apache-hive-3.1.2-bin'
os.environ["PATH"] = os.getenv("PATH") + ":/usr/local/airflow/plugins/hadoop-3.3.0:/usr/local/airflow/plugins/apache-hive-3.1.2-bin/bin:/usr/local/airflow/plugins/apache-hive-3.1.2-bin/lib" 
os.environ["CLASSPATH"] = os.getenv("CLASSPATH") + ":/usr/local/airflow/plugins/apache-hive-3.1.2-bin/lib" 
class EnvVarPlugin(AirflowPlugin):                
    name = 'hive_plugin' 

复制以下文本的内容，并在 hive_plugin 目录中将其本地另存为 .airflowignore。

hadoop-3.3.0
apache-hive-3.1.2-bin

在命令提示符下，导航到上一步中的 hive_plugin 目录。例如：

cd hive_plugin

将内容压缩到 plugins 文件夹中。

zip -r ../hive_plugin.zip ./

在命令提示符下，导航到存储 DAG 代码的目录。例如：

cd dags

复制以下代码示例的内容，并在本地另存为 hive.py。

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago

with DAG(dag_id="hive_test_dag", schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
    hive_test = BashOperator(
        task_id="hive_test",
        bash_command='hive --help'
    )