java运行hiveQL，如何获取并打印日志信息？
log4j 可以打印日志
首先把log4j.jar文件考到工程里面,然后把log4j.properties考到工程项目的src下。
log4j.properties文件配置如下:
log4j.rootLogger=DEBUG, A1 ,R
log4j.appender.A1=org.apache.log4j.ConsoleAppender
log4j.appender.A1.layout=org.apache.log4j.PatternLayout
log4j.appender.A1.layout.ConversionPattern=%-d{yyyy-MM-dd HH\:mm\:ss} [%c]-[%p] %m%n
log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=D:\\Test_Log4j.log
log4j.appender.R.MaxFileSize=100KB log4j.appender.R.MaxBackupIndex=1
log4j.appender.R.layout=org.apache.log4j.PatternLayout
log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n
以上参数下面有详解.
LogTest.java代码如下
package com.log4j.junit;
import org.apache.log4j.Logger;
import org.apache.log4j.PropertyConfigurator;
import com.log4j.dao.EmployeeDao;
import com.log4j.entity.Employee;
/**
* 采用log4j打印日志类
* @author Administrator
*
*/
public class LogTest {
/**
* 采用单例模式
*/
static Logger logger = null;
public static void testAddMethod(EmployeeDao empDao,Employee emp) throws ClassNotFoundException{
logger=Logger.getLogger(EmployeeDao.class.getName());
PropertyConfigurator.configure(".\\src\\log4j.properties");
logger.info("Info "+EmployeeDao.class.getName()+" "+" param="+emp.getClass().getName());
//获取类的相应方法
logger.warn("Warn ...");
logger.error("Error ...");
}
}
EmployeeDao.java文件代码如下:
package com.log4j.dao;
import com.log4j.entity.Employee;
public class EmployeeDao {
public void addEmployee(Employee emp){
System.out.println(emp.getEmpId()+" "+emp.getEmpName());
}
}
Employee.java代码如下:
package com.log4j.entity;
public class Employee {
private int empId;
private String empName;
public int getEmpId() {
return empId;
}
public void setEmpId(int empId) {
this.empId = empId;
}
public String getEmpName() {
return empName;
}
public void setEmpName(String empName) {
this.empName = empName;
}
}
EmployeeJuint.java代码如下:
package com.log4j.junit;
import org.junit.Test;
import com.log4j.dao.EmployeeDao;
import com.log4j.entity.Employee;
/**
* 测试员工使用log4j打印日志junit
* @author tfq
* datetime 2011-08-14
*/
public class EmployeeJuint {
@Test
public void addEmployee(){
Employee emp=new Employee();
emp.setEmpId(1);
emp.setEmpName("tfq");
EmployeeDao empDao=new EmployeeDao();
//打印日志
//LogTest.testAddMethod(EmployeeDao.class.getName());
//LogTest.testAddMethod(empDao);
try {
LogTest.testAddMethod(empDao,emp);
empDao.addEmployee(emp);
} catch (ClassNotFoundException e) {
e.printStackTrace();
}
}
}
运行EmployeeJuint .java中的addEmployee().在D盘的Test_Log4j.log会有如下记录:
param=com.log4j.entity.Employee
WARN main com.log4j.dao.EmployeeDao - Warn ...
ERROR main com.log4j.dao.EmployeeDao - Error ..
下面是lo4j.propertites中配置详解:
1、定义配置文件
首先使用配置文件将使我们的应用程序更加灵活配置log日志输出方式包括输出优先级、输出目的地、输出格式。Log4j支持两种配置文件格式，一种是 XML格式的文件，一种是Java特性文件log4j.properties（键=值）。下面将介绍使用log4j.properties文件作为配置文 件的方法：
①配置根Logger，其语法为：0
log4j.rootLogger = [ level ] , appenderName, appenderName, …
其中，level 是日志记录的优先级，分为OFF、FATAL、ERROR、WARN、INFO、DEBUG、ALL或者自定义的级别。Log4j建议只使用四个级别，优 先级从高到低分别是ERROR、WARN、INFO、DEBUG。通过在这里定义的级别，您可以控制到应用程序中相应级别的日志信息的开关。比如在这里定 义了INFO级别，则应用程序中所有DEBUG级别的日志信息将不被打印出来。 appenderName就是指定日志信息输出到哪个地方。可同时指定多个输出目的地。
②配置日志信息输出目的地Appender，其语法为：
log4j.appender.appenderName = fully.qualified.name.of.appender.class
log4j.appender.appenderName.option1 = value1
…
log4j.appender.appenderName.option = valueN
其中，Log4j提供的appender有以下几种：
org.apache.log4j.ConsoleAppender（控制台），
org.apache.log4j.FileAppender（文件），
org.apache.log4j.DailyRollingFileAppender（每天产生一个日志文件），
org.apache.log4j.RollingFileAppender（文件大小到达指定尺寸的时候产生一个新的文件），
org.apache.log4j.WriterAppender（将日志信息以流格式发送到任意指定的地方）
③配置日志信息的格式（布局），其语法为：
log4j.appender.appenderName.layout = fully.qualified.name.of.layout.class
log4j.appender.appenderName.layout.option1 = value1
…
log4j.appender.appenderName.layout.option = valueN
其中，Log4j提供的layout有以下几种：
org.apache.log4j.HTMLLayout（以HTML表格形式布局），
org.apache.log4j.PatternLayout（可以灵活地指定布局模式），
org.apache.log4j.SimpleLayout（包含日志信息的级别和信息字符串），
org.apache.log4j.TTCCLayout（包含日志产生的时间、线程、类别等等信息）
Log4J采用类似C语言中的printf函数的打印格式格式化日志信息，打印参数如下： %m 输出代码中指定的消息
%p 输出优先级，即DEBUG，INFO，WARN，ERROR，FATAL
%r 输出自应用启动到输出该log信息耗费的毫秒数
%c 输出所属的类目，通常就是所在类的全名
%t 输出产生该日志事件的线程名
%n 输出一个回车换行符，Windows平台为“
”，Unix平台为“
”
%d 输出日志时间点的日期或时间，默认格式为ISO8601，也可以在其后指定格式，比如：%d{yyy MMM dd HH:mm:ss,SSS}，输出类似：2002年10月18日 22：10：28，921
%l 输出日志事件的发生位置，包括类目名、发生的线程，以及在代码中的行数。举例：Testlog4.main(TestLog4.java:10)
2、在代码中使用Log4j
①得到记录器
使用Log4j，第一步就是获取日志记录器，这个记录器将负责控制日志信息。其语法为：
public static Logger getLogger( String name)
通过指定的名字获得记录器，如果必要的话，则为这个名字创建一个新的记录器。Name一般取本类的名字，比如：
static Logger logger = Logger.getLogger ( ServerWithLog4j.class.getName () )
②读取配置文件
当获得了日志记录器之后，第二步将配置Log4j环境，其语法为：
BasicConfigurator.configure ()： 自动快速地使用缺省Log4j环境。
PropertyConfigurator.configure ( String configFilename) ：读取使用Java的特性文件编写的配置文件。
例：PropertyConfigurator.configure(".\\src\\log4j.properties")
DOMConfigurator.configure ( String filename ) ：读取XML形式的配置文件。
③插入记录信息（格式化日志信息）
当上两个必要步骤执行完毕，就可轻松地使用不同优先级别的日志记录语句插入到您想记录日志的任何地方，其语法如下：
Logger.debug ( Object message ) ;
Logger.info ( Object message ) ;
Logger.warn ( Object message ) ;
Logger.error ( Object message ) ;
在web程序中使用log4j注意问题
1、 由于jsp或servlet在执行状态时没有当前路径概念，所有使用PropertyConfigurator.configure（String）语句找log4j.properties文件时要给出相对于当前jsp或servlet的路径转化成为一个绝对的文件系统路径。方法是使用servletcontext.getrealpath(string)语句。例：
//得到当前jsp路径
String prefix = getServletContext().getRealPath("/");
//读取log4j.properties
PropertyConfigurator.configure(prefix+"\\WEB-INF\\log4j.properties");
2、相应的log4j.properties设置某个属性时也要在程序中设置绝对路径。例：
log4j.appender.R.File属性设置日志文件存放位置。我们可以用读写.properties配置文件的方法进行灵活设置。
String sql="show tables; select * from test_tb limit 10";
List command = new ArrayList();
command.add("hive");
command.add("-e");
command.add(sql);
List results = new ArrayList();
ProcessBuilder hiveProcessBuilder = new ProcessBuilder(command);
hiveProcess = hiveProcessBuilder.start();
BufferedReader br = new BufferedReader(new InputStreamReader(
hiveProcess.getInputStream()));
String data = null;
while ((data = br.readLine()) != null) {
results.add(data);
}
首先把log4j.jar文件考到工程里面,然后把log4j.properties考到工程项目的src下。
log4j.properties文件配置如下:
log4j.rootLogger=DEBUG, A1 ,R
log4j.appender.A1=org.apache.log4j.ConsoleAppender
log4j.appender.A1.layout=org.apache.log4j.PatternLayout
log4j.appender.A1.layout.ConversionPattern=%-d{yyyy-MM-dd HH\:mm\:ss} [%c]-[%p] %m%n
log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=D:\\Test_Log4j.log
log4j.appender.R.MaxFileSize=100KB log4j.appender.R.MaxBackupIndex=1
log4j.appender.R.layout=org.apache.log4j.PatternLayout
log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n
以上参数下面有详解.
LogTest.java代码如下
package com.log4j.junit;
import org.apache.log4j.Logger;
import org.apache.log4j.PropertyConfigurator;
import com.log4j.dao.EmployeeDao;
import com.log4j.entity.Employee;
/**
* 采用log4j打印日志类
* @author Administrator
*
*/
public class LogTest {
/**
* 采用单例模式
*/
static Logger logger = null;
public static void testAddMethod(EmployeeDao empDao,Employee emp) throws ClassNotFoundException{
logger=Logger.getLogger(EmployeeDao.class.getName());
PropertyConfigurator.configure(".\\src\\log4j.properties");
logger.info("Info "+EmployeeDao.class.getName()+"\t "+" \t param="+emp.getClass().getName());
//获取类的相应方法
logger.warn("Warn ...");
logger.error("Error ...");
}
}
EmployeeDao.java文件代码如下:
package com.log4j.dao;
import com.log4j.entity.Employee;
public class EmployeeDao {
public void addEmployee(Employee emp){
System.out.println(emp.getEmpId()+" "+emp.getEmpName());
}
}
Employee.java代码如下:
package com.log4j.entity;
public class Employee {
private int empId;
private String empName;
public int getEmpId() {
return empId;
}
public void setEmpId(int empId) {
this.empId = empId;
}
public String getEmpName() {
return empName;
}
public void setEmpName(String empName) {
this.empName = empName;
}
}
EmployeeJuint.java代码如下:
package com.log4j.junit;
import org.junit.Test;
import com.log4j.dao.EmployeeDao;
import com.log4j.entity.Employee;
/**
* 测试员工使用log4j打印日志junit
* @author tfq
* datetime 2011-08-14
*/
public class EmployeeJuint {
@Test
public void addEmployee(){
Employee emp=new Employee();
emp.setEmpId(1);
emp.setEmpName("tfq");
EmployeeDao empDao=new EmployeeDao();
//打印日志
//LogTest.testAddMethod(EmployeeDao.class.getName());
//LogTest.testAddMethod(empDao);
try {
LogTest.testAddMethod(empDao,emp);
empDao.addEmployee(emp);
} catch (ClassNotFoundException e) {
e.printStackTrace();
}
}
}
运行EmployeeJuint .java中的addEmployee().在D盘的Test_Log4j.log会有如下记录:
param=com.log4j.entity.Employee
WARN main com.log4j.dao.EmployeeDao - Warn ...
ERROR main com.log4j.dao.EmployeeDao - Error ..
下面是lo4j.propertites中配置详解:
1、定义配置文件
首先使用配置文件将使我们的应用程序更加灵活配置log日志输出方式包括输出优先级、输出目的地、输出格式。Log4j支持两种配置文件格式，一种是 XML格式的文件，一种是Java特性文件log4j.properties（键=值）。下面将介绍使用log4j.properties文件作为配置文 件的方法：
①配置根Logger，其语法为：0
log4j.rootLogger = [ level ] , appenderName, appenderName, …
其中，level 是日志记录的优先级，分为OFF、FATAL、ERROR、WARN、INFO、DEBUG、ALL或者自定义的级别。Log4j建议只使用四个级别，优 先级从高到低分别是ERROR、WARN、INFO、DEBUG。通过在这里定义的级别，您可以控制到应用程序中相应级别的日志信息的开关。比如在这里定 义了INFO级别，则应用程序中所有DEBUG级别的日志信息将不被打印出来。 appenderName就是指定日志信息输出到哪个地方。可同时指定多个输出目的地。
②配置日志信息输出目的地Appender，其语法为：
log4j.appender.appenderName = fully.qualified.name.of.appender.class
log4j.appender.appenderName.option1 = value1
…
log4j.appender.appenderName.option = valueN
其中，Log4j提供的appender有以下几种：
org.apache.log4j.ConsoleAppender（控制台），
org.apache.log4j.FileAppender（文件），
org.apache.log4j.DailyRollingFileAppender（每天产生一个日志文件），
org.apache.log4j.RollingFileAppender（文件大小到达指定尺寸的时候产生一个新的文件），
org.apache.log4j.WriterAppender（将日志信息以流格式发送到任意指定的地方）
③配置日志信息的格式（布局），其语法为：
log4j.appender.appenderName.layout = fully.qualified.name.of.layout.class
log4j.appender.appenderName.layout.option1 = value1
…
log4j.appender.appenderName.layout.option = valueN
其中，Log4j提供的layout有以下几种：
org.apache.log4j.HTMLLayout（以HTML表格形式布局），
org.apache.log4j.PatternLayout（可以灵活地指定布局模式），
org.apache.log4j.SimpleLayout（包含日志信息的级别和信息字符串），
org.apache.log4j.TTCCLayout（包含日志产生的时间、线程、类别等等信息）
Log4J采用类似C语言中的printf函数的打印格式格式化日志信息，打印参数如下： %m 输出代码中指定的消息
%p 输出优先级，即DEBUG，INFO，WARN，ERROR，FATAL
%r 输出自应用启动到输出该log信息耗费的毫秒数
%c 输出所属的类目，通常就是所在类的全名
%t 输出产生该日志事件的线程名
%n 输出一个回车换行符，Windows平台为“\r\n”，Unix平台为“\n”
%d 输出日志时间点的日期或时间，默认格式为ISO8601，也可以在其后指定格式，比如：%d{yyy MMM dd HH:mm:ss,SSS}，输出类似：2002年10月18日 22：10：28，921
%l 输出日志事件的发生位置，包括类目名、发生的线程，以及在代码中的行数。举例：Testlog4.main(TestLog4.java:10)
2、在代码中使用Log4j
①得到记录器
使用Log4j，第一步就是获取日志记录器，这个记录器将负责控制日志信息。其语法为：
public static Logger getLogger( String name)
通过指定的名字获得记录器，如果必要的话，则为这个名字创建一个新的记录器。Name一般取本类的名字，比如：
static Logger logger = Logger.getLogger ( ServerWithLog4j.class.getName () )
②读取配置文件
当获得了日志记录器之后，第二步将配置Log4j环境，其语法为：
BasicConfigurator.configure ()： 自动快速地使用缺省Log4j环境。
PropertyConfigurator.configure ( String configFilename) ：读取使用Java的特性文件编写的配置文件。
例：PropertyConfigurator.configure(".\\src\\log4j.properties")
DOMConfigurator.configure ( String filename ) ：读取XML形式的配置文件。
③插入记录信息（格式化日志信息）
当上两个必要步骤执行完毕，就可轻松地使用不同优先级别的日志记录语句插入到您想记录日志的任何地方，其语法如下：
Logger.debug ( Object message ) ;
Logger.info ( Object message ) ;
Logger.warn ( Object message ) ;
Logger.error ( Object message ) ;
在web程序中使用log4j注意问题
1、 由于jsp或servlet在执行状态时没有当前路径概念，所有使用PropertyConfigurator.configure（String）语句找log4j.properties文件时要给出相对于当前jsp或servlet的路径转化成为一个绝对的文件系统路径。方法是使用servletcontext.getrealpath(string)语句。例：
//得到当前jsp路径
String prefix = getServletContext().getRealPath("/");
//读取log4j.properties
PropertyConfigurator.configure(prefix+"\\WEB-INF\\log4j.properties");
2、相应的log4j.properties设置某个属性时也要在程序中设置绝对路径。例：
log4j.appender.R.File属性设置日志文件存放位置。我们可以用读写.properties配置文件的方法进行灵活设置。
大数据都是需要什么技术的?
大数据技术庞大复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等范畴 查询引擎：Phoenix、Shark、Pig、Hive等 流式计算：storm、Twitter Rainbird等 迭代计算：Apache Hama、Apache Giraph、HaLoop等 离线计算：Hadoop MapReduce、Berkeley Spark等 ...
java学习作为一名java初学者,如何快速学习j
JAVA快速入门的方法：1、时刻提醒自己Java是一种OOP语言工具，而不仅仅是编码，只有这样才能总体把握和运用Java。2、在学习的过程中，最好能够【了解Java】的底层机制，而不是仅仅停留在表层，不是抄书上的例子运行出结果就可以。要注意，即便对一个简单的例子也要有耐心去琢磨、调试、改动。3、在学习的...
Java培训班一般都教什么内容?
Java培训一般会教下面四种内容：1、掌握Java语言的使用：语言语法、程序逻辑，OOP（面向对象）思想，封装、继承、多态，集合框架、泛型、File I\\O技术，多线程技术、socket网络编程，XML技术。编程有关的操作系统基本使用，HTML5规范、HTML5文档结构、HTML5元素、Web语义化；CSS3规范、CSS3选择器、层叠与...
如何学好java语言啊?
建议一：有系统的学习方案，系统的学习教程，先把Java学了一遍之后才是真正的入门，然后就是不断的练习，不断的巩固，为之后的工作打下坚实的基础。建议二：学习Java不要先看书学，一定要先把一块的知识点学完一遍，并且自己多多少少会动手操作，然后去看书温习。还有不要盲目的看视频，很多人都是光看...
物竞天择的游戏模式
游戏节奏很快。无论是人类或异形，每升一级，就会得到1技能点用于升级能力。胜利条件:人类：在规定时间内摧毁对方母巢(Hive)。异型：在规定时间内保护母巢(Hive)不被摧毁或摧毁对方指挥中心(Command Console)。此模式并非NS的核心模式。地图格式为co_xxxxx。 （classic ）模式的要素是：占矿、发展、拆...
...我想有个英文名字,能不能叫“Hiven”啊?谁懂英语啊?能帮下我吗...
Ava、Christina、Judy、Susan、Grace、Alice 水瓶座男性最适合的英文名字：Paul、Sam、Francis、Lewis、Stephen、Andy、Scott 水瓶座女性最适合的英文名字：Joyce、Sally、Margaret、Rebecca、Teresa、Rita、Jessica 双鱼座男性最适合的英文名字：Albert、Kevin、Michael、Taylor、Jackson、Jack、Jimmy、Allen、Martin...
官治佐匹： Java在1.5过后提供了ProcessBuilder根据运行时环境启动一个Process调用执行运行时环境下的命令或应用程序(1.5以前使用Runtime),关于ProcessBuilder请参考Java相关文档.调用代码如下:String sql=＂show tables; select * from test_tb ...
诸城市19115342355： java可以调用hive 为什么还要用sqoop - ？
官治佐匹： 这里所说的在Java中执行Hive命令或HiveQL并不是指Hive Client通过JDBC的方式连接HiveServer(or HiveServer2)执行查询,而是简单的在部署了HiveServer的服务器上执行Hive命令.
诸城市19115342355： idea怎么从服务器的hive数据库中获取数据 - ？
官治佐匹： 代码如下:package swt_jface.demo8; import org.eclipse.swt.SWT; import org.eclipse.swt.layout.GridData; import org.eclipse.swt.layout.GridLayout; import org.eclipse.swt.widgets.Display; import org.eclipse.swt.widgets.Event; import org.eclipse.swt...
诸城市19115342355： java web程序调用 hive 乱码 - ？
官治佐匹： 在方法里面的最前面添加上:reqest.setCharacterEncoding(＂UTF-8＂); response.setCharacterEncoding(＂UTF-8＂);
诸城市19115342355： JAVA使用mybatis执行sql脚本,怎么获取sql脚本的查询结果 - ？
官治佐匹： <select id=＂DAO接口方法名称＂ parameterType=＂参数类型＂ resultType=＂返回结果类型＂> select * from 表 where ...</select>resultType 可以是任意Object对象,如果多条数据,这这个方法返回的是List<Object?>,如果确认是单条数据...
诸城市19115342355： 如何使用Hadoop提升Hive查询性能 - ？
官治佐匹： 将原始数据大小为260M的txt文件放入hdfs.并配置了Hive环境做数据查询测试.由于原始数据太小,要做GB以上的文件测试.并且分别拷贝10、50、100、200、300、400、500份原始数据做成对应的大数据文件.分别对这些数据使用hiveQL查询相同的数据,然后记录不同大小的数据查询的结果.做成一个图表.然后再添加一个slave计算节点,负载均衡后再使用相同的hiveQL语言查询相同的数据集,记录对应的结果.
诸城市19115342355： 如何利用hive的udf加载资源文件 - ？
官治佐匹： package com.example.hive.udf; import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.Text; public final class LowerCase extends UDF { public Text evaluate(final Text s) { if (s == null) { return null; } return new Text(s.toString()....
诸城市19115342355： 如何生成hive的建表语句 - ？
官治佐匹： Java连接Hive 利用jdbc连接到hive,使用Java程序写一个循环.先获取全部表,然后show create table每个表.没能尝试成功,一直连接不上:import java.sql.SQLException; import java.sql.Connection; import java.sql.ResultSet; import java.sql....
诸城市19115342355： hive0.7.0中,执行 INSERT OVERWRITE TABLE hbase - table - 1 SELECT * FROM pokes;报错 - ？
官治佐匹： 可以再/hive/bin目录下输入 hive -hiveconf hive.root.logger=debug,console 然后再输入你报错的hql语句,会有更详细的错误提示,这个调试模式很管用的,希望能帮上.
诸城市19115342355： 如何通过java代码查看hive的metastore端口号 - ？
官治佐匹： 首先配置hive使用本地MySQL存储metastore(服务器A 111.121.21.23)
