[java]代码库
几点说明:
1. 我的测试数据的输入路径是hdfs://localhost:9000/user/hadoop/recommend,也就是文件存在于hdfs上,所以你需要将testData文件上传到hdfs中,并更改
Text.java文件中 path.put("Step1Input", "hdfs://localhost:9000/user/hadoop/recommend"); 中的路径,改成你的文件路径后才能正确运行
2.直接运行MultiTask就可以得到结果了,MultiTask是将几个单独的任务合并了,如果你想详细了解每个中间步骤的结果,请依次运行 Test.java 中的
MyStep1.run(test.getPath());
MyStep2.run(test.getPath());
MyStep3.run1(test.getPath());
MyStep3.run2(test.getPath());
MyStep4.run(test.getPath());
3.本代码参考了网上的代码 地址如下: http://blog.csdn.net/javastart/article/details/41128913
http://blog.csdn.net/andrewgb/article/details/50760575
4.本代码集合了多个任务,其中用到了 JobControl,具体使用方法请看MultiTask.java
[源代码打包下载]
中级程序员
by: 李潇 发表于:2016-06-12 12:02:09 顶(0) | 踩(0) 回复
感觉好高深的样子
回复评论