修修改hdfs上的文件所属用户、所属组等读写执行控制权限
sudo addgroup Hadoop#添加一个hadoop组
sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组
sudo gedit etc/sudoers#将hadoop组加入到sudoer
在root ALL=(ALL) ALL后 hadoop ALL=(ALL) ALL
修改hadoop目录的权限
sudo chown -R larry:hadoop /home/larry/hadoop<所有者:组 文件>
sudo chmod -R 755 /home/larry/hadoop
修改hdfs的权限
sudo bin/hadoop dfs -chmod -R 755 /
sudo bin/hadoop dfs -ls /
修改hdfs文件的所有者
sudo bin/hadoop fs -chown -R larry /
sudo bin/hadoop dfsadmin -safemode leave #解除hadoop的安全模式
hadoop fs -copyFromLocal <localsrc> URI#拷贝本地文件到hdfs
hadoop fs -cat file:///file3 /user/hadoop/file4#将路径指定文件的内容输出到stdout
hadoop fs -chgrp [-R] GROUP URI#改变文件的所属组
hadoop fs -chmod [-R] 755 URI#改变用户访问权限
hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]#修改文件的所有者
hadoop fs -copyToLocal URI localdst#拷贝hdfs文件到本地
hadoop fs -cp URI [URI …] <dest>#拷贝hdfs文件到其它目录
hadoop fs -du URI [URI …]#显示目录中所有文件的大小
hadoop fs -getmerge <src> <localdst> [addnl]#合并文件到本地目录
如:
root@cdh3:~# hdfs dfs -ls /
Found 8 items
drwxr-xr-x - hbase hbase 0 2017-06-24 10:05 /hbase
drwxrwxr-x - solr solr 0 2016-12-01 22:43 /solr
drwxr-xr-x - root supergroup 0 2017-04-24 22:58 /sparklib
drwxr-xr-x - root supergroup 0 2017-07-19 17:44 /sparklib-2.1.0
drwxr-xr-x - hdfs supergroup 0 2016-12-05 09:08 /system
drwxrwxrwt - hdfs supergroup 0 2017-07-13 09:40 /tmp
drwxr-xrwx - hdfs supergroup 0 2017-06-23 10:54 /user
drwxr-xr-x - root supergroup 0 2017-04-13 11:12 /file
root@cdh3:~# hdfs dfs -chown Administrator /file
chown: changing ownership of '/file': Non-super user cannot change owner
root@cdh3:~# hdfs dfs -chown -R Administrator /file
chown: changing ownership of '/file': Non-super user cannot change owner
root@cdh3:~# su hdfs
hdfs@cdh3:/root$ hdfs dfs -chown -R Administrator /file
hdfs@cdh3:/root$ hdfs dfs -chgrp -R Administrator /file
hdfs@cdh3:/root$ hdfs dfs -ls /file
Found 9 items
-rw-r--r-- 2 Administrator Administrator 3302 2017-04-13 11:11 /file/data-transfer.properties
-rw-r--r-- 2 Administrator Administrator 313898 2017-04-13 11:00 /file/dom4j-1.6.1.jar
drwxr-xr-x - Administrator Administrator 0 2017-04-12 10:03 /file/hangxin
-rw-r--r-- 2 Administrator Administrator 24212 2017-03-17 12:06 /file/hx.jar
-rw-r--r-- 2 Administrator Administrator 802721 2017-03-17 11:50 /file/mysql-connector-java-5.1.20-bin.jar
drwxr-xr-x - Administrator Administrator 0 2017-03-22 09:46 /file/notregex
drwxr-xr-x - Administrator Administrator 0 2017-04-25 00:01 /file/regex
-rw-r--r-- 2 Administrator Administrator 106006 2017-04-13 11:12 /file/sihconfig.xml
-rw-r--r-- 2 Administrator Administrator 123 2017-03-16 14:31 /file/spark-config.properties
#
hadoop HDFS常用文件操作命令
1. 列出文件和目录hadoop fs -ls \/dir 用于列出根目录下的内容,若需递归列出,可使用 hadoop fs -ls -R \/dir。2. 文件上传(put)确保目标文件夹存在,如 hadoop fs -put --hdfs dir,或上传从键盘输入的文件,但不能覆盖已存在的文件。3. 文件下载(get)避免本地文件名与HDFS文件名冲突,...
修修改hdfs上的文件所属用户、所属组等读写执行控制权限
hadoop fs -chmod [-R] 755 URI#改变用户访问权限 hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]#修改文件的所有者 hadoop fs -copyToLocal URI localdst#拷贝hdfs文件到本地 hadoop fs -cp URI [URI …] <dest>#拷贝hdfs文件到其它目录 hadoop fs -du URI [URI …]#显示目录...
HDFS 上的文件支持修改操作吗?若支持,如何修改hdfs文件?
你现在想要修改\/process\/startall.txt文件的权限,那process目录以及startall.txt的有效用户、有效组以及其权限是什么呢?假设process目录与startall.txt原始的有效用户和有效组分别为root和supergroup,原始权限为750的话,你若在自己电脑运行上述程序,它会自动获取当前计算机的登录用户,假设为wyc,去访问hdfs...
Hadoop_HDFS(二):Shell操作之文件的管理(上传下载删除等)
一、命令查看与实操通过'hadoop fs help'或'hdfs dfs help'查看所有命令,如查看cat命令的语法:hadoop fs help cat 执行前确保HDFS集群已启动,可以通过脚本或在对应节点上运行。二、文件管理2.1 创建文件夹创建名为'sanguo'的文件夹:hadoop fs -mkdir sanguo 通过浏览器查看:hadoop fs -ls sanguo ...
HDFS 上的文件支持修改操作吗?若支持,如何修改hdfs文件?
当前稳定版本的hdfs(1.1.2)不支持文件的修改操作,要修改文件只能先把文件从hdfs拷贝到本地硬盘,修改后删除hdfs里的文件,上传修改后的文件到hdfs。
hdfs上到0和1开头的文件怎么处理?
在HDFS中,文件名以0或1开头的文件是非法的,因为Hadoop将它们视为隐藏文件。因此,不能在HDFS中创建文件名以0或1开头的文件。如果已经存在这样的文件,可以使用以下两种方法之一进行处理:重命名文件:将文件名从0或1开头更改为其他字符。可以使用以下命令进行更改:hadoop fs -mv \/path\/to\/0filename ...
hdfs的特点有哪些
因为存储在HDFS上的文件都是超大文件,当上传完这个文件到hadoop集群后,会进行文件切块,分发,复制等操作。如果文件被修改,会导致重新触发这个过程,而这个过程耗时是最长的。所以在hadoop里,2.0版本允许数据的追加,单不允许数据的修改。5.高容错性:数据自动保存多个副本,副本丢失后自动恢复。可构建...
java修改hdfs上文件权限的问题
读(r=4),写(w=2),执行(x=1)第一位数字代表文件所有者的权限,第二位数字代表同组用户的权限,第三位数字代表其他用户的权限 775: rwx--rwx--rx 上面是百度的资料,楼主可以把代码贴完整共同研究下么
Hadoop有哪些优缺点?
3、不适合多用户写入文件,修改文件:Hadoop2.0虽然支持文件的追加功能,但是还是不建议对HDFS上的 文件进行修改,因为效率低。4、对于上传到HDFS上的文件,不支持修改文件,HDFS适合一次写入,多次读取的场景。5、HDFS不支持多用户同时执行写操作,即同一时间,只能有一个用户执行写操作。二、HDFS优点:1...
HDFS操作命令
目录名修改日期 修改时间 权限 用户ID 组ID 返回值 成功返回0,失败返回-1 (13)lsr命令 lsr命令是-ls命令的递归版,类似于UNIX中的ls-r。 使用方法:hadoop fs -lsr <args> (14)movefromLocal命令 复制一份本地文件到hdfs,当成功后,删除本地文件 使用方法:dfs -moveFromLocal <src> <dst> (14.5)m...
窄实参芪: 看来你是开启了HDFS的权限检查功能,这样你访问HDFS,NameNode都会检查访问用户的权限的.你现在想要修改/process/startall.txt文件的权限,那process目录以及startall.txt的有效用户、有效组以及其权限是什么呢?假设process目录与...
建瓯市15322379442: java修改hdfs上文件权限的问题 - ?
窄实参芪: 读(r=4),写(w=2),执行(x=1) 第一位数字代表文件所有者的权限,第二位数字代表同组用户的权限,第三位数字代表其他用户的权限775: rwx--rwx--rx 上面是百度的资料,楼主可以把代码贴完整共同研究下么
建瓯市15322379442: hdfs上文件权限问题 - ?
窄实参芪: hadoop fs -chomd +x /upload/Hello 你这句话是错误的,chmod使用u+x 试试 ,不能单独使用+x来修改文件的权限.
建瓯市15322379442: 修改java文件管理权限 - ?
窄实参芪: 下载带证书版的浏览器,就行了!没有就自己授权,手机连接电脑在卡找到那个软件所在位置(一般都是隐藏的文件夹,大多数是JAVA文件夹)找到那个软件,是两个文件夹,一个txt文件,有的手机不同,只要打开TXT文件把Domain: Untrurted改成Domain: Trusted Third或Domain: Manufacturer注意冒号后有一个空格在到许可里就能改了!
建瓯市15322379442: 搭建hadoop环境为什么要修改hostname - ?
窄实参芪: 1.关闭hdfs权限:hdfs-site.xml中<property><!-- 是否对DFS中的文件进行权限控制(测试中一般用false)--><name>dfs.permissions</name><value>false</value> </property>2.检查eclipse插件是否设置了hadoop安装目录:将与linux下安装的...
建瓯市15322379442: hadoop的HDFS文件格式化hadoop namenode - format,只需要在初始的时候格式化一次 - ?
窄实参芪: 1、hadoop namenode -format命令只对namenode有效,对其它节点无效.2、集群增加节点,只要在namenode节点的配置文件中,将IP和端口以及数据目录配置一下就可以了.可以用更新或是重启服务的命令,那么新增的datanode就会自动追加到集中.3、称这样的系统为高度自由可伸缩系统.增或减节点都能被智能控制节点监测到,并将相应的节点的变化,通过冗余机制给予解决.再思考下吧.
建瓯市15322379442: Hadoop已经启动好了,但我在配置Eclipse开发环境时,DFS Locations下面的文件夹总是显示为0 - ?
窄实参芪: 需要修改两处地方:1、hdfs文件权限.2、windows用户更改成root或和linux具有相同hdfs权限的用户.
建瓯市15322379442: 部署hadoop时,需要在系统中创建哪些属于hadoop组的用户 - ?
窄实参芪: 1 用root用户安装jdk1.6以上2 用root用户 创建hadoop用户3 在hadoop用户下安装hadoop 安装Hadoop,版本随意 然后配置Hadoop,需要修改hadoop的配置文件,它们位于conf子目录下,分别是hadoop-env.sh、core-site.xml、hdfs-site.xml 和mapred-site.xml4 修改/home/hadoop/.bash_profile将JDK和hadoop的环境变量设置好5 安装ssh(伪集群也需要ssh)
建瓯市15322379442: hadoop怎么启动namenode - ?
窄实参芪: 第一步:修改core-site.xml,配置如下内容:fs.default.name hdfs://localhost:9000 true dfs.replication 1第二步:修改hdfs-site.xml文件,配置如下内容:dfs.name.dir /cygdrive/d/hadoop/working/name true dfs.data.dir /cygdrive/d/hadoop/...
建瓯市15322379442: windows上用Cygwin搭建hadoop配置问题 - ?
窄实参芪: 到 C:/Windows/System32/drivers/etc/ 下 修改(记事本修改,其他工具修改后无法保存,cygwin中的/etc/下的hosts--是修改不了的),把所有行全部注销.重启sshd, ok!