修修改hdfs上的文件所属用户、所属组等读写执行控制权限
sudo addgroup Hadoop#添加一个hadoop组
sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组
sudo gedit etc/sudoers#将hadoop组加入到sudoer
在root ALL=(ALL) ALL后 hadoop ALL=(ALL) ALL
修改hadoop目录的权限
sudo chown -R larry:hadoop /home/larry/hadoop<所有者：组 文件>
sudo chmod -R 755 /home/larry/hadoop
修改hdfs的权限
sudo bin/hadoop dfs -chmod -R 755 /
sudo bin/hadoop dfs -ls /
修改hdfs文件的所有者
sudo bin/hadoop fs -chown -R larry /
sudo bin/hadoop dfsadmin -safemode leave #解除hadoop的安全模式
hadoop fs -copyFromLocal <localsrc> URI#拷贝本地文件到hdfs
hadoop fs -cat file:///file3 /user/hadoop/file4#将路径指定文件的内容输出到stdout
hadoop fs -chgrp [-R] GROUP URI#改变文件的所属组
hadoop fs -chmod [-R] 755 URI#改变用户访问权限
hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]#修改文件的所有者
hadoop fs -copyToLocal URI localdst#拷贝hdfs文件到本地
hadoop fs -cp URI [URI …] <dest>#拷贝hdfs文件到其它目录
hadoop fs -du URI [URI …]#显示目录中所有文件的大小
hadoop fs -getmerge <src> <localdst> [addnl]#合并文件到本地目录
如：
root@cdh3:~# hdfs dfs -ls /
Found 8 items
drwxr-xr-x - hbase hbase 0 2017-06-24 10:05 /hbase
drwxrwxr-x - solr solr 0 2016-12-01 22:43 /solr
drwxr-xr-x - root supergroup 0 2017-04-24 22:58 /sparklib
drwxr-xr-x - root supergroup 0 2017-07-19 17:44 /sparklib-2.1.0
drwxr-xr-x - hdfs supergroup 0 2016-12-05 09:08 /system
drwxrwxrwt - hdfs supergroup 0 2017-07-13 09:40 /tmp
drwxr-xrwx - hdfs supergroup 0 2017-06-23 10:54 /user
drwxr-xr-x - root supergroup 0 2017-04-13 11:12 /file
root@cdh3:~# hdfs dfs -chown Administrator /file
chown: changing ownership of '/file': Non-super user cannot change owner
root@cdh3:~# hdfs dfs -chown -R Administrator /file
chown: changing ownership of '/file': Non-super user cannot change owner
root@cdh3:~# su hdfs
hdfs@cdh3:/root$ hdfs dfs -chown -R Administrator /file
hdfs@cdh3:/root$ hdfs dfs -chgrp -R Administrator /file
hdfs@cdh3:/root$ hdfs dfs -ls /file
Found 9 items
-rw-r--r-- 2 Administrator Administrator 3302 2017-04-13 11:11 /file/data-transfer.properties
-rw-r--r-- 2 Administrator Administrator 313898 2017-04-13 11:00 /file/dom4j-1.6.1.jar
drwxr-xr-x - Administrator Administrator 0 2017-04-12 10:03 /file/hangxin
-rw-r--r-- 2 Administrator Administrator 24212 2017-03-17 12:06 /file/hx.jar
-rw-r--r-- 2 Administrator Administrator 802721 2017-03-17 11:50 /file/mysql-connector-java-5.1.20-bin.jar
drwxr-xr-x - Administrator Administrator 0 2017-03-22 09:46 /file/notregex
drwxr-xr-x - Administrator Administrator 0 2017-04-25 00:01 /file/regex
-rw-r--r-- 2 Administrator Administrator 106006 2017-04-13 11:12 /file/sihconfig.xml
-rw-r--r-- 2 Administrator Administrator 123 2017-03-16 14:31 /file/spark-config.properties
#
hadoop HDFS常用文件操作命令
1. 列出文件和目录hadoop fs -ls \/dir 用于列出根目录下的内容，若需递归列出，可使用 hadoop fs -ls -R \/dir。2. 文件上传（put）确保目标文件夹存在，如 hadoop fs -put --hdfs dir，或上传从键盘输入的文件，但不能覆盖已存在的文件。3. 文件下载（get）避免本地文件名与HDFS文件名冲突，...
修修改hdfs上的文件所属用户、所属组等读写执行控制权限
hadoop fs -chmod [-R] 755 URI#改变用户访问权限 hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]#修改文件的所有者 hadoop fs -copyToLocal URI localdst#拷贝hdfs文件到本地 hadoop fs -cp URI [URI …] <dest>#拷贝hdfs文件到其它目录 hadoop fs -du URI [URI …]#显示目录...
HDFS 上的文件支持修改操作吗?若支持,如何修改hdfs文件?
你现在想要修改\/process\/startall.txt文件的权限，那process目录以及startall.txt的有效用户、有效组以及其权限是什么呢？假设process目录与startall.txt原始的有效用户和有效组分别为root和supergroup，原始权限为750的话，你若在自己电脑运行上述程序，它会自动获取当前计算机的登录用户，假设为wyc,去访问hdfs...
Hadoop_HDFS(二):Shell操作之文件的管理(上传下载删除等)
一、命令查看与实操通过'hadoop fs help'或'hdfs dfs help'查看所有命令，如查看cat命令的语法:hadoop fs help cat 执行前确保HDFS集群已启动，可以通过脚本或在对应节点上运行。二、文件管理2.1 创建文件夹创建名为'sanguo'的文件夹:hadoop fs -mkdir sanguo 通过浏览器查看:hadoop fs -ls sanguo ...
HDFS 上的文件支持修改操作吗?若支持,如何修改hdfs文件?
当前稳定版本的hdfs(1.1.2)不支持文件的修改操作，要修改文件只能先把文件从hdfs拷贝到本地硬盘，修改后删除hdfs里的文件，上传修改后的文件到hdfs。
hdfs上到0和1开头的文件怎么处理?
在HDFS中，文件名以0或1开头的文件是非法的，因为Hadoop将它们视为隐藏文件。因此，不能在HDFS中创建文件名以0或1开头的文件。如果已经存在这样的文件，可以使用以下两种方法之一进行处理：重命名文件：将文件名从0或1开头更改为其他字符。可以使用以下命令进行更改：hadoop fs -mv \/path\/to\/0filename ...
hdfs的特点有哪些
因为存储在HDFS上的文件都是超大文件，当上传完这个文件到hadoop集群后，会进行文件切块，分发，复制等操作。如果文件被修改，会导致重新触发这个过程，而这个过程耗时是最长的。所以在hadoop里，2.0版本允许数据的追加，单不允许数据的修改。5.高容错性：数据自动保存多个副本，副本丢失后自动恢复。可构建...
java修改hdfs上文件权限的问题
读（r=4），写（w=2），执行（x=1）第一位数字代表文件所有者的权限，第二位数字代表同组用户的权限，第三位数字代表其他用户的权限 775: rwx--rwx--rx 上面是百度的资料，楼主可以把代码贴完整共同研究下么
Hadoop有哪些优缺点?
3、不适合多用户写入文件，修改文件：Hadoop2.0虽然支持文件的追加功能，但是还是不建议对HDFS上的 文件进行修改，因为效率低。4、对于上传到HDFS上的文件，不支持修改文件，HDFS适合一次写入，多次读取的场景。5、HDFS不支持多用户同时执行写操作，即同一时间，只能有一个用户执行写操作。二、HDFS优点：1...
HDFS操作命令
目录名修改日期 修改时间 权限 用户ID 组ID 返回值 成功返回0,失败返回-1 (13)lsr命令 lsr命令是-ls命令的递归版,类似于UNIX中的ls-r。 使用方法:hadoop fs -lsr <args> (14)movefromLocal命令 复制一份本地文件到hdfs,当成功后,删除本地文件 使用方法:dfs -moveFromLocal <src> <dst> (14.5)m...
窄实参芪： 看来你是开启了HDFS的权限检查功能,这样你访问HDFS,NameNode都会检查访问用户的权限的.你现在想要修改/process/startall.txt文件的权限,那process目录以及startall.txt的有效用户、有效组以及其权限是什么呢?假设process目录与...
建瓯市15322379442： java修改hdfs上文件权限的问题 - ？
窄实参芪： 读(r=4),写(w=2),执行(x=1) 第一位数字代表文件所有者的权限,第二位数字代表同组用户的权限,第三位数字代表其他用户的权限775: rwx--rwx--rx 上面是百度的资料,楼主可以把代码贴完整共同研究下么
建瓯市15322379442： hdfs上文件权限问题 - ？
窄实参芪： hadoop fs -chomd +x /upload/Hello 你这句话是错误的,chmod使用u+x 试试 ,不能单独使用+x来修改文件的权限.
建瓯市15322379442： 修改java文件管理权限 - ？
窄实参芪： 下载带证书版的浏览器,就行了!没有就自己授权,手机连接电脑在卡找到那个软件所在位置(一般都是隐藏的文件夹,大多数是JAVA文件夹)找到那个软件,是两个文件夹,一个txt文件,有的手机不同,只要打开TXT文件把Domain: Untrurted改成Domain: Trusted Third或Domain: Manufacturer注意冒号后有一个空格在到许可里就能改了!
建瓯市15322379442： 搭建hadoop环境为什么要修改hostname - ？
窄实参芪： 1.关闭hdfs权限:hdfs-site.xml中<property><!-- 是否对DFS中的文件进行权限控制(测试中一般用false)--><name>dfs.permissions</name><value>false</value> </property>2.检查eclipse插件是否设置了hadoop安装目录:将与linux下安装的...
建瓯市15322379442： hadoop的HDFS文件格式化hadoop namenode - format,只需要在初始的时候格式化一次 - ？
窄实参芪： 1、hadoop namenode -format命令只对namenode有效,对其它节点无效.2、集群增加节点,只要在namenode节点的配置文件中,将IP和端口以及数据目录配置一下就可以了.可以用更新或是重启服务的命令,那么新增的datanode就会自动追加到集中.3、称这样的系统为高度自由可伸缩系统.增或减节点都能被智能控制节点监测到,并将相应的节点的变化,通过冗余机制给予解决.再思考下吧.
建瓯市15322379442： Hadoop已经启动好了,但我在配置Eclipse开发环境时,DFS Locations下面的文件夹总是显示为0 - ？
窄实参芪： 需要修改两处地方:1、hdfs文件权限.2、windows用户更改成root或和linux具有相同hdfs权限的用户.
建瓯市15322379442： 部署hadoop时,需要在系统中创建哪些属于hadoop组的用户 - ？
窄实参芪： 1 用root用户安装jdk1.6以上2 用root用户 创建hadoop用户3 在hadoop用户下安装hadoop 安装Hadoop,版本随意 然后配置Hadoop,需要修改hadoop的配置文件,它们位于conf子目录下,分别是hadoop-env.sh、core-site.xml、hdfs-site.xml 和mapred-site.xml4 修改/home/hadoop/.bash_profile将JDK和hadoop的环境变量设置好5 安装ssh(伪集群也需要ssh)
建瓯市15322379442： hadoop怎么启动namenode - ？
窄实参芪： 第一步:修改core-site.xml,配置如下内容:fs.default.name hdfs://localhost:9000 true dfs.replication 1第二步:修改hdfs-site.xml文件,配置如下内容:dfs.name.dir /cygdrive/d/hadoop/working/name true dfs.data.dir /cygdrive/d/hadoop/...
建瓯市15322379442： windows上用Cygwin搭建hadoop配置问题 - ？
窄实参芪： 到 C:/Windows/System32/drivers/etc/ 下 修改(记事本修改,其他工具修改后无法保存,cygwin中的/etc/下的hosts--是修改不了的),把所有行全部注销.重启sshd, ok!
