hadoop读取文件java.io.EOFException解决

2019-3-13 流沙 大数据

调试了一上午, 蛋疼, 写代码不认真 ,记录下 public void readFields(DataInput in) throws IOException { // TODO Auto-generated method stub //this.page = in.readUTF(); //this.count = in.readInt(); this.page= in.readUTF(); this.count = in.readInt(); } public void write(DataOutput out) t...

阅读全文>>

评论(0) 浏览(528)


[大数据]Maven打包的三种方式

2019-3-8 流沙 大数据

Maven可以使用mvn package指令对项目进行打包,如果使用Java -jar xxx.jar执行运行jar文件,会出现"no main manifest attribute, in xxx.jar"(没有设置Main-Class)、ClassNotFoundException(找不到依赖包)等错误。 要想jar包能直接通过java -jar xxx.jar运行,需要满足: 1、在jar包中的META-INF/MANIFEST.MF中指定Main-Class,这样才能确定程序的入口在哪里; 2、要能加载到依赖包。 使用Maven...

阅读全文>>

评论(0) 浏览(376)


[大数据] hdfs wordcount 统计框架

2019-3-5 流沙 大数据

主要涉及的java的一些知识 统计固定目录中 单词个数 mapper可以随意切换逻辑 用到了简单的反射和配置机制 代码加载的lib包太多, 直接分享到百度网盘 框架可扩展 框架代码, 百度下载地址 链接: https://pan.baidu.com/s/18uivAWqDk1kCMmyy34s-YA 提取码: 3r3v 

阅读全文>>

评论(0) 浏览(327)


[大数据] hdfs_Client Demo 测试代码

2019-3-3 流沙 大数据

测试hdfs public class HdfsClientDemo { public static void main(String[] args) throws Exception { /** * Configuration参数对象的机制: * 构造时,会加载jar包中的默认配置 xx-default.xml * 再加载 用户配置xx-site.xml ,覆盖掉默认参数 * 构造完成之后,还可以conf.set("p","v"),会再次覆盖用户配置文件中的参数值 */ // ne...

阅读全文>>

评论(0) 浏览(381)


test_web

2019-3-1 流沙 网络安全

[该文章已设置加密,请点击标题输入密码访问]

评论(0) 浏览(2)


[大数据]hdfs客户端的常用操作命令

2019-2-26 流沙 大数据

1、上传文件到hdfs中 hadoop fs -put /本地文件  /aaa 2、下载文件到客户端本地磁盘 hadoop fs -get /hdfs中的路径   /本地磁盘目录 3、在hdfs中创建文件夹 hadoop fs -mkdir  -p /aaa/xxx 4、移动hdfs中的文件(更名) hadoop fs -mv /hdfs的路径1  /hdfs的另一个路径2 复制hdfs中的文件到hdfs的另一个目录 hadoop fs -cp /hdfs路径_1  /hdfs路径_2 ...

阅读全文>>

评论(0) 浏览(330)


[大数据]启动hadoop,报错Error JAVA_HOME is not set and could not be found

2019-2-26 流沙 大数据

  报如错误:JAVA_HOME is not set and could not be found,可能是因为JAVA_HOME环境没配置正确,还有一种情况是即使各结点都正确地配置了JAVA_HOME,但在集群环境下还是报该错误,解决方法是显示地重新声明一遍JAVA_HOME         1、检查JAVA_HOME是否配置正确(伪分布式环境)         启动start-all.sh时报错,如下所示 ...

阅读全文>>

评论(0) 浏览(275)


Mark 19.2.22

2019-2-22 流沙

阅读全文>>

评论(0) 浏览(410)


php

2019-2-18 流沙 PHP

[该文章已设置加密,请点击标题输入密码访问]

评论(0) 浏览(2)


mysql外键作用

2019-2-15 流沙 PHP

mysql中的外键foreign key 一、如果一张表中有一个非主键的字段指向了别一张表中的主键,就将该字段叫做外键。 一张表中可以有多个外键。 外键的默认作用有两点: 1.对子表(外键所在的表)的作用:子表在进行写操作的时候,如果外键字段在父表中找不到对应的匹配,操作就会失败。 2.对父表的作用:对父表的主键字段进行删和改时,如果对应的主键在子表中被引用,操作就会失败。 外键的定制作用----三种约束模式: district:严格模式(默认), 父表不能删除或更新一个被子表引用的记录。 cascade:级联模式, 父表操作后,子表关联的数据也跟着...

阅读全文>>

评论(0) 浏览(334)


过年

2019-2-11 流沙 随笔

0x01 放假 年假快结束了, 初九上班, 刚回上海, 回去的那几天, 有点儿折腾, 驾照的原因, 车没有开回家, 走亲戚都是我妹夫带着我. 回家几天把肚子吃坏了, 挺郁闷的, 自己的胃一直不太好, 被折腾坏了.  看着老妈养的那只小狗, 挺感慨的, 前年10月份和老婆一起捡的一只. 现在长的好大了. 老妈上次想着把它卖掉, 我不同意. 因为家里原本已经养了一只了, 两只狗吃的太多, 老妈嫌麻烦. 回去的那几天,基本陪着;老婆 , 自己带了两本书回去, 看了看 , 记住了一个 jmp esp ,动态定位shellcode ,其他的 啥都没记住. ...

阅读全文>>

评论(0) 浏览(310)


[大数据] ssm框架简单测试

2019-1-29 流沙 大数据

1\功能框架 -  spring springmvc  mybatis 框架 2\实现对数据的增删改查 3\使用了 mybatis的逆向功能,生成了 model dao mapper 可以直接使用测试, 源码下载地址 sql文件 + web源代码 (权限限制没有实现) 空间有流量限制, 提供百度网盘下载 链接: https://pan.baidu.com/s/187_2kM7ySK9eSWOoHmA7Zw 提取码: yiwm 

阅读全文>>

评论(0) 浏览(321)


java反射小结

2019-1-26 流沙 JAVA

最近一直在接触java的框架 都是通过配置 xml文件, 然后进行功能的实现, 主要依赖的的就是java的反射机制 反射小结  1. Class: 是一个类; 一个描述类的类. 封装了描述方法的 Method,    描述字段的 Filed,               描述构造器的 Constructor ...

阅读全文>>

评论(0) 浏览(302)


[转载]安全研究者的自我修养

2019-1-8 流沙 网络安全

资深安全研究员的经验, 分享, 保留在博客里 1、刻意练习10000小时 这份“鸡汤”道理,想必大家都懂,就不解释了,不懂的自行百度,或者去读读《异类》这本经典书籍。 作者建议以月为单位来制定研究目标,他曾连续花了6个月的时间来研究Chrome Sandbox,但最终一无所获。 所以,有时坚持了不一定能达到目标,但不坚持,就更没戏了。 2、训练挖洞的双技能 (1)看洞:哪里看?历史漏洞的git log、bug报告、代码质量报告等等 (2)识洞:就是肉眼看...

阅读全文>>

评论(0) 浏览(478)


[大数据]mybatis框架讲解(五) 逆向工程

2019-1-6 流沙 大数据

1 删除已经生成的包 2 配置好直接的数据库连接文件 3 配置好要生成的表 4 直接运行main 框架代码: generatorSqlmapCustom.rar

阅读全文>>

评论(0) 浏览(731)


[大数据]mybatis 框架详解(四) 完整测试案例

2019-1-6 流沙 大数据

功能展示: 1\ 详细展示了mybatis中resultMap的使用 2\ 详细展示了动态sql的使用方法 3\ 一对一查询和映射 4\一对多的高级映射 可供框架参考和开发 MyBatis.rar

阅读全文>>

评论(0) 浏览(317)


mysql外键约束

2019-1-6 流沙 大数据

如果表A的主关键字是表B中的字段,则该字段称为表B的外键,表A称为主表,表B称为从表。外键是用来实现参照完整性的,不同的外键约束方式将可以使两张表紧密的结合起来,特别是修改或者删除的级联操作将使得日常的维护工作更加轻松。外键主要用来保证数据的完整性和一致性 两个表必须是InnoDB表,MyISAM表暂时不支持外键 外键列必须建立了索引,MySQL 4.1.2以后的版本在建立外键时会自动创建索引,但如果在较早的版本则需要显示建立; 外键关系的两个表的列必须是数据类型相似,也就是可以相互转换类型的列,比如int和tinyint可以,而int和char则不可以; 创建外键语法: ...

阅读全文>>

评论(0) 浏览(305)


[大数据]mybatis 框架详解(三) 框架详解

2019-1-6 流沙 大数据

目录 1、什么是MyBatis? 2、MyBatis 入门实例基于xml配置 3、MyBatis 入门实例注解配置 4、MyBatis 入门实例  一对一  基于xml配置 4、MyBatis 入门实例  一对多,多对一  基于xml配置 5、MyBatis 入门实例  多对多  基于xml配置   回到顶部 1、什么是MyB...

阅读全文>>

评论(0) 浏览(419)


[大数据]mybatis 框架讲解(二) 增删改查配置

2019-1-5 流沙 大数据

模糊查询,注意他的使用方法,其他基本一致 具体的xml配置文件如下 <?xml version="1.0" encoding="UTF-8"?> <!-- 该文件代表的是user类和user表的映射关系,关于user表的sql语句等等写在这里 --> <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd"> <mapper namespace="dao...

阅读全文>>

评论(0) 浏览(418)


[大数据]mybatis 框架讲解(一)

2019-1-4 流沙 大数据

用来替代jdbc的一个框架 代码实现功能: (一) 连接数据库 (二) 简单配置mybatis (三) 实现数据查询 下载地址: TestMyBatis.rar

阅读全文>>

评论(0) 浏览(821)


Powered by 流沙团