SparkStreaming流式日志过滤与分析 记得自己要引入环境 (1)利用SparkStreaming从文件目录读入日志信息,日志内容包含: ”日志级别、函数名、日志内容“三个字段,字段之间以空格拆分。请看数据源的文件。 (2)对读入都日志信息流进行指定筛选出日志级别为error或warn的,并输出到外部MySQL中。 需要用到的函数 (1)
爬取采用Requests加beautifulSoup库爬取个人的所有Git项目 Git仓库保存了实验代码和报告及开发项目。请采用Requests、Beautifulsoup(必须用到)等知识,实现:(1)将个人的所有项目(zip格式)下载到本地某个目录,如:学号/项目名.zip。(2)另外将每个项目的基本信息保存到一个“学号.txt”的文件中,格式为:项目名1最后更新时间1(转
使用DataFrame分析出租车的GPS信息 现有某地区出租车GPS定位数据taxi.csv数据一共分为4列,每一列含义如下表所示:编号(id)纬度(lat)经度(lon)时间戳(time)根据上述条件,结合课堂上学习的“DataFrame的常用操作”相关知识,编写代码实现如下要求:1、查询编号为5的出租车的GPS数据的前10行。2、统计出租车
Websocket长连接加bibili弹幕效果加json格式解析加android3.0加 直播和视频类型的一种聊天显示弹幕效果,通过Okhttp长连接websocket的demo,并且通过Spinner进行重写显示内容,构造一个属于自己的聊天显示效果。加入bibidanmu实现弹幕效果,结合两者进行实现聊天弹幕显示,websocket部分返回了json信息时的如何获取等写法。环境是and
使用SparkSQL分析图书信息 (1)创建RDD(2)将RDD转为DataFrame(3)调用registerTempTable,注册为表,表名为:tb_book(4)使用使用sql语句查询前15条(5)模糊查询书名包含“微积分”的书(6)输出图书的前10行的name和price字段信息(7)统计书名包含“微积分”的书的数量(8)
python实现一个可以注册登录登出的系统 设计一个拥有注册、登录、退出功能的小程序。一、接口提供方(1)使用面向对象思想,将方法封装到某个类中。(2)创建一个独立的包、模块存放这个类。(3)提供注册功能:需要输入“手机号码”、“密码”、“确认密码”三个信息。注册完成后提示注册的手机号码。限制手机号码长度11位,不满足则抛出异常给调用方;密码