文件直接存储在hdfs上不可以么?在hdfs上再加一层hbase的意义在哪里?
我们都知道hdfs有一个数据块(block)的概念。而数据块一般都设置为128m。 hdfs本身其实是不适合存储小文件的。因为小文件也会独占一个数据块。对namenode的内存造成浪费。我们日常应用的数据比如一些文本,图片等等非结构化的数据的存储和管理应该怎么去做呢?或者说我们如何提供一个对象存储服务。对象存储服务我们也有一直在用。我们的重点呢还是在于hbase可以做这个事情。我们要学习hbase,要用hbase来做这个事情。 项目的功能范围到在其次。
想问一下,本课程是从安装到存储,最后到查询的内容都有涉及到吗?
你好,是包括这几部分的,本课程讲解从hbase的基础开始,了解了hbase基础及进阶技术后,通过实战分布式文件存储项目,从开始到需求分析,方案设计,到最后的实战开发,系统测试。 通过一个完整的项目进行实战演练,加深印象。
hbase的二级索引方案有涉及么?phonenix的视图如果能建索引就完美了。
hbase本身对二级索引支持并不好,我们可以通过协处理器进行实现。在课程中有讲到协处理器,并进行开发实战。在实际项目中,一般我们会通过自己在另外的数据库比如MySQL或者是搜索引擎比如elasticsearch或者solr进行实现。 具体跟业务相关。 Phoenix是支持二级索引的,我们可以多关注一下他的使用。 当然我们还是比较注重hbase的基础原理。
小文件不是适合fastdfs存储吗?这个课程为什么用hbase来实现文件存储呢?
我们选择用hbase来实现文件存储服务重点在于hbase相关的技能的学习。而hbase同时也可以去做文件存储服务这么一件事情而已。文件存储和对象存储有很多优秀的开源项目,比如fastdfs,minio之类的,我们是在利用hbase的一些特性来自己动手实现一个文件存储服务。
分布式的文件存储,那么是如何将海量的数据灌入到HBASE中的?
在本门课程中是通过hbase的Java api对hbase进行操作实现文件的入库。 祝顺利~
源码完整提供吗?
亲,您好~是的,所有实战课程都提供完整源码祝您学习愉快~
请问用阿里云的ECS云服务器来代替LINUX系统可以吗
亲,您好~可以使用云服务器来代替Linux的。其实还是挺推荐用阿里云的竞价示例当测试环境 ,便宜、资源基本也够用。祝您学习愉快~
你好,这是个完整项目吗,包括前后端吗?
亲,您好~课程目前只提供了restful API访问的方式。没有前端页面。 课程中通过insomnia API测试工具对文件处理的相关操作都进行了URL测试验证。同学可以自己利用UI库来实现属于自己的前端界面呢~祝您学习愉快~
老师现在学这门课会不会过时,Hbase版本应该更高了叭。
亲,您好~您好,HBase社区非常活跃一直在更新新的版本。我们选择的这个版本是一个稳定版本。 目前很多公司的hadoop生态圈基本都是稳定版本为主,比如现在hadoop3出了但是大部分公司hadoop版本都在2.7或2.8 hive版本在2.1 2.3左右。 我们选择的这个版本也不会脱节。 新版本相对于我们的版本加入了一些新的特性,但是开发相关的API基本没什么变动,我们实战项目没什么影响。 而且我们的课程会持续更新,后续会选择较稳定的新版本hbase部署,加入新版本特性的介绍等等,有问题也可以在QQ群进行沟通。 祝顺利~祝您学习愉快~
比如我现在想学习文件、图片、视频流等存储处理方面架构,比如云盘这样的产品,这个课程有这方面的应用吗?
亲,您好~本门课程与阿里云OSS类似,也实现了部分云盘的功能。 实现原理就是利用hbase快速读写的功能实现对象存储服务。 存储文件和图片都比较适用。 但是流媒体是需要流媒体等技术,本门课程不包含相关信息。 祝好运祝您学习愉快~
Hbase+spring可用来即席查询吗?真实企业也是用hbase结合springboot?
首先,Ad Hoc是非定制化,用户可以根据自己需求自定义执行的查询。HBase是可以支持这部分工作的。但是hbase本身对于多个条件的查询支持不好。 本门课程还提到了Phoenix,可以通过SQL的方式去操作hbase,那么即席查询就更不在话下了。 springboot是我们常用的一个web框架,我们可以将两者结合使用,同理我们也可以用其他web框架甚至其他语言。 希望可以帮助到你
学习这门课需要哪些知识
亲,您好~需要熟悉Linux基本命令,熟悉java编程语言与Spring Boot框架 ,了解Hadoop。祝您学习愉快~
学习这门课需要哪些前置条件,本人javaee工程师,熟悉boot,但是对hdfs完全不熟悉
亲,您好~熟悉boot就可以入手这门课,如果熟悉Linux基本命令 ,稍微了解些了解Hadoop 会更好,对hdfs不了解也关系不大,可以配合慕课网的免费课学习下就行,祝您学习愉快~
效果是一个完整的项目吗
亲,您好~是一个完整的 后台分布式文件存储服务项目,祝您学习愉快~