有问题吗?

如果你有任何问题,你可以问下面或输入你正在寻找的!

使用Elasticsearch搭建一个文件搜索系统(带界面)

接触ELK这么久,一直都在日志分析和系统运维方面兜圈圈。今天来玩转一下搜索技能,填补一下这方面的空白。主要也是好多天没更新博客了,来写一篇 何为文件搜索系统?其实简单一点,就可以想象为一个带用户界面的grep,可以根据你提供的关键字查询包含该内容的文件。与grep一样,该系统应该能返回包含该搜索条件的文件名,行号和具体内容等,同时应该支持高亮。与grep只支持正则表达式不一样 . . .阅读

查询亿级数据毫秒级返回!牛逼哄哄的ElasticSearch是如何做到

一道面试题的引入: 如果面试的时候碰到这样一个面试题:ElasticSearch(以下简称ES) 在数据量很大的情况下(数十亿级别)如何提高查询效率? 这个问题说白了,就是看你有没有实际用过 ES,因为啥?其实 ES 性能并没有你想象中那么好的。 很多时候数据量大了,特别是有几亿条数据的时候,可能你会懵逼的发现,跑个搜索怎么一下 . . .阅读

Lamport逻辑时钟

本文是《如何学习分布式系统》中,关于时钟的相关介绍。 前言 《Time, Clocks, and the Ordering of Events in a Distributed System》是Lamport老哥的论文,这篇论文在1978年7月发表在《Communication of ACM》,于2000年获得了首届PODC最具影响力论文奖,于2007年获得了“ . . .阅读

中国高考志愿填报与职业趋势分析 - ActiveReports 大数据

    1977年中国高考制度恢复,重新开启了人才成长之门。40多年来,高考累积录取人数增长了27倍, 2.28亿人报名,9900万名高素质人才先后通过了中国高等教育的培养,高考已成为推动中国经济社会巨变的关键动力。 高考的重要性无须赘述,然而高考终究是一场考试,志愿填报才是人生真正的转折点。随着2019中国高考的落幕,对于十二年寒窗苦读的莘莘学子来说,高考志愿填报不仅仅 . . .阅读

从术语到Spark,10篇必读大数据学习资源

本文给想进入大数据领域的朋友提供了一系列的资源,由浅入深,比如“需要了解的51条大数据术语”、“学习python的四个理由”、“十一个必须要参加的大数据会议”等有趣的话题。相信各种背景的朋友都会在这篇文章中有所收获。 领取免费资料加大数据学习交流扣裙: 957加205后面962, 之前,我们已就数据可视化进行了深入探讨。这次,我们将从更基本的概念讲起,以便在涉足更复杂的数据科学和商业 . . .阅读

python爬虫时如何知道是否代理ip伪装成功

      有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,这里推介使用亿牛云提供的代码示例。 Python¶ requests         #! -*- encod . . .阅读

Flink实战(三) - 编程模型及核心概念

0 相关源码 1 基本的 API 概念 Flink程序是实现分布式集合转换的常规程序(例如,过滤,映射,更新状态,加入,分组,定义窗口,聚合)。最初从源创建集合(例如,通过从文件,kafka主题或从本地的内存集合中读取)。结果通过接收器返回,接收器可以例如将数据写入(分布式)文件或标准输出(例如,命令行终端)。 Flink程序可以在各种环境中运行,独立运行或嵌入其他程序 . . .阅读

MySQL存储引擎 _MyISAM、InnoDB

  一、 MySQL存储引擎MyISAM与InnoDB如何选择 MySQL有多种存储引擎,每种存储引擎有各自的优缺点,可以择优选择使用:MyISAM、InnoDB、MERGE、MEMORY(HEAP)、BDB(BerkeleyDB)、EXAMPLE、FEDERATED、ARCHIVE、CSV、BLACKHOLE。 虽然MySQL里的存储引擎不只是MyISAM与InnoDB这两个,但 . . .阅读

一致性模型中的数学

本文是《如何学习分布式系统》中,关于一致性模型的相关介绍。 在学习一致性模型的过程中,发现了很多相关的数学证明,因为水平有限,基本都没看懂。在这里罗列一下,有兴趣的同学可以看看。 Linearizability的locality 《Linearizability: A Correctness Condition for Concurrent Obj . . .阅读