皮皮网

1.Elasticsearch date 类型详解

Elasticsearch date 类型详解

       å¼•è¨€

        一直对 elasticsearch 中的 date 类型认识比较模糊，而且在使用中又比较常见,源码vpal源码这次决定多花些时间，彻底弄懂它，希望能对用到的同学提供帮助。

        注意：本文测试使用是 elasticsearch 6.3 版本，其他版本规则可能有所变化，如遇到不兼容的情况，还请参考  官方文档

        Date 数据类型

        elasticsearch 数据是以 JSON 格式存储的，而  JSON 中是并没有  date  æ•°æ®ç±»åž‹ï¼Œå› æ­¤ Elasticsearch 中虽然有  date  ç±»åž‹ï¼Œä½†åœ¨å±•ç¤ºæ—¶å´è¦è½¬åŒ–成另外的格式。

        date  ç±»åž‹åœ¨ Elasticsearch 展示的格式有下面几种：

        将日期时间格式化后的字符串，如 "--" 或者 "// ::"

        long 型的整数，意义是  milliseconds-since-the-epoch ，翻译一下就是自  -- :: UTC  ä»¥æ¥ç»è¿‡çš„毫秒数。

        int 型的整数，意义是  seconds-since-the-epoch , 是指自  -- :: UTC  ä»¥æ¥ç»è¿‡çš„秒数。

        后两种的描述里都包含 UTC ，什么是 UTC 呢？

        UTC(Universal Time Coordinated) 叫做世界统一时间，中国大陆和 UTC 的时差是 + 8 ,也就是 UTC+8。

        不论 date 是什么展示格式，在 Elasticsearch 内部存储时都是转换成 UTC，并且把时区也会计算进去，从而得到  milliseconds-since-the-epoch  å¹¶ä½œä¸ºå­˜å‚¨çš„格式。

        在查询日期时，会执行下面的过程：

        转换成 long 整形格式的范围(range) 查询

        得到聚合的结果

        将结果中的 date 类型（long 整型数据）根据 date format 字段转换回对应的展示格式

        Date 的默认格式

        Date 的格式化类型是可以通过  format  æ¥æŒ‡å®šçš„，如果没有指定，就会使用默认的格式：

        "strict_date_optional_time||epoch_millis"

        这表示什么意思呢？

        先来弄懂  strict_date_optional_time

        A generic ISO datetime parser where the date is mandatory and the time is

        optional.  Full details here .

        这是 elasticsearch 官网的解释，表示只要是 ISO datetime parser 可以正常解析的都是  strict_date_optional_time 。都有哪些语法呢？

        date-opt-time=date-element ['T'[time-element] [offset]]date-element      = std-date-element | ord-date-element | week-date-element std-date-element  = yyyy ['-'MM ['-'dd]] ord-date-element  = yyyy ['-'DDD] week-date-element = xxxx'-W'ww ['-'e]time-element      = HH [minute-element] | [fraction] minute-element    =':'mm [second-element] | [fraction] second-element    =':'ss [fraction] fraction          = ('.'|',') digit+

        其中中括号内的都是可选的，可填可不填。以  std-date_element  ä¸¾ä¸ªä¾‹å­

        --

       

        -

        上面 3 种格式都满足要求。

        除了  strict_date_optional_time  ï¼Œè¿˜å¯ä»¥æ˜¯ epoch_millis 格式，即 epoch 以来的毫秒数。

        举个例子

        PUT my_index{ "mappings": { "_doc": { "properties": { "date": { "type":"date"}      }    }  }}PUT my_index/_doc/1{ "date":"--"} PUT my_index/_doc/2{ "date":"--T::Z"} PUT my_index/_doc/3{ "date":} GET my_index/_search{ "sort": { "date":"asc"}

        上面的 PUT 请求中的 date 数据均满足默认的要求。

        如何指定多个 date 格式?

        同一个 date 字段可以指定多个 date 格式，只要使用 || åˆ†éš”就可以了。在索引，都会对 date 格式挨个进行匹配，直到找到匹配的格式为止。

        如果存储时 date 格式为  milliseconds-since-the-epoch  ï¼Œåœ¨æŸ¥è¯¢æ—¶ä¼šå°†å…¶è½¬æ¢ä¸ºæŒ‡å®šçš„第一个 date 格式。

        举个例子,有兴趣的同学可在 sense 中动手实践下。

        PUT my_index{ "mappings": { "doc": { "properties": { "date": { "type":"date","format":"yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"}      }    }  }}PUT /my_index/doc/1{ "date":"-- ::"}PUT /my_index/doc/2{ "date":"--"}GET my_index/_search{ "query": { "match_all": { }  }}

        小结

        本文主要讲解了 elsaticserach 中的 date 类型格式，语法及转换过程。elasticsearch 中存储 date 类型统一使用  milliseconds-since-the-epoch  æ ¼å¼ï¼Œå±•ç¤ºæ—¶æ ¹æ®ä¸åŒæ ¼å¼è€ŒåŒºåˆ†ã€‚                                                                                      æ¬¢è¿Žå·¥ä½œä¸€åˆ°äº”å¹´çš„Java工程师朋友们加入Java群： 

        群内提供免费的Java架构学习资料（里面有高可用、高并发、高性能及分布式、Jvm性能调优、Spring源码，MyBatis，Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多个知识点的架构资料）合理利用自己每一分每一秒的时间来学习提升自己，不要再用"没有时间“来掩饰自己思想上的懒惰！趁年轻，使劲拼，给未来的自己一个交代！