生成postgresql的简单介绍

如何生成一个虚拟表，生成日期在PostgreSQL的序列

日期一览表 使用generate_series函数来获得，你可以添加到一个日期，以便获得日期列表号码列表：SELECT CURRENT_DATE + s.a AS dates

十载的邹城网站建设经验，针对设计、前端、开发、售后、文案、推广等六对一服务，响应快，48小时及时工作处理。全网整合营销推广的优势是能够根据用户设备显示端的尺寸不同，自动调整邹城建站的显示方式，使网站能够适用不同显示终端，在浏览器中调整网站的宽度，无论在任何一种浏览器上浏览网站，都能展现优雅布局与设计，从而大程度地提升浏览体验。成都创新互联公司从事“邹城网站设计”,“邹城网站推广”以来，每个客户项目都认真落实执行。

FROM generate_series(0,14,7) as s(a);

结果：dates

------------

2004-02-05

2004-02-12

2004-02-19

旋转 转换行数据为柱状的数据-你的问题涉及旋转结果集的后半部分。 PIVOT和UNPIVOT是ANSI，但在PostgreSQL目前我没有看到他们。最persistent枢轴查询的是aggregation函数： SELECT t.account,

SUM(CASE WHEN t.date = '2010-01-01' THEN t.amount END) AS '2010-01-01',

SUM(CASE WHEN t.date = '2010-01-02' THEN t.amount END) AS '2010-01-02',

SUM(CASE WHEN t.date = '2010-01-03' THEN t.amount END) AS '2010-01-03',

SUM(t.amount) AS Balance

FROM (SELECT CURRENT_DATE + s.a AS dates

FROM generate_series(0,14,7) as s(a)) x

LEFT JOIN TRANSACTIONS y ON y.date = x.date

GROUP BY t.account

动态列 ...指动态SQL。

借助Postgresql生成热力图

热力图，在空间数据可视化场景中是一个非常常见的需求。首先看下一个完整的热力图效果。

前端实现热力图的原理可以看该 博文 。本文不是探究热力图前端实现原理的，是来探讨由于热力图一次性加载的点过多，产生卡顿的问题。

前面的 博文 也提出了自己的解决办法。但是若数据居多（10w+）,光数据传输就头疼。现有的热力图的前端组件有很多，可以用openlayer、高德地图js、百度地图js、mapbox等。但是大多数的数据结构的都是下面这种形式。

所以需要在后台将下面策略实现，给前台页面传输合适的数据就行。

借助postgresql的width_bucket和postgis，仅用0.4s将20W的数据压缩到2500，这就大大降低了数据传输和渲染的压力。同时也不需要对已有的GIS前端热力图组件进行修改。

德哥的文章

数据可视化：浅谈热力图如何在前端实现

如何使用navicat for postgresql建立数据库

第一步，打开桌面上的Navicat快捷方式

第二步，进入Navicat主界面

第三步，点击左上角的文件

第四步，下拉列表中选中新建连接

第五步，选择PostgreSQL

第六步，弹出新建连接对话框

第七步，根据实际情况填写相应信息，点击确定

第八步，成功生成连接PostgreSQL数据库

在PostgreSQL 和 Hive中生成日期序列

## 在PostgreSQL 和 Hive中生成日期序列

### Postgresql实现日期序列

在postgresql中，有 generate_series(start_date, end_date, interval)函数来生成日期序列

```

select date(day) as day

from generate_series('2020-05-22'::timestamp, current_date, '1 day'::interval) as day

```

### Hive实现指定指定开始结束日期的日期序列

在Hive中，可以借助 posexplode(list)、datediff(end_date, start_date)来实现。

首先创建一个表名为calender，字段为day，类型为date，存入一个日期数值作为开始日期，比如2014-01-01。

```

CREATE TABLE default.calender (day DATE);

INSERT INTO TABLE default.calender VALUES(to_date('2014-01-01T00:00'));

```

借助 `datediff(end_date, start_date)`、`space(int_count)`、`split(list,seperator)`、`posexplode(list) `生成n个空格，然后split成list，posexplode将行转多列，同时返回index和value。

```

select date_add(day,idx) as new_day from default.calender

lateral view posexplode( split( space( datediff( current_date, to_date('2014-01-01T00:00:00') ) ), ' ')  ) tt as idx, v;

```

中间过程解释：

比如：

```

select datediff('2020-06-30','2020-05-1'); -- 60

select split(space(datediff('2020-06-30','2020-05-1')),' ') -- 生成60个空格，然后split成list

```

index | value

--- | ---

0 | ' '

1 | ' '

2 | ' '

... | ...

59| ' '

#### Hive在日期序列表添加星期几

新增一列存放星期几

```

ALTER TABLE default.calender ADD COLUMNS(weekday STRING);

```

借助函数`datediff`，`pmod`就可以实现

datediff 是两个日期相减的函数

语法：`datediff(string enddate, string startdate)`

返回值: int

说明: 返回两个时间参数的相差天数。

pmod 是正取余函数

语法: `pmod(int a, int b),pmod(double a, double b)`

返回值: int double

说明: 返回正的a除以b的余数

选取一个日期为星期日的日期作为参照日期，这里我选取了2013-12-29

`pmod(datediff( date, '2012-01-01'), 7)  `

返回值：int 0-6

0-6分别表示星期日-星期六

```

INSERT OVERWRITE TABLE default.calender

select date_add(day,idx) as `date`,

-- 0-6 分别代表星期日-星期六

case pmod(datediff(date_add(day,idx), to_date('2013-12-29T00:00:00')), 7)

    when 0 then '星期日'

    when 1 then '星期一'

    when 2 then '星期二'

    when 3 then '星期三'

    when 4 then '星期四'

    when 5 then '星期五'

    when 6 then '星期六'

END as weekday

from default.calender

lateral view posexplode( split( space( datediff( to_date('2030-01-01T00:00:00') , to_date('2014-01-01T00:00:00') ) ), ' ')  ) tt as idx, v;

```

### 补充：Hive实现缺失日期的补全

在统计一些daily的metrics的时候，通常使用group by，往往会存在某些日期没有数据从而导致最后的结果表的日期其实不是连续的齐全序列。

比如：

store_id | date | count

---- | ---- | -----

1 | 2020-04-02 | 45

2 | 2020-04-02 | 10

2 | 2020-04-03 | 10

1 | 2020-04-05 | 50

2 | 2020-04-06 | 10

1 | 2020-04-08 | 50

... | ...... | ....

针对这种情况，需要进行以下步骤拆解：

1. 按照store_id进行聚合，找出最小、最大日期

2. 此时，基于步骤1的CTE表进行基于每个store_id的最小、最大日期的日期序列补全

```

select t.store_id, date_add(t.min_date, idx) as `date`

from store_with_min_max_usage_date t

lateral view posexplode(split(space(datediff(t.max_date, t.min_date)),' ')) pe as idx, v

```

3. 将步骤2的结果与之前的agg聚合结果表进行`left join`，对`NULL`用`COALESCE(v, 0)`进行缺失值替换。

如何在Postgresql中创建序列数并应用在数据表

序列数可以增加postgresql数据表的检索速度，同时降低数据查询时的资源消耗。那么如何在postgresql中创建序列数并且应用呢？下面我给大家分享一下。

工具/材料

pgAdmin4

创建序列数

首先打开pgAdmin4，展开postgresql数据库，找到模式下面的public选项，如下图所示

接下来在public下面右键单击序列，然后点击Create下面的sequence选项，如下图所示

在弹出的创建Sequence界面中首先给序列数起一个名字，如下图所示，注意都用英文

然后切换到Definition页卡，定义一下序列的增加量，如下图所示，其中maximum根据自己的需要进行设置

最后回到数据库主界面，你会看到序列下面多出了一个项，这就是我们创建的序列数了，如下图所示

在数据表中应用序列数

首先选中一个数据表，点击右侧的编辑按钮，如下图所示

在弹出的编辑界面中切换到Columns页卡，点击ID签名的编辑按钮，如下图所示

最后在字段的编辑界面中切换到Variables选项卡，然后在Value列中通过nextval函数带入刚才定义的序列数即可，如下图所示