统计push点击次数的shell脚本版本2
编程技术 / houtizong 发布于 3年前 91
在上一个版本 统计push点击次数的shell脚本中，有一个问题，就是没有进行去重，比如同一条push被用户点击了多次，点击次数都在加加，显然数量不准确，运营人员需要的是有多少个设备点击打开了push的次数。
于是版本升级了下：
关键代码如下：
awk -F "," '!a[$2,$3,$4,$5]++' $masterPath/push_feed_back_log.log.$date |awk -F "," '{a[$2" "$5]+=1}END{for(i in a) printf "%s %s\n",i,a[i]}' | sort -k 3 -n -r | head -n 15 >>/tmp/mymaster.txt
说明：最关键的去重部分 '!a[$2,$3,$4,$5]++' 表示第2,3,4,5列不能重复，如果重复，就只算一条记录第一列是时间所有忽略。
完整代码如下：
#!/bin/sh date=`date -d -1day +%Y-%m-%d`; masterPath=/home/www/logs/taofen8/master; apiPath=/home/www/logs/taofen8/api; path=/home/www/logs/taofen8; hisPath=/data/history/taofen8; log=$path/master/push_feed_back_log.log.$date echo "==============start=================="; if [ ! -f "$log" ]; then #判断文件是否存在 masterPath=$hisPath/master; apiPath=$hisPath/api; fi echo "==============date$date===================" > /tmp/mymaster.txt; #!a[$2,$3,$4,$5]++ 去重 awk -F "," '!a[$2,$3,$4,$5]++' $masterPath/push_feed_back_log.log.$date |awk -F "," '{a[$2" "$5]+=1}END{for(i in a) printf "%s %s\n",i,a[i]}' | sort -k 3 -n -r | head -n 15 >>/tmp/mymaster.txt echo "===============API==================" >> /tmp/mymaster.txt; awk -F "," '!a[$2,$3,$4,$5]++' $apiPath/push_feed_back_log.log.$date |awk -F "," '{a[$2" "$5]+=1}END{for(i in a) printf "%s %s\n",i,a[i]}' | sort -k 3 -n -r | head -n 15 >>/tmp/mymaster.txt echo "=================end================" >> /tmp/mymaster.txt;
这样就是统计不重复的点击记录。
请勿发布不友善或者负能量的内容。与人为善，比聪明更重要！
技术博客集 - 网站简介：
前后端技术：
后端基于Hyperf2.1框架开发,前端使用Bootstrap可视化布局系统生成
网站主要作用：
1.编程技术分享及讨论交流，内置聊天系统;
2.测试交流框架问题，比如：Hyperf、Laravel、TP、beego;
3.本站数据是基于大数据采集等爬虫技术为基础助力分享知识，如有侵权请发邮件到站长邮箱，站长会尽快处理;
4.站长邮箱：[email protected];
文章归档
文章标签
友情链接
