python:删除离群值操作(每一行为一类数据)

删除有多行字符串的json文件中的离群值

def processHold(eachsubject,directory,newfile):
filename = 'CMUDataCol/Hold/subject{0}.json'.format(eachsubject) # 原文件

with open(filename, 'r') as f: 
for jsonstr in f.readlines(): # 按行读取原文件
# 这里的情况是每一行为一类数值，该行内的数据相互比较找出是否有离群值
# 若存在离群值，则删除该行数据
data = json.loads(jsonstr)

#计算四分位点
a = numpy.array(data) 
q1 = numpy.percentile(a, 25)  
q3 = numpy.percentile(a, 75)  
iqr = q3 - q1

# 找出异常值
i = 0 
for item in zip(data): 
# 在正常值范围内时 i+1
if item <= q3 + (1.5*iqr) and item >= q1 - (1.5*iqr):   
i = i + 1  

if i == 10: 
# 这里是因为我的json文件中每行data有10个元素（如果有更好的方法，请教我一下，谢谢您！）  
HoldTime = data
with open(newfile, 'a') as f: # 将非离群数据存入新文件
json.dump(HoldTime, f) 
f.write('\n') 

补充知识：dataframe 离群值处理

离群值：远离数据主要部分的样本（极大值或极小值）

处理方式：

删除：直接删除离群样本

填充样本：使用box-plot定义变量的数值上下界，以上界填充极大值，以下界填充最小值

# 查看房价的离群情况
df['average_price'].hist()
plt.show()
df[['average_price']].boxplot()
plt.show()```

<p><img alt="" src="https://img.94e.cn/media/uploads/full/20200625/20200608102231.jpg"></p>

```python  
# 根据箱线图的上下限进行异常值的填充
def boxplot_fill(col):
 # 计算iqr：数据四分之三分位值与四分之一分位值的差
 iqr = col.quantile(0.75)-col.quantile(0.25)
 # 根据iqr计算异常值判断阈值
 u_th = col.quantile(0.75) + 1.5*iqr # 上界
 l_th = col.quantile(0.25) - 1.5*iqr # 下界
 # 定义转换函数：如果数字大于上界则用上界值填充，小于下界则用下界值填充。
 def box_trans(x):
  if x > u_th:
   return u_th
  elif x < l_th:
   return l_th
  else:
   return x
 return col.map(box_trans)
# 填充效果查看
boxplot_fill(df['average_price']).hist()
# 进行赋值
df['average_price'] = boxplot_fill(df['average_price'])
plt.show()

以上这篇python:删除离群值操作(每一行为一类数据)就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持python博客。