最小二乘，岭回归，高斯过程回归，分别是什么。

TOM的这个文章，一年前就看过，可是看了几次都觉得不能理解。现在看来这个方法可能是效果最好的方法，于是决定仔细看一次，争取搞懂。另外，问作者要程序，作者说找不到了，这就很麻烦了。本文主要思想是：对于辅助数据集中的数据，依据其对目标模型的贡献度设置权重。基于此提出了两种方法：KITL和DITL。

Garcke J, Vanck T. Importance weighted inductive transfer learning for regression[C]//Joint European Conference on Machine Learning and Knowledge Discovery in Databases. Springer, Berlin, Heidelberg, 2014: 466-481.

  两个研究小组都聚焦于TSK模糊系统下的迁移学习，因此仔细研究一下 TSK Fuzzy system 下的 Transfer learning。
文章附图，挺复杂的，暂时没看懂：

  在做Fuzzy Transfer 之前，一周时间学习一下Fuzzy System。其目的是了解Fuzzy部分在他人研究中到底占据多少的创新。
  模糊系统基于模糊逻辑,与传统的二值逻辑相比，模糊逻辑更加接近于人类的思维和自然语言。原理上，模糊逻辑提供了一种有效的方式来获取现实世界中近似的和不精确的特性。一个模糊系统中基本的部分是一个语言规则集，该规则间通过模糊蕴涵和推理式的合成规则这两个概念相关联。本质上，模糊系统提供了一种很烦，即把基于专家知识的语言规则转换成自动的控制行为。许多实验表面模糊系统得出的结果远远优于用传统方法得到的结果。特别是当用传统的定量方法分析起来太复杂，或者当已知的信息源只能定性地、不精确地或不确定地描述时，模糊系统方法显得非常有效。因此，可以认为模糊系统朝着传统的精确数学方法和人类决策的最终交融靠近了一步。

-- 本篇文章大部分内容来自教材《 Matlab模糊系统设计》

01月09日LCDA方案示例

[TOC]

Q-learning

  最近开始学习各类算法，目前的思路是快速上手code，对算法有值直观的认识，然后再回头看论文公式。

  Q-learning是一种很基础的off-policy强化学习，适合初学者。由于强化学习针对不同问题需要定制场景，因此没有通用的库，需要自己写程序。算法详解可见wiki-Q-learning，这里粘贴一下用于练习的两个case，其中一维case是学习莫烦的，在此基础上扩展了二维，可以直观感受简单的强化学习算法。

杨强的TCA 迁移成分分析（Domain adaptation via transfer component analysis），这是我认真看的第一篇计算机的论文，感觉有点吃力，其实网上有一些解读，只是我的底子比较差，没怎么看懂。看完这个文章再看其他的才发现，距离函数、核运算都是的基本知识，路漫漫啊。

思想训练过程

  周末在暴风电视本周最新榜上看了四部电影：《影》 《幸福终点站》 《球王的诞生》《美国动物》，难得的是，竟然都没有让我失望，想起之前有些周末，我在豆瓣上精心挑选了一些电影，反而难以让我感到满意。我想这是个选择模型$f$的问题。

上传代码到Git

1
2
3

git add .        （注：别忘记后面的.，此操作是把Test文件夹下面的文件都添加进来）
git commit  -m  "提交信息"  （注：“提交信息”里面换成你需要，如“first commit”）
git push -u origin master   （注：此操作目的是把本地仓库push到github上面，此步骤需要你输入帐号和密码）

读取类数据

1
2
3
4
5
6

data = pd['typeA']
data = pd.typeA
class = ['typeA','typeB','typeC']
data = pd[class]  %% 多个
data.describe() %% 描述数据的统计特性
data.head()  %% 列出前几个

提交比赛答案

1
2
3

my_submission = pd.DataFrame({'Id': test.Id, 'SalePrice': predicted_prices})
# you could use any filename. We choose submission here
my_submission.to_csv('submission.csv', index=False)

字典用法 巧用key

1
2
3
4
5

candidate = [5, 25, 50, 100, 200] 
scores = {leaf_size: get_mae(leaf_size, train_X, val_X, train_y, val_y) for leaf_size in candidate} 
## 这里直接把leaf_size 当作key
best_tree_size = min(scores, key=scores.get)
plt.plot(scores.keys(),scores.values())

  博客基于Hexo，主题基于Next，这里记录一些重要操作。