Visit site zwsun.com

share - 30
the - 18
tensorflow - 16
file - 14
http - 13
shell - 11
permalink - 10
copy - 10
link - 10
facebook - 10
twitter - 10
cancel - 10
bash - 10
form - 10
install - 9
server - 9
python - 8
bin - 8
data - 8
min - 8
solr - 8
content - 7
www - 7
error - 7
domain - 7
pip - 6
print - 6
com - 6
2012 - 6
bashrc - 6
interactive - 6
login - 6
from - 6
hadoop - 6
connector - 6
upload - 6
blog - 5
multipart - 5
cross - 5
adobe - 5
and - 5
download - 5
step - 4
for - 4
example - 4
tmp - 4
hello - 4
nov - 4
74hc595中的 - 4
html - 4
value - 4
type - 4
urlencoded - 4
application - 4
accept - 4
name - 4
non - 4
cmdfile - 4
home - 4
hive - 4
需要知道的知识 - 4
new - 4
policy - 4
flash - 4
player - 4
swf - 4
tries - 4
that - 4
requires - 4
authentication - 4
update - 3
get - 3
python3 - 3
env - 3
site - 3
enter - 3
output - 3
且bitorder设置为msbfirst - 3
q7都输出为0 - 3
spi - 3
pos1 - 3
total - 3
post - 3
host - 3
encoding - 3
url - 3
org - 3
profile - 3
remote - 3
cmd - 3
在终端模拟器里面执行 - 3
ssh - 3
hadoop_home - 3
war - 3
players - 3
zhiwensun - 2
first - 2
apt - 2
then - 2
have - 2
virtualenv - 2
setup - 2
system - 2
source - 2
activate - 2
make - 2
upgrade - 2
confirming - 2
installation - 2
gpu - 2
version - 2
code - 2
import - 2
run - 2
you - 2
will - 2
now - 2
2017 - 2
move - 2
github - 2
pages - 2
arduino操作74hc595 - 2
arduino - 2
digitalwrite - 2
mar - 2
2013 - 2
一个计算联通通话计费时间的脚本 - 2
cat - 2
awk - 2
index - 2
pos2 - 2
php中的curl几点需要注意的地方 - 2
set - 2
192 - 2
168 - 2
201 - 2
197 - 2
gzip - 2
length - 2
curl_setopt - 2
dec - 2
关于bash的启动运行的文件 - 2
etc - 2
bash_profile - 2
bash_login - 2
machine - 2
简单来说 - 2
return - 2
hive相关 - 2
使用external - 2
failed - 2
apache - 2
build - 2
realm - 2
conf - 2
djava - 2
security - 2
krb5 - 2
hdfs - 2
property - 2
hwi - 2
description - 2
trails - 2
在eclipse中调试solr - 2
eclipse - 2
webapp - 2
web - 2
socketconnector - 2
webappcontext - 2
swfupload笔记 - 2
xml - 2
control - 2
allow - 2
request - 2
headers - 2
2038 - 2
help - 2
en_us - 2
flashplatform - 2
reference - 2
actionscript - 2
filereference - 2
occurs - 2
during - 2
air - 2
not - 2
provide - 2
means - 2
users - 2
passwords - 2
fails - 2
stand - 2
alone - 2
external - 2
can - 2
using - 2
nginx - 2
forum - 2
213789 - 2
follow - 1
no_twitter - 1
how - 1
ubuntu - 1
your - 1
repository - 1
list - 1
better - 1
performance - 1
than - 1
dev - 1
separated - 1
packages - 1
sure - 1
without - 1
create - 1
test - 1
following - 1
constant - 1
session - 1
see - 1
like - 1
congrats - 1
installed - 1
something - 1
cnn - 1
74hc595是一个寄存器 - 1
他能够将串行的输入累积成一次并行的输出 - 1
要做的测试就是通过一个输入pin来控制多个输出pin的状态 - 1
pin14就是接收arduino主板串行的输入 - 1
pin14输入1 - 1
则q0输出为1 - 1
pin14输入3 - 1
则q0 - 1
q1输出为1 - 1
pin14输入255 - 1
可以说将pin14的输入转成一个二进制数 - 1
q7分别是他们的第1位 - 1
第8位 - 1
操作74hc595 - 1
最简单的操作方法当然是使用shiftout - 1
官方就有示例 - 1
tutorial - 1
shiftout - 1
还可以使用更加高效的spi库来操作 - 1
其实操作起来也很简单 - 1
pinmode - 1
begin - 1
setbitorder - 1
msbfirst - 1
然后是根据需要调用 - 1
low - 1
transfer - 1
high - 1
需要注意的是几根pin的对应 - 1
slave - 1
select - 1
默认arduino上的10 - 1
pin12 - 1
mosi - 1
默认arduino上的11 - 1
pin14 - 1
clk - 1
默认arduino上的13 - 1
pin11 - 1
miso - 1
在本示例无需连接 - 1
如果要arduino接收数据 - 1
pin9 - 1
参考资料 - 1
articlesindex - 1
extend - 1
213 - 1
74hc595 - 1
其实联通网站上的累计通话时间和实际计费的时间差不多 - 1
如果要准确的统计 - 1
那得依赖些脚本了 - 1
从联通的网站上面把通话记录复制出来 - 1
放到一个文件中 - 1
然后保存以下代码到一个shell文件calllog - 1
然后执行 - 1
calllog - 1
最后就可以看到通话时间了 - 1
10010 - 1
substr - 1
tmin - 1
end - 1
jan - 1
curlopt_postfields中的玄机 - 1
curl_setop - 1
curlopt_postfields - 1
var - 1
但不知道内有玄机 - 1
php的doc里面有这么一段话 - 1
array - 1
header - 1
要知道一般post时 - 1
会以application - 1
一般用于上传文件 - 1
关于两者的区别 - 1
不想读rfc的可以先看看 - 1
stackoverflow - 1
questions - 1
4007969 - 1
两种情形下post样例 - 1
形式的post - 1
xxxx - 1
格式的post - 1
153 - 1
boundary - 1
e62c3de4a033 - 1
disposition - 1
xxx - 1
curl中put文件 - 1
现在都流行restful的接口 - 1
很多接口要求客户端put方式上传文件 - 1
在php中 - 1
使用curl发起put的请求 - 1
有两种方法 - 1
curlopt_put - 1
curlopt_customrequest - 1
put - 1
当你想使用put上传文件时 - 1
请不要使用第二种 - 1
因为它不会上传文件 - 1
工作上经常碰到环境变量不对 - 1
bash运行行为和自己期望的不一致 - 1
于是想花点时间看看bash - 1
说起来 - 1
这件事情应该再简单不过了 - 1
看看bash手册上写的便是了 - 1
gnu - 1
software - 1
manual - 1
bashref - 1
startup - 1
files - 1
但是坦白来说 - 1
我花了很长时间才看明白了一点 - 1
看到的一些结论 - 1
如果是login的shell - 1
那么bash在运行先执行 - 1
然后依次查找 - 1
如果找到其中一个文件就执行之 - 1
后面的就不执行了 - 1
如果是interactive的非login - 1
则先会执行 - 1
bashrc存在的话 - 1
接着执行 - 1
如果是非interactive的 - 1
且非login - 1
则执行 - 1
bash_env - 1
对应的shell - 1
ssh到远端的机器 - 1
远端机器上的bash会执行什么呢 - 1
如果是login - 1
不用说 - 1
和第1种一样 - 1
如果是ssh - 1
这种的 - 1
也就是我们一般shell脚本里面调用形式 - 1
则会执行 - 1
远端机器上的bash在编译bash的时候define了ssh_source_bashrc - 1
有些问题 - 1
什么是interactive - 1
什么是login - 1
shell就是顾名思义 - 1
有用户交互的 - 1
检查方法就是在命令行下执行 - 1
echo - 1
如果有i这个选项 - 1
则就是interactive - 1
shell简单来说就是bash启动的时候加了 - 1
l选项 - 1
举几个实际的例子 - 1
linux登录到真实的终端tty1 - 1
打开终端模拟器 - 1
为什么我在手动在机器上可以ssh到远端机器的 - 1
但是在shell脚本里面不行 - 1
这种情形出现在ssh到远端机器的private - 1
key是有passphase - 1
到远端机器的时候 - 1
你还需要输入这个pass - 1
phase的 - 1
那为什么你一般ssh到远端机器的时候不要输入passphase呢 - 1
这个就是ssh - 1
agent的功劳了 - 1
ssh通过环境变量中的ssh_auth_sock和ssh_agent_pid获得真实的private - 1
key - 1
因为这个时候有了ssh相关环境变量 - 1
这些环境变量一般在通过keychain设置的 - 1
而keychain一般是startup脚本里面执行的 - 1
解决办法就是bash - 1
骗人吧 - 1
按你的说法 - 1
ssh过去要执行 - 1
bashrc的 - 1
但是我 - 1
bashrc里面的命令没有执行 - 1
bashrc里面有一段话 - 1
ps1 - 1
也就是说 - 1
如果是非interactive的时候 - 1
ps1不会被设置 - 1
然后就return了 - 1
后面的命令当然没有执行 - 1
的shell怎么也执行 - 1
这几个文件中 - 1
应该有写 - 1
为什么不行啊 - 1
一样的道理 - 1
path环境变量不是在 - 1
bashrc里面设置的 - 1
mache - 1
的时候不执行 - 1
bashrc啊 - 1
编译bash的时候没有define - 1
ssh_source_bashrc - 1
我的cmdfile在shebang部分里面已经声明了 - 1
但是它表现的不是login - 1
不要使用 - 1
这种方式运行 - 1
要么使用cmdfile直接运行 - 1
要么使用 - 1
cmdfile运行 - 1
最近一直使用hadoop - 1
hive做数据分析 - 1
遇到一些问题 - 1
也收获一些 - 1
记一下 - 1
一些经验和大家分享 - 1
table会比较方便管理 - 1
将数据放到hdfs中 - 1
然后再基于hdfs建external表 - 1
这样你可以随心所欲的管理你的数据 - 1
可以使用hive的external - 1
table来查询 - 1
也可以自己直接写mapreduce - 1
job来处理 - 1
table的另外一个好处是可以随便改变table的schema - 1
因为在drop - 1
table时数据不会丢失 - 1
只是删除元信息 - 1
如果schema需要调整 - 1
删掉重新建就是了 - 1
能使用hql做的事情还是用hql吧 - 1
写mapreduce毕竟麻烦 - 1
数据调试是个问题 - 1
hql和sql还是有些地方不一样的 - 1
比如group - 1
by的时候不能用column的alias - 1
详情可以参考我的这个 - 1
hql里面的条件可以随便的使用like - 1
因为基本上所有的hql都会转换成mapreduce - 1
job - 1
你使用like - 1
只是在map的时候稍微多了点计算量而已 - 1
hwi玩玩还可以 - 1
但是无法真正用于生产环境 - 1
结果默认保存到内存中 - 1
输入的hql有错又不知道是什么错 - 1
跑一段时间会挂掉 - 1
界面极度难用等等 - 1
这些问题都是它被正式使用的障碍 - 1
一些问题的解决方法 - 1
hive报metadata错 - 1
metadata - 1
javax - 1
jdo - 1
jdofatalinternalexception - 1
unexpected - 1
exception - 1
caught - 1
nestedthrowables - 1
java - 1
lang - 1
reflect - 1
invocationtargetexception - 1
execution - 1
exec - 1
ddltask - 1
解决方法 - 1
这种情况很有可能是大家的hadoop用的是src版本 - 1
然后编译出来有build - 1
具体为什么会因此报错 - 1
还不得而知 - 1
datanode无法启动 - 1
这个主要是mac - 1
os上会遇到 - 1
logs - 1
datanode - 1
out - 1
中看日志 - 1
会发现有 - 1
unable - 1
load - 1
info - 1
scdynamicstore - 1
中设置一下hadoop_opts即可 - 1
export - 1
hadoop_opts - 1
kdc - 1
kdc0 - 1
kdc1 - 1
hwi无法启动 - 1
hive_home - 1
xml中加入 - 1
lib - 1
注意上面的地 - 1
war换成你自己的包文件名称 - 1
最近在捣鼓hadoop相关东东 - 1
部门里面需要总结一个hadoop相关的trails - 1
方便后面freshmen加入时可以参考 - 1
写了写 - 1
可能不对 - 1
供新手参考 - 1
自己也还是一个新手啊 - 1
hadoop还是很多值得学习的地方 - 1
hadoop建立者dogg - 1
cutting - 1
也是lucene的作者 - 1
现在又是asf的主席 - 1
名词解释 - 1
与hadoop关联的软件 - 1
名词非常多 - 1
这里列出一些常用的 - 1
一整套分布式存储 - 1
计算解决方案 - 1
一套分布式文件系统 - 1
mapreduce - 1
一套分布式计算框架 - 1
hbase - 1
基于hdfs的column - 1
family - 1
的nosql数据库 - 1
一套将类似sql的hql转换成mapreduce - 1
job的工具 - 1
thrift - 1
一套用于各种语言间通讯的协议以及实现 - 1
搭建环境 - 1
搭建基本的hadoop环境 - 1
在本地环境搭建伪分布式的hadoop环境 - 1
包括基本的hdfs和mapreduce - 1
在本地环境搭建hive和hbase等关联的环境 - 1
本地能够搭建一个hadoop环境 - 1
并且实现以下功能 - 1
将本地文件放入hdfs - 1
运行一个基于hdfs的mapreduce示例程序 - 1
使用hdfs - 1
hadoop文件存放的方式 - 1
hadoop对文件系统操作命令行的使用 - 1
上传文件到hdfs - 1
从hdfs中获取文件到本地 - 1
使用mapreduce - 1
基本的java面向类编程 - 1
mapreduce的过程 - 1
如何自己写一个mapreduce程序 - 1
如何运行mapreduce程序 - 1
知道什么逻辑应该在map端处理 - 1
什么逻辑在reduce时处理 - 1
写一个程序统计一个文件中各个单词出现的次数 - 1
进一步了解hdfs - 1
hdfs的架构 - 1
namenode和datanode的作用 - 1
hdfs中的block - 1
描述一个客户端上传文件到hdfs时 - 1
各个结点之间的通讯次序 - 1
进一步了解mapreduce - 1
数据如何在map和reduce过程传递的 - 1
job是如何分配的 - 1
输入的数据是如何分配给map程序的 - 1
map计算出来的结果是如何组织的 - 1
然后传递给reduce的 - 1
一个任务map的个数取决于哪些因素 - 1
描述一个客户端提交了一个mapreduce的任务 - 1
hadoop内部各个结点做了哪些动作 - 1
自定义mapreduce的inputformat - 1
outputformat - 1
writable - 1
最近需要查看搜索执行代码的情况 - 1
故需要在eclipse中调试solr - 1
网上出名那篇来自lucid的 - 1
setting - 1
但个人觉得不是很方便 - 1
自己看了一下 - 1
可以使用以下方法 - 1
下载solr的src包 - 1
并解压 - 1
解压后 - 1
在解压后的根目录执行ant - 1
即生成eclipse需要的项目文件 - 1
打开eclipse - 1
existing - 1
projects - 1
into - 1
workspace - 1
选择刚才解压后的根目录 - 1
这时候java - 1
path等都已经设置好了 - 1
open - 1
type找到startsolrjetty - 1
这个类 - 1
修改main方法里面的setport参数为默认的8983 - 1
以及contextpath - 1
war为 - 1
最后的代码应该是这样的 - 1
some - 1
timeout - 1
options - 1
debugging - 1
easier - 1
setmaxidletime - 1
1000 - 1
setsolingertime - 1
setport - 1
8983 - 1
setconnectors - 1
setserver - 1
setcontextpath - 1
setwar - 1
设置solr - 1
并run - 1
在run - 1
configure中arguments - 1
arguments中写入 - 1
dsolr - 1
使用solr自带的一个example作为sold配置的根目录 - 1
如果你有其他的solr配置目录 - 1
设置之即可 - 1
点击run即可 - 1
debug也是一样可以用了 - 1
jun - 1
很早以前记的 - 1
放在草稿箱里 - 1
没有发出来 - 1
现发出来 - 1
因为是笔记 - 1
所以看起来可能比较乱 - 1
swfupload是上传大文件 - 1
显示上传进度以及一次上传多个文件的很好选择 - 1
但由于其采用了flash做为上传的客户端 - 1
带来了以下问题 - 1
cookie无法和浏览器共享 - 1
如果你限制用户登录了后才能上传 - 1
用户在浏览器里的cookie你要通过post的形式传过去 - 1
跨域问题 - 1
若swfupload所用的swf文件和上传处理段不在同一域名 - 1
便有此跨域问题 - 1
解决倒也简单 - 1
在上传处理端加个crossdomain - 1
xml即可 - 1
crossdomain - 1
xml示例 - 1
utf - 1
doctype - 1
dtds - 1
dtd - 1
permitted - 1
policies - 1
all - 1
access - 1
swfuploadfile - 1
更让人头疼的是报2038错误 - 1
200 - 1
message - 1
这个错误实在折腾人啊 - 1
先看看adobe官网是怎么说的 - 1
net - 1
filter_flash - 1
cs5 - 1
filter_flashplayer - 1
filter_air - 1
里面讲到了ioerror出现的可能 - 1
input - 1
while - 1
reading - 1
writing - 1
transmitting - 1
such - 1
user - 1
password - 1
does - 1
within - 1
these - 1
succeed - 1
only - 1
activex - 1
browser - 1
plug - 1
runtime - 1
passed - 1
parameter - 1
method - 1
contains - 1
invalid - 1
protocol - 1
valid - 1
protocols - 1
are - 1
https - 1
runtimeerrors - 1
this - 1
when - 1
size - 1
creation - 1
date - 1
modification - 1
api - 1
大概意思就是没有办法获得文件信息 - 1
另外一方面是由于上传接口需要http验证 - 1
无法输入用户名和密码无法所致 - 1
那么先检查一下上传接口是否有上述问题 - 1
使用最原始的上传方式检查 - 1
如果上传接口正常 - 1
那么需要想想是不是客户端的问题了 - 1
有用户说杀毒软件会禁止flash上传 - 1
这个我没有实际的验证 - 1
但的确遇到过在同一swfupload系统 - 1
在有些客户端报2038错 - 1
而在其他的地方正常 - 1
若所有的客户端都出现此问题 - 1
那么还是有可能上传接口的问题 - 1
我就碰到一例 - 1
情况如下 - 1
上传接口前面有一nginx做转发 - 1
且这个nginx距离实际处理上传文件的app服务器还有一段距离 - 1
上传小文件正常 - 1
上传大文件会报2038 - 1
若不使用nginx转发 - 1
flash直接往app服务器上传文件 - 1
大文件也正常上传 - 1
去检查nginx的log - 1
log - 1
grep - 1
413 - 1
发现nginx的响应状态是499 - 1
而非正常的200 - 1
怀疑nginx转发有问题 - 1
在客户端上传的同时 - 1
在nginx服务器上抓包看看 - 1
sudo - 1
tcpdump - 1
vvv - 1
app - 1
port - 1
发现nginx转发的request的post数据不全 - 1
同时upload - 1
app服务器上给出的响应是 - 1
400 - 1
bad - 1
初步将原因定为flash - 1
player主动断开连接 - 1
因为本地的nginx - 1
log里面是499 - 1
关于499 - 1
http协议rfc2616中没有定义 - 1
通过相关资料查询可得 - 1
499为客户端 - 1
主动断开连接 - 1
关于nginx的499可以参考以下文章 - 1
read - 1
php - 1
ruby - 1
topic - 1
137312 - 1
为什么flash会主动断开连接 - 1
我也不知 - 1
more - 1
posts - 1
built - 1
cayman - 1
theme - 1
jason - 1
long - 1
license - 1