卫三畏的汉语，尽管十分精湛，但对日语却难称娴熟。他的夫人在一封信里说得很清楚：“他被人扣上了日语专家的头衔，但实际上他只是十年以前跟一个日本水手学过一点日语，并且从那以后就再也没有机会练习过。他的日语基础是如此薄弱，可以想像，成功完成任务的可能性是极小的。”往前追溯，据卫三畏1837年9月10日致安德森牧师的信以及吉利克《伯驾与中国的开放》一书，卫三畏接触日本水手的时间是十六年前的1837年，当时美部会计划将七名在外国海域遭遇海难的日本水手送回日本，顺便探查正处在闭关锁国的日本。那次他们乘坐的是名为“马里逊号”的商船，由于传教士身份敏感，卫三畏是作为自然学家的身份出行的。这次访问完全失败，因为日本人根本不允许他们登岸，也拒绝七位水手返国，还用炮火袭击他们。七位日本水手只好原船回到中国。其间卫三畏开始向这些日本人中的一位学习日语，甚至还在日本人的协助下将《创世记》、《马太福音》等篇章翻译成日文 —— 那的确是很久之前的事情了。
不管怎样，佩里将军还是对卫三畏深信不疑，反复劝说，甚至说这是这个大计划能否成功的决定条件，四十一岁的传教士兼汉学家只好勉为其难地答应了。
1853年5月启程，经过琉球，7月抵达日本。日美进入交涉阶段，或许语言真是问题，日本人忙从长崎找来一个会荷兰语的通译，才大致解决了相互沟通问题。双方很快达成妥协，在7月14日举行美国总统信函交接仪式，美方四百人［其中五十名官员，五十名乐师］，日方一千五百名军人，五十名官员。双方举止得体，秩序井然。卫三畏说：“这是一次东方与西方的会晤，是国际交往史上的一大盛事，也意味着美国参与亚洲事务的开始。”
美日正式签约是在次年3月12日。据卫三畏的记载：“在举行签字仪式时，日方特使带来了三份日文本的条约，一份荷兰文译本，还有一份中文译本。我们则带来了荷兰文和中文译本各一份，英文译本三份。”其中，有个细节很重要：卫三畏熟悉《中法黄埔条约》，所以，美日条约的第九条就是根据他的建议，规定了日本须给予美国最惠国待遇 —— 这也许是汉学家对于此次缔约内容的一个相当实质性的贡献。
