据Engadget报道，任天堂Game & Watch掌机的构想源自设计师横井军平在通勤列车上的一次偶然观察。上世纪70年代末，他看到一名上班族用计算器打发时间，由此认定游戏不应只局限于街机和客厅，也应该能随身携带。
横井军平1965年加入任天堂时，这家1889年创立于京都、以花札纸牌起家的公司正陷入困境，股价一度从900日元跌至60日元。他1966年推出的伸缩玩具Ultra Hand在全球售出140万件，公司此后逐步转向玩具与电子游戏市场，1977年推出TV-Game 6和TV-Game 15家用主机，1979年设立投币游戏部门。
据Engadget报道，横井军平向时任社长山内溥提出Game & Watch方案时，恰逢山内溥即将与夏普社长会面。夏普当时是全球最大的计算器制造商，双方由此谈到合作。Game & Watch的技术与当时的计算器相近，同样采用液晶屏和纽扣电池，并通过段位系统呈现画面：计算器每位数字由七个段构成，可显示的数字位数取决于芯片的段位能力。1980年上市的首款产品Game & Watch: Ball，所用芯片可显示72个段位。
产品原型先以物理方式制作，团队把切割好的亚克力塑料与微型钨丝灯泡装在Game & Watch尺寸的电路板上。此后团队几乎每月推出一款新作，1980年至1991年间共发行59款，先是改用宽屏，后来引入翻盖双屏设计。该系列全球累计销量超过4300万台。
横井军平在这一过程中提出“用成熟技术进行横向思考”的理念，即为已被验证的旧硬件寻找新用途，把计算器技术改用于游戏即是一例。他随后主持的Game Boy延续了这一思路，选用比竞争对手更简单、更便宜的硬件，换来更好的便携性与续航表现，成为史上最畅销的掌机之一。报道称，即便如Nintendo Switch 2，其硬件也并非最强，而是以便携与价格见长。已故任天堂社长岩田聪在内部访谈中表示，如果没有Game & Watch，今天的掌机系统大概会是另一番样子，Game Boy和Nintendo DS也未必能问世。
据Engadget报道，Ultra Hand与Game & Watch两度把任天堂从财务困境中拉出。其翻盖保护设计与十字键沿用至今，不过在当下，这一系列主要以主题复刻产品和游戏内彩蛋的形式被提及。